JP6465703B2 - 画像信号処理装置、画像信号処理方法、及びプログラム - Google Patents

Description

本発明は、画像信号等を処理する画像信号処理装置、画像信号処理方法、及びプログラムに関する。

従来より、被写界深度を浅くして撮影することで、背景だけをぼかし、被写体をより目立たせる撮影方法がある。被写界深度は、例えば、Ｆ値を小さく、焦点距離を長く、撮影距離を近くなどすることで浅くできるが、口径の大きなレンズや焦点距離の長い光学系は高価であり、また光学系自体のサイズも大きくなる。このため、従来の安価で小型なコンパクトデジタルカメラや、携帯情報端末などに搭載されている撮像デバイスは、被写界深度を浅くし難いものが多い。

このようなことから、コンパクトデジタルカメラや、携帯情報端末の撮像デバイスは、デジタルフィルタ処理により、被写界深度を浅くした撮影画像と同等のぼかし効果を得る技術を採用しているものがある。例えば、特許文献１には、縮小した画像に小さいサイズのフィルタ処理を施した後に元の画像サイズに拡大することで、小さいサイズのフィルタ処理でぼかし量が大きなボケ画像を生成する技術が開示されている。

特開２００４−１０２９０４号公報

しかしながら、特許文献１に開示された技術では、フィルタサイズが小さいため、被写界深度を浅くして撮影された画像のような美しいボケ画像を実現することは難しい。例えば、点光源を大きく丸くぼかした画像を得たいような場合、特許文献１に開示されている小さいサイズのフィルタ処理では、画像の縮小により高域成分が失われるため、丸ボケの形状のディテイルが十分に表現できない。また、画像を縮小せずにフィルタ処理を施すことも考えられるが、被写界深度を浅くして撮影された画像のようにぼかし量の大きなボケ画像を実現するには、例えば５０タップ程度の多タップの２次元フィルタが必要となる。このような多タップの２次元フィルタは、回路規模が非常に大きくなってしまう。

一方、近年のコンパクトデジタルカメラや、携帯情報端末の撮像デバイスは、或る程度のズーム倍率を実現可能なズーム光学系を備えているものもある。このため、例えばズーム光学系により画角を変えた場合には、その画角に応じたボケ画像を実現することが望まれる。しかしながら、デジタルフィルタ処理で画角の変化に応じたボケ画像を生成することは難しい。

本発明はこのような問題点に鑑みてなされたものであり、フィルタの規模を抑えつつ、画角の変化にも対応したフィルタ処理を実現する画像信号処理装置、画像信号処理方法、及びプログラムを提供することを目的とする。

本発明の画像信号処理装置は、撮像順に入力されるフレーム画像に対し、所定フレーム数ごとに、前記フレーム画像の撮像順にフィルタ係数を制御するフィルタ処理を行うフィルタ手段と、前記フィルタ手段によるフィルタ処理後のフレーム画像を、順次１フレームずつずらしながら前記所定フレーム数ごとに合成処理する合成手段と、前記フレーム画像が撮像された際の画角に基づいて、前記合成手段による前記フレーム画像の前記合成処理を制御する合成制御手段とを有することを特徴とする。

本発明によれば、フィルタの規模を抑えつつ、画角の変化にも対応したフィルタ処理を実現可能となる。

第１の実施形態の撮像装置の概略構成を示す図である。 分割フィルタのタップ数とフィルタ係数を説明する図である。 水平，垂直９タップの空間フィルタの参照範囲を説明する図である。 分割フィルタ処理の概要説明に用いるフローチャートである。 分割フィルタ処理と合成（加算)処理を説明する図である。 動画像の各フレームに対する分割フィルタ処理を説明する図である。 画角変化による各フレームの画像の大きさの変化を説明する図である。 合成比率とズーム倍率（画角）の関係を説明する図である。 第１の実施形態のフィルタ処理と合成処理のフローチャートである。 画角変化により参照範囲が不足する例を説明する図である。 第２の実施形態の撮像装置の概略構成を示す図である。 第２の実施形態の画像拡大部の動作を説明する図である。 第３の実施形態の撮像装置の概略構成を示す図である。 第３の実施形態の基準フレーム選択部の動作を説明する図である。 第４の実施形態の撮像装置の概略構成を示す図である。 読み出し位置のずらし量と倍率（画角）の関係を説明する図である。 第４の実施形態のフィルタ処理と合成処理のフローチャートである。 第５の実施形態の撮像装置の概略構成を示す図である。 第６の実施形態の撮像装置の概略構成を示す図である。

＜第１の実施形態＞
図１は、画像信号処理装置の一例である第１の実施形態の撮像装置の概略構成を示す図である。図１において、システム制御部１１は、本実施形態の撮像装置全体を制御する。なお、図１では図示を省略しているが、撮像装置は、シャッターボタンなどのような一般的なカメラに設けられている各種操作部も有している。

光学系１は、ズームレンズ、フォーカスレンズ、絞り等を有して構成されており、システム制御部１１からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子２上に結像させる。なお、本実施形態において、システム制御部１１は、ズームレンズを制御することで画角（光学ズーム倍率）を設定可能となされており、また、後述する合成比率生成部７へ画角に対応した光学ズーム情報を出力可能となされている。撮像素子２は、システム制御部１１により制御される駆動パルスで駆動され、被写体像を光電変換により電気信号に変換して撮像信号として出力する。現像処理部３は、撮像素子２からの撮像信号を輝度と色差の信号に変換する現像処理を行い、その現像処理後の輝度と色差の画像信号を、フィルタ処理部４へ出力する。また、現像処理部３は、画像信号をメモリ６へも出力する。したがって、メモリ６は、フィルタ処理部４によるフィルタ処理後の画像信号の他、この現像処理部３からの画像信号も保持する。

フィルタ処理部４は、フィルタ係数制御部５から供給されるフィルタ係数を用い、現像処理部３からの画像信号に対してフィルタ処理を行う。フィルタ係数制御部５は、システム制御部１１による制御の下、フィルタ処理の際に使用されるフィルタ係数をフィルタ処理部４へ出力する。

フィルタ処理部４によるフィルタ処理の詳細については後述する。フィルタ処理部４でフィルタ処理された画像信号は、メモリ６に保持された後、読み出されて合成部８へ出力される。

合成部８は、システム制御部１１による制御の下、後述するようにメモリ６から読み出す画素位置を制御し、そのメモリ６から読み出された画素を加算することにより画像を合成する。この加算による合成で形成された画像は、フィルタ処理部４でのフィルタ処理によるボケ画像となる。

主被写体判別部９は、現像処理部３から出力されてメモリ６に保持されている画像信号より、主被写体の画像部分（以下、主被写体画像とする。）を検出する。画像信号から主被写体画像を検出する手法については種々の手法が知られており、本実施形態ではそれらの何れを用いてもよい。そして、主被写体判別部９は、例えば、画像信号における画像の中央に近く、サイズが大きい被写体画像部分を、主被写体画像と判別して、その主被写体画像のサイズと画像信号の画像内における位置情報とを背景被写体合成部１０へ出力する。

背景被写体合成部１０は、主被写体判別部９により検出された主被写体画像のサイズと位置情報に基づき、現像処理部３から出力されてメモリ６に保持された画像と合成部８からのボケ画像とを合成する。具体的には、背景被写体合成部１０は、主被写体画像のサイズと位置情報に基づいて、メモリ６から読み出された画像信号より、主被写体画像を抜き出す。そして、背景被写体合成部１０は、その抜き出した主被写体画像を、合成部８から供給される画像の同位置、すなわち主被写体画像の位置情報に応じた位置へ、上書きにより合成する。

ここで、合成部８からの画像は、画像全体にぼかし処理が施された画像である。一方、背景被写体合成部１０への入力画像は、現像処理部３の出力画像であり、ぼかし処理されていない鮮鋭な画像の信号である。そして、背景被写体合成部１０は、その画像から被写体画像を抜き出して、合成部８からのぼかし画像へ上書きにより合成する。これにより、背景被写体合成部１０から出力される画像は、背景がぼけている一方で被写体画像が鮮鋭で目立った画像となる。

背景被写体合成部１０による背景と被写体画像の合成処理後の画像信号は、例えば図示しない記録部へ送られて、例えばＳＤカードに代表される記録媒体等に記録され、また例えば図示しない表示部へ送られて画面上に表示等される。

次に、フィルタ処理部４、メモリ６、合成部８によるボケ画像の生成処理の際の基本的な処理の流れについて説明する。一般に、ボケ画像を生成するためのフィルタ処理回路は、ぼかし量が少なくてよい場合には比較的小さい回路規模で実現できるが、ぼかし量を多くする場合には回路規模が大きくなる。本実施形態では、回路規模を大きくせずにぼかし量が多いボケ画像を形成するために、フィルタの畳み込み演算を分割処理(以下、分割フィルタ処理と呼ぶ。）する。

本実施形態の撮像装置は、フィルタ合成手段の一例として、分割フィルタ処理を行うフィルタ処理部４と、フィルタ処理部４によるフィルタ処理後の複数の画像を保持するメモリ６と、メモリ６に保持された各画像を画素加算にて合成する合成部８とを有している。そして、本実施形態の撮像装置は、これらの構成により、タップ数の少ない、小さい回路規模のフィルタで、タップ数の多い大規模なフィルタと等価なぼかし量が多いボケ画像を生成可能となっている。

ここでは、一例として、図２、図３を用い、水平，垂直方向が複数タップ（例えば水平、垂直方向９タップ）の空間フィルタの場合の分割フィルタ処理について説明する。なお、フィルタ処理部４のタップ数は一例であり、９タップに限定されるものではない。

図２は、水平方向９タップ、垂直方向９タップの空間フィルタのフィルタ係数の一例を示す図である。図２中のｋ０〜ｋ８はフィルタ係数を示し、空間フィルタの水平方向と垂直方向をそれぞれ３タップずつに分離したときのそれぞれの位置のフィルタ係数を示している。図３は、画像内において（ｘ，ｙ）座標が（ｉ，ｊ）で表される、或る着目画素位置（ｉ，ｊ）における水平方向９タップ、垂直方向９タップの空間フィルタの参照範囲を示す図である。そして、フィルタ処理は、例えば式（１）に示すような演算式を用いて行われる。

ここで、式（１）及び後述の各式中の「ｘ」，「ｙ」は図３に示す画像の各画素の座標、「ｉ」は画像内の着目画素の水平アドレス（ｘ座標）、「ｊ」は画像内の着目画素の垂直アドレス（ｙ座標）、「ａ」はフィルタ係数、「Ｉ」は画素値を示している。そして、式（１）の「ｐ」は、図３に示すように着目画素位置（ｉ，ｊ）に対してフィルタをかけた結果の画像となる。

次に、図４のフローチャートを用いて、畳み込み演算を水平方向３タップ、垂直方向３タップずつに分割した分割フィルタ処理と、そのフィルタ処理後の画像の画素加算による合成処理の基本的な流れについて説明する。なお、詳細については後述するが、本実施形態の撮像装置は、動画像に対するフィルタ処理の際には、図４のフローチャートとは若干異なる処理を行っている。図４のフローチャートは、分割フィルタ処理と合成処理の基本的な流れ説明するために、一枚の画像を分割フィルタ処理する場合を例に挙げている。また、図４の説明では、システム制御部１１が、フィルタ係数制御部５からフィルタ係数の出力制御によるフィルタ処理部４の制御、メモリ６の書き込みと読み出しの制御、合成部８における画素加算による合成の制御を行うことにした例を挙げている。

図４のフローチャートにおいて、システム制御部１１は、先ずステップＳ１００の処理として、変数ｎに初期値の「０」をセットする。変数ｎは、分割フィルタの分割数に対応している。本実施形態の場合、畳み込み演算を水平方向３タップ、垂直方向３タップずつに分割しており、フィルタ分割数が９分割となされているため、変数ｎは「０」〜「８」の値となる。ステップＳ１００の後、システム制御部１１は、処理をステップＳ１０１へ進める。

ステップＳ１０１では、システム制御部１１は、現像処理部３からの画像信号をフィルタ処理部４へ入力させる。このステップＳ１０１の後、システム制御部１１は、処理をステップＳ１０２へ進める。

ステップＳ１０２では、システム制御部１１は、フィルタ係数制御部５を制御してフィルタ処理部４へフィルタ係数を出力させる。このときのフィルタ処理部４は、例えば式（２）に示すようなフィルタ演算を行ってフィルタ処理後の第１の画像ｐ０を生成する。ここで、式（２）の演算は、画像信号の画像全体に対して行われるものであり、したがって第１の画像ｐ０は、図２における左上の各フィルタ係数ｋ０を用いて画像全体にフィルタを掛けた画像信号ということになる。

ステップＳ１０２の後、システム制御部１１は、処理をステップＳ１０３へ進める。ステップＳ１０３では、システム制御部１１は、第１の画像ｐ０の信号をメモリ６に保持させる。ステップＳ１０３の後、システム制御部１１は、処理をステップＳ１０４へ進める。

ステップＳ１０４では、システム制御部１１は、全分割数のフィルタ演算が完了したか否かを判断する。具体的には、本実施形態では、変数ｎが「０」〜「８」の値を取り得るため、システム制御部１１は、変数ｎが「８」になっている場合に全分割数の演算が完了したと判断する。ステップＳ１０４において、システム制御部１１は、全分割数のフィルタ演算が完了していないと判断した場合には処理をステップＳ１０５へ進め、一方、完了したと判断した場合には処理をステップＳ１０６へ進める。

ステップＳ１０５では、システム制御部１１は、次の分割位置のフィルタ演算に移るために、変数ｎに「ｎ＋１」をセットする。このときの変数ｎはステップＳ１００で設定された初期値の「０」であるため、ステップＳ１０５では変数ｎが「１」に設定されることになる。ステップＳ１０５の後、システム制御部１１は、ステップＳ１０１へ処理を戻す。

ステップＳ１０１に戻ると、システム制御部１１は、現像処理部３からの画像信号をフィルタ処理部４へ入力させる。ここでは、説明を簡略にするため、このときフィルタ処理部４へ入力される画像は、前回の入力画像と同じ画像であるとする。次のステップＳ１０２の処理に進むと、システム制御部１１は、フィルタ係数制御部５を制御してフィルタ処理部４へフィルタ係数を出力させる。このときのフィルタ処理部４は、例えば式（３）に示すようなフィルタ演算を行って第２の画像ｐ１を生成する。式（３）の演算は、画像信号の画像全体に対して行われるものであり、したがって第２の画像ｐ１は、図２における中央上の各フィルタ係数ｋ１を用いて画像全体にフィルタを掛けた画像信号ということになる。

次のステップＳ１０３の処理に進むと、システム制御部１１は、第２の画像ｐ１の信号をメモリ６に保持させる。次のステップＳ１０４において、システム制御部１１は、全分割数のフィルタ演算が完了したか否かを判断する。ステップＳ１０４において、システム制御部１１は、全分割数のフィルタ演算が完了していないと判断した場合には処理をステップＳ１０５へ進め、一方、完了したと判断した場合には処理をステップＳ１０６へ進める。このときのシステム制御部１１は、ステップＳ１０５へ処理を進め、変数ｎを「２」に設定して、ステップＳ１０１へ処理を戻す。

以下同様に、システム制御部１１は、ステップＳ１０１からＳ１０４、さらにステップＳ１０４からステップＳ１０５を経てステップＳ１０１へ戻る処理を、ステップＳ１０４で全分割数のフィルタ演算が完了したと判断されるまで繰り返す。本実施形態では、前述のようにフィルタ分割数が９分割であるため、変数の「ｎ」は「０」から「８」までインクリメントされていくことになる。ステップＳ１０５で変数ｎが「２」に設定された後、前述の処理が行われて順次変数ｎがインクリメントされた場合、ステップＳ１０２では、式（４）〜式（１０）に示す演算がフィルタ処理部４で行われることになる。これら式（４）〜式（１０）に示すフィルタ演算により、フィルタ処理部４からは、第３の画像ｐ２〜第９の画像ｐ８の信号が出力されることになる。また、ステップＳ１０３では、それら第３の画像ｐ２〜第９の画像ｐ８の信号がメモリ６に保持される。

そして、ステップＳ１０４にて全分割数の演算が完了したと判断して処理をステップＳ１０６へ進めると、システム制御部１１は、合成部８を制御して、ここまでで計算されてメモリ６に保持された第１の画像ｐ０〜第９の画像ｐ８の信号を読み出させる。このときの合成部８は、システム制御部１１による制御の下、メモリ６から読み出す各画像の画素位置を制御して、そのメモリ６から所定の位置（後述する参照位置）の各画素を読み出す。ステップＳ１０６の後、システム制御部１１は、処理をステップＳ１０７へ進める。

ステップＳ１０７では、システム制御部１１は、合成部８を制御して、メモリ６から第１の画像ｐ０〜第９の画像ｐ８からそれぞれ画素を読み出させて加算により合成させる。すなわち、このときの合成部８は、システム制御部１１による制御の下、メモリ６から後述するように第１の画像ｐ０〜第９の画像ｐ８の画素を読み出し、それら読み出した各画素を加算することで画像を合成する。合成部８での画素加算による合成で形成された画像信号は、分割フィルタ処理によるぼかし処理後のボケ画像の信号となる。このフィルタ処理後のボケ画像の信号は、後述する背景被写体合成部１０へ送られる。

図５（ａ）〜図５（ｊ）を用いて、フィルタ処理部４による分割フィルタ処理と合成部８で行われる第１の画像ｐ０〜第９の画像ｐ８の画素加算による合成動作について説明する。図５（ａ）〜図５（ｊ）において、位置（ｉ，ｊ）の画素が着目画素であり、領域１０００は着目画素に対して水平方向９タップで垂直方向９タップの空間フィルタが参照する範囲を示している。図５（ａ）の領域１００１内の中心画素の位置は着目画素に対する画像上の参照位置を示している。同様に、図５（ｂ）〜図５（ｉ）の各領域１００２〜１００９の各中心画素の位置は、それぞれ着目画素に対する画像上の参照位置を示している。そして、図５（ａ）は第１の画像ｐ０における着目画素及び空間フィルタの参照範囲と着目画素に対する画像上の参照位置を示した図である。同様に、図５（ｂ）は第２の画像ｐ１、図５（ｃ）は第３の画像ｐ２、図５（ｄ）は第４の画像ｐ３、図５（ｅ）は第５の画像ｐ４についての図である。図５（ｆ）は第６の画像ｐ５、図５（ｇ）は第７の画像ｐ６、図５（ｈ）は第８の画像ｐ７、図５（ｉ）は第９の画像ｐ８についての図である。図５（ｊ）は、例えば第５の画像ｐ４を例に挙げ、他の第１〜第４，第６〜第９の画像ｐ０〜ｐ３，ｐ４〜ｐ８における各領域１００１〜１００９を、第５の画像ｐ４上に並べた図である。この図５（ｊ）のように、第１〜第９の画像ｐ０〜ｐ８においてフィルタ処理の際にそれぞれ参照される範囲の大きさは同じになっている。

ここで、水平，垂直方向９タップの空間フィルタと等価な効果を得るためには、着目画素位置（ｉ，ｊ）に対し、第１の画像ｐ０からは位置（ｉ−３，ｊ−３）を中心とした水平，垂直方向３タップの空間フィルタをかけた画素が必要となる。また、第２の画像ｐ１からは位置（ｉ，ｊ−３）、第３の画像ｐ２からは位置（ｉ＋３，ｊ−３）、第４の画像ｐ３からは位置（ｉ−３，ｊ）をそれぞれ中心とした水平，垂直方向３タップの空間フィルタをかけた画素が必要となる。さらに、第５の画像ｐ４からは位置（ｉ，ｊ）、第６の画像ｐ５からは位置（ｉ＋３，ｊ）、第７の画像ｐ６からは位置（ｉ−３，ｊ＋３）をそれぞれ中心とした水平，垂直方向３タップの空間フィルタをかけた画素が必要となる。同様に、第８の画像ｐ７からは位置（ｉ，ｊ＋３）、第９の画像ｐ８からは位置（ｉ＋３，ｊ＋３）をそれぞれ中心とした水平方，垂直方向３タップの空間フィルタをかけた画素が必要となる。合成部８は、それら第１の画像ｐ０〜第９の画像ｐ８において着目画素位置に対応した位置を中心とした水平，垂直方向３タップの空間フィルタをかけた各画素値を取得して加算することによる合成処理を行う。

以上のように、フィルタ処理部４は、畳み込み演算を水平，垂直方向３タップずつに分割してフィルタ処理して第１〜第９の画像ｐ０〜ｐ８を生成し、合成部８は、それら第１〜第９の画像ｐ０〜ｐ８においてそれぞれ着目画素に対応した各画素値を加算する。これにより、回路規模は小さいながらも水平方向９タップ、垂直方向９タップの空間フィルタをかけた場合と同じ画像信号が得られることになる。

ところで、図２〜図５では、１枚の画像に対して、フィルタ係数を変えながら分割数に対応した回数のフィルタ処理を施し、それら分割数に対応した各フィルタ処理後の第１〜第９の画像を加算して合成する例を挙げて分割フィルタの概要を説明している。このように、１枚の画像に対して分割数に対応した回数のフィルタ処理を行う場合、最終結果のボケ画像が得られるまでの処理時間が長くなる。したがって、例えば動画像に対して分割フィルタ処理を適用する場合には、コストと処理時間の問題を解決しなければならない。すなわち、動画像の１フレームの画像に対して分割数に対応した回数のフィルタ処理を行うためには、高速処理が可能な高価な演算装置が必要になり、一方、処理速度が遅い安価な演算装置では１フレームの時間内に処理が終わらない虞がある。

ここで、動画像に対する分割フィルタ処理の一例として、図６に示すように、動画像の撮像がなされてその撮像順に入力される各フレームに対して、それぞれ分割フィルタ処理の一つの係数を用いたフィルタ処理を順に施すことを考えてみることにする。図６において、入力画像Ｎ−４，Ｎ−３，・・・，Ｎ＋５，Ｎ＋６は、動画像の撮像順に現像処理部３から出力されてフィルタ処理部４へ入力される各フレーム画像であり、それら各画像が時間順に並べられている。フィルタ係数ｋ０，ｋ１，・・・，ｋ８は、前述の図５における分割フィルタの各係数である。フレーム画像ｐ０ａは、入力画像Ｎ−４のフレーム画像に対してフィルタ係数ｋ０によるフィルタ処理がなされた後の画像である。同様に、フレーム画像ｐ１ａ，・・・，ｐ７ａ，ｐ８ａは、それぞれ対応した入力画像Ｎ−３，・・・，Ｎ＋３，Ｎ＋４のフレーム画像に対して、それぞれ対応したフィルタ係数ｋ１，・・・，ｋ７，ｋ８による各フィルタ処理がなされた後の画像である。フィルタ係数ｋ８によるフィルタ処理が行われた場合、それ以降の各フレームに対しては、前述同様に、フィルタ係数ｋ０〜ｋ８の各フィルタ係数によるフィルタ処理が行われることになる。図６の例では、入力画像Ｎ＋５は、フィルタ係数ｋ０によるフィルタ処理がなされることでフレーム画像ｐ９ａとなり、入力画像Ｎ＋６はフィルタ係数ｋ１によるフィルタ処理がなされることでフレーム画像ｐ１０ａとなる。

そして、分割数に対応した所定フレーム数（９フレーム分）のフレーム画像が順次１フレームずつずらされながら、合成部８において前述のような画素加算により合成される。合成部８は、フレーム画像ｐ０ａ〜ｐ８ａの９フレームに対する合成処理が終わると、次はフレーム画像ｐ１ａ〜ｐ９ａの９フレームを、さらに次はフレーム画像ｐ２ａ〜ｐ１０ａのように、順次１フレームずつずらされながら合成処理する。また、９フレームの画像のうち、合成の際に時間的に基準となるフレームを基準フレームと呼び、それ以外を合成側フレームと呼ぶとすると、合成部８は、基準フレーム画像の着目画素に対して、合成側フレーム画像から得られた画素を加算する。なお、基準フレームは、一例として、時間順に並んだ９フレームのうち時間的に中央のフレームにすることができる。図６の例の場合は、入力画像Ｎのフレーム画像が基準フレーム画像となる。この図６に示したように、動画像の各フレームに対して、それぞれ分割フィルタ処理の一つの係数を用いたフィルタ処理を行うことで、処理速度が遅い安価な演算装置を用いた場合でも、動画像のボケ画像を生成できるようになると考えられる。

ところで、例えば、ズーム光学系により画角を変えながら動画像撮像が行われ、それぞれ異なる画角で撮像されたフレーム画像がフィルタ処理部４へ入力されたような場合、ぼかしが不十分になったり、逆にぼかし過ぎになったりすることがある。すなわち、異なった画角で撮像されたフレーム画像を用いて図６のようなフィルタ処理が行われた場合、例えば、合成側フレーム画像のフィルタ処理が、基準フレーム画像に対して広い又は狭い参照範囲によるフィルタ処理になってしまうことが考えられる。また、フレーム画像の画角が異なる場合、畳み込み演算の重心位置がずれてしまうことがある。これらの場合、ぼかしが不十分なボケ画像が生成されたり、逆に、ぼかし過ぎたボケ画像が生成されたりする虞がある。

以下、図７を参照して、ズーム光学系により画角を変えながら撮像された動画像の各フレーム画像を用い、図６のようなフィルタ処理と合成処理が行われた場合の参照範囲と、畳み込み演算の重心位置のズレについて説明する。

図７（ａ）から図７（ｉ）は、画角を徐々に狭める（ズーム倍率を徐々に上げる）ズームインがなされながら撮像された動画像の各フレームの例を示している。図７（ａ）〜図７（ｉ）において、位置（ｉ，ｊ）の画素が着目画素であり、領域２０００は各画像上で着目画素に対して水平方向９タップ、垂直方向９タップの空間フィルタが参照する範囲を示している。領域２００１〜２００９の各中心画素の位置は、着目画素に対する画像上の参照位置を示している。また、図７（ａ）は、第１のフレーム画像ｐ０ａにおける着目画素及び空間フィルタの参照範囲と着目画素に対する画像上の参照位置を示した図である。以下同様に、図７（ｂ）は第２のフレーム画像ｐ１ａ、図７（ｃ）は第３のフレーム画像ｐ２ａ、図７（ｄ）は第４のフレーム画像ｐ３ａ、図７（ｅ）は第５のフレーム画像ｐ４ａについての図である。図７（ｆ）は第６のフレーム画像ｐ５ａ、図７（ｇ）は第７のフレーム画像ｐ６ａ、図７（ｈ）は第８のフレーム画像ｐ７ａ、図７（ｉ）は第９のフレーム画像ｐ８ａについての図である。図７（ｊ）は、第５のフレーム画像ｐ４ａを基準フレーム画像とし、他の合成側フレーム画像ｐ０ａ〜ｐ３ａ，ｐ５ａ〜ｐ８ａを基準フレーム画像の画角に合わせた場合の領域２００１〜２００９を、基準フレーム画像上に並べた図である。

この図７（ｊ）のように、各フレーム画像の画角が異なっている場合、基準フレーム画像に対する合成側フレーム画像の各領域２００１〜２００９の大きさは、画角（ズーム倍率）によって変わっていることがわかる。言い換えると、基準フレームと合成側フレームが同画角である場合には、各領域の大きさと位置は、図５（ｊ）の各領域１００１〜１００９のようになるが、各フレームの画角が異なっている場合には、図７（ｊ）の領域２００１〜２００９ようになる。すなわち、この図７（ｊ）のような場合、ぼかし具合が変わってしまうことになる。

このようなことから、本実施形態の撮像装置においては、合成制御手段の一例である合成比率生成部７により、画角（ズーム倍率）に応じた合成比率を生成し、その合成比率に応じて合成部８での合成処理を制御する。これにより、本実施形態の撮像装置は、動画像の撮像の際に光学ズームの倍率変更により画角が異なった場合におけるぼかし具合の変動を少なくしている。

以下、合成比率生成部７による合成部８の合成処理の制御動作について説明する。例えば、基準フレーム画像に対して合成側フレーム画像の方の画角が狭い（ズーム倍率が高い）場合、図７（ｊ）の領域２００９のように、参照範囲が狭くなってしまうため、ぼかし量が少なくなってしまう。一方、基準フレームに対して合成側フレームの方の画角が広い（ズーム倍率が低い）場合には、図７（ｊ）の領域２００１のように、参照範囲が広くなってしまうため、ぼかし過ぎになってしまう。

そこで、本実施形態では、システム制御部１１は、合成部８において合成処理が行われるとき、各フレーム画像の画角（ズームレンズに設定したズーム倍率）に対応した光学ズーム情報を、合成比率生成部７へ送る。

合成比率生成部７は、各フレームにおける光学ズーム情報を参照し、基準フレームに対して合成側フレームの方の画角が狭い（ズーム倍率が高い）場合には、図８に示すように、合成側フレームの画素に対する重みを重くするような合成比率情報を合成部８へ送る。これにより、合成部８では、基準フレーム画像に合成側フレーム画像を合成する際に、合成側フレーム画像の画素に対する重みが重くなされた合成が行われる。すなわちこの場合、合成後のフレーム画像は、基準フレーム画像に対して合成側フレーム画像の画素の比率が高められることになり、ぼかし量が多くなる。

一方、合成比率生成部７は、基準フレームに対して合成側フレームの方の画角が広い（ズーム倍率が低い）場合には、図８に示すように、合成側フレーム画像の画素に対する重みを軽くするような合成比率情報を合成部８へ送る。これにより、合成部８では、基準フレーム画像に合成側フレーム画像を合成する際、合成側フレーム画像の画素に対する重みが軽くなされた合成が行われる。すなわちこの場合、合成後のフレーム画像は、合成側フレーム画像に対して基準フレーム画像の画素の比率が高められることになり、ぼかし過ぎを防ぐことができる。

このように、本実施形態の撮像装置においては、光学ズームの倍率変更により各フレームの画角が異なっている場合、合成比率（重み）が変えられることで、ぼかし具合のバランスがとれるようになり、ぼかし具合の変動を軽減することが可能となる。

次に、図９には、フィルタ処理部４において動画像の各フレーム画像に対して図６のようなフィルタ処理が行われ、合成部８において合成比率に応じた合成処理が行われる際のフローチャートを示す。図９のフローチャートは、システム制御部１１が、フィルタ処理部４の制御、メモリ６の制御、合成比率生成部７における合成比率生成の制御、合成部８の合成制御を行うことにより実行される。

図９において、システム制御部１１は、先ずステップＳ２００の処理として、変数ｎに初期値の「０」をセットする。変数ｎは、分割フィルタの分割数に対応しており、これは言い換えると図６で説明した所定フレーム数に対応している。図９の場合、フィルタ分割数は９分割で、９フレームの画像が合成されるため、変数ｎは「０」〜「８」の値となる。ステップＳ２００の後、システム制御部１１は、処理をステップＳ２０１へ進める。

ステップＳ２０１では、システム制御部１１は、現像処理部３から例えば１フレーム目のフレーム画像の信号をフィルタ処理部４へ入力させる。このステップＳ２０１の後、システム制御部１１は、処理をステップＳ２０２へ進める。

ステップＳ２０２では、システム制御部１１は、フィルタ係数制御部５を制御してフィルタ処理部４へフィルタ係数を出力させ、前述の式（２）のフィルタ演算を行って、１フレーム目の画像信号にフィルタ処理を施して第１のフレーム画像ｐ０ａを生成する。この場合の式（２）の演算は、フレーム画像全体に対して行われるものである。第１のフレーム画像ｐ０ａは、図６におけるフィルタ係数ｋ０を用いてフレーム画像全体にフィルタが掛けられた画像となる。

ステップＳ２０２の後、システム制御部１１は、処理をステップＳ２０３へ進める。ステップＳ２０３では、システム制御部１１は、第１のフレーム画像ｐ０ａの信号をメモリ６に保持させる。ステップＳ２０３の後、システム制御部１１は、処理をステップＳ２０４へ進める。

ステップＳ２０４では、システム制御部１１は、全分割数に対応した所定フレーム数のフィルタ演算が完了したか否かを判断する。具体的には、本実施形態では、９分割に対応した９フレーム分のフィルタ演算が行われ、変数ｎが「０」〜「８」の値を取り得るため、システム制御部１１は、変数ｎが「８」になっている場合に演算が完了したと判断する。ステップＳ２０４において、システム制御部１１は、全分割数に対応した各フレーム画像のフィルタ演算が完了していないと判断した場合には処理をステップＳ２０５へ進め、一方、完了したと判断した場合には処理をステップＳ２０６へ進める。

ステップＳ２０５では、システム制御部１１は、次の２フレーム目のフィルタ演算に移るために、変数ｎに「ｎ＋１」をセットする。このときの変数ｎはステップＳ２００で設定された初期値の「０」であるため、ステップＳ２０５では変数ｎが「１」に設定されることになる。ステップＳ２０５の後、システム制御部１１は、ステップＳ２０１へ処理を戻す。

ステップＳ２０１に戻ると、システム制御部１１は、現像処理部３から出力された２フレーム目の画像信号をフィルタ処理部４へ入力させる。次のステップＳ２０２の処理に進むと、システム制御部１１は、フィルタ係数制御部５を制御してフィルタ処理部４へフィルタ係数を出力させる。このときのフィルタ処理部４は、前述の式（３）に示すようなフィルタ演算を行って第２のフレーム画像ｐ１ａを生成する。この場合も式（３）の演算は、フレーム画像全体に対して行われるものであり、したがって第２のフレーム画像ｐ１ａは、図６のフィルタ係数ｋ１を用いてフレーム画像全体にフィルタが掛けられた画像となる。

次のステップＳ２０３の処理に進むと、システム制御部１１は、第２のフレーム画像ｐ１ａの信号をメモリ６に保持させる。次のステップＳ２０４において、システム制御部１１は、全分割数に対応した各フレーム画像のフィルタ演算が完了したか否かを判断する。ステップＳ２０４において、システム制御部１１は、全分割数に対応したフレーム画像のフィルタ演算が完了していないと判断した場合には処理をステップＳ２０５へ進め、一方、完了したと判断した場合には処理をステップＳ２０６へ進める。このときのシステム制御部１１は、ステップＳ２０５へ処理を進め、変数ｎを「２」に設定して、ステップＳ２０１へ処理を戻す。

以下同様に、システム制御部１１は、ステップＳ２０１からＳ２０４、ステップＳ２０４からステップＳ２０５を経てステップＳ２０１へ戻る処理を、ステップＳ２０４で全分割数に対応した各フレーム画像のフィルタ演算が完了したと判断されるまで繰り返す。本実施形態では、前述のようにフィルタ分割数が９分割でフレーム数が９フレームであるため、変数の「ｎ」は「０」から「８」までインクリメントされていくことになる。ステップＳ２０５で変数ｎが「２」に設定された後、前述の処理が行われて順次変数ｎがインクリメントされた場合、ステップＳ２０１では、３フレーム目〜９フレーム目までの各フレーム画像が順番に入力されることになる。また、ステップＳ２０２では、３フレーム目〜９フレーム目までの各フレームの順に、前述した式（４）〜式（１０）に示す演算がフィルタ処理部４で順番に行われることになる。これら式（４）〜式（１０）に示すフィルタ演算により、フィルタ処理部４からは、第３のフレーム画像ｐ２ａ〜第９のフレーム画像ｐ８ａの信号が出力される。また、ステップＳ２０３では、それら第３のフレーム画像ｐ２ａ〜第９のフレーム画像ｐ８ａの信号がメモリ６に保持される。

そして、ステップＳ２０４にて全分割数に対応した各フレーム画像の演算が完了したと判断して処理をステップＳ２０６へ進めると、システム制御部１１は、合成比率生成部７に対して各フレームにおける光学ズーム情報を送る。これにより、合成比率生成部７では、前述したような合成比率を生成し、その合成比率の情報を合成部８へ出力する。ステップＳ２０６の後、システム制御部１１は、処理をステップＳ２０７へ進める。

ステップＳ２０７では、システム制御部１１は、合成部８を制御し、合成比率生成部７で生成された合成比率に基づいて、基準フレームと合成側フレームの画像を読み出させる。このときの合成部８は、システム制御部１１による制御の下、メモリ６から読み出す各画像の画素位置を制御して、そのメモリ６から参照位置の各画素を読み出す。また、システム制御部１１は、メモリ６に保持されている１フレーム目から９フレーム目の各フレーム画像から例えば動きベクトルなどの動き情報を算出し、その動き情報に基づいて、合成部８がメモリ６から画素を読み出す際の画素位置を補正する。すなわち、１フレーム目から９フレーム目の各フレーム画像は、それぞれ動画像のフレーム画像であり、撮影の際の被写体又は撮像装置の移動により、各フレーム画像内における被写体像等の位置が変わっている可能性がある。このため、システム制御部１１は、動き情報に基づいて合成部８がメモリ６から画素を読み出す際の画素位置を補正することにより、被写体や撮像装置の動きによる各フレーム画像内の被写体像等の動きを補償させる。ステップＳ２０７の後、システム制御部１１は、処理をステップＳ２０８へ進める。

ステップＳ２０８では、システム制御部１１は、合成部８を制御して、第１のフレーム画像ｐ０ａ〜第９のフレーム画像ｐ８ａから読み出された各画素を加算して合成させる。すなわち、このときの合成部８は、システム制御部１１による制御の下、メモリ６から読み出された各フレーム画像の各画素を加算により合成する。合成部８での画素加算による合成処理で形成されたフレーム画像の信号は、動画像に対する分割フィルタ処理によるボケ画像の信号となる。このフィルタ処理後のボケ画像は、前述した背景被写体合成部１０へ送られ、前述したように主被写体判別部９からの主被写体情報に基づいて抜き出された主被写体画像が合成されることになる。

ステップＳ２０８の後、システム制御部１１は、処理をステップＳ２０９へ進める。ステップＳ２０９では、システム制御部１１は、例えばユーザ等からの指示により動画像に対するぼかし処理を終了するか否か判断する。そして、システム制御部１１は、ステップＳ２０９においてぼかし処理を終了すると判断した場合には、この図９のフローチャートの処理を終了させる。

一方、ステップＳ２０９においてぼかし処理を終了しないと判断した場合、システム制御部１１は、ステップＳ２０１へ処理を戻す。すなわち例えば、前述のように１フレーム目〜９フレーム目の処理が終わった後には、システム制御部１１は、ステップＳ２０１で現像処理部３から出力された１０フレーム目の画像信号をフィルタ処理部４へ入力させる。システム制御部１１は、次のステップＳ２０２ではフィルタ処理部４に１０フレーム目の画像信号のフィルタ処理を行わせて第１０のフレーム画像ｐ９ａを生成させ、次のステップＳ２０３では第１０のフレーム画像ｐ９ａをメモリ６に保持させる。このときのメモリ６には、第２のフレーム画像ｐ１ａ〜第１０のフレーム画像ｐ９ａの９フレーム分が保持されていることになる。次に、ステップＳ２０４では、システム制御部１１は、９フレーム分の演算が完了していると判断して、ステップＳ２０６へ処理を進め、ステップＳ２０６で合成比率生成部７に光学ズーム情報に基づく合成比率を算出させて合成部８へ送らせる。そして、システム制御部１１は、ステップＳ２０７でメモリ６から第２のフレーム画像ｐ１ａ〜第１０のフレーム画像ｐ９ａを読み出させて、ステップＳ２０８で合成部８の加算による合成を行わせる。以下、同様であり、ステップＳ２０９でぼかし処理を終了すると判断されるまで、順次１フレームずつずらされながら、フィルタ処理部４でのフィルタ処理と合成部８での加算による合成処理がなされる。

＜第２の実施形態＞
次に、図１０〜図１２を参照しながら、第２の実施形態の撮像装置について説明する。第２の実施形態において、第１の実施形態で説明したものと同じ構成要素等にはそれぞれ第１の実施形態と同一の指示番号を付し、重複した説明は省略する。

第２の実施形態の撮像装置は、基準フレームに対し合成側フレームの方の画角が狭い（ズーム倍率が高い）場合に、違和感のある合成画像が生成される虞があるため、違和感のない合成画像の生成を可能とした画像信号処理装置の一例である。すなわち例えば、基準フレームに対し合成側フレームの方の画角が狭い場合、基準フレームより画角が狭い分だけ、合成側フレームにおける参照領域が不足してしまうことが起きる可能性がある。このように参照領域が不足したまま合成処理を行ってしまうと、その不足した参照領域には画素が無いので、合成処理後の画像は違和感のある画像になってしまう。このため、第２の実施形態の撮像装置は、不足してしまう参照領域を基準フレームより補うことで、違和感のない合成画像を生成可能としている。

図１０を用い、基準フレームに対し合成側フレームの方の画角が狭い（ズーム倍率が高い）場合に、合成側フレームで参照領域が不足する具体例について説明する。図１０（ａ）は、前述の図７の第５のフレーム画像ｐ４ａと同じ画像であり、着目画素位置が（ｋ，ｊ）であるときの空間フィルタの参照範囲２０００と着目画素に対する領域２００５を表す図である。この第５のフレーム画像ｐ４ａが基準フレームの画像であるとする。一方、図１０（ｂ）は、図７（ｉ）の第９のフレーム画像ｐ８ａと同じ画像であり、着目画素位置が（ｋ，ｊ）であるときの空間フィルタの参照範囲２０００と着目画素に対する領域２００９を表す図である。この第９のフレーム画像ｐ８ａが合成側フレームの画像であるとする。また、図１０（ａ）の領域３０００は、第９のフレーム画像ｐ８ａの画角に対応した領域を示している。図１０（ａ）における着目画素位置（ｋ，ｊ）は、図１０（ｂ）上では（ｍ，ｊ）の位置に該当し、（ｍ，ｊ）の位置を基準に領域２００９が設定されるため、第９のフレーム画像ｐ８ａの領域２００９における参照位置は、画像外となってしまう。すなわち、この図１０（ａ）と図１０（ｂ）から判るように、基準フレーム（第５のフレーム画像ｐ４ａ）に対し合成側フレーム（第９のフレーム画像ｐ８ａ）の方の画角が狭い場合に、合成側フレームの参照領域が不足する。

図１１には、不足する参照領域を基準フレームより補って違和感のない合成画像を生成可能とする、第２の実施形態の撮像装置の概略構成を示す。以下、第１の実施形態と異なる構成要素について説明する。図１１に示す第２の実施形態の撮像装置は、合成制御手段に含まれる拡大合成部１２を備えている。

拡大合成部１２は、基準フレーム及び合成側フレームの画像信号をメモリ６より読み出して取得する。また、拡大合成部１２は、システム制御部１１からの光学ズーム情報に基づいて、基準フレームと合成側フレームの画角（ズーム倍率）を比較し、基準フレームに対し合成側フレームの方の画角が狭くなっているか判定する。拡大合成部１２は、基準フレームよりも合成側フレームの画角が狭いと判定した場合、合成側フレームの参照位置が画像外になる可能性があると判断し、基準フレーム画像を合成側フレーム画像の画角（ズーム倍率）に合わせるように拡大する。具体的には、拡大合成部１２は、基準フレームに対し合成側フレームの方の画角が狭いと判定した場合、基準フレームの画角と合成側フレームの画角との間の差分（画角差分）を求める。そして、拡大合成部１２は、その画角差分に相当する倍率だけ、基準フレーム画像を拡大する。次に、拡大合成部１２は、合成側フレームの画角に合わせて拡大した基準フレーム画像から、合成側フレーム画像より外側となる領域に相当する画像部分のみを取り出し、その取り出した画像部分を合成側フレーム画像の周囲に合成する。これにより、拡大した基準フレーム画像から取り出した画像部分が周囲に合成された後の合成側フレーム画像における画角は、拡大前の基準フレーム画像における画角と同じになる。

図１２は、拡大合成部１２において、前述のように拡大した基準フレーム画像から取り出された画像部分が、合成側フレーム画像の周囲に合成された後の合成側フレーム画像ｐ８ｂの一例を示す図である。この図１２において、領域３００１は元の第９のフレーム画像ｐ８ａに対応しており、領域３００２は基準フレーム画像である第５のフレーム画像ｐ４ａを第９のフレーム画像ｐ８ａとの画角差分（倍率差）に合わせて拡大した画像に対応している。図１２の例では、領域３００１の外側の画像部分が、拡大された基準フレーム画像から取り出される画像部分であり、合成側フレーム画像（ｐ８ａ）の周囲に合成される画像部分である。この図１２のような合成後の合成側フレーム画像ｐ８ｂは、領域２００９の参照位置に画素が存在している。

拡大合成部１２は、前述のようにして、拡大した基準フレーム画像から参照領域が補われた合成側フレーム（画像ｐ８ｂ）の画像信号を、合成部８へ出力する。これにより、合成部８では、参照位置が存在している合成側フレーム（画像ｐ８ｂ）を用いた画像合成が可能となる。したがって、第２の実施形態の撮像装置によれば、違和感のない合成画像が生成されることになる。

＜第３の実施形態＞
次に、図１３と図１４を参照して、第３の実施形態の撮像装置について説明する。第３の実施形態において、第１の実施形態で説明したものと同じ構成要素等にはそれぞれ第１の実施形態と同一の指示番号を付し、重複した説明は省略する。

第３の実施形態の撮像装置は、基準フレームに対し合成側フレームの方の画角が狭い場合に、違和感のない合成画像の生成を可能とした画像信号処理装置の一例である。第３の実施形態は、基準フレームに対し合成側フレームの方の画角が狭い場合、基準フレーム自体を、画角が狭い（ズーム倍率が高い）フレーム画像へ切り替えることにより、合成側フレームで参照領域の不足が発生しないようにする。

図１３には、基準フレームを画角が狭い（ズーム倍率が高い）フレーム画像へ動的に切り替えることで、合成側フレームで参照領域の不足が発生しないようにして、違和感のない合成画像を生成可能とする、第３の実施形態の撮像装置の概略構成を示す。以下、第１の実施形態と異なる構成要素について説明する。図１３に示す第３の実施形態の撮像装置は、合成制御手段に含まれる基準フレーム選択部１３を備えている。

基準フレーム選択部１３は、システム制御部１１からの光学ズーム情報に基づいて、基準フレームと合成側フレームの画角を比較し、基準フレームに対し合成側フレームの方の画角が狭く（ズーム倍率が高く）なっているか判定する。基準フレーム選択部１３は、基準フレームより合成側フレームの方の画角が狭いと判定した場合、合成側フレームの参照位置が画像外になる可能性があると判断し、最も画角が狭い（最もズーム倍率が高い）フレームを選択する。具体的には、拡大合成部１２は、基準フレームより合成側フレームの方の画角が狭いと判定した場合、光学ズーム情報に基づいて、前述した９フレームのうち最も画角が狭いフレームを選択する。そして、基準フレーム選択部１３は、選択したフレームを基準フレームに設定し、その基準フレームが前述の９フレームのうちの何れのフレームであるかを、合成部８へ知らせる。

図１４を参照して、基準フレーム選択部１３が基準フレームを動的に切り替える例について説明する。図１４（ａ）〜図１４（ｋ）はそれぞれ時間順のフレーム画像ｐ１ｃ〜ｐ１１ｃの一例を示している。また、図１４（ａ）〜図１４（ｆ）のフレーム画像ｐ１ｃ〜ｐ６ｃは、画角を徐々に狭める（ズーム倍率を徐々に上げる）ズームインがなされた場合の各フレーム画像の一例を示している。一方、図１４（ｇ）〜図１４（ｋ）のフレーム画像ｐ７ｃ〜ｐ１１ｃは画角を徐々に広げる（ズーム倍率を徐々に下げる）ズームアウトがなされた場合の各フレーム画像の一例を示している。なお、図１４（ａ）〜図１４（ｋ）において、領域４０００は各画像上で着目画素に対して水平，垂直方向９タップの空間フィルタが参照する範囲を示している。領域４００１〜４０１１の各中心画素の位置は、着目画素に対する画像上の参照位置を示している。また、図１４（ａ）は、フレーム画像ｐ０ｃにおける着目画素及び空間フィルタの参照範囲と着目画素に対する画像上の参照位置を示した図である。以下同様に、図１４（ｂ）〜図１４（ｋ）はフレーム画像ｐ１ｃ〜ｐ１１ｃについての図である。

合成部８における合成処理では、９枚のフレーム画像があればよいので、先ず図１４（ａ）〜図１４（ｉ）の９枚のフレーム画像ｐ１ｃ〜ｐ９ｃの合成処理がなされる場合を例に挙げる。これら図１４（ａ）〜図１４（ｉ）のフレーム画像ｐ１ｃ〜ｐ９ｃにおいて、画角が最も狭いのは、図１４（ａ）のフレーム画像ｐ１ｃである。したがってこの場合、基準フレーム選択部１３は、このフレーム画像ｐ１ｃを基準フレームとして選択する。

合成部８は、次のフレーム画像を合成処理する際には、図１４（ｂ）〜図１４（ｊ）の９枚のフレーム画像ｐ２ｃ〜ｐ１０ｃを用いた合成処理を行うことになる。これら図１４（ｂ）〜図１４（ｊ）のフレーム画像ｐ２ｃ〜ｐ１０ｃにおいて、画角が最も狭いのは、図１４（ｂ）のフレーム画像ｐ２ｃと図１４（ｊ）のフレーム画像ｐ１０ｃである。このように、９枚のフレーム画像の中に、最も画角が狭いフレーム画像が複数存在する場合、基準フレーム選択部１３は、動画像における時間の連続性を考慮して、時間的に前のフレーム画像である図１４（ｂ）のフレーム画像ｐ２ｃを選択する。

さらに、合成部８は、次のフレーム画像を合成処理する際には、図１４（ｃ）〜図１４（ｋ）の９枚のフレーム画像ｐ３ｃ〜ｐ１１ｃを用いた合成処理を行うことになる。これら図１４（ｃ）〜図１４（ｋ）のフレーム画像ｐ３ｃ〜ｐ１１ｃにおいて、画角が最も狭いのは、図１４（ｋ）のフレーム画像ｐ１１ｃである。したがって、基準フレーム選択部１３は、このフレーム画像ｐ１１ｃを基準フレームとして選択する。

なお、前述した図１４（ａ）〜図１４（ｋ）のフレーム画像ｐ１ｃ〜ｐ１１ｃの例の場合、基準フレームは、先ず図１４（ａ）のフレーム画像ｐ１ｃが選択され、次に図１４（ｃ）のフレーム画像ｐ２ｃ、その後図１４（ｋ）のフレーム画像ｐ１１ｃが選択される。したがって、図１４（ｋ）のフレーム画像ｐ１１ｃよりも時間的に前の図１４（ｃ）〜図１４（ｊ）のフレーム画像ｐ３ｃ〜ｐ１０ｃは、何れも基準フレームとして選択されないことになる。すなわち、図１４（ｃ）〜図１４（ｊ）のフレーム画像ｐ３ｃ〜ｐ１０ｃが基準フレームとなされて合成された画像が抜けてしまうことになるので、時間方向の連続性は失われることになる。しかしながら、本実施形態の場合、合成側フレームで参照領域が不足することはないため、実際には違和感の無い合成画像を得ることができる。

以上のように、第３の実施形態によれば、基準フレームに対し合成側フレームの方の画角が狭い場合、基準フレームを画角が狭い（ズーム倍率が高い）フレーム画像へ動的に切り替えることで、違和感のない合成画像を生成可能となる。

＜第４の実施形態＞
次に、図１５〜図１７を参照して、第４の実施形態の撮像装置について説明する。第４の実施形態において、第１の実施形態で説明したものと同じ構成要素等にはそれぞれ第１の実施形態と同一の指示番号を付し、重複した説明は省略する。

図１５には、第４の実施形態の撮像装置の概略構成を示す。以下、第１の実施形態と異なる構成要素について説明する。図１５に示す第４の実施形態の撮像装置は、図１に示した第１の実施形態の撮像装置の合成比率生成部７に代えて、合成制御手段の一例である読み出し制御部１４を備えている。

読み出し制御部１４には、システム制御部１１から光学ズーム情報が供給され、したがって、基準フレームに対する合成側フレームの画角（ズーム倍率）を知ることができる。そして、読み出し制御部１４は、基準フレームに対する合成側フレームの画角（ズーム倍率）に基づいて、合成部８による読み出し位置を制御する。すなわち、読み出し制御部１４は、参照領域の中心（参照位置）が、基準フレームと合成側フレームが同画角であるときの参照位置に重なるように、合成部８によるメモリ６の読み出し位置を制御する。

読み出し制御部１４による読み出し位置制御について、前述の図７（ａ）〜図７（ｊ）と、図１６（ａ），図１６（ｂ）を用いて説明する。なお、図１６（ａ）は基準フレームに対する合成側フレームの画角（ズーム倍率）と、読み出し制御部１４が読み出し位置をずらすような制御を行う際のずらし量との関係を示す図である。なお、読み出し位置のずらし量とは、前述の図７（ｊ）の各領域２００１〜２００９の場合の各参照位置に対応した読み出し位置に対して、読み出し制御部１４が画角に応じて求める読み出し位置との差に相当する。言い換えると、読み出し制御部１４は、図７（ｊ）の各領域２００１〜２００９の場合の各参照位置に対応した読み出し位置を、画角に応じたずらし量だけずらすような読み出し位置制御を行う。図１６（ｂ）は、第５のフレーム画像ｐ４ａを基準フレームとし、他のフレーム画像ｐ０ａ〜ｐ３ａ，ｐ５ａ〜ｐ８ａを基準フレームの画角に合わせた場合の各領域２００１ｒ〜２００９ｒを、基準フレームの画像上に並べた図である。すなわち、図１６（ｂ）は、読み出し制御部１４により画角に応じた読み出し制御がなされた場合の、基準フレーム画像（ｐ４ａ）と、他の合成側フレーム画像（ｐ０ａ〜ｐ３ａ，ｐ５ａ〜ｐ８ａ）の各領域２００１ｒ〜２００９ｒの位置関係を表している。

ここで、前述した図７（ｊ）で説明したように、各フレーム画像においてフィルタ処理の際に参照される範囲の大きさは、画角（ズーム倍率）によって変わっている。例えば、基準フレームが第５のフレーム画像ｐ４ａで、合成側フレームが第９のフレーム画像ｐ８ａの場合、基準フレームに対して合成側フレームの画角が狭いため、図７（ｊ）の領域２００９のように参照領域が狭くなってぼかし量は少なくなる。一方、例えば、基準フレームが第９のフレーム画像ｐ８ａで、合成側フレームが第１のフレーム画像ｐ１ａの場合、合成側フレームの画角が広いため、図７（ｊ）の領域２００１のように参照領域が広くなってぼかし過ぎになる。

このようなことから、第４の実施形態において、読み出し制御部１４は、参照領域の中心（参照位置）が、基準フレームと合成側フレームが同画角であるときの参照位置に重なるように、合成部８による読み出し位置を制御する。具体的には、基準フレームが第５のフレーム画像ｐ４ａで、合成側フレームが第９のフレーム画像ｐ８ａの場合、読み出し制御部１４は、前述の図５（ｊ）の領域１００９と中心位置が重なる、図１６（ｊ）の領域２００９ｒの中心を、参照位置とする。一方、基準フレームが第９のフレーム画像ｐ８ａで、合成側フレームが第５のフレーム画像ｐ４ａの場合、読み出し制御部１４は、前述の図５（ｊ）の参照領域１００１と中心位置（参照位置）が重なる、図１６（ｊ）の領域２００１ｒの中心を、参照位置とする。

図１６（ｂ）と図７（ｊ）を、図５（ｉ）と対比させて説明すると、図７（ｊ）の各領域２００１ｒ〜２００９ｒの中心位置は、図５（ｊ）の各領域１００１〜１００９の中心位置から離れている。一方、図１６（ｂ）の各領域２００１ｒ〜２００９ｒの中心位置は、図５（ｊ）の各領域１００１〜１００９の中心位置と一致している。すなわち、図１６（ｂ）のような領域２００１ｒ〜２００９ｒの中心が参照位置となるような読み出し制御が行われた場合、合成部８による合成処理後の画像は、図７（ｊ）の場合の合成処理後の画像よりも、ぼかし具合のバランスが良い画像となる。このように、第４の実施形態の撮像装置によれば、動画像の撮像において光学ズームの倍率が変更されて画角が異なった場合に、読み出し位置制御を行うことで、ぼかし具合のバランスをとることができ、ぼかし具合の変動を軽減することが可能である。

次に、図１７には、第４の実施形態におけるフィルタ処理から合成処理までのフローチャートを示す。図１７のフローチャートは、システム制御部１１が、フィルタ処理部４の制御、メモリ６の制御、読み出し制御部１４における読み出し位置制御、合成部８の合成制御を行うことにより実行される。なお、図１７において、前述の図９で説明した各ステップと同じ処理には同一の指示番号を付し、重複した説明は省略する。

図１７において、前述の図９のフローチャートと異なる処理が行われるのはステップＳ３０６である。図１７のフローチャートにおいて、ステップＳ２０４で全分割数に対応した所定フレーム数分の演算が完了したと判断すると、システム制御部１１は、処理をステップＳ３０６へ進める。ステップＳ３０６では、システム制御部１１は、読み出し制御部１４に対して、各フレームにおける光学ズーム情報を送る。これにより、読み出し制御部１４は、基準フレームと合成側フレームの画角（ズーム倍率）に基づいて、前述した図１６（ａ）で説明したような読み出し位置のずらし量を生成し、そのずらし量の情報を合成部８へ出力する。ステップＳ３０６の後、システム制御部１１は、処理をステップＳ２０７へ進める。したがって、ステップＳ２０７において、合成部８は、合成処理の際には、読み出し制御部１４で求められたずらし量を加味した読み出し位置の画素の読み出しを行うことになる。

＜第５の実施形態＞
次に、図１８には、第５の実施形態の撮像装置の概略構成を示す。第５の実施形態において、第１，第２，第４の実施形態で説明したものと同じ構成要素等にはそれぞれ第１，第２，第４の実施形態と同一の指示番号を付し、重複した説明は省略する。

第５の実施形態は、前述した第２の実施形態と同様、基準フレームに対し合成側フレームの方の画角が狭い場合に、不足してしまう参照領域を基準フレームより補うことで、違和感のない合成画像を生成可能とする例である。すなわち、図１８に示す第５の実施形態の撮像装置は、図１１に示した第２の実施形態で説明したものと同じ拡大合成部１２を備えている。

第５の実施形態の撮像装置においても前述の第２の実施形態の場合と同様に、不足してしまう参照領域を基準フレームより補うことで、違和感のない合成画像を生成可能となる。

＜第６の実施形態＞
図１９には、第６の実施形態の撮像装置の概略構成を示す。第６実施形態において、第１，第３，第４の実施形態で説明したものと同じ構成要素等にはそれぞれ第１，第３，第４の実施形態と同一の指示番号を付し、重複した説明は省略する。

第６の実施形態は、前述した第３の実施形態と同様、基準フレームに対し合成側フレームの方の画角が狭い場合に、基準フレームを動的に切り替えることにより、合成側フレームで参照領域の不足が発生しないようにする例である。すなわち、図１９に示す第６の実施形態の撮像装置は、図１３に示した第３の実施形態で説明したものと同じ基準フレーム選択部１３を備えている。

第６の実施形態の撮像装置においても前述の第３の実施形態の場合と同様、基準フレームに対し合成側フレームの方の画角が狭い場合、基準フレームを動的に切り替えることで、違和感のない合成画像を生成可能となる。

＜その他の実施形態＞
前述の各実施形態では、動画像のフレーム画像に対するフィルタ処理と合成処理を例に挙げているが、本発明は、動画像だけでなく例えば高速連写による各撮影画像に対するフィルタ処理と合成処理にも適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 光学系、２ 撮像素子、３ 現像処理部、４ フィルタ処理部、５ フィルタ係数制御部、６ メモリ、７ 合成比率生成部、８ 合成部、９ 主被写体判別部、１０ 背景被写体合成部、１１ システム制御部、１２ 拡大合成部、１３ 基準フレーム選択部、１４ 読み出し制御部

Claims (10)

1. 撮像順に入力されるフレーム画像に対し、所定フレーム数ごとに、前記フレーム画像の撮像順にフィルタ係数を制御したフィルタ処理を行うフィルタ手段と、
   前記フィルタ手段によるフィルタ処理後のフレーム画像を、順次１フレームずつずらしながら前記所定フレーム数ごとに合成処理する合成手段と、
   前記フレーム画像が撮像された際の画角に基づいて、前記合成手段による前記フレーム画像の前記合成処理を制御する合成制御手段と
   を有することを特徴とする画像信号処理装置。
2. 前記所定フレーム数は、水平，垂直方向が複数タップの空間フィルタを複数に分割した分割数に対応しており、
   前記フィルタ手段は、前記空間フィルタを前記複数に分割した分割フィルタごとのフィルタ係数を、前記所定フレーム数の前記フレーム画像の順に用いた、前記フィルタ処理を行い、
   前記合成手段は、前記フィルタ処理後の前記所定フレーム数の各フレーム画像の画素を加算する合成処理を行うことを特徴とする請求項１に記載の画像信号処理装置。
3. 前記合成手段は、前記フィルタ処理後の前記所定フレーム数の各フレーム画像のうち、前記合成処理の際に基準となる基準フレーム画像の画素と、前記基準フレーム画像に合成する側となる合成側フレーム画像の所定の位置の画素とを加算する前記合成処理を行い、
   前記合成制御手段は、前記フレーム画像が撮像された際の画角に基づいて、前記基準フレーム画像の画素に対して前記加算される前記合成側フレーム画像の前記画素に重みを付けて、前記基準フレーム画像と前記合成側フレーム画像の合成比率を制御することを特徴とする請求項１又は２に記載の画像信号処理装置。
4. 前記合成制御手段は、前記基準フレーム画像に対する前記合成側フレーム画像の画角が狭くなるほど、前記合成側フレーム画像の前記画素の重みを重くして、前記基準フレーム画像に対する前記合成側フレーム画像の合成比率を高くすることを特徴とする請求項３に記載の画像信号処理装置。
5. 前記合成手段は、前記フィルタ処理後の前記所定フレーム数の各フレーム画像のうち、前記合成処理の際に基準となる基準フレーム画像の画素と、前記基準フレーム画像に合成する側となる合成側フレーム画像の所定の位置の画素とを加算する前記合成処理を行い、
   前記合成制御手段は、前記フレーム画像が撮像された際の画角に基づいて、前記合成手段で前記基準フレーム画像の画素に前記加算される前記合成側フレーム画像の前記画素に対する、前記所定の位置を制御することを特徴とする請求項１又は２に記載の画像信号処理装置。
6. 前記合成制御手段は、前記基準フレーム画像の画角に対して前記合成側フレーム画像の画角が異なる場合、前記基準フレーム画像の画素に前記加算される合成側フレーム画像の前記画素に対する前記所定の位置を、前記基準フレームと前記合成側フレームが同画角であるときの所定の位置に合わせるように制御することを特徴とする請求項５に記載の画像信号処理装置。
7. 前記合成制御手段は、前記基準フレーム画像に対して前記合成側フレーム画像の画角が狭い場合、前記基準フレーム画像と前記合成側フレーム画像の画角差分に応じて前記基準フレーム画像を拡大し、前記拡大した基準フレーム画像から前記画角差分に対応した画像部分を取得し、前記取得した画像部分を前記合成側フレーム画像の周囲に合成し、
   前記合成手段は、前記画像部分が周囲に合成された前記合成側フレーム画像の前記画素と、基準フレーム画像の画素とを加算する前記合成処理を行うことを特徴とする請求項３乃至６のいずれか１項に記載の画像信号処理装置。
8. 前記合成制御手段は、前記所定フレーム数のフレーム画像のうち、最も画角が狭いフレーム画像を前記基準フレーム画像とすることを特徴とする請求項３乃至６のいずれか１項に記載の画像信号処理装置。
9. 撮像順に入力されるフレーム画像に対してフィルタ処理を施す画像信号処理装置が実行する画像信号処理方法であって、
   撮像順に入力されるフレーム画像に対し、所定フレーム数ごとに、前記フレーム画像の撮像順にフィルタ係数を制御するフィルタ処理を行うフィルタステップと、
   前記フィルタステップによるフィルタ処理後のフレーム画像を、順次１フレームずつずらしながら前記所定フレーム数ごとに合成処理する合成ステップと、
   前記フレーム画像が撮像された際の画角に基づいて、前記合成ステップによる前記フレーム画像の前記合成処理を制御する合成制御ステップと
   を含むことを特徴とする画像信号処理方法。
10. コンピュータを、
    撮像順に入力されるフレーム画像に対し、所定フレーム数ごとに、前記フレーム画像の撮像順にフィルタ係数を制御するフィルタ処理を行うフィルタ手段と、
    前記フィルタ手段によるフィルタ処理後のフレーム画像を、順次１フレームずつずらしながら前記所定フレーム数ごとに合成処理する合成手段と、
    前記フレーム画像が撮像された際の画角に基づいて、前記合成手段による前記フレーム画像の前記合成処理を制御する合成制御手段と
    して機能させるプログラム。

Images