JP2011114823A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】明瞭な被写体と被写体の移動に応じてぼけた背景とが違和感なく合成された画像を得る画像処理装置や、当該画像処理装置を備えた撮像装置を提供する。
【解決手段】流し撮り処理部５０ａは、連写画像の背景領域と被写体領域とを特定して背景領域情報と被写体領域情報とを出力する背景被写体特定部５１と、背景領域情報に基づいて背景画像を生成する背景画像生成部５２と、被写体領域情報に基づいて被写体画像を生成する被写体画像生成部５３と、被写体の移動情報を算出する移動情報算出部５４と、移動情報に基づいて背景画像をぼけさせる補正を行う背景画像補正部５５と、補正された背景画像に被写体画像を合成する合成部５６と、を備える。背景画像及び被写体画像は、複数の連写画像に基づいて生成される。
【選択図】図２

Description

本発明は、入力される複数の画像を用いて新たな画像を生成する画像処理装置や、当該画像処理装置を備え当該複数の画像を撮像により得る撮像装置に関する。

被写体（主な撮像対象であり背景と区別され得る物体。以下、単に「被写体」とする）が画角内に収まるように、被写体の移動に合わせて撮像装置を動かし撮像する、いわゆる「流し撮り」という撮像手法が、従来知られている。この手法により撮像されて得られる画像は、被写体は明瞭であるが背景は被写体の移動方向に沿ってぼけた（流れた）ものとなり、被写体の移動（動き）が効果的に表現されたものとなる。

しかし、「流し撮り」を行うためには、移動する被写体に応じて撮像装置を動かす必要があり、初心者が容易に実践できるものではなかった。そこで、撮像装置を被写体に応じて動かすことなく、撮像して得られた画像に対して事後的に画像処理を施すことにより、流し撮りの効果が付与された画像を得る撮像装置が、種々提案されている。

例えば、特許文献１及び２では、撮像により得られた複数の画像のそれぞれから被写体領域を検出し、それぞれの被写体領域が重なるように複数の画像を合成することにより、被写体の移動方向及び移動量に応じて背景をぼけさせた画像を得る撮像装置が提案されている。

また、特許文献３では、１枚の画像から被写体領域を検出するとともに被写体の移動方向及び移動量を推定し、推定された情報に基づいて当該画像の領域毎に異なる補正を施すことで、被写体領域のぼけを修正して明瞭化し、かつ背景領域を被写体の移動方向及び移動量に応じてぼけさせた画像を得る撮像装置が提案されている。

さらに、特許文献４では、撮像前に被写体とその移動方向とを特定するとともに、撮像により、被写体が含まれない背景画像と、背景及び被写体が含まれる画像とを得て、これらの画像を比較することで被写体画像を生成し、被写体の移動方向に沿ってぼけさせた背景画像に当該被写体画像を合成した画像を得る撮像装置が提案されている。

特開２００６−３３９９０３号公報 特開２００９−２０７０３４号公報 特開２００６−５００７０号公報 特開２００６−３３９７８４号公報

しかしながら、特許文献１及び２の撮像装置では、各画像中の被写体の大きさや形状などが一致しなければ、処理によって得られる画像中の被写体が不明瞭となるため、問題となる。また、被写体が複雑に移動すると、背景が被写体の移動に沿わずにぼけて不自然なものとなるため、問題となる。

また、特許文献３の撮像装置では、被写体領域の特定や移動方向及び移動量の推定が精度良く行なわれない限り、補正後の画像中で被写体が不明瞭となったり、背景が被写体の移動に沿わずにぼけて不自然なものとなったりするため、問題となる。

さらに、特許文献４の撮像装置では、被写体を含む画像の撮像後に背景画像を撮像する必要があるため、被写体がフレームアウトするまで一連の撮像を終了することができない。そして、被写体がフレームアウトするまでの時間が長くなると、背景や撮像環境（周囲の明るさなど）が変化する可能性が高くなり、当該変化によって被写体画像が良好に生成できなくなったり、背景画像と被写体画像との間に明るさなどの差異が生じたりする。すると、合成後の画像中で被写体が不明瞭となったり、合成後の画像中の被写体と背景とに違和感が生じたりするため、問題となる。

そこで、本発明は、明瞭な被写体と被写体の移動に応じてぼけた背景とが違和感なく合成された画像を得る画像処理装置や、当該画像処理装置を備えた撮像装置を提供することを目的とする。

上記目的を達成するために、本発明における画像処理装置は、時間的に連続する撮像により得られる複数の連写画像について、背景を表示する領域である背景領域と、被写体を表示する領域である被写体領域と、をそれぞれ特定する背景被写体特定部と、前記背景被写体特定部で特定される背景領域に基づいて、背景を表示する画像である背景画像を生成する背景画像生成部と、前記背景被写体特定部で特定される被写体領域に基づいて、被写体を表示する画像である被写体画像を生成する被写体画像生成部と、前記背景被写体特定部で特定される被写体領域に基づいて被写体の移動方向を導出するとともに、被写体の移動方向に沿ってぼけさせる補正を背景画像に施す補正部と、前記補正部で補正された背景画像に被写体画像を合成する合成部と、を備えることを特徴とする。

なお、以下に示す実施の形態では、補正部の一例として、背景画像補正部及び移動情報算出部を挙げて説明している。

また、上記構成の画像処理装置において、前記背景画像生成部が、少なくとも２つの連写画像のそれぞれで特定された背景領域の画像を用いて背景画像を生成し、前記被写体画像生成部が、１つの連写画像で特定された被写体領域の画像を用いて被写体画像を生成することとしても構わない。

また、上記構成の画像処理装置において、前記背景領域特定部が、少なくとも２つの連写画像の差分に基づいて、連写画像の背景領域と被写体領域とをそれぞれ特定することとしても構わない。

このように構成すると、容易かつ効果的に背景領域と被写体領域とを特定することが可能となる。

また、上記構成の画像処理装置において、前記補正部が、前記合成部で合成される被写体画像に表示される被写体の移動方向を導出し、前記合成部で当該被写体画像と合成される補正された背景画像が、当該被写体の移動方向に沿ってぼけさせる補正が施されたものであることとしても構わない。

このように構成すると、合成後の画像に含まれる被写体の移動方向と、背景のぼける方向とを略一致させることが可能となる。

また、上記構成の画像処理装置において、前記被写体画像生成部が、連写画像の被写体領域が示す被写体の位置、大きさ、画像特徴及び撮像順の少なくとも１つに基づいて選択した被写体を示す被写体画像を生成し、前記合成部が、当該被写体画像を前記補正部で補正された背景画像に合成することとしても構わない。

このように構成すると、ユーザが所望する被写体を自動的に選択し、合成後の画像に当該被写体を含めることが可能となる。

また、上記構成の画像処理装置において、前記補正部が、前記背景被写体特定部で特定されるそれぞれの被写体領域が表示するそれぞれの被写体の移動量を算出し、前記被写体画像生成部が、それぞれの被写体の移動量に基づいて選択した被写体を表示する被写体画像を生成し、前記合成部が、当該被写体画像を前記補正部で補正された背景画像に合成することとしても構わない。

このように構成すると、ユーザが所望する移動状態の被写体を自動的に選択し、合成後の画像に含めることが可能となる。

また、上記構成の画像処理装置において、前記補正部が、ある連写画像の被写体領域と、当該ある連写画像より時間的に前または後に撮像されて得られる連写画像の被写体領域と、を用いて、当該ある連写画像の被写体領域が表示する被写体の移動方向を導出することとしても構わない。

このように構成すると、精度よくかつ容易に被写体の移動方向を算出することが可能となる。

また、本発明の撮像装置は、時間的に連続する撮像により複数の連写画像を生成する撮像部と、前記撮像部で生成される連写画像に基づいて、流し撮り処理画像を生成する上記の画像処理装置と、を備えることを特徴とする。

また、上記構成の撮像装置において、ユーザの指示が入力される操作部と、画像を表示する表示部と、画像を記録する記録部と、補正された背景画像と被写体画像とを前記合成部で合成することにより得られる流し撮り処理画像の少なくとも１つを表示する提示画像を生成する提示画像生成部と、をさらに備え、前記表示部が、前記提示画像を表示し、前記記録部が、前記操作部に入力されるユーザの指示によって選択される流し撮り処理画像を記録することとしても構わない。

このように構成すると、ユーザが、流し撮り処理の効果が表れた流し撮り処理画像を実際に確認した上で、記録部への記録の要否を決定することが可能となる。そのため、ユーザが所望する流し撮り処理画像を確実に記録し、不要な流し撮り処理画像が記録されることを抑制することが可能となる。

本発明の構成とすると、連写画像の背景領域に基づいて背景画像が生成され、被写体領域に基づいて被写体画像が生成される。そのため、背景画像の生成に際して、被写体を含まない画像を別途撮像により得る必要を無くすことができる。即ち、背景の状態や撮像環境が連写画像と大きく異なる背景画像が生成されることを、抑制することが可能となる。したがって、被写体が明瞭であり、かつ被写体と背景とが違和感なく合成された流し撮り処理画像を生成することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。 は、第１実施例の流し撮り処理部の構成例を示すブロック図である。 は、第１実施例の流し撮り処理部の動作例を示すフローチャートである。 は、連写画像の一例を示す図である。 は、図４の連写画像の差分画像を示す図である。 は、図４の連写画像の背景領域特定画像を示す図である。 は、図４の連写画像の被写体領域特定画像を示す図である。 は、図４の連写画像を用いて生成される背景マップ画像の一例を示す図である。 は、図４の連写画像を用いて生成される被写体マップ画像の一例を示す図である。 は、図４の連写画像を用いて生成される背景画像の一例を示す図である。 は、図４の連写画像を用いて生成される提示画像の一例を示す図である。 は、図４の連写画像を用いて生成される被写体画像の一例を示す図である。 は、図９の被写体マップ画像を用いて算出される移動情報の一例を示す図である。 は、図１３の移動情報に基づいて生成されるフィルタの一例を示す図である。 は、図１０の背景画像を図１４のフィルタを用いて補正して生成される補正後の背景画像を示す図である。 は、図１５の補正後の背景画像と図１２の被写体画像とを合成して生成される流し撮り処理画像を示す図である。 は、第１選択方法例について説明する図である。 は、第２選択方法例について説明する図である。 は、第３選択方法例について説明する図である。 は、第４選択方法例について説明する図である。 は、第２実施例の流し撮り処理部の構成例を示すブロック図である。 は、第２実施例の流し撮り処理部の動作例を示すフローチャートである。 は、第２実施例の流し撮り処理部の被写体画像生成部による被写体の選択方法の一例を示す図である。 は、第３実施例の流し撮り処理部の構成例を示すブロック図である。 は、第３実施例の流し撮り処理部の動作例を示すフローチャートである。 は、第３実施例の流し撮り処理部の提示画像生成部が生成する提示画像の一例を示す図である。

本発明の実施の形態について、以下図面を参照して説明する。最初に、本発明の実施の一形態である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音、動画及び静止画の記録が可能なものである。

＜＜撮像装置＞＞
まず、本発明の実施の一形態である撮像装置の全体構成例について、図１を参照して説明する。図１は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、対象物の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部Ｓが構成され、この撮像部Ｓによって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部５と、入力される音を電気信号に変換する集音部６と、集音部６から出力されるアナログ信号である音響信号をデジタル信号に変換するＡＤＣ（Analog to Digital Converter）７と、ＡＤＣ７から出力される音響信号に対してノイズ除去などの各種音響処理を施して出力する音響処理部８と、画像処理部５から出力される画像信号と音響処理部８から出力される音響信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部５から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

画像処理部５は、流し撮り処理を行う流し撮り処理部５０を備える。本例における「流し撮り処理」とは、連続的に撮像されて得られる複数の画像信号を用いて、被写体が鮮明でありかつ背景が被写体の移動方向にぼけた画像の画像信号を生成する処理である。なお、流し撮り処理部５０の詳細については、後述する。

また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をディスプレイなどの表示装置（不図示）で表示するためにアナログ信号に変換する画像信号出力回路部１３と、伸長処理部１２で復号されて得られる音響信号をスピーカなどの再生装置（不図示）で再生するためにアナログ信号に変換する音響信号出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス２０と、を備える。なお、以下では説明の簡略化のため、各ブロックのやりとりにおいてバス１９，２０を省略する。

なお、動画と静止画の画像信号を生成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ生成可能な構成であっても構わない。この場合、集音部６やＡＤＣ７、音響処理部８、音響信号出力回路部１４などを備えない構成としても構わない。

また、表示装置やスピーカは、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。

また、外部メモリ１０は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の全体動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ４に画像信号を出力する。

そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部５に入力される。画像処理部５では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部５が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部５に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

また、所定の場合（例えば、ユーザによって流し撮り処理を行うモードが選択される場合など）、流し撮り処理部５０は、画像処理部５に入力される複数の画像信号を用いて流し撮り処理を行い、処理後の画像信号を出力する。

動画の画像信号を生成する場合、集音部６において集音を行う。集音部６で集音されて電気信号に変換される音響信号は、音響処理部８に入力される。音響処理部８は、入力される音響信号をデジタル信号に変換するとともにノイズ除去や音響信号の強度制御などの各種音響処理を施す。そして、画像処理部５から出力される画像信号と、音響処理部８から出力される音響信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。

一方、静止画の画像信号を生成する場合、画像処理部５から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。

外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号することで画像信号及び音響信号を生成し、出力する。そして、画像信号出力回路部１３が、伸長処理部１２から出力される画像信号を表示装置で表示可能な形式に変換して出力し、音響信号処理回路部１４が、伸長処理部１２から出力される音響信号をスピーカで再生可能な形式に変換して出力する。また、外部メモリ１０に記録された静止画の圧縮符号化信号も同様に処理される。即ち、伸長処理部１２が圧縮符号化信号を伸長及び復号して画像信号を生成し、画像信号出力回路部１３が当該画像信号を表示装置で再生可能な形式に変換して出力する。

なお、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部５から出力される画像信号を圧縮せずに画像信号出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮して外部メモリ１０に記録する動作と並行して、画像信号出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。

＜＜流し撮り処理部＞＞
次に、上述した流し撮り処理部５０の詳細について、３つの実施例を挙げるともに、それぞれについて図面を参照して説明する。また、以下では説明の具体化のために、流し撮り処理部５０で処理される画像信号を画像として表現する。特に、流し撮り処理部５０に入力される、連続的な撮像（連写）によって得られる複数の画像信号のそれぞれを「連写画像」とする。また、流し撮り処理によって生成される画像信号を「流し撮り処理画像」とする。

＜第１実施例＞
まず、流し撮り処理部の第１実施例について、図面を参照して説明する。図２は、第１実施例の流し撮り処理部の構成例を示すブロック図である。

図２に示すように、流し撮り処理部５０ａは、複数の連写画像について背景を表示する背景領域と被写体を表示する被写体領域とをそれぞれ特定して背景領域情報と被写体領域情報とを出力する背景被写体特定部５１と、背景被写体特定部５１から出力される背景領域情報に基づいて背景を表示する画像である背景画像を生成し出力する背景画像生成部５２と、合成すべき被写体を選択して選択被写体情報を出力するとともに背景被写体特定部５１から出力される被写体領域情報に基づいて選択した被写体を表示する画像である被写体画像を生成し出力する被写体画像生成部５３と、背景被写体特定部５１から出力される被写体領域情報と被写体画像生成部５３から出力される選択被写体情報とに基づいて被写体の移動情報を算出し出力する移動情報算出部５４と、背景画像生成部５２から出力される背景画像に対して移動情報算出部５４から出力される移動情報に基づいた補正を施し出力する背景画像補正部５５と、背景画像補正部５５から出力される補正後の背景画像に被写体画像生成部５３から出力される被写体画像を合成することで流し撮り処理画像を生成する合成部５６と、背景被写体特定部５１から出力される被写体領域情報に基づいてユーザに提示するための画像である提示画像を生成し出力する提示画像生成部５７と、を備える。

被写体画像生成部５３は、選択指示（ユーザが合成すべき被写体を選択し、操作部１７などを介して入力する指示）に基づいて被写体を選択したり、所定の選択方法（プログラム）に基づいて自動的に合成すべき被写体を選択したりする。なお、被写体画像生成部５３が、自動的に合成すべき被写体を選択するのみである場合など、選択指示が被写体画像生成部５３に入力されない構成としても構わない。

背景領域情報とは、連写画像中の背景領域の位置や、背景領域の画像（例えば、画素値）などを示すものである。同様に、被写体領域情報とは、連写画像中の被写体領域の位置や画像（例えば、画素値）などを示すものである。なお、被写体画像生成部５３、移動情報算出部５４及び提示画像生成部５７に入力される被写体領域情報は、同一のものであっても構わないし、異なるものであっても構わない。

また、移動情報とは、被写体の移動に関する情報である。例えば、被写体の移動方向や、移動量（速さとも解釈し得る）を示す情報である。また、選択被写体情報とは、被写体画像生成部５３において選択された被写体や、当該被写体が含まれる連写画像などを示す情報である。

また、流し撮り処理部５０ａの動作例について、図面を参照して説明する。図３は、第１実施例の流し撮り処理部の動作例を示すフローチャートである。なお、以下では流し撮り処理部５０ａのほかに、図１に示す撮像装置１の流し撮り処理に関連する部分の動作についても併せて説明する。

図３に示すように、流し撮り処理部５０ａが動作を開始すると、最初に連写画像の取得を行う（ＳＴＥＰ１）。連写画像は、ＣＰＵ１５によって制御された撮像部Ｓが、所定のタイミング（詳細は後述）で連続的に撮像することで生成される。流し撮り処理部５０ａは、流し撮り処理に必要な全ての連写画像を取得するまで（ＳＴＥＰ２、ＮＯ）、順次連写画像を取得する（ＳＴＥＰ１）。

全ての連写画像を流し撮り処理部５０ａが取得すると（ＳＴＥＰ２、ＹＥＳ）、背景被写体特定部５１が、取得した連写画像の背景領域と被写体領域とを特定する（ＳＴＥＰ３）。背景被写体特定部５１は、取得した連写画像のそれぞれについて背景領域と被写体領域とを特定するまで（ＳＴＥＰ４、ＮＯ）、順次特定を行う（ＳＴＥＰ３）。

この特定方法の一例について、図４〜図７を参照して説明する。図４は、連写画像の一例を示す図であり、図５は、図４の連写画像の差分画像を示す図であり、図６は、図４の連写画像の背景領域特定画像を示す図であり、図７は、図４の連写画像の被写体領域特定画像を示す図である。なお、以下では説明の具体化のために、図４に示す２つの連写画像１００，１１０のそれぞれから、被写体である人以外を表示する背景領域１０１，１１１と、被写体である人を表示する被写体領域１０２，１１２と、を特定する場合を例示する。

図４に示す連写画像１００は、連写画像１１０よりも時間的に前（例えば、直前）に撮像されたものであり、被写体領域１０２が、連写画像１００の左側に位置している。一方、連写画像１１０では、被写体領域１１２が連写画像１１０の略中央に位置している。なお、連写画像１００，１１０は、三脚等で固定された撮像装置１で撮像されて得られたものであり、連写画像１００，１１０の撮像に際して撮像装置１が動いていない（即ち、連写画像１００，１１０の背景がずれていない）ものとする。

図４の連写画像１００，１１０の差分を求めることで、図５に示す差分画像１２０が得られる。差分画像１２０では、連写画像１００，１１０の被写体領域１０２，１１２のそれぞれに相当する領域（以下説明の簡略化のため、当該領域も被写体領域とよぶ）１２２，１２３の画素値（差分値）の絶対値は大きくなるが、背景領域１２１の画素値は小さくなる。そのため、差分画像１２０の画素値を確認することで、連写画像１００，１１０の背景領域１０１，１１１と被写体領域１０２，１１２とをそれぞれ特定することができる。ただし、差分画像１２０で特定された被写体領域１２２，１２３のそれぞれが、連写画像１００，１１０のいずれの被写体領域１０２，１１２に該当するものであるかを決定する必要がある。

この決定は、例えば、差分画像１２０と連写画像１００，１１０のそれぞれとを比較する（例えば、連写画像１００，１１０のそれぞれについて、差分画像１２０の被写体領域１２２，１２３に相当するそれぞれの領域の画素値が、その周囲の画素値と異なっているか否かを確認する）ことで行うことができる。これにより、連写画像１００，１１０のそれぞれについて被写体領域１０２，１１２を特定することが可能となる。また反対に、それぞれの連写画像１００，１１０における背景領域１０１，１１１を特定することが可能となる。

上述の例は連写画像が２つの場合であるが、３つ以上の場合、差分画像を複数生成することができる。差分画像を複数生成することができる場合、それぞれの差分画像で特定された被写体領域を比較することのみでも、それぞれの連写画像の被写体領域及び背景領域を特定することができる。

具体的に例えば、３つの連写画像から生成される２つの差分画像中で共通する被写体領域を、２つの差分画像を生成するために用いた共通の連写画像の被写体領域として、特定することができる。一方、２つの差分画像で共通しない被写体領域を、それぞれの差分画像を生成するために用いた共通しない連写画像の被写体領域として、特定することができる。

また、上記の特定結果を、図６に示す背景領域特定画像１３０，１４０や、図７に示す被写体領域特定画像１５０，１６０として表現することが可能である。図６に示す背景領域特定画像１３０，１４０は、背景領域１３１，１４１の画素値（例えば、１）と、被写体領域１３２，１４２の画素値（例えば、２５５）と、を異ならせたものである。同様に、図７に示す被写体領域特定画像１５０，１６０は、背景領域１５１，１６１の画素値（例えば、２５５）と、被写体領域１５２，１６２の画素値（例えば、１）と、を異ならせたものである。なお、背景領域特定画像１３０，１４０及び被写体領域特定画像１５０，１６０のいずれか一方を生成しなくても構わないし、両方生成しなくても構わない。

また、上記の特定結果に基づいて、背景マップ画像を生成することが可能である。背景マップ画像について、図８を参照して説明する。図８は、図４に示す連写画像から生成される背景マップ画像の一例を示す図である。詳細については後述するが、本例の流し撮り処理部５０ａは、連写画像１００，１１０を用いて、被写体領域１０２，１１２のない背景のみを表示する画像（背景画像）を生成する。しかし、本例では連写画像１００，１１０のいずれにも、被写体領域１０２，１１２が含まれている。そのため、連写画像１００，１１０を組み合わせることで被写体領域１０２，１１２を排除して、背景画像を生成する。図８に示す背景マップ画像１７０は、背景画像の画素毎に、連写画像１００，１１０のいずれの画素値を用いるべきかを、画素値によって表したものである。

具体的に例えば、図８の背景マップ画像１７０では、連写画像１００の画素値を使用する領域１７１（連写画像１００の背景領域１０１に相当する領域、図中横線で表示）の画素値（例えば、１）と、連写画像１１０の画素値を使用する領域１７２（連写画像１００の被写体領域１０２に相当する領域、図中縦線で表示）の画素値（例えば、２５５）と、を異ならせている。なお、主として連写画像１００の画素値を用いる（連写画像１００の画素値を用いることができない領域１７２の画素値のみ連写画像１１０の画素値を用い、他の領域は連写画像１００の画素値を用いる）ものとしたが、主として連写画像１１０の画素値を用いる（連写画像１１０の画素値を用いることができない領域１７３の画素値のみ連写画像１００の画素値を用い、他の領域は連写画像１１０の画素値を用いる）ものとしても構わない。また、連写画像１００，１１０の両方の画素値を用いることができる領域（領域１７２，１７３以外の領域）において、連写画像１００，１１０の画素値の加重加算値を用いたり、隣接する画素に対して異なる連写画像１００，１１０の画素値を用いたりしても構わない。

また、上記の特定結果に基づいて、被写体マップ画像を生成することが可能である。被写体マップ画像について、図９を参照して説明する。図９は、図４に示す連写画像から生成される被写体マップ画像の一例を示す図である。

図９に示す被写体マップ画像１８０は、連写画像１００，１１０の被写体領域１０２，１１２のそれぞれに相当する領域（以下説明の簡略化のため、当該領域も被写体領域とよぶ）１８２，１８３を１つの画像に含ませ、それぞれの被写体領域１８２，１８３の画素値を異ならせたものである。被写体マップ画像１８０は、複数の連写画像１００，１１０における被写体領域１０２，１１２の位置を、１つの画像の画素値によって表したものである。

具体的に例えば、図９に示す被写体マップ画像１８０では、連写画像１００の被写体領域１０２に相当する被写体領域１８２（図中横線で表示する領域）の画素値（例えば、１）と、連写画像１１０の被写体領域１１２に相当する被写体領域１８３（図中縦線で表示する領域）の画素値（例えば、２５５）と、を異ならせている。なお、被写体領域１８２，１８３以外の領域１８１については、被写体領域１８２，１８３と区別し得るものであれば、どのような画素値（例えば、０）としても構わない。

また、背景領域の位置を示す背景領域特定画像１３０，１４０や背景マップ画像１７０、背景領域１０１，１１１の画像を含んでいる連写画像１００，１１０は、背景領域情報に含まれ得る。なお、連写画像１００，１１０から背景領域１０１，１１１の画像を抽出して得られる画像（例えば、連写画像１００，１１０の被写体領域１０２，１１２の画素値を０などの所定の値にした画像）なども、背景領域情報に含まれ得る。

同様に、被写体領域の位置を示す被写体領域特定画像１５０，１６０や被写体マップ画像１８０、被写体領域の画像を含んでいる連写画像１００，１１０は、被写体領域情報に含まれ得る。なお、連写画像１００，１１０から被写体領域１０２，１１２の画像を抽出して得られる画像（例えば、連写画像１００，１１０の背景領域１０１，１１１の画素値を０などの所定の値にした画像、後述する被写体画像と同様の画像）なども、被写体領域情報に含まれ得る。

上述のように、背景被写体特定部５１が、連写画像１００，１１０のそれぞれについて背景領域１０１，１１１及び被写体領域１０２，１１２を特定して背景領域情報及び被写体領域情報を出力すると（ＳＴＥＰ４、ＹＥＳ）、次に、背景画像生成部５２が、背景領域情報に基づいて背景画像を生成する（ＳＴＥＰ５）。生成される背景画像の一例について、図１０を参照して説明する。図１０は、図４の連写画像を用いて生成される背景画像の一例を示す図である。

図１０に示す背景画像１９０は、上述のように連写画像１００，１１０（特に、それぞれの背景領域１０１，１１１）を用いて生成することができる。背景画像１９０の生成に際して背景マップ画像１７０を参照することとすると、背景画像１９０のある画素の画素値として、どの連写画像１００，１１０の画素値を用いるべきかを容易に判断することができるため、好ましい。なお、背景マップ画像１７０の他に、背景領域特定画像１３０，１４０を参照しても、背景画像１９０を生成することができる。

また、提示画像生成部５７は、背景被写体特定部５１から出力される被写体領域情報に基づいて、提示画像を生成し、出力する。出力される提示画像は、例えばバス１９を介して画像信号出力回路部１３に入力され、表示装置等で表示される（ＳＴＥＰ６）。

提示画像の一例を、図１１に示す。図１１は、図４の連写画像を用いて生成される提示画像の一例を示す図である。本例の提示画像２００は、連写画像１００，１１０の被写体領域１０２，１１２のそれぞれに相当する領域（以下説明の簡略化のため、当該領域も被写体領域とよぶ）２０２，２０３に、連写画像１００，１１０の被写体領域１０２，１１２の画像をそれぞれ表示したものである。なお、提示画像２００のそれぞれの被写体領域２０２，２０３が、異なる連写画像１００，１１０の被写体領域１０２，１１２の画像を示すものであることを明確化するなどの目的のため、被写体領域２０２，２０３に境界線（図中の破線）等を設けても構わない。また、提示画像２００の被写体領域２０２，２０３以外の領域２０１の画素値を０などの所定の値としても構わないし、背景画像１９０の画素値を用いても構わない（この場合、提示画像生成部５７が、背景領域情報または背景画像を取得する）。

提示画像２００は、連写画像１００，１１０を用いて生成することができる。この提示画像２００の生成に際し、被写体マップ画像１８０を参照すると、どの位置の画素にどの連写画像１００，１１０の画素値を用いるべきかを容易に判断することができるため、好ましい。なお、図１１に示す提示画像２００の形式は一例に過ぎず、他の形式としても構わない。例えば、連写画像１００，１１０から被写体領域１０２，１１２の画像を抽出して得られるそれぞれの画像を縮小して並べた画像を、提示画像としても構わない。

ユーザは、表示される提示画像２００を確認し、合成すべき被写体（提示画像２００に表示される被写体、即ち、連写画像１００，１１０の被写体領域１０２，１１２に表示される被写体）を選択する（ＳＴＥＰ７）。このとき、例えばユーザが操作部１７を操作するなどして、いずれの被写体を選択したのかを示す選択指示を被写体画像生成部５３に入力する。

被写体画像生成部５３は、選択指示に基づいて選択した被写体を表示する画像である被写体画像を生成し（ＳＴＥＰ８）、当該被写体を示す選択被写体情報を出力する。なお、以下では説明の具体化のため、被写体画像生成部５３が、連写画像１１０の被写体領域１１２に表示される被写体を選択したものとする。

このとき生成される被写体画像の一例について、図１２を参照して説明する。図１２は、図４の連写画像を用いて生成される被写体画像の一例を示す図である。図１２に示す被写体画像２１０は、連写画像１１０から被写体領域１１２の画像を抽出して得られる画像である。例えば、連写画像１１０の背景領域１１１の画素値を、０などの所定の値にした画像である。

ところで、上述のように被写体画像生成部５３は、所定の選択方法に基づいて自動的に合成すべき被写体を選択することも可能である。この場合、提示画像生成部５７及びＳＴＥＰ６を不要としても構わないし、提示画像生成部５７が、選択した被写体をユーザに対して確認的に提示するための提示画像を生成することとしても構わない。なお、被写体画像生成部５３による自動的な被写体の選択方法の詳細については、後述する。

移動情報算出部５４は、被写体画像生成部５３から出力される選択被写体情報に基づいて、選択された被写体（または当該被写体が含まれる連写画像）を認識する。そして、移動情報算出部５４は、被写体領域情報に基づいて選択された被写体の移動情報を算出する（ＳＴＥＰ９）。この算出方法の一例を、図１３を参照して説明する。図１３は、図９の被写体マップ画像を用いて算出される移動情報の一例を示す図である。

図１３に示す移動情報（図中の白矢印）は、被写体マップ画像１８０の画素値が異なるそれぞれの被写体領域１８２，１８３を比較することで、算出され得る。具体的には、被写体領域１８２，１８３の重心（図中、白丸で表示）を結ぶ方向（図中の白矢印の方向）を移動方向として算出し、重心間の距離（直線的な距離や、水平方向及び垂直方向のそれぞれの距離）を移動量として算出することができる。

本例では連写画像１００，１１０が２つであるため、単純に２つの被写体領域１８２，１８３を比較することで、被写体画像生成部５３で選択された被写体の移動情報を算出することができる。しかしながら、連写画像及び被写体領域が３つ以上存在する場合も生じ得る。

この場合、例えば被写体マップ画像において、被写体画像生成部５３で選択された被写体の位置を示す被写体領域と、選択された被写体が含まれる連写画像より時間的に前または後（例えば、直前または直後）に撮像されて得られた連写画像に含まれる被写体の位置を示す被写体領域と、を比較することで、精度よくかつ容易に選択された被写体の移動情報を算出することができる。なお、選択された被写体の位置を示す被写体領域と、選択された被写体が含まれる連写画像より時間的に前及び後（例えば、直前及び直後）に撮像されて得られたそれぞれの連写画像に含まれる被写体の位置を示す被写体領域と、をそれぞれ比較することで算出される２つの移動情報を平均化するなどして、選択された被写体の移動情報を算出しても構わない。

移動情報算出部５４は、被写体マップ画像１８０に限らず、被写体領域特定画像１５０，１６０などの被写体領域の位置を識別し得る画像や情報に基づいたとしても、被写体画像生成部５３で選択された被写体の移動情報を算出することができる。

移動情報算出部５４で、被写体画像生成部５３で選択された被写体の移動情報が算出されて出力されると、背景画像補正部５５が、当該移動情報に基づいて背景画像生成部５２から出力される背景画像１９０に補正を施す（ＳＴＥＰ１０）。この補正方法の一例について、図１４及び図１５を参照して説明する。図１４は、図１３の移動情報に基づいて生成されるフィルタの一例を示す図である。図１５は、図１０の背景画像を図１４のフィルタを用いて補正して生成される補正後の背景画像を示す図である。

本例の補正方法では、図１４に示すような、被写体の移動方向（図中の左右方向）に沿って並ぶ画素の画素値を平均化するフィルタを背景画像１９０に適用する。これにより、図１５に示すような被写体の移動方向に沿ってぼけさせた補正後の背景画像１９０を得ることが可能となる。

図１４では、上記のフィルタの一例として、対象画素及びその左右２画素ずつの計５画素の画素値を平均化して、補正後の対象画素の画素値を得るフィルタを示している。なお、図１４に示すフィルタは一例に過ぎず、他のフィルタを用いても構わない。例えば、図１３に示すように被写体の移動方向が左右方向である場合に、対象画素の左右方向だけでなく上下方向に並ぶ画素の画素値をも平均化して、補正後の対象画素の画素値を得るフィルタを用いても構わない。

さらに、被写体の移動量に基づいて、背景画像１９０に適用するフィルタを調整すると、より被写体の移動状態に応じた補正を背景画像１９０に施すことが可能となるため、好ましい。具体的に例えば、被写体の移動量が大きいほど、移動方向に沿って平均化する画素の数を多くする（即ち、フィルタサイズを移動方向に沿って大きくする）。これにより、被写体の移動量が大きいほど、背景画像１９０をぼけさせる程度を大きくすることが可能となる。

そして、合成部５６が、背景画像補正部５５によって補正されて得られる背景画像２２０に、被写体画像生成部５３で生成される被写体画像２１０を合成する（ＳＴＥＰ１１）。例えば、背景画像２２０の被写体領域１１２に相当する領域の画素値を、被写体画像２１０の画素値で置き換える。これによって流し撮り処理画像が生成され、流し撮り処理部５０ａの動作が終了する。

この流し撮り処理画像の一例について、図１６を参照して説明する。図１６は、図１５の補正後の背景画像と図１２の被写体画像とを合成して生成される流し撮り処理画像を示す図である。図１６に示すように、上述の動作により得られる流し撮り処理画像２３０は、背景（領域２３１）は被写体の移動方向に沿ってぼけたものとなるが、被写体（領域２３２）は明瞭なものとなる。

以上のように構成すると、連写画像１００，１１０の背景領域１０１，１１１を用いて背景画像１９０を生成し、被写体領域１１２を用いて被写体画像２１０を生成することとなる。そのため、背景画像１９０の生成に際して、被写体を含まない画像を別途撮像により得る必要を無くすことができる。即ち、背景の状態や撮像環境が連写画像１００，１１０と異なる背景画像が生成されることを、抑制することが可能となる。したがって、被写体が明瞭であり、かつ被写体と背景とが違和感なく合成された流し撮り処理画像を生成することが可能となる。

また、背景被写体特定部５１は、連写画像１００，１１０の差分を求めることにより、背景領域１０１，１１１及び被写体領域１０２，１１２のそれぞれを特定する。そのため、容易かつ効果的にそれぞれの領域を特定することが可能となる。

また、背景画像補正部５５は、被写体画像２１０が表示する被写体の移動情報に基づいて、背景画像１９０を補正する。そのため、流し撮り処理画像２３０に含まれる被写体の移動方向と、背景がぼける方向と、を略一致させることが可能となる。

なお、精度良く背景領域１０１，１１１及び被写体領域１０２，１１２を特定するためには、上述のように撮像装置１を三脚等で固定して連写画像１００，１１０を撮像すると、好ましい。しかし、撮像装置１が固定されていない（例えば、ユーザが撮像装置１を把持して撮像する）場合でも、背景領域１０１，１１１及び被写体領域１０２，１１２を特定することは可能である。

例えば、代表点マッチングやブロックマッチングなどの公知の手法を用いて、ある連写画像のある画素が他の連写画像のどの画素に相当するかを検出し、連写画像間のずれを求め、当該ずれを補正するように連写画像の座標を変換する等の処理を行うこととすると、撮像装置１を固定せずとも精度良く背景領域及び被写体領域を特定することが可能となる。

また、背景画像生成部５２が選択被写体情報を取得し、選択された被写体に応じた背景画像を生成しても構わない。例えば、背景画像生成部５２が、選択された被写体が含まれる連写画像の画素値を主として用いた背景画像を生成することとしても構わない。

また、図１２の提示画像２１０は、連写画像１００，１１０の被写体領域１０２，１１２の画像を表示するものとしたが、被写体マップ画像１８０のように、被写体の位置を表示するものとしても構わない。また、図３に示すフローチャートは一例に過ぎず、矛盾なき限りそれぞれの動作（ＳＴＥＰ）の順番を入れ替えて実施することも可能である。

（連写画像の撮像タイミング）
連写画像１００，１１０中の被写体領域１０２，１１２の位置が同一となる（差分画像１２０中で被写体領域１０２，１１２が重なる）部分が大きいと、背景画像１０１，１１１及び被写体領域１０２，１１２の特定が困難となり得る。そのため、連写画像１００，１１０のそれぞれを撮像する時間間隔が、被写体の移動量に対して短くなりすぎないように、ＣＰＵ１５が撮像部Ｓによる撮像タイミングを制御すると、好ましい。

具体的に例えば、連写画像１００，１１０を撮像する前のプレビューモード時に撮像されて得られる画像に基づいて被写体の移動量を算出し、当該移動量で連写画像１００，１１０を撮像して得た場合に、被写体領域の位置が同一となる部分をなくす（または小さくする）ことができる時間間隔となるように、撮像タイミングを制御する。

上記例のように撮像タイミングを制御する場合、プレビューモード時の被写体の移動量は、どのような方法で算出しても構わない。例えば、ユーザが操作部１７（タッチパネルやカーソルキーなど）を介して指定した被写体や、所定のプログラム（例えば、画像中からサンプル（不特定の顔や、特定の顔など）と同様の部分を検出するものなど）に基づいて指定される被写体の画像特徴（例えば、画素値の色を示す成分（画素値をＨ（Hue）Ｓ（Saturation）Ｖ（Value）で表現した場合のＨ成分）など）を、プレビューモード時に順次撮像されて得られる画像から検出する（即ち、追尾処理を行う）ことで、被写体の移動量を算出することができる。

（被写体の自動選択）
上述のように、被写体画像生成部５３は、自動的に合成すべき被写体を選択するように構成しても構わない。被写体の選択方法のいくつかの例を、以下図面を参照して説明する。なお、以下に説明する選択方法は、矛盾なき限り組み合わせて実行することができる。例えば、各被写体に対して、それぞれの選択方法に基づいて選択すべきか否かを評価し、その評価結果を加重加算して得られる総合的な評価結果に基づいて、合成すべき被写体を選択しても構わない。

〔第１選択方法例〕
図１７は、第１選択方法例について説明する図である。第１選択方法例は、被写体の画角内の位置（連写画像中の被写体領域の位置）に基づいて、合成すべき被写体を選択する。例えば、画角内の所定の位置に近い被写体（連写画像の所定の位置に近い被写体領域）を選択する。この選択方法は、図１７に示すような被写体マップ画像３００に基づいて実行可能であるほか、被写体領域特定画像や、連写画像から被写体領域の画像を抽出した画像などに基づいても実行することができる。ただし、被写体マップ画像３００に基づく場合、１つの画像に基づいて容易に合成すべき被写体を選択することができるため、好ましい。

例えば、図１７に示す被写体マップ画像３００において、画角の中央に近い被写体（連写画像の中央に近い被写体領域）が選択される場合、被写体領域３０１〜３０３が示す被写体のうち、被写体領域３０２が示す被写体が、合成すべき被写体として選択される。

なお、それぞれの被写体の位置を、被写体領域３０１〜３０３のそれぞれの重心位置としても構わない。また、画角を基準とせずに、被写体の一連の移動を基準としても構わない。例えば、被写体の一連の移動の中で、移動の中心位置に近い被写体を選択しても構わない。このとき、全ての被写体について算出される移動情報に基づいて被写体の選択を行っても構わないし（詳細は流し撮り処理部の第２実施例で述べる）、被写体領域３０１〜３０３を囲う領域（即ち、被写体の移動があった領域）を基準として選択を行っても構わない。

〔第２選択方法例〕
図１８は、第２選択方法例について説明する図である。第２選択方法例は、被写体の大きさ（連写画像に占める被写体領域の割合）に基づいて、合成すべき被写体を選択する。例えば、画角内に占める割合が所定の大きさに近い被写体（連写画像に占める割合が所定の大きさに近い被写体領域）を選択する。この選択方法は、図１８に示すような被写体マップ画像３１０に基づいて実行可能であるほか、被写体領域特定画像や、連写画像から被写体領域の画像を抽出した画像などに基づいても実行することができる。ただし、被写体マップ画像３１０に基づく場合、１つの画像に基づいて容易に合成すべき被写体を選択することができるため、好ましい。

図１８に示す被写体マップ画像３１０において、最も大きい被写体（連写画像に占める割合が最も大きい被写体領域）が選択される場合、被写体領域３１１〜３１３が示す被写体のうち、被写体領域３１１が示す被写体が、合成すべき被写体として選択される。同様に、中間の大きさの被写体が選択される場合は、被写体領域３１２が示す被写体が選択される。

なお、それぞれの被写体の大きさを、被写体領域３０１〜３０３のそれぞれの画素数としても構わない。このように構成すると、容易に被写体の大きさを得ることができる。また、それぞれの被写体の大きさを、被写体領域３０１〜３０３を囲うそれぞれの領域（例えば、矩形領域）の大きさとしても構わない。

〔第３選択方法例〕
図１９は、第３選択方法例について説明する図である。第３選択方法例は、被写体の画像特徴（連写画像の被写体領域の画素値）に基づいて、合成すべき被写体を選択する。例えば、鮮鋭度が高い被写体（連写画像の被写体領域で鮮鋭度が高いもの）を選択する。この選択方法は、図１９に示すような、それぞれの連写画像から被写体領域の画像を抽出するとともに合わせて表示した画像３２０に基づいて実行可能である。当該画像は、図１１に示した提示画像２００と同様であり、例えば被写体マップ画像を参照してそれぞれの連写画像の被写体領域の画素値を抽出することで作成され得る。なお、連写画像から被写体領域の画像を抽出して得られるそれぞれの画像などに基づいても、本例の選択方法を実行することができる。

図１９に示す画像３２０において、鮮鋭度が最も高い被写体（連写画像の被写体領域の画像で最も鮮鋭度が高いもの）が選択される場合、被写体領域３２１〜３２３のうち、被写体領域３２２が示す被写体が、合成すべき被写体として選択される。

なお、それぞれの被写体の鮮鋭度は、被写体領域３２１〜３２３内の画素の画素値の高周波成分や、コントラスト、彩度などに基づいて算出することができる。この場合、高周波成分が大きいほど、コントラストが高いほど、彩度が高いほど、鮮鋭度が大きいものとなる。

例えば高周波成分は、被写体領域３２１〜３２３内の画素に微分フィルタなどを適用して得られるエッジの総和や平均が大きいほど、大きいものと判断することができる。また例えばコントラストは、被写体領域３２１〜３２３内の画素値の輝度や色を示す成分（画素値をＹＵＶで表現した場合のＹ成分や、ＨＳＶで表現した場合のＳ成分）の最大値と最小値の差が大きいほど、高いものと判断することができる。また例えば彩度は、画素値をＨＳＶで表現した場合のＳ成分が大きいほど、高いものと判断することができる。

〔第４選択方法例〕
図２０は、第４選択方法例について説明する図である。第４選択方法例は、被写体が撮像された順番に基づいて、合成すべき被写体を選択する。例えば、連写画像で特定される被写体領域が示すそれぞれの被写体のうち、所定の順番に撮像されたものを選択する。この選択方法は、例えば、背景被写体特定部５１で被写体領域が特定された連写画像が撮像された順番（必要であれば総数も）を確認することで、実行することができる。また、被写体マップ画像に基づいたとしても、被写体領域の画素値から撮像された順番が把握され得るため、本例の選択方法を実行することができる。

図２０は、被写体領域３３１，３４１，３５１が特定された連写画像３３０，３４０，３５０のそれぞれを示したものである。図２０では、連写画像３３０（被写体領域３３１）が時間的に最も前に撮像されて得られたものであり、連写画像３５０（被写体領域３５１）が時間的に最も後に撮像されて得られたものである。このとき、連写画像３３０，３４０，３５０のそれぞれで特定される被写体領域３３１，３４１，３５１が示す被写体の中で、時間的にちょうど中間に撮像された被写体が選択される場合、被写体領域３４１が示す被写体が、合成すべき被写体として選択される。

なお、連写画像（被写体領域が特定されないものも含まれ得る）の撮像順に基づいて、合成すべき被写体が選択されることとしても構わない。

＜第２実施例＞
次に、流し撮り処理部の第２実施例について、図面を参照して説明する。図６は、第２実施例の流し撮り処理部の構成例を示すブロック図であり、第１実施例の流し撮り処理部について示した図２に相当するものである。なお、図２１に示す第２実施例の流し撮り処理部５０ｂについて、図２に示す第１実施例の流し撮り処理部５０ａと同様の構成となる部分については同様の名称及び番号を付し、その詳細な説明については省略する。また、第１実施例の流し撮り処理部５０ａについて述べた種々の構成の説明は、矛盾なき限り本実施例の流し撮り処理部５０ｂにも適用され得るものとする。

図２１に示すように、流し撮り処理部５０ｂは、背景被写体特定部５１と、背景画像生成部５２と、被写体画像生成部５３ｂと、移動情報算出部５４ｂと、背景画像補正部５５と、合成部５６と、を備える。

ただし、移動情報算出部５４ｂは、連写画像で特定されるそれぞれの被写体領域が表示するそれぞれの被写体の移動情報を算出し、出力する。また、被写体画像生成部５３ｂは、移動情報算出部５４ｂが出力する複数の被写体の移動情報に基づいて合成すべき被写体を選択し、選択被写体情報を出力する。

また、流し撮り処理部５０ｂの動作例について、図面を参照して説明する。図２２は、第２実施例の流し撮り処理部の動作例を示すフローチャートであり、第１実施例の流し撮り処理部について示した図３に相当するものである。なお、図２２に示す第２実施例の流し撮り処理部５０ｂの動作例について、図３に示す第１実施例の流し撮り処理部５０ａの動作例と同様の動作（ＳＴＥＰ）となる部分については同様のＳＴＥＰ番号を付し、その詳細な説明については省略する。また、第１実施例の流し撮り処理部５０ａについて述べた種々の動作の説明は、矛盾なき限り本実施例にも適用され得るものとする。

図２２に示すように、流し撮り処理部５０ｂが動作を開始すると、最初に連写画像の取得を行う（ＳＴＥＰ１）。流し撮り処理部５０ｂは、流し撮り処理に必要な全ての連写画像を取得するまで（ＳＴＥＰ２、ＮＯ）、順次連写画像を取得する（ＳＴＥＰ１）。全ての連写画像を流し撮り処理部５０ｂが取得すると（ＳＴＥＰ２、ＹＥＳ）、背景被写体特定部５１が、取得した連写画像の背景領域と被写体領域とを特定する（ＳＴＥＰ３）。背景被写体特定部５１は、取得した連写画像のそれぞれについて背景領域と被写体領域とを特定するまで（ＳＴＥＰ４、ＮＯ）、順次特定を行う（ＳＴＥＰ３）。そして、背景被写体特定部５１が、取得した連写画像のそれぞれについて背景領域と被写体領域とを特定すると（ＳＴＥＰ４，ＹＥＳ）、背景画像生成部５２が、背景領域情報に基づいて背景画像を生成する（ＳＴＥＰ５）。

本実施例の流し撮り処理部５０ｂでは、次に、移動情報算出部５４ｂが被写体の移動情報を算出する（ＳＴＥＰｂ１）。ただし、本実施例の流し撮り処理部５０ｂでは、背景被写体特定部５１で特定される全ての被写体領域が示すそれぞれの被写体について移動情報が算出されるまで（ＳＴＥＰｂ２、ＮＯ）、順次移動情報を算出する（ＳＴＥＰｂ１）。

全ての被写体について移動情報が算出されると（ＳＴＥＰｂ２、ＹＥＳ）、被写体画像生成部５３ｂが、合成すべき被写体の選択を行う。この選択方法の一例について、図２２を参照して説明する。図２３は、第２実施例の流し撮り処理部の被写体画像生成部による被写体の選択方法の一例を示す図である。

図２３は、被写体マップ画像４００を示す図であり、３つ連写画像から特定される被写体領域４０１〜４０３が含まれる。なお、被写体領域４０１が、３つの連写画像中で最も時間的に前に撮像されて得られた連写画像から特定されるものであり、被写体領域４０３が、３つの連写画像中で最も時間的に後に撮像されて得られた連写画像から特定されるものとする。

図２３に示すように、例えば、時間的に連続する撮像により得られた２つの連写画像で特定される被写体領域（被写体領域４０１及び４０２、被写体領域４０２及び４０３）の移動情報をそれぞれ算出し、全ての被写体の移動情報（図中、白矢印）とする。また、これらの移動情報（特に、移動量）を被写体領域４０１〜４０３の全体で評価したもの（例えば、移動量の総和や、被写体領域４０１及び４０３を比較して算出される移動量など）を、全体の移動情報（図中、黒矢印）とする。

そして、全体の移動情報について所定の関係を満たす被写体（例えば、全体の移動量の略半分となる時点で撮像されている被写体、即ち、最も時間的に前に撮像された被写体から選択されるべき被写体までの移動量が全体の移動量の略半分となる）を、合成すべき被写体として選択する（ＳＴＥＰｂ３）。図２３において、全体の移動量の略半分となる時点で撮像されている被写体が合成すべき被写体として選択される場合、例えば被写体領域４０２が示す被写体が選択される。

ところで、本例の選択方法は、図２３に示すような被写体マップ画像４００に基づいて実行可能であるほか、被写体領域特定画像や、連写画像から被写体領域の画像を抽出して得られる画像などに基づいても実行することができる。ただし、被写体マップ画像４００に基づく場合、１つの画像に基づいて全ての被写体の移動情報を算出可能であり、容易に合成すべき被写体を選択することができるため、好ましい。

被写体画像生成部５３ｂは、上述のようにして合成すべき被写体を選択すると、当該被写体を表示する被写体画像を生成し（ＳＴＥＰ８）、選択した被写体を示す選択被写体情報を出力する。移動情報算出部５４ｂは、被写体画像生成部５３ｂから出力される選択被写体情報に基づいて選択された被写体を認識し、当該被写体の移動情報を出力する。

そして、背景画像補正部５５が、移動情報算出部５４ｂから出力される移動情報に基づいて、背景画像生成部５２から出力される背景画像に補正を施す（ＳＴＥＰ１０）。また、合成部５６が、背景画像補正部５５によって補正されて得られる背景画像に、被写体画像生成部５３で生成される被写体画像を合成する（ＳＴＥＰ１１）。これによって流し撮り処理画像が生成され、流し撮り処理部５０ｂの動作が終了する。

以上のように構成すると、被写体の移動状態に基づいて、被写体の選択を行うことが可能となる。したがって、ユーザが所望する移動状態の被写体を表示する流し撮り処理画像を、生成することが可能となる。

なお、第１実施例で示した提示画像生成部５７を備え、提示画像生成部５７が、被写体画像生成部５３ｂが選択した被写体をユーザに対して確認的に提示する提示画像を生成することとしても構わない。また、図２２に示すフローチャートは一例に過ぎず、矛盾なき限りそれぞれの動作（ＳＴＥＰ）の順番を入れ替えて実施することも可能である。

＜第３実施例＞
次に、流し撮り処理部の第３実施例について、図面を参照して説明する。図２４は、第３実施例の流し撮り処理部の構成例を示すブロック図であり、第１実施例の流し撮り処理部について示した図２に相当するものである。なお、図２４に示す第３実施例の流し撮り処理部５０ｃについて、図２に示す第１実施例の流し撮り処理部５０ａと同様の構成となる部分については同様の名称及び番号を付し、その詳細な説明については省略する。また、第１実施例の流し撮り処理部５０ａについて述べた種々の構成の説明は、矛盾なき限り本実施例の流し撮り処理部５０ｃにも適用され得るものとする。

図２４に示すように、流し撮り処理部５０ｃは、背景被写体特定部５１と、背景画像生成部５２と、被写体画像生成部５３ｃと、移動情報算出部５４と、背景画像補正部５５と、合成部５６と、提示画像生成部５７ｃと、を備える。

ただし、被写体画像生成部５３ｃは、被写体領域情報によって示されるそれぞれの被写体を順次選択し、それぞれの被写体を表示する被写体画像を生成するとともに、それぞれの被写体を示す選択被写体情報を出力する。また、提示画像生成部５７ｃは、それぞれの被写体について生成されるそれぞれの流し撮り処理画像を表示する提示画像を生成する。

また、流し撮り処理部５０ｃの動作例について、図面を参照して説明する。図２５は、第３実施例の流し撮り処理部の動作例を示すフローチャートであり、第１実施例の流し撮り処理部について示した図３に相当するものである。なお、図２５に示す第３実施例の流し撮り処理部５０ｃの動作例について、図３に示す第１実施例の流し撮り処理部５０ａの動作例と同様の動作（ＳＴＥＰ）となる部分については同様のＳＴＥＰ番号を付し、その詳細な説明については省略する。また、第１実施例の流し撮り処理部５０ａについて述べた種々の動作の説明は、矛盾なき限り本実施例にも適用され得るものとする。

図２５に示すように、流し撮り処理部５０ｃが動作を開始すると、最初に連写画像の取得を行う（ＳＴＥＰ１）。流し撮り処理部５０ｃは、流し撮り処理に必要な全ての連写画像を取得するまで（ＳＴＥＰ２、ＮＯ）、順次連写画像を取得する（ＳＴＥＰ１）。全ての連写画像を流し撮り処理部５０ｃが取得すると（ＳＴＥＰ２、ＹＥＳ）、背景被写体特定部５１が、取得した連写画像の背景領域と被写体領域とを特定する（ＳＴＥＰ３）。背景被写体特定部５１は、取得した連写画像のそれぞれについて背景領域と被写体領域とを特定するまで（ＳＴＥＰ４、ＮＯ）、順次特定を行う（ＳＴＥＰ３）。そして、背景被写体特定部５１が、取得した連写画像のそれぞれについて背景領域と被写体領域とを特定すると（ＳＴＥＰ４、ＹＥＳ）、背景画像生成部５２が、背景領域情報に基づいて背景画像を生成する（ＳＴＥＰ５）。

次に、被写体画像生成部５３ｃが被写体を選択し（ＳＴＥＰｃ１）、選択した被写体を表示する被写体画像を生成する（ＳＴＥＰ８）。また、移動情報算出部５４は、被写体画像生成部５３ｃで選択された被写体の移動情報を算出する（ＳＴＥＰ９）。そして、背景画像補正部５５が、移動情報算出部５４で算出された移動情報に基づいて背景画像を補正し（ＳＴＥＰ１０）、合成部５６が、補正されて得られた背景画像に被写体画像を合成して流し撮り処理画像を生成する（ＳＴＥＰ１１）。

本実施例の流し撮り処理部５０ｃでは、被写体画像生成部５３ｃで選択され得る全ての被写体が選択されるまで（ＳＴＥＰｃ２、ＮＯ）、順次被写体を選択し（ＳＴＥＰｃ１）、選択された被写体が含まれる流し撮り処理画像を順次生成する（ＳＴＥＰ８〜１１）。

全ての被写体について流し撮り処理画像が生成されると（ＳＴＥＰｃ２、ＹＥＳ）、提示画像生成部５７ｃが、これらの流し撮り処理画像を用いて提示画像を生成する。この提示画像について、図２６を参照して説明する。図２６は、第３実施例の流し撮り処理部の提示画像生成部が生成する提示画像の一例を示す図である。

図２６に示すように、本例の提示画像５００には、被写体ごとに生成された複数の流し撮り処理画像を縮小して並べて表示した画像５０１〜５０３と、これらの縮小画像５０１〜５０３から仮選択された１つ（縮小画像５０２）を大きく（例えば、縮小率を大きくして、または拡大して）表示した拡大画像５１０と、が含まれる。

ユーザは、操作部１７を介して縮小画像５０１〜５０３のいずれかを仮選択し、仮選択した縮小画像５０２を、拡大画像５１０で確認することができる。またユーザは、縮小画像５０１〜５０３や拡大画像５１０によって表される流し撮り処理画像の中で所望のものがあれば、操作部１７を介して本選択する。そして、本選択された流し撮り処理画像が、圧縮処理部９及びドライバ部１１を介して、外部メモリ１０に記録される。

以上のように構成すると、ユーザが、流し撮り処理の効果が表れた流し撮り処理画像を実際に確認した上で、外部メモリ１０への記録の要否を決定することが可能となる。そのため、ユーザが所望する流し撮り処理画像を確実に記録し、不要な流し撮り処理画像が記録されることを抑制することが可能となる。

なお、図２５において、被写体の選択結果にかかわらず１つの背景画像を生成する場合について例示したが、第１実施例の流し撮り処理部５０ａについて説明したように、選択される被写体に応じた背景画像をそれぞれ生成しても構わない。また、図２５に示すフローチャートは一例に過ぎず、矛盾なき限りそれぞれの動作（ＳＴＥＰ）の順番を入れ替えて実施することも可能である。

＜変形例＞
本発明の実施形態における撮像装置１について、画像処理部５や流し撮り処理部５０，５０ａ〜５０ｃなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１に示す撮像装置１や、図２、図２１及び図２４に示す流し撮り処理部５０ａ〜５０ｃは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や流し撮り処理部５０ａ〜５０ｃの一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力される複数の画像を用いて新たな画像を生成する画像処理装置であり、特に、入力される画像に流し撮りの効果を付与した画像を生成する画像処理装置に関する。また、当該画像処理装置を備え当該複数の画像を撮像により得る撮像装置に関する。

５０，５０ａ〜５０ｃ 流し撮り処理部
５１ 背景被写体特定部
５２ 背景画像生成部
５３，５３ｂ，５３ｃ 被写体画像生成部
５４，５４ｂ 移動情報算出部
５５ 背景画像補正部
５６ 合成部
５７，５７ｃ 提示画像生成部

Claims (6)

1. 時間的に連続する撮像により得られる複数の連写画像について、背景を表示する領域である背景領域と、被写体を表示する領域である被写体領域と、をそれぞれ特定する背景被写体特定部と、
   前記背景被写体特定部で特定される背景領域に基づいて、背景を表示する画像である背景画像を生成する背景画像生成部と、
   前記背景被写体特定部で特定される被写体領域に基づいて、被写体を表示する画像である被写体画像を生成する被写体画像生成部と、
   前記背景被写体特定部で特定される被写体領域に基づいて被写体の移動方向を導出するとともに、被写体の移動方向に沿ってぼけさせる補正を背景画像に施す補正部と、
   前記補正部で補正された背景画像に被写体画像を合成する合成部と、
   を備えることを特徴とする画像処理装置。
2. 前記背景領域特定部が、少なくとも２つの連写画像の差分に基づいて、連写画像の背景領域と被写体領域とをそれぞれ特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正部が、前記合成部で合成される被写体画像に表示される被写体の移動方向を導出し、
   前記合成部で当該被写体画像と合成される補正された背景画像が、当該被写体の移動方向に沿ってぼけさせる補正が施されたものであることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記補正部が、前記背景被写体特定部で特定されるそれぞれの被写体領域が表示するそれぞれの被写体の移動量を導出し、
   前記被写体画像生成部が、それぞれの被写体の移動量に基づいて選択した被写体を表示する被写体画像を生成し、
   前記合成部が、当該被写体画像を前記補正部で補正された背景画像に合成することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記補正部が、ある連写画像の被写体領域と、当該ある連写画像より時間的に前または後に撮像されて得られる連写画像の被写体領域と、を用いて、当該ある連写画像の被写体領域が表示する被写体の移動方向を導出することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 時間的に連続する撮像により複数の連写画像を生成する撮像部と、
   前記撮像部で生成される連写画像に基づいて、流し撮り処理画像を生成する請求項１〜請求項５のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。

Images