JP2013192270A - 撮像装置、撮像装置の制御方法及びプログラム - Google Patents

Abstract

【課題】 近接撮影条件においても主被写体の像振れ補正と背景の像振れ補正をバランスよく行え、防振精度の高い画像を得る。
【解決手段】 順次撮影を実行して複数枚の画像を得る露光制御手段１８，１１３と、撮影倍率に基づいて画像における異なる領域の特徴点の重み付けを設定する重み付け設定手段１１４と、重み付け設定手段により重み付けされた特徴点の各座標より前記各画像間のずれ量を検出するずれ検出手段１１５と、ずれ検出手段により検出されたずれ量に基づいて前記各画像の座標変換を行う座標変換手段１１６と、座標変換手段による座標変換後の各画像を合成する画像合成手段１１７とを有し、撮影倍率に基づく重み付けが反映されたずれ量により各画像間の像振れを補正した後に合成を行い、画像の露出を補完するようにしている。
【選択図】 図１

Description

本発明は、像振れを電子的に補正することで撮影画像の精度を向上させる撮像装置に関するものである。

最近では、カメラに加わる手振れによる像振れを補正するシステムが研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。

像振れの補正は、原理的には、加速度計、振動ジャイロ、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる補正光学系を駆動することにより、像振れ補正が行われる。

一方、上記のような光学防振システムとは異なり、手振れが生じない程度の露光時間で複数回撮影をくり返す。そして、これらの撮影により得られた画像に対して画像のずれを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る電子防振システムがある（例えば、特許文献１）。

特開平０９−２６１５２６号公報

像振れを補正して振れの無い画像を得るシステムとしては上述したように光学防振システムと電子防振システムがあるが、共通した欠点がある。それは近接撮影時には、撮影倍率の差による補正量の誤差が大きくなる為に、被写体距離ごとに振れの補正量を調節しないと全画面で良好な振れ補正が行えないという問題である。具体的には、主被写体の距離が１０ｃｍであり、その主被写体に対して十分な像振れ補正を行った場合には、背景（例えば撮影距離が４０ｃｍ）では十分な像振れ補正が出来ず、却って振れを大きくする虞がある。

この事をより詳細に説明する。撮像装置に加わる振れには回転中心回りに回動する角度振れと撮像装置全体が平行移動するシフト振れ（平行振れともいう）の２種類がある。角度振れによる像の劣化は被写体距離によらず一定であり、撮像装置の焦点距離が長いほど大きくなる。反対にシフト振れによる像劣化は被写体距離と焦点距離に関連（像倍率）しており、像倍率が大きい（被写体距離が近く、焦点距離も長い）ほど劣化量は大きくなる。一般の撮影条件（例えば被写体距離が１ｍ、焦点距離５０ｍｍのレンズ）の場合においては、シフト振れによる像劣化の影響はほぼ無視できる。

しかしながら、近接撮影（例えば被写体距離が１０ｃｍ、焦点距離が１００ｍｍのようなマクロレンズ）においては、撮影倍率が大きい為にシフト振れによる像の劣化が無視できない。その様な場合にはシフト振れを検出（例えば光学防振システムでは加速度計などを用いて検出、電子防振では画像のずれを検出）し、その結果に応じて像振れを補正すればよいことになる。

ところが、画面内には様々な撮影距離の被写体が混在している。そのため、例えば主被写体の撮影距離にあわせて像振れ補正を行った場合には、その被写体に対してはシフト振れによる像面の劣化は防げる。しかし、背景など、それ以外の距離の被写体に対しては上記の様に十分な振れ補正が出来ないばかりか、却って像劣化の原因となってしまう場合もある。

特に電子防振システムにおいては、シフト振れや角度振れの結果として表れる像劣化成分（画像のずれ）から振れを検出するものである。このため、その振れの原因が角度振れによるものか、シフト振れによるものかの判別がつき難い（光学防振システムではシフト振れは加速度計、角度振れはジャイロで検出するので各々の振れを分離できる）。さらに、実のシフト振れ量は画面内の各被写体の撮影距離により異なってしまう。そのために近接撮影時に被写体距離が混在する画像においては十分な振れ補正が出来なかった。

（発明の目的）
本発明の目的は、近接撮影条件においても主被写体の像振れ補正と背景の像振れ補正をバランスよく行え、防振精度の高い画像を得ることのできる撮像装置を提供しようとするものである。

上記目的を達成するために、本発明は、順次撮影を実行して複数枚の画像を得る露光制御手段と、撮影倍率に基づいて前記画像における異なる領域の特徴点の重み付けを設定する重み付け設定手段と、前記重み付け設定手段により重み付けされた前記特徴点の各座標より前記各画像間のずれ量を検出するずれ検出手段と、前記ずれ検出手段により検出されたずれ量に基づいて前記各画像の座標変換を行う座標変換手段と、前記座標変換手段による座標変換後の前記各画像を合成する画像合成手段とを有し、前記撮影倍率に基づく重み付けが反映された前記ずれ量により前記各画像間の像振れを補正した後に合成を行い、画像の露出を補完する撮像装置とするものである。

本発明によれば、近接撮影条件においても主被写体の像振れ補正と背景の像振れ補正をバランスよく行え、防振精度の高い画像を得ることができる撮像装置を提供できるものである。

本発明の実施例１乃至４に係るカメラの全体構成を示すブロック図である。 本発明の実施例１による画像合成について説明するための図である。 本発明の実施例１による画面の欠けについて説明するための図である。 本発明の実施例１による近接撮影時について説明するための図である。 本発明の実施例１に係る重み付けについて説明するための図である。 本発明の実施例１に係るカメラの主要動作を示すフローチャートである。 本発明の実施例２に係るカメラの主要動作を示すフローチャートである。 本発明の実施例２の重み付けに関する領域分割を示す図である。 図７のステップ＃２００１での詳細な動作を示すフローチャートである。 本発明の実施例２における重み付け補正を説明するための図である。 本発明の実施例３の重み付けに関する領域分割を示す図である。 本発明の実施例３の重み付けについて説明するための図である。 本発明の実施例４のカメラの主要動作を示すフローチャートである。

本発明を実施するための最良の形態は、以下の実施例１ないし３に示す通りである。

図１は、本発明の実施例１に係る電子防振システムを具備するカメラ（撮影装置）の構成を示した図である。撮影レンズ１１からの入射光束（撮影光）は、絞り１３ａで光量制限されたのちに、シャッタ１２ａを通り、ＭＯＳやＣＣＤなどの半導体撮像素子からなる撮像部１９に結像される。

撮影レンズ１１は複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がＡＦ（オートフォーカス）駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。また、撮影レンズ１１のうち一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることで駆動する。

絞り１３ａは複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して、光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２ａは複数のシャッタ羽根を有しており、これらのシャッタ羽根はシャッタ駆動部１２ｂからの駆動力を受けることで、光通過口となる開口部を開閉する。これにより、撮像部１９に入射する光束を制御する。

ストロボ１６ａは撮影時の条件（被写体輝度等）などに応じて閃光駆動部１６ｂからの駆動信号を受けて駆動（発光）する。スピーカー１７ａは撮影動作を撮影者に知らせるためのもので、発音駆動部１７ｂからの駆動信号を受けて駆動（発音）する。

上記の焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂ、発音駆動部１７ｂの各駆動は、撮影制御部１８により制御されている。

撮影制御部１８には、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、閃光操作部１６ｃ及び後述する防振操作部１２０からの操作信号が入力されるようになっている。そして、カメラの撮影状態に合わせて上記操作信号を各々焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂに与えて撮影条件を設定し、撮影を行うようにしている。

なお、絞り１３ａの開口径やストロボ１６ａの発光は、通常は撮影時にカメラ側で自動的に設定するために、絞り操作部１３ｃおよび閃光駆動部１６ｂは不要であるが、撮影者が任意に撮影条件を設定する時のために設けられている。

撮影制御部１８は、後述する信号処理部１１１に取り込まれた画像信号に基づいて被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッタ１２ａの閉じタイミング（露光時間）を定めている。また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、信号処理部１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。

撮影制御部１８内には撮影条件検出部１８ａが含まれているが、説明の都合上図１では独立して示している。この撮影条件検出部１８ａは、撮影時の以下の条件
・露光時間
・撮影焦点距離
・撮影被写体距離
・予め設定される連写撮影枚数
・電源状態
を検出している。この撮影条件検出部１８ａの出力は、後述する重み付け設定部１１４に入力されている。

撮像部１９から出力される映像信号は、Ａ／Ｄ変換部１１０によりデジタル信号に変換されて信号処理部１１１に入力される。信号処理部１１１は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。そして、信号処理部１１１で信号処理された映像信号は、信号切換部１１２を介して第２画像補正部１１８ｂに入力され、入力された信号のガンマ補正や圧縮処理が行われる。そして、この第２画像補正部１１８ｂの信号は、表示部１１９と記録部１２１に入力され、撮影された画像が表示部１１９に表示されるとともに記録部１２１に記録される。なお、第１画像補正部１１８ａについては後述する。

ここで、撮影者によりレリーズ操作部１２ｃのレリーズボタンの半押し操作（スイッチｓｗ１のオン）がなされると、撮影準備動作（焦点調節動作や測光動作等）が開始される。そして、測光動作により得られた測光値に基づいてシャッタ１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径が設定される。絞り１３ａの口径はこの時点で適正口径に変更される。

次に、撮影者によりレリーズ操作部１２ｃのレリーズボタンの押し切り操作（スイッチｓｗ２のオン）がなされると画像記録のための露光動作が開始される。詳しくは、レリーズ操作部１２ｃのレリーズボタンの押し切り操作（スイッチｓｗ２のオン）がなされると、撮像部１９に蓄積中の画像データ（電荷）は一旦すべてリセットされ、設定された画像サイズで再び電荷蓄積が開始される。そして、上記レリーズボタン半押し操作（スイッチｓｗ１のオン）時に測光して決められた露光時間が経過した時点でシャッタ１２ａが閉じられ、この閉じられている間に電荷の転送が行われ、電荷の転送終了後にシャッタ１２ａが開けられる。

ここで、防振操作部１２０がオンの状態の時には、上記露光時間を制限する事で、手振れによる画質劣化を防いでいる。但し、露光時間を短くすると露出がアンダーになってしまい、ノイズの影響を受け易くなるので、実際には短い露光時間で連続撮影を行うことで複数枚の画像を取得し、それらを合成することで露出の改善を図っている。

また、複数枚の各撮影画像間における手振れにより夫々の画像は若干の構図変化が生じているので、画像の構図合わせを行ってから合成するようにしている。以下にこの機能の詳細説明を行う。

本実施例１において、連続撮影に応じて撮像部１９から撮影毎に複数出力される画像信号は、Ａ／Ｄ変換部１１０でデジタル信号に変換され、信号処理部１１１にて信号処理が施される。

一方、防振操作部１２０を操作して防振システムがオンにされたことが撮影制御部１８に伝えられると、信号処理部１１１からの画像データは信号切換部１１２を介して画像記憶部１１３に入力される。すなわち、第２画像補正部１１８ｂへの入力は絶たれる。画像記憶部１１３は、撮影された複数の画像を記憶しておく。

ここで、画像記憶部１１３は得られた画像のすべてを記憶しておくのではなく、明らかに不良な画像は信号処理部１１１と撮影制御部１８で判定され、画像記憶部１１３にも第２画像補正部１１８ｂにも伝わらないように信号切換部１１２にて切り換え制御される。

重み付け設定部１１４は、ずれ検出部１１５のずれ検出で使用される特徴点の重み付けを設定する。この特徴点とは、各画像の中で、輝点やエッジ部など周囲に対してコントラストの高い点などであり、画像の中で判別し易く、他の画像における対応する特徴点との関係で画像間のずれを検出しやすい画像の小さな領域を示す。重み付け設定部１１４は本発明の最も重要な構成要素であり、詳細については後述する。

ずれ検出部１１５は、画像記憶部１１３に記憶された画像内における重み付け設定部１１４にて設定された重み付けの特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。

例えば、図２に示すように、フレーム１２２ａにおいて、人物１２２ｆが建物１２３ａを背景にして立っている写真を撮影する場合を考える。複数枚撮影する場合には、フレーム１２２ｂのように手振れによりフレーム１２２ａに対して構図がずれた画像が撮影されることがある。重み付け設定部１１４は、画面の周辺に位置する建物１２３ａのうち、輝度の高い点である窓１２４ａのエッジ１２５ａをエッジ検出により特徴点として取り出す。そして、ずれ検出部１１５はこの特徴点１２５ａと、フレーム１２２ｂにおける特徴点１２５ｂとを比較し、この差分を補正（座標変換）する。図２では、フレーム１２２ｂの特徴点１２５ｂを矢印１２６のようにフレーム１２２ａの特徴点１２５ａに重ねるようにして、フレーム１２２ｂを座標変換する。

ここで、特徴点として撮影画面の周辺を選択する理由を以下に説明する。

多くの撮影の場合では、画面中央近傍に主被写体が位置し、且つ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。すなわち、複数枚の撮影を行っている際、撮影者の手振ればかりでなく、被写体振れも重畳してくるので、被写体振れに基づいて画像の座標変換をしてしまう。この場合、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によってずれ検出精度が大きく左右される。

例えば、主被写体（人物）の眼を特徴点として選んだ場合は瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので実際の被写体全体の振れとは異なってしまう。この様に人物の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではなく、複数の画像を座標変換して合成する場合においても、画像毎に座標の位置がばらつき、好ましい画像は得られない。

そこで、上記のように背景のような静止被写体を特徴点として選択して、画像の座標変換を行った方が好ましい画像が得られる。尚、画像のずれを求める方法は上記の様に周辺のエッジなどの特徴点を抽出してずれとする方法ばかりではなく、画面全体における各領域の画像間の動きベクトルを検出し、それらの中で最も頻度の高い動きベクトルをずれとする方法でも良い。

座標変換部１１６では、ずれ検出部１１５で求められた各画像間のずれ量に基づいて複数画像の位置合わせを行う。

ここで、合成前に座標変換部１１６は以下の動作も行っている。先ず、各画像の座標を変換して位置合わせを行う時に基準となる画像を選ぶ。選ばれた基準画像に対して大幅にずれている画像は以降の合成に用いないように削除する。座標変換された各画像は、画像合成部１１７に出力されて各画像が１枚の画像に合成される。デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり、見苦しい画像になってしまう。

しかし、本実施例１のように多くの画像を合成して画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。別の考え方をすれば、例えばノイズを許容して撮像部１９を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させているとも云える。

合成された画像データは、第１画像補正部１１８ａに入力されてガンマ補正や圧縮処理が行われ、更に合成時の各画像の端部欠損部が切り出され、画像サイズが小さくなった分が拡散補完される。図３における互いが重ならない領域１２９がカットされ、２枚の画像が重なった領域のみについて切り出されて拡散補完処理が行われる。その後、記録部１２１に記録される。

一般にデジタルカメラの場合では、撮影後に撮影画像をカメラの背面液晶モニター（表示部１１９）に表示する。しかし、本実施例１のように画像を合成して露出補完を図る場合には、合成画像を作成してから表示するまでに時間がかかってしまう。

そこで、本実施例１においては、カメラの表示部１１９には合成前の画像を表示するようにしている。これはカメラの表示部１１９は小さい為に露出不足の画像のゲインを上げて表示しても鑑賞時に気にならない為である。

図１の記録部１２１から表示部１１９に入力される信号は、記録部１２１に記録された画像を再生する場合に必要とされる。上述したように複数枚の画像を撮影し、それらを合成する場合には、撮影直後では特定した駒を表示する訳である。しかし、表示禁止部１１９ａは合成処理が完了した後において画像を再生する時には上記特定駒を表示部１１９で表示するのではなく、合成処理が完了した画像を表示する事で実際の画像を確認できるようにしている。

尚、画像の再生モードの場合には一般的には記録部１２１内のすべての画像データを見ることが出来るが、複数枚を撮影してこれらを合成する場合においては表示禁止部１１９ａにより合成前の画像は再生時には見えないようにしている。これは、再生時に上記複数枚の合成用画像を表示するようにすると、撮影者の認識していない画像が多く表示されることになり、画像の閲覧に時間がかかるばかりではなく、混乱をきたす為である。

以上の構成において、上述した重み付け設定部１１４について、その詳細を説明する。

重み付け設定部１１４の役割は、撮影倍率に基づいて各画像における特徴点の重み付けを設定する事である。そして、撮影倍率が低い時は、画像周辺領域における特徴点の重み付けを大きくし、撮影倍率が高い時は、画像中央領域における特徴点の重み付けを大きくしている。これは、撮影倍率が低い時は、前述した様に背景の振れを補正した方が好ましい画像になり、撮影倍率が高い時は、主被写体の振れを補正した方が好ましい画像になることが分かって来た為である。

ここで、撮影倍率とは、撮影条件検出部１８ａが検出した撮影焦点距離と撮影被写体距離により求まる倍率である。例えば撮影焦点距離が長く（テレ）、撮影被写体距離が近い時は撮影倍率が高く、撮影焦点距離が短く（ワイド）、撮影被写体距離が遠い時は撮影倍率が低い。撮影焦点距離が短くても撮影被写体距離が近ければ撮影倍率は大きくなり、同様に撮影被写体距離が遠くても撮影焦点距離が長ければ撮影倍率は大きくなる事もある。

尚、ここで云う撮影倍率とは、撮影される被写体の大きさと同じ大きさで撮像部１９の撮像面に撮像される時を等倍（撮影倍率１）、撮影される被写体の大きさに対して、その０．２５倍の大きさで撮像面に撮像される場合を撮影倍率０．２５倍という。

撮影倍率が低い時は前述した様に角度振れが殆どを占め、シフト振れの影響はないので、画面中央に位置することの多い主被写体も、周辺に位置することの多い背景も、同じ量だけ振れている。その為、複数枚の画像を位置合わせして合成する時には、図２を用いて説明したように、被写体振れの虞がある主被写体領域（画像中央領域）よりも背景領域（画像周辺領域）で画像間の位置ずれを検出し、各画像の位置合わせ、合成を行えばよい。

しかしながら、撮影倍率が大きくなるにつれてシフト振れの影響が大きくなるので、主被写体（画像中央領域）と背景（画像周辺領域）で撮影距離が異なる場合では、各々の振れ量が異なってくる。例えば植物を近接撮影する場合を考える。

この時、図４のフレーム４１において、主被写体である画像中央の花４２とその背景である画像周辺の葉４３各々の特徴点（例えば花や葉のエッジ）の動きベクトルを比較する。すると、撮影被写体距離の近い花は動きベクトル４２ａは大きく、撮影被写体距離の遠い葉の動きベクトル４３ａは小さくなる。このような場合、撮影者が最も撮影したい主被写体領域（画像中央領域）における振れを十分補正してゆくのが望ましい。

そこで、重み付け設定部１１４は、撮影倍率が大きくなると画像周辺のずれ検出用の特徴点のずれ検出値に対して、画像中央領域のずれ検出用の特徴点のずれ検出値の重み付けを大きくする。例えば、撮影倍率が極めて大きいときには、画像周辺のずれ検出用の特徴点のずれ検出値の重み付けをゼロにし、画像中央領域における特徴点のずれ検出結果のみで各画像の位置合わせ、合成を行う。

但し、撮影倍率が大きい場合の全てに関して上記処理を行えばよい訳ではない。それは上記処理を行うと背景である葉４３に関しては逆に過補正で振れが大きくなる可能性がある。これは、実際の振れは動きベクトル４３ａで示すように小さいのであるが、補正は動きベクトル４２ａで行われる為である。

被写体倍率がきわめて大きく、シフト振れによる主被写体の振れがとても大きい時には、主被写体の振れ補正を優先し、背景の振れに関しては許容することができる。それはこのような撮影条件では画像殆どを主被写体が占め、背景領域が極めて少ないので、その振れの過補正は目立たない為である。しかしながら、図４のような撮影倍率（通常撮影よりは撮影倍率が大きいが最大の撮影倍率では無い条件）においては、画像周辺領域も所定の振れ補正を行い、画像全体（主被写体である画像中央領域と背景である画像周辺領域）で良好な像にしたい。

そこで、このような条件の場合には、画像周辺のずれ検出用の特徴点のずれ検出値の重み付けをゼロにはせず、画像中央領域における特徴点のずれ検出結果と画像周辺のずれ検出用の特徴点のずれ検出結果で各画像の位置合わせ、合成を行う。

具体的には、画像周辺のずれ検出用の特徴点のずれ検出値の重み付けを０．４、画像中央領域における特徴点のずれ検出値の重み付けを０．６とし、各々の特徴点のずれ検出結果に重み付けを掛けた後の合成ベクトルで各画像の位置合わせ、合成を行う。この場合、画像中央領域の主被写体の振れ補正は不十分（０．６倍になるので補正不足）であるが、画像周辺領域である背景に関しては振れの過補正は軽減される。

撮影倍率が小さいほどシフト振れの影響は減り、撮影距離が異なる事による主被写体の振れ量と背景の振れ量の差はなくなってくるので、重み付け設定部１１４により定める各領域の特徴点の重み付けは、図５（ａ）に示すようになる。

図５（ａ）では、横軸の撮影倍率が大きくなるほど画像中央領域における特徴点の重み付けを大きくし（実線）、反対に画像周辺領域における特徴点の重み付けを小さくし（破線）、最終的に等倍撮影では画像周辺領域における特徴点の重み付けをゼロにしている。なお、５１は或る撮影倍率を示すもので、後述する。

重み付けの方法は図５（ａ）に限られず、図５（ｂ）に示すように、撮影倍率が所定より小さい（例えば０．２５倍）ものは画像周辺領域の特徴点重み付けを１にして、画像中央領域の特徴点重み付けをゼロにしても良い。また、図５（ｃ）のように、所定の撮影倍率（例えば０．２５倍）を境にして撮影倍率がそれより大きい時は、画像周辺領域の重み付けを１からゼロにし、画像中央領域の重み付けをゼロから１にしても良い。

図６は、本発明の実施例１に係る主要部分の撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンされたときにスタートする。

ステップ＃１００１では、撮影者によりレリーズボタンの半押し操作、つまりスイッチｓｗ１がオンされ、撮影準備部動作が行われるまでこのステップで待機し、その後、スイッチｓｗ１がオンされるとステップ＃１００２へ進む。

次のステップ＃１００２では、撮像部１９により被写体を撮像し、信号処理部１１１でその画像のコントラストを検出しながら撮影制御部１８によりＡＦモータ１４ａを駆動してレンズ１１の繰り出しが開始される。そして、最もコントラストが高かった位置を検出し、その位置にレンズ１１を繰り出すことでピント合わせを行う。尚、上記はＴＶ−ＡＦ（いわゆる山登り）方式を例にした場合であるが、位相差ＡＦ方式であっても良い。この場合には、始めにＡＦセンサ（不図示）で焦点状態を検出し、その結果からレンズの繰出し量を演算してレンズを繰り出し、再度焦点状態を検出する。そして、ピントが合っている場合にはレンズ駆動を停止し、ピントが合っていない場合には再度レンズ駆動を繰り返す事でピント合わせを行う。また、このステップ＃１００２では、同時に撮像部１９や図１では不図示の測光センサにより出力より被写体の明るさを求める。

次のステップ＃１００３では、撮影者により防振操作部１２０がオンされているか否かを判定し、オンされている場合はステップ＃１００４へ進み、オフのままである場合はステップ＃１０１９へ進む。

先ず始めに、防振操作部１２０がオンされており、ステップ＃１００４へと進んだ場合について説明する。ステップ＃１００４へ進むと、上記ステップ＃１００２で求めた被写体の明るさ等の撮影条件から、撮影する枚数と各々の露光時間を求める。ここで云う撮影条件とは
・被写体の明るさ
・撮影焦点距離
・撮影被写体距離
・撮影光学系の明るさ（絞りの値）
・撮像部の感度
の５点である。

このステップ＃１００４では、さらに撮影焦点距離と撮影被写体距離より撮影倍率を求める。例えば撮像部の感度がＩＳＯ２００に設定されていたとする。このとき、被写体の明るさを測光し、それを適正に露光するためには、絞り１３ａは全開（例えばｆ２．８）、シャッタ１２ａは露光時間１／８が必要である計算になったとする。この際、撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは、露光時間１／８の撮影では手振れの虞があるので手振れの虞がない露光時間１／３２に設定し、４回撮影を行うように設定する。ここで、撮影倍率が所定より大きい（例えば撮影倍率０．２５倍以上）の場合には、シフト振れの影響で振れが大きくなるので、上記露光時間を更に短くする。例えば、撮影倍率０．２５倍では露光時間を１／６４にし、撮影倍率０．５倍では露光時間を１／１２８にし、撮影倍率等倍では露光時間を１／２５６にする。そして、それに応じて撮影枚数を設定する（例えば、撮影倍率０．２５倍では８枚、撮影倍率０．５倍では１６枚、撮影倍率等倍では３２枚）。

以上のように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、更に何枚撮影するかも撮影条件に合わせて設定する。また、同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像部１９に正確な情報が撮像できる。そのために暗い被写体の場合、絞り１３ａが絞り込んでいる場合、あるいは、撮像部１９の感度が低く設定されている場合には、複数枚撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。

但し、あまり露光時間を長くすると手振れによる劣化の影響が像面に表れるために、上述したように撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは手振れの虞のない、約焦点距離分の一である露光時間１／３２に設定している。そして、その露光時間では足りない分を撮影枚数で補完している。焦点距離が長い場合には、更に露光時間を短くしないと手振れによる像劣化が生ずるので、更に露光時間を短くして、その分撮影枚数を増やして露出補完を行う。

このように複数枚撮影における露光時間は撮影被写体が暗いほど、又撮影レンズが暗いほど長くなり、撮像部１９の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなり、撮影倍率が大きいほど短くなる。そして、複数枚撮影における撮影枚数は撮影被写体が暗いほど、又撮影レンズが暗いほど多くなり、撮像部１９の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなり、撮影倍率が大きいほど多くなる。

以上の計算が終了した後で、カメラのファインダや背面液晶モニターに防振モード（複数回撮影モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示し、撮影者に知らせる。

次のステップ＃１００５では、重み付け設定部１１４により、撮影倍率に応じて画像中央領域の特徴点のずれ検出の重み付けと画像周辺領域の特徴点の重み付けを設定する。この重み付けは、撮影倍率が大きいほど画像中央領域の特徴点の重み付けを大きくしており、その重み付けの撮影倍率による変化は、図５（ａ）ないし図５（ｃ）で説明した通りである。

次のステップ＃１００６では、レリーズボタンを押し切り操作がなされてスイッチｓｗ２がオンしたか否かを判定し、オンしていなければステップ＃１００１に戻り、以下同様の動作を繰り返す。その後、スイッチｓｗ２がオンして撮影指示があったことを判定するとステップ＃１００７へ進む。

ステップ＃１００７へ進むと、１枚目の撮影を開始する。つまり、先ず撮像部１９の電荷をリセットし、再蓄積を開始させる（メカ（機械的）シャッタの場合は、蓄積開始後にシャッタを開口する）。次に、上記ステップ＃１００４で求められた露光時間待機し、その後電荷の転送を行う（メカシャッタの場合には、電荷転送に先立ってシャッタを閉じる）。そして、得られた画像を一旦画像記憶部１１３に記憶しておく。又、この時同時に撮影開始の発音を、発音駆動部１７ｂを介してスピーカー１７ａで行う。この音は例えばピッ！と云う電子音でも良いし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でも良い。

尚、ステップ＃１００７から後述するステップ＃１０１４までは短い露光時間の撮影を複数回繰り返し、それを合成してみかけの露出を適正にする合成撮影モードの動作である。

次のステップ＃１００８では、すべての撮影が完了したか否かを判定し、完了していなければステップ＃１００７、＃１００８を循環して待機する。そして、撮影が完了するとステップ＃１００９へ進む。

ステップ＃１００９では、撮影完了の発音を、発音駆動部１７ｂを介してスピーカー１７ａで発音させる。この音は、上記撮影開始の発音と同様、例えばピッピッ！と云う電子音でも良いし、フィルムカメラなどにおけるシャッタの閉じ音、ミラーダウン音やフィルム巻き上げ音でも良い。このように複数枚撮影する場合においても、その動作を表す発音は１セット（最初の撮影の露光開始から最後の撮影の露光完了までに１回）なので、撮影者に複数枚撮影の違和感を与える事はない。特に電子シャッタなどを用いて連写を行った場合においては、メカシャッタ動作の音や振動がまったく生じないので、撮影者は連写を行ったことすら認識しないで円滑な撮影を行える。

ステップ＃１０１０では、ずれ検出部１１５により、重み付け設定部１１４にて設定された、領域ごとの各画像間のずれ量を求める。このずれ量は画像中央領域および画像周辺領域ごとに各々設けてある特徴点の平均を算出し、画像中央領域の特徴点座標の平均と画像周辺領域の特徴点座標の平均各々に対して上記ステップ＃１００５で求めた重み付けを行い、最終的な座標としている。

次のステップ＃１０１１では、座標変換部１１６により各画像の座標変換を行う。続くステップ＃１０１２では、すべての画像が座標変換完了したか否かを判定し、完了していなければステップ＃１０１０に戻り、完了するまでステップ＃１０１０，＃１０１１を循環して待機し、すべての画像の座標変換が完了するとステップ＃１０１３へ進む。

次のステップ＃１０１３では、画像の合成を行う。ここで、画像の合成は各画像の対応する座標の画像信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。続くステップ＃１０１４では、合成された画像の端部のように各画像が構図振れにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。そして、次のステップ＃１０１５にて、合成画像に対して信号のガンマ補正や圧縮処理を行う。

次のステップ＃１０１６では、上記ステップ＃１０１５で求まった画像をカメラ背面に配置された背面液晶モニター（表示部１１９）に表示する。続くステップ＃１０１７では、上記ステップ＃１０１５で求まった画像を例えば半導体メモリなどでカメラに対して着脱可能な記録媒体（記録部１２１）に記録する。そして、ステップ＃１０１８にてスタートに戻る。

尚、ステップ＃１０１８の段階で未だ継続してスイッチｓｗ１がオンされている場合は、そのままステップ＃１００１→＃１００２→＃１００３→＃１００４と再度フローを進めてゆく。しかし、ステップ＃１０１８の段階でスイッチｓｗ２が継続してオンのままであるときはスタートに戻らず、ステップ＃１０１８で待機する。

次に、上記ステップ＃１００３にて防振操作部１２０がオフであるとしてステップ＃１０１９へ進んだ場合について説明する。

ステップ＃１００３からステップ＃１０１９へ進むと、ここでは防振システムを使用しないと手振れによる画像劣化が生ずる撮影条件であるか否かを判定する。撮影条件は前述した様に、被写体の明るさ、レンズの明るさ、撮像感度、撮影焦点距離である。このステップ＃１０１９では、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求め、その露光時間が現状の撮影焦点距離においては手振れによる画像劣化の可能性があるか否かを判定している。その結果、画像劣化の可能性があると判定した場合はステップ＃１０２０へ進み、そうでない時は直ちにステップ＃１０２１へ進む。

ステップ＃１０２０へ進むと、カメラのファインダや背面液晶モニター（表示部１１９）に防振モードに設定する事を推奨する表示を行う。そして、次のステップ＃１０２１にて、スイッチｓｗ２がオンされて撮影の指示があるまで、ステップ＃１００１からステップ＃１０２１を循環して待機する。

その後、ステップ＃１０２１にてスイッチｓｗ２がオンされたことを判定するとステップ＃１０２２へ進み、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）が完了するまで待機し、露光完了と共に上記したステップ＃１０１５へと進む。

ここで省いているが、通常撮影の場合においても、撮影開始から完了の動作に合わせて撮影動作音をスピーカー１７ａより発音させている。即ち、合成撮影モード（複数枚の撮影の合成）においても通常撮影モードにおいても同じ様式の撮影動作音を発音させている。電子シャッタ選択時にはその動作音の長さ（撮影開始音から撮影完了音迄の長さ）の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数枚の撮影を行っているか否かは撮影者には判らないようになっている。そのため、合成撮影モードにおいても特別な撮影を行っているという認識を撮影者に与えることがなく、使い易いカメラになっている。

上記ステップ＃１０２２からステップ＃１０１５へ進むと、ここでは撮影画像に対して信号のガンマ補正や圧縮処理を行う。そして、次のステップ＃１０１６にて、上記ステップ＃１０１５で求まった画像をカメラ背面に配置された背面液晶モニター（表示部１１９）に表示する。続くステップ＃１０１７では、上記ステップ＃１０１５で求まった画像を例えば半導体メモリなどでカメラに対して着脱可能な記録媒体（記録部１２１）に記録し、ステップ＃１０１８を介してスタートへ戻る。

図６のフローで分かるように、防振操作部１２０がオフされている場合においても、手振れによる画像劣化が生ずる撮影条件の時には、撮影者に防振システムの活用（合成撮影モード）を促す表示を行って画像劣化を未然に防いでいる。更に合成撮影モードにおいても、各々の露光時間は焦点距離により変更することでいかなる焦点距離においても望ましい撮影ができるようにしている。

以上のように、複数枚の画像を取得し、それらの互いのずれ量を検出すると共に、その結果に基づいて各画像を位置合わせして合成する電子防振システムを有するカメラに関する。このカメラにおいて、撮影倍率に基づいて画像における異なる領域の特徴点の重み付けを設定（変更）するようにしている。このことで、近接撮影時においてもバランスのよい振れ補正（像振れ補正）を可能にしている。

詳しくは、本実施例１におけるカメラは、以下のような構成要素を具備している。順次撮影を実行して複数枚の画像を得る撮影制御部１８および画像記憶部１１３と、撮影倍率に基づいて画像における異なる領域の特徴点の重み付けを設定する重み付け設定部１１４とを有する。さらに、重み付け設定部１１４により領域（画像中央領域と画像周辺領域）ごとに重み付けされた特徴点の各座標より各画像間のずれ量を検出するずれ検出部１１５を有する。さらに、ずれ検出部１１５により検出されたずれ量に基づいて各画像の座標変換を行う座標変換部１１６とを有する。さらに、座標変換部１１６による座標変換後の各画像を合成する画像合成部１１７と有する。そして、撮影倍率に基づく重み付けが反映されたずれ量により前記各画像間の像振れを補正した後に合成を行い、画像の露出を補完するようにしている。

上記重み付け設定部１１４について更に詳しく説明すると、撮影倍率が低い時は高い時に比べて、画像周辺領域における特徴点の重み付けを大きくし、撮影倍率が高い時は低い時に比べて、画像中央領域における特徴点の重み付けを大きくするようにしている。

よって、近接撮影時においても満足できる像振れ補正を行うことが可能となった。つまり、近接撮影条件においても主被写体の像振れ補正と背景の像振れ補正をバランスよく行え、防振精度の高い画像を得ることが可能となった。

上記実施例１においては、撮影倍率に応じて画像中央領域と画像周辺領域の重み付けを変更し、その重み付けでずれ量を求めて画像合成を行っていた。これに対し、本発明の実施例２では、以下の点が異なる。一つは、画像をコントラストの高い領域とコントラストの低い領域に分け、コントラストの高い領域に位置する特徴点とコントラストが低い領域に位置する特徴点の重み付けを撮影倍率で可変にしている点である。もう一つは、コントラストの高い領域とコントラストの低い領域のコントラストを比較し、その比較結果によっても重み付けを変更している点である。

以下に本発明の実施例２における重み付け設定部１１４について、その詳細を説明する。その他は上記実施例１とほぼ同様であるので、その説明は省略する。

重み付け設定部１１４の役割は、撮影倍率に基づいて各画像における特徴点の重み付けを設定することである。詳しくは、撮影倍率が低い時は画像のコントラストが低い領域における特徴点の重み付けを大きくし、撮影倍率が高い時は画像のコントラストが高い領域における特徴点の重み付けを大きくするようにしている。

これは、撮影倍率が低い時は前述した様に背景の振れを補正した方が好ましい画像になり、撮影倍率が高い時は、主被写体の振れを補正した方が好ましいが画像になることが分かって来た為である。そして、背景の領域は一般的にピントが合っていないのでコントラストが低く、主被写体はピントが合っているのでコントラストが高い。即ち、実施例１では、画像の中央と周辺で主被写体と背景の分離を行っていたが、本発明の実施例２では、コントラストにより主被写体と背景の分離を行っている。

尚、撮影倍率が低い時は前述した様に角度振れが殆どを占め、シフト振れの影響はないのでコントラストの高い領域に位置することの多い主被写体もコントラストの低い領域に位置することの多い背景も同じ量だけ振れている。

その為、複数枚の画像を位置あわせ合成する時には、図２を用いて説明した様に、被写体振れの虞がある主被写体領域（コントラストの高い領域）よりも背景領域（コントラストの低い領域）で画像間の位置ずれを検出し、各画像の位置合わせ、合成を行えばよい。

しかしながら、撮影倍率が大きくなるにつれてシフト振れの影響が大きくなるので、主被写体（コントラストの高い領域）と背景（コントラストの低い領域）で撮影距離が異なる場合では、各々の振れ量が異なってくる。

図４に示した様にフレーム４１において、主被写体である画像中央の花４２とその背景である画像周辺の葉４３各々の特徴点（例えば花や葉のエッジ）の動きベクトルを比較する。すると、撮影被写体距離の近い花は動きベクトル４２ａは大きく、撮影被写体距離の遠い葉の動きベクトル４３ａは小さくなる。このような場合、撮影者が最も撮影したい主被写体領域（コントラストの高い領域）における振れを十分補正してゆくのが望ましい。

そこで、重み付け設定部１１４は、撮影倍率が大きくなるとコントラストの低い領域のずれ検出用の特徴点のずれ検出値に対してコントラストの高い領域のずれ検出用の特徴点のずれ検出値の重み付けを大きくする。例えば、撮影倍率が極めて大きいときにはコントラストの低い領域のずれ検出用の特徴点のずれ検出値の重み付けをゼロにし、コントラストの高い領域における特徴点のずれ検出結果のみで各画像の位置合わせ、合成を行う。

但し、撮影倍率が大きい場合の全てに関して上記処理を行えばよい訳ではない。それは上記処理を行うと背景である葉４３に関しては逆に過補正で振れが大きくなる可能性があることである。これは実際の振れは動きベクトル４３ａで示す様に小さいのであるが、補正は動きベクトル４２ａで行われる為である。

被写体倍率がきわめて大きく、シフト振れによる主被写体の振れがとても大きい時には主被写体の振れ補正を優先し、背景の振れに関しては許容することができる。それはこのような撮影条件では、画像殆どを主被写体が占め、背景領域が極めて少ないので、その振れの過補正は目立たない為である。

しかしながら、図４の様な撮影倍率（通常撮影よりは撮影倍率が大きいが、最大の撮影倍率では無い条件）では、画像周辺領域も所定の振れ補正を行い、画像全体（主被写体であるコントラストの高い領域と背景であるコントラストの低い領域）で良好な像にしたい。

そこで、このような条件の場合には、コントラストの低い領域のずれ検出用の特徴点のずれ検出値の重み付けをゼロにはしない。そして、コントラストの高い領域における特徴点のずれ検出結果とコントラストの低い領域のずれ検出用の特徴点のずれ検出結果で各画像の位置合わせ、合成を行う。具体的には、コントラストの低い領域のずれ検出用の特徴点のずれ検出値の重み付けを０．４、コントラストの高い領域における特徴点のずれ検出値の重み付けを０．６とする。そして、各々の特徴点のずれ検出結果に重み付けを掛けた後の合成ベクトルで各画像の位置合わせ、合成を行う。

この場合、コントラストの高い領域の主被写体の振れ補正は不十分（０．６倍になるので補正不足）であるが、コントラストの低い領域である背景に関しては振れの過補正は軽減される。

撮影倍率が小さいほどシフト振れの影響は減り、撮影距離が異なる事による主被写体の振れ量と背景の振れ量の差はなくなってくる。よって、重み付け設定手段により定める各領域の特徴点の重み付けは、上記実施例１で説明した図５（ａ）から図５（ｃ）と同様に設定すればよい。

図７は本発明の実施例２に係る主要部分の撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンされたときにスタートする。図７のフローチャートは、図６のフローチャートと比べて、ステップ＃１００５の代わりにステップ＃２００１を行う点が異なる。

ステップ＃２００１では、重み付け設定部１１４により、撮影倍率に応じてコントラストの高い領域の特徴点のずれ検出の重み付けと、コントラストの低い領域の特徴点の重み付けとを設定する。ここで、画像のコントラストは公知の画像処理により得られるものであるが、画像内にはコントラストの高い被写体とコントラストの低い被写体が混在している。又、コントラストの高い被写体でもピントが合っていなければコントラストは低くなる。

そこで、画像を、図８に示すように、画像を大まかに分割（第２領域である領域１０１ａと第１領域である領域１０１ｂ〜１０１ｇ）する。そして、その分割領域毎にコントラスト平均値を求め、その値に基づいてコントラストの高い領域とコントラストの低い領域を設定するようにしている。この重み付けは、撮影倍率が大きいほど、コントラストの高い領域（図８では、領域１０１ａで示す第２領域）の特徴点の重み付けを大きくしており、その重み付けの撮影倍率による変化は、図５（ａ）から図５（ｃ）で説明した通りである。

上記のように、本実施例２では、画像をコントラストの高い領域とコントラストの低い領域に分け、コントラストの高い領域に位置する特徴点とコントラストが低い領域に位置する特徴点の重み付けを撮影倍率で可変にするようにしている。このことで、上記実施例１に比べ、更に正確に主被写体と背景を判定して、ずれ検出用の特徴点に適切な重み付けを与える事ができるようになっている。

そして、本実施例２においては、以下に述べる処理を行う事で、主被写体と背景のずれの補正のバランスを更に高める事を可能にしている。

前述した様に、近接撮影ではカメラに加わるシフト振れの影響による画像のずれがあり、そのずれ量は撮影被写体の距離で変化する。そして、撮影被写体がカメラに対して近い場合には、遠い場合に比べて、シフト振れによる画像のずれが大きくなる。

主被写体と背景がカメラに対して略同等の距離にある場合には、シフト振れによる画像のずれも殆ど同じである為に、前述した様に各画像間のずれを検出し、そのずれに基づいて各画像を位置合わせをし、合成すれば主被写体も背景も良好にずれ補正できる。しかしながら、主被写体の撮影距離に対して背景の撮影距離が離れている場合、例えば主被写体はカメラに対して２０ｃｍの位置、背景はカメラに対して１ｍの位置の場合では、シフト振れによる画像のずれは主被写体は大きく、背景には殆ど影響しない量になる。その為、主被写体のずれ量に基づいてずれ検出を行い、各画像を位置合わせして合成すると、背景領域では却ってずれを発生させる事になる。しかし、主被写体に対して背景は十分に離れているので、背景の画像のコントラストは極めて低く（ピントが合っていない為）、その領域にずれが合ってもさほど問題にはならない。

上記２つの条件の場合では、共に主被写体領域（コントラストの高い領域）の特徴点を用いてずれ検出を行えばよい。ところが、上記２つの条件の中間の条件ではずれ検出に調整が必要になる。例えば、主被写体はカメラに対して２０ｃｍ、背景はカメラに対して４０ｃｍの場合である。このような時は主被写体の領域（コントラストの高い領域）で検出したずれに基づいて各画像を位置合わせして合成すると、背景は却ってずれを発生させることになる（過補正）。このこと自体は背景が１ｍの場合と同じである。つまり、背景の撮影距離も主被写体の撮影距離に近いので、主被写体に対するコントラストの低下も少なく、上記過補正が目立ち、良好な画像にはならない。

このような条件においては、主被写体のずれ補正量（精度）を低くし、その分背景の過補正量を減らすことで画像全体としてバランスをとるようにするのが、本実施例２におけるもう一つの特徴である。

今まで説明してきた例では、撮影倍率が大きいほど、背景に対して主被写体のずれ補正精度を上げてきており、それは画像中央領域或いはコントラストの高い領域における特徴点の重み付けを大きくする事で対処してきた。ここではそれに加えて、撮影倍率が大きい場合においても、更に背景の撮影倍率（撮影被写体距離やコントラスト）に応じて主被写体領域（コントラストの高い領域）と背景（コントラストの低い領域）の特徴点の重み付けを変更するものである。

具体的には、コントラストの高い領域とコントラストの低い領域のそれぞれのコントラストを比較し、その差、或いは比が大きい時には、背景は主被写体に対して遠くにある（撮影距離が長い）と判定する。そして、主被写体（コントラストの高い領域）における特徴点の重み付けを高くするように重み付けを補正する。一方、差、或いは比が小さい時には背景は主被写体に対して近くにあると判定し、主被写体（コントラストの高い領域）における特徴点の重み付けを低くするように補正するようにしている。

このようにすることにより、背景が遠い場合でもコントラストが高い模様の時には背景ずれの過補正を防ぎ、良好な画像を得る事ができる。

図９は、図７のステップ＃２００１での処理内容の詳細を説明するフローチャートである。

ステップ＃２００１１を介してステップ＃２００１２へ進むと、ここでは、コントラストの高い領域とコントラストの低い領域のそれぞれのコントラストの比を求める。なお、コントラストの高い領域とは、図８の領域１０１ａで示す第２領域などの主被写体領域であり、コントラストの低い領域とは、図８の領域１０１ｆで示す第１領域などの背景領域である。

次のステップ＃２００１３では、上記ステップ＃２００１２で求めたコントラスト比に基づいて各領域（コントラストの高い領域１０１ａ、コントラストの低い領域１０１ｆ）に点在している特徴点の重み付けを補正する。そして、次のステップ＃２００１４にて、図７のステップ＃１００６へ進む。

ここで、特徴点の重み付けの補正について説明する。

図１０は、図５（ａ）における或る撮影倍率５１の撮影条件における領域毎の重み付けを示している。ここで、横軸は、コントラストの高い領域（例えば図８の領域１０１ａ）とコントラストの低い領域（図８の領域１０１ｆ）のコントラストの比である。図中の右方向に行く程、コントラストの比が小さい（コントラストがほぼ同じであり、主被写体と背景は同じ撮影距離近傍にある）。縦軸は、各領域（コントラストの高い領域とコントラストの低い領域）の重み付けであり、それぞれ、破線で示すコントラストの高い領域、実線で示すコントラストの低い領域が対応している。

コントラスト比が大きい（背景が遠くにあり、ピントがボケている）ときは、各領域は図５（ａ）に示す撮影倍率５１の位置における重み付けになっているが、コントラスト比が小さくなるにつれて各々の重み付けに違いがなくなるようにしている。そのため、主被写体と背景の撮影距離が離れている時は、主被写体に重み付けされたずれ検出結果で画像の合成が行われ、主被写体と背景がほぼ等撮影距離にある時には、主被写体と背景のずれの平均ずれ検出結果で画像の合成が行われる。よって、主被写体のずれと背景のずれをバランスよく補正でき、良好な画像を得る事ができる。

以上のように、実施例１と同様に、近接撮影時においてもバランスのよい像振れ補正を可能にしている。

実施例２における重み付け設定部１１４を詳しく説明すると、撮影倍率が低い時は高い時に比べて、コントラストの低い画像が多い第１領域における特徴点の重み付けを大きくする。撮影倍率が高い時は低い時に比べて、コントラストの高い画像が多い第２領域における特徴点の重み付けを大きくする。更には、重み付け設定部１１４は、第１領域と第２領域のコントラスト比較結果が大きいほど、第２領域における特徴点の重み付けを大きくするようにしている。

よって、近接撮影時においても満足できる像振れ補正を行うことが可能となった。

上記実施例２では、画像のコントラストを検出することで重み付けの設定を行っていた。これに対し、本発明の実施例３では、画面各部の撮影距離を求め、その結果に応じて重み付けの設定を行うようにしている。

前述した様に、カメラのＡＦ方式の一つに、レンズを走査してピントを変化させながら画像のコントラストを評価し、その結果を基に最終的なピント合わせを行う（コントラストの最も高い位置にレンズを位置させる方式）がある。また、他の一つに、専用のＡＦセンサ（例えば位相差ＡＦセンサ）を設け、その検出結果に応じてレンズを駆動してピント合わせを行う方式がある。これらの方式では、画像の各部の焦点状態を検出しており、主被写体と判定（カメラと被写体の距離や画像上の位置などで判定）される領域の焦点状態が良好になるようにレンズを駆動している。

そして、両方式とも、画面各点における焦点状態を検出できるので、主被写体と判定される領域以外での焦点状態も検出できる。その為、画像における焦点状態より主被写体（ピントの合った領域）と背景（ピンとの合っていない領域）を切り分ける事ができ、領域ごとに特徴点の重み付けを設定できる。且つ、主被写体と背景の焦点状態（撮影距離）の比較から実施例２と同様に重み付け補正を行える。

図１１は、撮影される画像と画像各部の焦点状態を検出する領域（測距枠）を重ねて示しており、測距枠１３１ａは主被写体に重なっており、測距枠１３１ｂは背景に重なっている。そして、測距枠１３１ａの焦点状態検出結果に基づいて、主被写体に合焦（ピントが合う）させる様にレンズを駆動する。このレンズの駆動量により、カメラから主被写体までの距離が分かり、その時の撮影レンズの焦点距離との関係から撮影倍率が分かる。このように撮影倍率が分かると、図５で示した様に、特徴点の重み付けを設定する。

ずれ検出部１１５は、各測距枠ごとに、その領域にある特徴点の対応する各画像間のずれを検出している。そして、合焦している測距枠（例えば測距枠１３１ａ）におけるずれ検出結果の平均値と、合焦していない測距枠（例えば測距枠１３１ｂ）におけるずれ検出結果の平均値をその時の撮影倍率に合わせる。そして、合成ベクトルに基づいて画像間の位置合わせを行い、画像合成する。

また、非合焦の測距枠（例えば測距枠１３１ｂ）と合焦測距枠（例えば測距枠１３１ａ）の合焦状態の比較を行い、その結果に応じて、図１０と同様に重み付けの補正を行う。

これにより、主被写体に対して背景の撮影距離が近い場合でも、バランスの良い像振れ補正が可能になる。

以上のように、実施例１と同様に、近接撮影時においてもバランスのよい像振れ補正を可能にしている。

実施例３において、カメラは撮影画面内の異なる領域の合焦状態を検出する合焦状態検出手段を有する。重み付け設定部１１４は、撮影倍率が低い時は高い時に比べて、画像の合焦近傍以外の領域（測距枠１３１ｂなど）の特徴点の重み付けを大きくする。撮影倍率が高い時は低い時に比べて、合焦近傍領域の特徴点（測距枠１３１ａなど）の重み付けを大きくする。さらには、画像の合焦近傍領域と画像の合焦近傍以外の領域の合焦状態の比較結果が大きいほど、合焦近傍領域における特徴点の重み付けを大きくするようにしている。

よって、近接撮影時においても満足できる像振れ補正を行うことが可能となった。

上記実施例１から３においては、撮影倍率に応じて特徴点の重み付けを変更していた。これにより、画像を位置合わせして合成することで、像振れが少なく、且つ露出も補完された良好な画像を得ることができた。

これまでの実施例１〜３に述べたように、画像を複数枚に分けて撮影する場合には、その各々は手振れによる像劣化が生じない様な短い露光時間で撮影する必要がある。そして、その露光時間はカメラの焦点距離や撮影倍率により調整しており、焦点距離が長い時や撮影倍率が高い時には、手振れによる画像劣化が大きくなるので、各画像の露光時間を焦点距離が短い時や撮影倍率が低い時に比べて短くしている。その為に露出を補完するために、より多くの画像を取得してそれらを位置合わせして合成する必要がある。

合成枚数が多い時には、実施例１〜３で述べた主被写体と背景の振れ補正量の関係が変化してくる。前述した様に、近接撮影において像振れ補正が可能であるのは、撮影距離が同じである被写体のみであり、背景などの撮影距離の異なる被写体においては却って過補正になる場合もある。それを避けるために、主被写体の振れ補正精度を調節し（精度を落とし）、背景の過補正を弱めて全体にバランスの良い画像を得ている。しかしながら、撮影枚数が多くなると、始めに撮影された画像と最後に撮影された画像の時間差が長くなりすぎて、その間の振れ量も大きくなってくる。その為にバランスの良い画像を得る為に主被写体の振れ補正精度を落とすと、残存振れは許容できなくなる虞がある。

そこで、本発明の実施例４においては、撮影枚数が多い時には、主被写体領域の特徴点の重み付けを大きくして主被写体の振れ補正精度を上げる。一方、撮影枚数が少ない時には、背景領域の特徴点の重み付けを大きくして画像全体でバランスのとれた振れ補正を行うようにしている。

カメラの構成は図１と同様であり、その説明は省き、複数枚画像の処理部についてのみ説明する。

本実施例４において、連続撮影に応じて撮像部１９から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換部１１０でデジタル信号に変換されてから信号処理部１１１にて信号処理が施される。

一方、防振操作部１２０が操作されて防振システムがオンされた事が撮影制御部１８に伝えられると、信号処理部１１１からの画像データは信号切換部１１２を介して画像記憶部１１３に入力される。画像記憶部１１３は、撮影された複数の画像を記憶しておく。

重み付け設定部１１４は、次段のずれ検出部１１５のずれ検出で使用される特徴点の重み付けを設定するものであり、本実施例４における重み付け設定部１１４での詳細については後述する。ずれ検出部１１５は、画像記憶部１１３に記憶された画像内における重み付け設定部１１４で設定された重み付けの特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。座標変換部１１６ではずれ検出部１１５で求められた各画像間のずれ量に基づいて複数画像の位置合わせを行う。

ここで、合成前に座標変換部１１６は以下の動作も行っている。

先ず、各画像の座標を変換して位置合わせを行う時に基準となる画像を選ぶ。選ばれた基準画像に対して大幅にずれている画像は以降の合成に用いないように削除する。座標変換された各画像は、画像合成部１１７に出力されて各画像が１枚の画像に合成される。合成された画像データは、第１画像補正部１１８ａに入力されてガンマ補正や圧縮処理が行われ、更に合成時の各画像の端部欠損部が切り出され、画像サイズが小さくなった分が拡散補完される。つまり、図３における互いが重ならない領域１２９がカットされ、２枚の画像が重なった領域のみについて切り出して拡散補完処理が行われる。その後、記録部１２１に記録される。

以上の構成において、本実施例４に係る重み付け設定部１１４について、その詳細を説明する。

重み付け設定部１１４の役割は、撮影枚数に基づいて各画像における特徴点の重み付けを設定する事であり、撮影枚数が少ない時は、画像周辺領域における特徴点の重み付けを大きくする。一方、撮影枚数が多い時は、画像中央領域における特徴点の重み付けを大きくしている。

これは前述した様に、撮影枚数が多い時は補正すべき振れ量が大きくなるので、主被写体の補正精度を維持するためには主被写体領域の特徴点の重み付けを大きくする必要があるためである。撮影枚数が少ない時は、補正すべき振れ量は少なくなるので、主被写体の振れ補正と背景の振れ補正のバランスをとるために重み付け設定部１１４により各領域（主被写体のある画像中央領域と背景のある画像周辺領域）の特徴点の重み付けを均等にする。

図１２は本実施例４に係る重み付けの説明図であり、縦軸は重み付けを示し、横軸は撮影枚数を示している。この図１４では、撮影枚数が多くなるほど、画像中央領域における特徴点の重み付けを大きくし（実線）、反対に画像周辺領域における特徴点の重み付けを小さくしている（破線）。

図１３は本発明の実施例４に係る主要部分の撮影動作をまとめたフローチャートであり、図６のフローと異なるのは、ステップ＃１００５がステップ＃３００１に変更になっている点であるので、ステップ＃１００４の説明を除き、その他の説明は省く。

ステップ＃１００４では、ステップ＃１００２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。ここで云う撮影条件とは
・被写体の明るさ
・撮影焦点距離
・撮影被写体距離
・撮影光学系の明るさ（絞りの値）
・撮像部の感度
の５点である。更に撮影焦点距離と撮影被写体距離より撮影倍率を求める。

また、以下の手順で撮影枚数を求める。例えば、撮像部１９の感度がＩＳＯ２００に設定されていたとする。このとき、被写体を明るさを測光し、それを適正に露光するためには絞り１３ａは全開（例えばｆ２．８）、シャッタ１２ａは露光時間１／８が必要である計算になったとする。

このとき、撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは、露光時間１／８の撮影では手振れの虞があるので、手振れの虞がない露光時間１／３２に設定し、４回撮影を行うように設定する。焦点距離が長い場合には、更に露光時間を短くしないと手振れによる像劣化が生ずるので、更に露光時間を短くして、その分撮影枚数を増やして露出補完を行う。

このように、複数枚撮影における露光時間は撮影被写体が暗いほど、又撮影レンズが暗いほど長くなり、撮像部１９の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。さらに、撮影倍率が高いほど短くなる（撮影倍率が高いとシフト振れの影響も出てくるので、露光時間を更に短くする必要がある）。そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、又撮影レンズが暗いほど多くなり、撮像部１９の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなり、撮影倍率が大きいほど多くなる。

以上の計算が終了した後で、カメラのファインダや液晶表示部に防振モード（複数回撮影モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示し、撮影者に知らせる。

図１３のステップ＃３００１では、重み付け設定部１１４により、撮影枚数に応じて画像中央領域の特徴点のずれ検出の重み付けと画像周辺領域の特徴点の重み付けが設定される。この重み付けは、撮影枚数が多いほど、画像中央領域の特徴点の重み付けを大きくしており、その重み付けの撮影倍率による変化は、図１２で説明した通りである。

上記実施例では、画像の中央領域と周辺領域の重み付けを、撮影枚数に応じて変化させていたが、上記実施例２および３で述べた様に、画像のコントラストの高い領域と低い領域における特徴点の重み付けを撮影枚数で変更してもよい。さらには、合焦状態ごとに分けた領域の特徴点の重み付けを撮影枚数で変更してもよい。

また、主被写体と背景のコントラストの比や合焦状態の比較により重み付けの補正を行い、より振れ補正バランスのとれた画像を得る事ができる。

これらコントラストや合焦状態を利用した重み付けの制御に関しては、既に実施例２，３に詳細説明しており、これら実施例２，３と異なるのは、撮影倍率に応じる事が、撮影枚数に応じる事に変更された点だけであるので説明は省く。

以上のように、複数枚の画像を取得し、それらの互いのずれ量を検出すると共に、その結果に基づいて各画像を位置合わせして合成する電子防振システムを有するカメラに関する。このカメラにおいて、撮影枚数に応じて画像における異なる領域の特徴点の重み付けを設定（変更）するようにしている。このことで、近接撮影時においてもバランスのよい像振れ補正を可能にしている。

詳しくは、本実施例４におけるカメラは、以下のような構成要素を具備している。順次撮影を実行し、複数枚の画像を得る撮影制御部１８および画像記憶部１１３と、撮影枚数に応じて画像における異なる領域の特徴点の重み付けを設定する重み付け設定部１１４とを有する。さらに、重み付け設定部１１４により重み付けされた特徴点の各座標より各画像間のずれ量を検出するずれ検出部１１５と、ずれ検出部１１５により検出されたずれ量に基づいて各画像の座標変換を行う座標変換部１１６とを有する。さらに、座標変換部１１６による座標変換後の各画像を合成する画像合成部１１７とを有する。そして、撮影枚数に応じた重み付けが反映されたずれ量により前記各画像間の像振れを補正した後に合成を行い、画像の露出を補完する構成にしている。

上記重み付け設定部１１４についてさらに詳述すると、撮影枚数が少ない時は多い時に比べて、画像周辺領域における特徴点の重み付けを大きくし、撮影枚数が多い時は少ない時に比べて、画像中央領域における特徴点の重み付けを大きくする。又は、撮影枚数が少ない時は多い時に比べて、コントラストの低い画像が多い第１の領域における特徴点の重み付けを大きくし、撮影枚数が多い時は少ない時に比べて、コントラストの高い画像が多い第２の領域における特徴点の重み付けを大きくしている。

また、カメラは撮影画面内の異なる領域の合焦状態を検出する合焦状態検出手段を有する。上記重み付け設定部１１４は、撮影枚数が少ない時は多い時に比べて、画像の合焦近傍以外の領域における特徴点の重み付けを大きくする。撮影枚数が多い時は少ない時に比べて、合焦近傍領域における特徴点の重み付けを大きくしている。

よって、画像の露出を補完する近接撮影時においても満足できる像振れ補正を行うことが可能となった。

また、上記の実施例中ではカメラ（撮像装置）について説明したが、撮影を実行できる電子機器、通信機器などでも同様の効果を得ることができる。

（他の実施例）
また、各実施例の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードをシステムあるいは装置に供給する方法によっても達成される。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がそのプログラムコードを読み出し実行する。この場合、プログラムコード自体が前述した実施例の機能を実現することになる。また、そのプログラムコードをシステムあるいは装置のコンピュータに提供する、先に説明した手順に対応するプログラムコードが格納された記録媒体も本発明を構成することになる。

（発明と実施例との対応）
撮影制御部１８および画像記憶部１１３が本発明の露光制御手段に、重み付け設定部１１４が本発明の重み付け設定手段に、ずれ検出部１１５が本発明のずれ検出手段に、それぞれ相当する。また、座標変換部１１６が本発明の座標変換手段に、画像合成部１１７が本発明の画像合成手段に、それぞれ相当する。また、ＴＶ−ＡＦ（いわゆる山登り）方式や位相差ＡＦ方式により、撮影画面内の異なる領域の合焦状態を検出する撮影制御部１８の部分が、本発明の合焦状態検出手段に相当する。

１１ａ 撮影レンズ
１４ｂ 焦点駆動部
１８ 撮影制御部
１９ 撮像部
１１３ 画像記憶部
１１４ 重み付け設定部
１１５ ずれ検出部
１１６ 座標変換部
１１７ 画像合成部
１１９ 表示部

本発明は、像振れを電子的に補正することで撮影画像の精度を向上させる撮像装置、撮像装置の制御方法及びプログラムに関するものである。

（発明の目的）
本発明の目的は、近接撮影条件においても主被写体の像振れ補正と背景の像振れ補正をバランスよく行え、防振精度の高い画像を得ることのできる撮像装置、撮像装置の制御方法及びプログラムを提供しようとするものである。

上記目的を達成するために、本発明は、順次撮影を実行して複数枚の画像を得る撮像装置であって、撮影画面内の前記異なる領域の合焦状態を検出する合焦状態検出手段と、前記ベクトル検出領域より前記各画像間のずれ量を検出するずれ検出手段と、撮影倍率に基づいて、前記画像における異なるベクトル検出領域でのずれ量の重み付けを設定する重み付け設定手段と、前記重み付け設定手段により重み付けされたずれ量に基づいて前記各画像の座標変換を行う座標変換手段とを有し、前記重み付け設定手段は、前記撮影倍率が大きい時は前記撮影倍率が小さい時に比べて、合焦近傍領域における前記ベクトル検出領域からのずれ量の重み付けを大きくして前記各画像間の像振れを補正することを特徴とするものである。

本発明によれば、近接撮影条件においても主被写体の像振れ補正と背景の像振れ補正をバランスよく行え、防振精度の高い画像を得ることができる撮像装置、撮像装置の制御方法及びプログラムを提供できるものである。

Claims (15)

1. 順次撮影を実行して複数枚の画像を得る露光制御手段と、
   撮影倍率に基づいて前記画像における異なる領域の特徴点の重み付けを設定する重み付け設定手段と、
   前記重み付け設定手段により重み付けされた前記特徴点の各座標より前記各画像間のずれ量を検出するずれ検出手段と、
   前記ずれ検出手段により検出されたずれ量に基づいて前記各画像の座標変換を行う座標変換手段と、
   前記座標変換手段による座標変換後の前記各画像を合成する画像合成手段とを有し、
   前記撮影倍率に基づく重み付けが反映された前記ずれ量により前記各画像間の像振れを補正した後に合成を行い、画像の露出を補完することを特徴とする撮像装置。
2. 前記重み付け設定手段は、前記撮影倍率が低い時は高い時に比べて、画像周辺領域における前記特徴点の重み付けを大きくし、前記撮影倍率が高い時は低い時に比べて、画像中央領域における前記特徴点の重み付けを大きくすることを特徴とする請求項１に記載の撮像装置。
3. 前記重み付け設定手段は、前記撮影倍率が低い時は高い時に比べて、コントラストの低い画像が多い第１領域における特徴点の重み付けを大きくし、前記撮影倍率が高い時は低い時に比べて、コントラストの高い画像が多い第２領域における前記特徴点の重み付けを大きくすることを特徴とする請求項１に記載の撮像装置。
4. 前記重み付け設定手段は、前記第１領域と前記第２領域のコントラスト比較の結果に応じて前記特徴点の重み付けを変更することを特徴とする請求項３に記載の撮像装置。
5. 前記重み付け設定手段は、前記第１領域と前記第２領域のコントラスト比較結果が大きいほど、前記第２領域における前記特徴点の重み付けを大きくすることを特徴とする請求項４に記載の撮像装置。
6. 撮影画面内の前記異なる領域の合焦状態を検出する合焦状態検出手段を有し、
   前記重み付け設定手段は、前記撮影倍率が低い時は高い時に比べて、画像の合焦近傍以外の領域の前記特徴点の重み付けを大きくし、前記撮影倍率が高い時は低い時に比べて、合焦近傍領域の前記特徴点の重み付けを大きくすることを特徴とする請求項１に記載の撮像装置。
7. 前記重み付け設定手段は、前記画像の合焦近傍領域と前記画像の合焦近傍以外の領域の合焦状態の比較結果に応じて前記特徴点の重み付けを変更することを特徴とする請求項６に記載の撮像装置。
8. 前記重み付け設定手段は、前記画像の合焦近傍領域と前記画像の合焦近傍以外の領域の合焦状態の比較結果が大きいほど、前記合焦近傍領域における前記特徴点の重み付けを大きくすることを特徴とする請求項７に記載の撮像装置。
9. 順次撮影を実行して複数枚の画像を得る露光制御手段と、
   撮影枚数に応じて前記画像における異なる領域の特徴点の重み付けを設定する重み付け設定手段と、
   前記重み付け設定手段により重み付けされた前記特徴点の各座標より前記各画像間のずれ量を検出するずれ検出手段と、
   前記ずれ検出手段により検出されたずれ量に基づいて前記各画像の座標変換を行う座標変換手段と、
   前記座標変換手段による座標変換後の前記各画像を合成する画像合成手段とを有し、
   前記撮影枚数に応じた重み付けが反映された前記ずれ量により前記各画像間の像振れを補正した後に合成を行い、画像の露出を補完することを特徴とする撮像装置。
10. 前記重み付け設定手段は、前記撮影枚数が少ない時は多い時に比べて、画像周辺領域における前記特徴点の重み付けを大きくし、前記撮影枚数が多い時は少ない時に比べて、画像中央領域における前記特徴点の重み付けを大きくすることを特徴とする請求項９に記載の撮像装置。
11. 前記重み付け設定手段は、前記撮影枚数が少ない時は多い時に比べて、コントラストの低い画像が多い第１の領域における特徴点の重み付けを大きくし、前記撮影枚数が多い時は少ない時に比べて、コントラストの高い画像が多い第２の領域における前記特徴点の重み付けを大きくすることを特徴とする請求項９に記載の撮像装置。
12. 撮影画面内の前記異なる領域の合焦状態を検出する合焦状態検出手段を有し、
    前記重み付け設定手段は、前記撮影枚数が少ない時は多い時に比べて、画像の合焦近傍以外の領域における前記特徴点の重み付けを大きくし、前記撮影枚数が多い時は少ない時に比べて、合焦近傍領域における前記特徴点の重み付けを大きくすることを特徴とする請求項９に記載の撮像装置。
13. 順次撮影を実行して複数枚の画像を得る露光制御工程と、
    撮影倍率に基づいて前記画像における異なる領域の特徴点の重み付けを設定する重み付け設定工程と、
    前記重み付け設定工程により重み付けされた前記特徴点の各座標より前記各画像間のずれ量を検出するずれ検出工程と、
    前記ずれ検出工程により検出されたずれ量に基づいて前記各画像の座標変換を行う座標変換工程と、
    前記座標変換工程による座標変換後の前記各画像を合成する画像合成工程とを有し、
    前記撮影倍率に基づく重み付けが反映された前記ずれ量により前記各画像間の像振れを補正した後に合成を行い、画像の露出を補完することを特徴とする撮像装置の制御方法。
14. 順次撮影を実行して複数枚の画像を得る露光制御工程と、
    撮影枚数に応じて前記画像における異なる領域の特徴点の重み付けを設定する重み付け設定工程と、
    前記重み付け設定工程により重み付けされた前記特徴点の各座標より前記各画像間のずれ量を検出するずれ検出工程と、
    前記ずれ検出工程により検出されたずれ量に基づいて前記各画像の座標変換を行う座標変換工程と、
    前記座標変換工程による座標変換後の前記各画像を合成する画像合成工程とを有し、
    前記撮影枚数に応じた重み付けが反映された前記ずれ量により前記各画像間の像振れを補正した後に合成を行い、画像の露出を補完することを特徴とする撮像装置の制御方法。
15. 請求項１３または１４に記載の撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images