JP2004357202A - 撮影装置 - Google Patents

Abstract

【課題】撮影者に対して使いやすい撮影装置を提供する。
【解決手段】複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、検出手段の検出結果に基づいて、他の画像上での特徴点が基準画像上での特徴点に一致するように他の画像の座標変換を行う座標変換手段と、基準画像および座標変換手段で座標変換された他の画像を合成する合成手段と、撮像素子によって取得した画像に対して、検出手段により特徴点を抽出できるか否かを判別する判別手段と、判別手段の判別により特徴点が抽出できないときに警告を行う警告手段とを有する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、手振れを補正することで撮影画像の精度を向上させる撮影装置に関するものである。
【０００２】
【従来の技術】
現在のカメラは露出決定やピント合わせ等の撮影にとって重要な作業は全て自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。また、最近では、カメラに加わる手振れを防ぐ防振システムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。
【０００３】
ここで、防振システムについて簡単に説明する。
【０００４】
撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手振れを起こしていても像振れの無い撮影画像を得るための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させるものがある（光学防振システム）。
【０００５】
すなわち、カメラ振れが生じても像振れが生じない撮影画像を得るために、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正するものである。
【０００６】
像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる振れ補正光学装置を駆動することにより像振れ補正が行われる。
【０００７】
一方、手振れが生じない程度の露光時間で複数回撮影を繰り返し、これらの撮影により得られた複数の画像に対して画像のずれを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献１）。
【０００８】
【特許文献１】
特許第３１１０７９７号
【０００９】
【発明が解決しようとする課題】
最近のデジタルカメラは、銀塩コンパクトカメラに比べて小さくなってきており、特にＶＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。
【００１０】
このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をよりいっそう小型化するか、振動検出部を小型化する必要がある。
【００１１】
しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものであるため、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。
【００１２】
さらに、カメラに加わる振れとしては、所定の軸を中心とする角度振れとカメラを平行に揺らすシフト振れがあり、角度振れは光学防振システムで補正可能であるが、シフト振れ対策は現状検出するのに適した方法がなく困難である。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。
【００１３】
例えば、携帯電話に搭載されるカメラの場合には片手で携帯電話を構えて撮影する場合が多く、また携帯電話は軽いために大きなシフト振れが発生する。
【００１４】
さらに、携帯電話でのカメラの使用用途はメモ代わりなど近接撮影が多く、遠景の撮影に比べてシフト振れの影響による画像の劣化が著しく大きくなる問題もある。
【００１５】
一方、別の防振システムとしては、ビデオカメラでの動画撮影に用いられているように撮像素子で画面の動きベクトルを検出し、この動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る方法もある。
【００１６】
このような方法の場合には、上述した振れ補正光学装置のような専用の振動検出部や補正レンズが不要となるため、製品全体を小型にできるメリットがある。
【００１７】
そして、画面の動きベクトルを検出する場合にはシフト振れも検出できるため、シフト振れに応じた像振れ補正も可能であり、携帯電話などのモバイル機器のカメラにも好適である。
【００１８】
しかし、このビデオカメラの防振システムをデジタルカメラに簡単に適用することはできない。この理由を以下に説明する。
【００１９】
ビデオカメラにおける動きベクトルの抽出は画像を読み出すごとに行っており、例えば１秒に１５コマの画像を読み出すとすると、この読み出した各画像を比較して動きベクトルを検出している。
【００２０】
一方、デジタルカメラで静止画を撮影する場合には、撮影被写体に対して１回の露光しか行わないため、ビデオカメラのように画像の比較を行って動きベクトルを検出することはできない。
【００２１】
このため、ビデオカメラの防振システムを単純にデジタルカメラに適応させることはできない。
【００２２】
一方、特許文献１に示すような防振方法においては、複数回露光を繰り返すことから露光時間が長くことになる。このため、むやみにこの方法を使用すると被写体振れなどの失敗写真がかえって多くなる恐れがある。
【００２３】
そして、この防振方法を使用する条件に対して撮影者は常に考えている必要があリ、１回の露光で撮影を行う通常の撮影方法に比べて扱いにくいシステムになってしまう。以下、この理由について具体的に説明する。
【００２４】
銀塩カメラと異なりデジタルカメラでは、撮像素子の感度（撮像感度）を自由に変更できる。このため、暗い被写体においても撮像感度を上げることで、ある程度の像振れを防ぐことができる。そして、撮像感度の設定は、カメラ任せ（自動設定）にもできるし、撮影者自身が設定することもできる。
【００２５】
このようにデジタルカメラでは、防振を行う必要性を判断するパラメータが銀塩カメラよりも多いため、本当に防振対策が必要か否かを撮影者自身が判断することは難しくなってきており、撮影者にとって扱いにくいシステムになってしまう。
【００２６】
また、上記の防振方法では、一回の撮影時に複数の露光が行われるために、撮影者に違和感を与えるおそれがある。
【００２７】
さらに、この防振方法においては画像の特徴点の変化より各画像間の変位を判断して、画像間のずれを補正しているが、画像の特徴点を確実に抽出できない場合や、画像の特徴点を特定できても特徴点の変位を検出できない場合には、画像間のずれ補正を正確に行うことができない。
【００２８】
すなわち、特徴点の抽出を間違えると実際には手振れを起こしていないのに過剰補正をしてしまいかえって手振れの大きな画像を作ってしまうおそれもある。
【００２９】
また、特徴点の変位を検出できないときには補正を行わずに画像を合成することになるが、合成した画像には手振れによる像振れが生じており、多くの場合においては一般的な像振れよりも大きな像振れが生ずる。これは、複数回に分けて露光を行う場合に必要な露光時間（合計の露光時間）は、一回の露光で適正露出を得る場合の露光時間よりも長くなるからである。
【００３０】
このため、防振を行う目的で複数回の露光を行ってもかえって像振れの大きな画像が形成されてしまう可能性もある。
【００３１】
そこで、本発明の目的は、銀塩カメラの防振システムやビデオカメラの防振システムとは異なる防振システムを備えた撮影装置であって、撮影者にとって扱いやすく、撮影の失敗を未然に防止することのできる撮影装置を提供することにある。
【００３２】
すなわち、像振れが生じない程度の短い露光時間で複数回の露光を繰り返し、この露光によって取得した複数の画像に対してずれを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法をデジタルカメラに搭載した場合において、この動作を行うか否かをカメラが自動的に判別して撮影の失敗を未然に防ぐとともに、この扱い方に対して撮影者に違和感を与えない撮影装置を提供することにある。
【００３３】
【課題を解決するための手段】
本願第１の発明は、被写体像を光電変換する撮像素子を有し、撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る撮影装置であって、複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、この検出手段の検出結果に基づいて、他の画像上での特徴点が基準画像上での特徴点に一致するように他の画像の座標変換を行う座標変換手段と、基準画像および座標変換手段で座標変換された他の画像を合成する合成手段と、撮像素子によって取得した画像に対して、検出手段により特徴点を抽出できるか否かを判別する判別手段と、この判別手段の判別により特徴点が抽出できないときに警告を行う警告手段とを有することを特徴とする。
【００３４】
撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る場合において、特徴点が抽出できない場合には、画像の座標変換を正確に行うことができず、複数の画像を合成しても像振れのない良好な画像を得ることができないことがある。
【００３５】
そこで、本発明では、例えば、撮影を行う前に撮像素子によって予め画像上で特徴点が抽出できるか否かを判別しておき、特徴点が抽出できないときに、撮影者に警告を行うことにより、撮影の失敗を未然に防ぐことができる。
【００３６】
一方、撮像素子によって取得した複数の画像に対して、検出手段により特徴点の動きを検出できるか否かを判別し、特徴点の動きが検出できないときに警告を行うようにすることもできる。
【００３７】
すなわち、特徴点の動きを検出できない場合においても、画像の座標変換を正確に行うことができず、複数の画像を合成しても像振れのない良好な撮影画像を得ることができない場合がある。そこで、特徴点の動きを検出できないときも、撮影者に警告を行うことにより、撮影の失敗を未然に防ぐことができる。
【００３８】
本願第２の発明は、被写体像を光電変換する撮像素子を有し、撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る撮影装置であって、複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、この検出手段の検出結果に基づいて、他の画像上での特徴点が基準画像上での特徴点に一致するように他の画像の座標変換を行う座標変換手段と、基準画像および座標変換手段で座標変換された他の画像を合成する合成手段と、撮像素子によって取得した画像に対して、検出手段により特徴点を抽出できるか否かを判別し、特徴点を抽出できないときに複数の画像を合成して撮影画像を得る撮影を禁止する制御手段とを有することを特徴とする。
【００３９】
本発明では、例えば、撮影を行う前に予め特徴点が抽出できないと判別した場合には、複数の画像を合成して撮影画像を得るための撮影を禁止することにより、上述したように撮影の失敗を未然に防ぐことができる。
【００４０】
ここで、順次取得した複数の画像を合成して撮影画像を得る第１の撮影モードと、１つの画像を取得して撮影画像を得る第２の撮影モードを設定可能な撮影装置においては、特徴点が抽出できないときに、第２の撮影モードに設定するようにしてもよい。
【００４１】
本願第３の発明は、被写体像を光電変換する撮像素子を有し、撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る撮影装置であって、複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、この検出手段の検出結果に基づいて、他の画像上での特徴点が基準画像上での特徴点に一致するように他の画像の座標変換を行う座標変換手段と、基準画像および座標変換手段で座標変換された他の画像を合成する合成手段と、撮像素子によって取得した複数の画像に対して、検出手段により特徴点の動きを検出できるか否かを判別し、特徴点の動きを検出できないときに複数の画像を合成して撮影画像を得る撮影を禁止する制御手段とを有することを特徴とする。
【００４２】
本発明によれば、例えば、撮影を行う前に予め特徴点の動きを検出できないと判別した場合には、複数の画像を合成して撮影画像を得るための撮影を禁止することにより、上述したように撮影の失敗を未然に防ぐことができる。
【００４３】
ここで、順次取得した複数の画像を合成して撮影画像を得る第１の撮影モードと、１つの画像を取得して撮影画像を得る第２の撮影モードを設定可能な撮影装置においては、特徴点の動きが検出できないときに第２の撮影モードに設定するようにしてもよい。
【００４４】
また、第２の撮影モードに設定した場合には、適正な露出が得られるように、第２の撮影モードにおける画像取得時間（露光時間）を第１の撮影モードにおける各画像の取得時間（露光時間）よりも長くなるように設定する。
【００４５】
本願第４の発明は、被写体像を光電変換する撮像素子を有し、前記撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る撮影装置であって、前記複数の画像のうち各画像上の所定領域において特徴点を抽出する抽出手段と、前記複数の画像のうち基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、この検出手段の検出結果に基づいて、前記他の画像上の特徴点が前記基準画像上の特徴点に一致するように前記他の画像の座標変換を行う座標変換手段と、前記基準画像および前記座標変換手段で座標変換された他の画像を合成する合成手段と、被写体距離に応じて前記所定領域を変更する制御手段とを有することを特徴とする。
【００４６】
例えば、人物などの主被写体が撮影装置から離れた位置にいる場合には、撮影画面内に背景などの静止被写体が写り込むため、この動きのない静止被写体を特徴点の抽出領域とすれば、手振れに応じた特徴点の動きを正確に検出することができるとともに、画像の座標変換を正確に行うことができるため、像振れのない良好な撮影画像を得ることができる。一方、主被写体が撮影装置の近くに位置している場合には、撮影画面の全体に主被写体が写り込むため、画像上の任意の領域から特徴点を抽出することができる。
【００４７】
このように被写体距離に応じて特徴点を抽出する所定領域を変更（例えば、画面内における所定領域の位置や大きさを変更）することにより、画像の座標変換を正確に行うことができ、像振れのない良好な撮影画像を得ることができる。
【００４８】
具体的には、被写体距離が所定距離以下であるときには画像上の略中央に位置する第１の領域を所定の領域として選択し、被写体距離が所定距離以上であるときには第１の領域以外の第２の領域を選択することができる。
【００４９】
また、被写体観察画面内に複数のフォーカシングエリアが設けられた撮影装置においては、被写体距離が所定距離以下であるときには複数のフォーカシングエリアのうち主被写体に対応したフォーカシングエリアを含む第１の領域を所定領域として選択し、被写体距離が所定距離以上であるときには第１の領域以外の第２の領域を選択することができる。
【００５０】
本願第５の発明は、被写体像を光電変換する撮像素子を有し、撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る第１の撮影モードと、１つの画像を取得して撮影画像を得る第２の撮影モードを設定可能な撮影装置であって、複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、この検出手段の検出結果に基づいて、他の画像上での特徴点が基準画像上での特徴点に一致するように他の画像の座標変換を行う座標変換手段と、基準画像および座標変換手段で座標変換された他の画像を合成する合成手段と、画像上の背景領域（具体的には、画像上の略中央に位置する第１の領域以外の第２の領域や、被写体観察画面内に設けられた複数のフォーカシングエリアのうち主被写体に対応したフォーカシングエリアを含む第１の領域以外の第２の領域）を重点的に測光する測光手段と、この測光手段の測光結果に応じて第１の撮影モードおよび第２の撮影モードのうち一方の撮影モードを選択する選択手段と、この選択手段で選択された撮影モードに関する情報を出力する情報出力手段とを有することを特徴とする。
【００５１】
本発明によれば、測光手段の測光結果に応じて第１の撮影モードおよび第２の撮影モードのうち一方の撮影モードを選択し、この選択した撮影モードに関する情報を出力する（例えば、選択した撮影モードに関する情報を表示したり、発音したりする）ことにより、撮影者にいずれの撮影モードで撮影を行ったらよいのかを知らせることができ、撮影者にとって扱いやすい撮影装置を提供することができる。
【００５２】
一方、選択した撮影モードを自動的に設定することもできる。
【００５３】
なお、上述した本発明の撮影装置は、例えば、携帯電話などの電子機器に搭載することができる。
【００５４】
【発明の実施の形態】
（第１実施形態）
図１は、本発明の第１実施形態であるカメラ（撮影装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、絞り１３ａで光量制限された後に、シャッタ１２ａを通り撮像部１９に結像する。
【００５５】
撮像部１９は、ＭＯＳやＣＣＤなどの半導体撮像素子で構成されており、撮影光を受光することで、この受光量に応じた電気信号（画像信号）を出力する。撮像駆動部１６は、撮影制御部１８からの命令に応じて撮像部１９を駆動する。これにより、撮像部１９での画像信号の蓄積および読み出しが行われる。
【００５６】
撮影レンズ１１は複数の光学レンズ群により構成されており、これらの光学レンズ群のうち一部又は全部がＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。
【００５７】
また、撮影レンズ１１のうち一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることで駆動する。
【００５８】
絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２ａは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ｂからの駆動力を受けることで光通過口となる固定開口部を開閉する。これにより、撮像部１９に入射する光束を制御する。
【００５９】
照明装置１６ａは、撮影時の条件（被写体輝度等）などに応じて閃光駆動部１６ｂからの駆動信号を受けて駆動（発光）する。撮影動作を撮影者に知らせるためのスピーカ１７ａは、発音駆動部１７ｂからの駆動信号を受けて駆動（発音）する。
【００６０】
焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂ、発音駆動部１７ｂの駆動は、撮影制御部１８により制御されている。
【００６１】
撮影制御部１８は、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、照明操作部１６ｃ及び防振操作部１２０からの操作信号の入力を受けることにより、この入力に応じた動作を行うようになっている。
【００６２】
なお、本実施形態において、絞り１３ａの絞り口径や照明装置１６ａの発光は、カメラ側で自動的に設定することもできるし、撮影者が絞り操作部１３ｃや照明操作部１６ｃを操作することにより任意に設定することもできる。
【００６３】
撮影制御部１８は、後述する信号処理部１１１に取り込まれた画像信号に基づいて被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッタ１２ａの閉じタイミング（露光時間）を定めている。また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、信号処理部１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。
【００６４】
撮像部１９から出力された映像信号は、Ａ／Ｄ変換部１１０によりデジタル信号に変換されて信号処理部１１１に入力される。信号処理部１１１は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。
【００６５】
信号処理部１１１で信号処理された映像信号は、信号切替部１１２を介して第１の画像補正部１１７ａや第２の画像補正部１１７ｂに入力される。
【００６６】
画像補正部１１７ａ、１１７ｂでは、入力された信号のガンマ補正や圧縮処理を行う。画像補正部１１７ａ、１１７ｂの信号は、表示部１１８と記録部１１９に入力され、撮影された画像が表示部１１８に表示されるとともに記録部１１９に記録される。
【００６７】
ここで、撮影者が防振操作部１２０を操作することにより、防振モード（撮像部１９から複数の画像を読み出すとともに、これらの画像を合成して１枚の静止画像（撮影画像）を作成することにより像振れを補正する撮影モード）に設定すると、以下に説明する動作が行われる。
【００６８】
まず、撮影者がレリーズボタン（レリーズ操作部１２ｃ）を半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。撮影制御部１８は、測光動作により得られた測光値に基づいてシャッタ１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定する。
【００６９】
一般的に防振モードを設定して撮影を行う際の撮影条件は、被写体が暗い場合が多い。このように被写体が暗い場合において、１回の露光によって適正露出を得るための撮影（通常撮影）においては、絞りが全開、露光時間が長秒時露光となる。
【００７０】
そこで、防振モードでの撮影においては、通常撮影での露光時間を複数の短い露光時間に分割し、この分割した数だけ露光（撮像部１９からの画像の読み出し）を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像は手振れの影響が少ない画像となる。
【００７１】
そして、複数回の露光が終了した後に、これによって得られた複数の画像を合成して１枚の画像にすることで露出を改善する。
【００７２】
しかし、複数回の露光を行うとき、これにより得られた各画像においては手振れの影響が生じていなくても、連続露光中の手振れにより各画像間における構図が微妙にずれている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像の構図がずれた分だけぶれた画像になってしまう。
【００７３】
そこで、本実施形態では、後述するように各画像に対して座標変換を行うことにより構図のずれを補正している。
【００７４】
本実施形態において、連続露光の際に撮像部１９から撮影ごとに出力される画像信号は、Ａ／Ｄ変換部１１０でデジタル信号に変換されてから信号処理部１１１にて信号処理が施される。
【００７５】
ここで、防振操作部１２０を操作して防振モードの設定を行った場合には、信号処理部１１１から出力される画像データが、信号切替部１１２を介して画像記憶部１１３に入力され、第２の画像補正部１１７ｂへの入力は絶たれる。
【００７６】
画像記憶部１１３は、撮像部１９から読み出された複数の画像すべてを記憶する。変位検出部（或いは動き検出部）（検出手段）１１４は、画像記憶部１１３に記憶された複数の画像のうち各画像内における特徴点を抽出し、この特徴点の位置座標を割り出す。
【００７７】
例えば、図２のフレーム１２１ａに示すように、人物１２２ａが建物１２３ａを背景にして立っている写真を撮影する場合を考える。このとき、複数回の露光を行うと、フレーム１２１ｂに示すように手振れによりフレーム１２１ａに対して構図のずれた画像を得ることがある。
【００７８】
この場合、変位検出部１１４は、フレーム１２１ａの画面のうち外周近傍に位置する建物１２３ａの中から輝度の高い点である窓１２４ａのエッジ１２５ａをエッジ検出により特徴点として取り出す。同様にして、フレーム１２１ｂの画面内から窓１２４ｂのエッジ１２５ｂをエッジ検出により特徴点として取り出す。
【００７９】
そして、座標変換部（座標変換手段）１１５は、変位検出部１１４で抽出された特徴点１２５ａと特徴点１２５ｂを比較し、この差分を補正（座標変換）する。すなわち、座標変換部１１５は、フレーム１２１ｂの特徴点１２５ｂを図２の矢印１２６のようにフレーム１２１ａの特徴点１２５ａに重ねるようにして、フレーム１２１ｂの画像に対して座標変換を行う。
【００８０】
ここで、撮影画面の外周近傍の領域から特徴点を抽出する理由について、以下に説明する。
【００８１】
多くの撮影の場合では、画面の中央近傍に主被写体が位置し、且つ主被写体は人物である場合が多い。このとき、主被写体が位置する領域内から特徴点を抽出すると被写体振れによる不都合が出てくる。
【００８２】
すなわち、複数回の露光を行っているときには、撮影画像に撮影者の手振ればかりでなく被写体振れも重畳してくるため、被写体振れに基づいて画像の座標変換をしてしまうことがある。
【００８３】
この場合、主被写体の構図が適正になるように座標変換を行うので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、主被写体における特徴点を選ぶ場所によってずれ検出精度が大きく左右される。
【００８４】
例えば、主被写体（人物）の眼を特徴点として選んだ場合は瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので実際の被写体全体の振れとは異なってしまう。
【００８５】
このように人物の１点を特徴点として画像の座標変換を行っても、この人物画像のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、画像ごとに座標の位置がばらつき、好ましい画像は得られない。
【００８６】
そこで、本実施形態では、背景のような静止被写体を特徴点の抽出領域とすることで、画像の座標変換を行っても好ましい合成画像が得られるようにしている。一方、この場合には、上述したように被写体振れの影響が出てくる。
【００８７】
そこで、本実施形態では、被写体振れの影響をなくすために、複数回の露光のうち１回目の露光を行うときだけ照明光を被写体に照射するようにしている。なお、照明光の照射は、１回目の露光に限るものではなく、複数回（Ｎ回）の露光のうちｎ回目（１≦ｎ：任意≦Ｎ）の露光時に照射するようにしてもよい。また、照明光の照射回数も適宜設定することができる。
【００８８】
ここで、照明装置１６ａを使用して得られた画像を第１の画像、照明装置１６ａを使用しないで得られた複数の画像を第２の画像群とする。
【００８９】
このとき、第１の画像と第２の画像群の間には、上述した構図ずれ以外にも以下の違いが生じる。すなわち、第１の画像において照明光の届いた被写体領域の明るさは、第２の画像群の各画像における同じ領域の明るさとは異なる。
【００９０】
ここで、第１の画像において照明光の届いた被写体に対しては十分な露出が得られ、照明光の届かない被写体に対しては露出が不足することになる。一般的に人物などの主被写体は、カメラの近くに位置しているために照明光が届くことで十分な露出が得られ、背景はカメラから遠いために照明光が届かずに露出が不足する。
【００９１】
したがって、露出の不足している背景に対しては、第２の画像群の構図ずれを修正（座標変換）しながら合成することで露出不足を補う。
【００９２】
図３は、変位検出部１１４による特徴点の抽出方法を説明するための図である。図３（ａ）は、照明装置１６ａを使用した第１の画像１２７を示し、図３（ｂ）は、照明装置１６ａを使用しない第２の画像群（例として１つの画像１２８を示す）を示す。
【００９３】
第１の画像１２７では人物に照明光が届くため人物１２２ａが明るくなっており、第２の画像１２８では人物に照明光が照射されていないため人物１２２ｂが暗くなっている。
【００９４】
これに対して、照明光の届かない背景（例えば、建物１２３ａ、１２３ｂ）の明るさは、第１の画像１２７および第２の画像１２８間で変化が無い。このように明るさの変化の無い背景領域は、照明光が届かずに露出が不足するので、この領域を特徴点の抽出領域とする。
【００９５】
変位検出部１１４は、第１の画像１２７及び第２の画像１２８間で明るさの変化が無い領域（建物１２３ａ、１２３ｂ）において、輝度の高い点である窓のエッジ１２５ａ、１２５ｂをエッジ検出により特徴点として取り出す。
【００９６】
そして、座標変換部１１５は、図２で説明したのと同様に第１の画像１２７における特徴点１２５ａと、第２の画像１２８における特徴点１２５ｂと比較し、その差分を補正（座標変換）する。すなわち、第２の画像１２８の特徴点１２５ｂが第１の画像１２７の特徴点１２５ａに重なるように第２の画像１２８を座標変換する。
【００９７】
そして、第２の画像群における他の画像についても各々特徴点（特徴点１２５ｂに相当する点）の座標を求め、この特徴点が第１の画像１２７における特徴点１２５ａに重なるように各画像（第２の画像群）の座標変換を行う。
【００９８】
ここでは、説明のために各画像における特徴点の座標を求めているが、実際には第１の画像１２７の特徴点と第２の画像群の各画像における特徴点とを相関演算し、各々対応する画素の変化を変位検出部１１４が動きベクトルとして求め、特徴点の変化としている。
【００９９】
なお、特徴点の抽出は１箇所だけに限るものではなく、複数の特徴点を抽出しておき、これらの特徴点の動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。ここで、特徴点の変化として上記最小値を利用するのは、撮影画面内で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。
【０１００】
座標変換部１１５で座標変換された画像データは画像合成部（合成手段）１１６に出力され、画像合成部１１６は、第１の画像１２７及び座標変換された各画像を合成して、１つの画像（静止画像）を生成する。
【０１０１】
以上のように本実施形態では、照明装置１６ａを用いた第１の画像１２７を基準（中心）にして、この画像に重なるように第２の画像群１２８の各画像を座標変換している。
【０１０２】
ここで、第１の画像１２７を画像合成の際の基準にする理由を説明する。
【０１０３】
図２に示すように構図のずれた２つの画像を合成する場合、図４に示すように２つの画像が重ならない領域１２９が生ずる。そこで、画像合成部１１６は、領域１２９をカットして、２つの画像が重なった領域のみについて拡散補完処理を行い、もとのフレームの大きさにする。
【０１０４】
ここで、第１の画像１２７は、照明装置１６ａを使用して得られた画像であるため、第１の画像１２７及び第２の画像群の中でもっとも画像情報が良好な画像となる。
【０１０５】
そこで、第１の画像１２７の一部を削らないようにするために、第１の画像１２７を基準とし、この基準画像に対して第２の画像群の各画像を重ねてゆく（合成してゆく）のが好ましい。
【０１０６】
デジタル画像の場合には、露出不足の画像でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。
【０１０７】
しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。別の考え方をすれば、例えばノイズを許容して撮像部１９を高感度にして複数回の露光を行い、これらの画像を加算平均することで画像に含まれるランダムノイズを減少させているともいえる。
【０１０８】
画像合成部１１６で合成された画像データは、第１の画像補正部１１７ａに入力されてガンマ補正や圧縮処理が行われ、その後表示部１１８に撮影画像として表示されるとともに記録部１１９に記録される。
【０１０９】
図５は、本実施形態のカメラの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０１１０】
ステップ♯１００１では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップ♯１００２に進む。
【０１１１】
ステップ♯１００２では、撮像部１９において撮像が行われる。撮影制御部１８は、信号処理部１１１からの出力に基づいて撮影画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。
【０１１２】
そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、公知の位相差検出方式による焦点調節を行うこともできる。
【０１１３】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。ここで、撮影制御部１８は、撮影画面の中央領域（主被写体が位置する可能性の高い領域）と、この周辺領域とを分けて測光しており、これらの測光結果から画面全体における最適な露光値を演算する。
【０１１４】
ステップ♯１００３では、撮像部１９によって撮像された画像を、カメラの外部に設けられた液晶表示部等（表示部１１８）に表示する。これにより、撮影者はカメラに設けられた不図示の光学ファインダや上記の液晶表示部等によって被写体像を観察することができる。
【０１１５】
ステップ♯１００４では、撮影者が防振操作部１２０を操作して防振モードを設定しているか否かを判別し、防振モードがオンのときにはステップ♯１００５に進み、オフのときにはステップ♯１０２５に進む。
【０１１６】
まず、防振モードがオンのときに流れるフローについて説明する。
【０１１７】
ステップ♯１００５では、ステップ♯１００２で求めた被写体の明るさ等の撮影条件に基づいて露光回数と各露光の露光時間を求める。
【０１１８】
ここでいう撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞り値）
・撮像部１９の感度
の４点である。
【０１１９】
例えば、撮像部１９の感度がＩＳＯ２００に設定されていたとする。そして、ステップ♯１００２での測光結果に基づいた演算により、１回の撮影（通常撮影）で適正に露光するためには、絞り１３ａを全開（例えばｆ２．８）にするとともにシャッタ１２ａの閉じタイミング、すなわち露光時間を１／８秒にする必要があるとする。
【０１２０】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れによる像振れが発生する恐れがあるので、像振れが生じないように露光時間を１／３２秒に設定して４回露光を行うように設定する。
【０１２１】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れが生じないように露光時間を１／３２０秒に設定して４０回露光を行うように設定する。
【０１２２】
このように複数回の露光を行うときの各露光時間を撮影条件に合わせて決定し、さらに何回露光するかも撮影条件に合わせて設定する。
【０１２３】
同一被写体を複数回に分けて露光するとしても、各露光条件はなるべく適正露光に近い方が撮像部１９での撮像によって被写体に関する正確な情報を得ることができる。
【０１２４】
このため、暗い被写体の場合や、絞り１３ａが絞り込んでおり暗い場合や、撮像部１９の感度が低く設定されている場合には、複数回の露光といえども各撮影の露光時間はなるべく長くして有効な露光条件とする。ただし、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に現れるため、各露光時間は上記の事情を考慮に入れて適宜設定する。
【０１２５】
具体的には、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは像振れが生じないように約焦点距離分の１に等しい露光時間である１／３２秒に設定することができる。
【０１２６】
そして、各露光時間では足りない分を複数回の露光によって補うことで露出を補完するようにしている。
【０１２７】
ここで、撮影光学系の焦点距離が上記の３０ｍｍよりも長い場合には、さらに露光時間を短くしないと手振れによる像劣化が生ずるので露光時間を短くするとともに、露光時間を短くした分だけ露光回数を増やして露出補完を行う。
【０１２８】
このように複数回露光における各露光時間は、被写体が暗いほど、撮影レンズが暗いほど、撮像部１９の感度が低いほど長くなり、撮影光学系の焦点距離が長いほど短くなる。また、露光回数は、被写体が暗いほど、撮影レンズが暗いほど、撮像部１９の感度が低いほど少なくなり、撮影光学系の焦点距離が長いほど多くなる。
【０１２９】
ステップ♯１００５では、上述した露光回数及び各露光時間の演算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードが設定されたことを表示するとともに、上記の演算した露光回数を表示して撮影者に知らせる。
【０１３０】
ステップ♯１００６では、防振モードでの撮影を行う必要があるか否かについて判定し、防振モードでの撮影を行う必要がある場合にはステップ♯１００７に進み、必要がない場合にはステップ♯１０２９に進む。
【０１３１】
この防振モードの判定は、具体的には以下のように行う。なお、本実施形態では、撮影画面の中央領域（第１の領域）に人物などの主被写体が位置していることとして防振モードの判定を行うようにしている。
【０１３２】
撮影画面の中央領域における被写体が暗く（中央領域における被写体輝度が所定値以下）、中央領域の周辺の領域（周辺領域（第２の領域））における被写体が暗い（周辺領域における被写体輝度が所定値以下）場合には、防振モードでの撮影を行う必要があると判断する。中央領域における被写体が明るく（中央領域における被写体輝度が所定値以上）、周辺領域における被写体が明るい（周辺領域における被写体輝度が所定値以上）場合には、防振モードでの撮影を行う必要がないと判断する。
【０１３３】
また、中央領域における被写体が暗く、周辺領域における被写体が明るい場合（例えば、逆光での撮影）において、照明光が中央領域の被写体に届く場合には防振モードでの撮影を行う必要がないと判断し、照明光が中央領域の被写体に届かない場合には防振モードでの撮影を行う必要があると判断する。
【０１３４】
さらに、中央領域における被写体が明るく、周辺領域における被写体が暗い場合には、防振モードでの撮影を行う必要があると判断する。
【０１３５】
ここで、照明光が中央領域の被写体に届くか否かの判断は、照明装置１６ａをプリ発光させて、このときの反射光の情報に基づいて判断することができる。また、ピント合わせのための鏡筒（撮影レンズ１１）の繰り出し量から被写体距離を求め、この被写体距離と照明装置１６ａの発光量や絞り値の関係から照明光が主被写体に到達するか否かを判断することができる。
【０１３６】
ステップ♯１００７では、照明装置１６ａの反射光量や鏡筒の繰り出し量から求めた被写体距離が所定距離以下（例えば６０ｃｍ以下）であるか否かを判定しており、所定距離以下の場合にはステップ♯１０３０に進み、所定距離以上の場合にはステップ♯１００８に進む。
【０１３７】
ここで、被写体距離が所定距離以下であるか否かを判定している理由を説明する。
【０１３８】
上述したように特徴点の抽出は、撮影画面の周辺領域内から行うようにしている。これは、被写体振れにより座標変換に誤差が生じ、背景がずれるのを防止するためである。
【０１３９】
しかし、主被写体がカメラから近距離の位置にある場合、撮影画面内には殆ど背景が写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化につながるため、主被写体を特徴点の抽出対象として選ぶ（防振ではなく被写体追尾）ほうが良好な画像が得られる。
【０１４０】
このため、ステップ♯１００７、♯１００８、♯１０３０では、主被写体の距離に応じて特徴点の抽出領域を変えるようにしている。
【０１４１】
ステップ♯１００８では、図２に示した窓のエッジ部１２５ａ、１２５ｂのように撮影画面の周辺領域から特徴点を抽出し、この特徴点の動きベクトルの検出を防振モードでの撮影（静止画撮影）に先立って行う。
【０１４２】
ここで、防振モードでの静止画撮影を行う前に特徴点の抽出や動きベクトルの検出を行うのは、静止画撮影を行う際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、特徴点を抽出できなかったり、動きベクトルを求められなかったりしたときには、静止画撮影を行う前に予め対策を施すためである。
【０１４３】
特徴点が抽出できない場合としては、例えば、背景が模様の無い壁のように特徴の無い場合や、極端な逆光条件又は被写体が激しく動いている場合がある。また、動きベクトルが求められない場合としては、特徴点のコントラストが極めて低いとき、又は複数の領域で求めた動きベクトルの方向が揃っていない場合等がある。
【０１４４】
ステップ♯１００９では、ステップ♯１００８（ステップ♯１０３０）において特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点が抽出でき、動きベクトルが検出できた場合にはステップ♯１０１０に進む。また、特徴点が抽出できない場合や、動きベクトルが検出できない場合にはステップ♯１０３１に進む。
【０１４５】
ステップ♯１０１０では、レリーズボタンの全押し操作によりｓｗ２がオンになるまでステップ♯１００１からステップ♯１０１０を循環して待機する。そして、ｓｗ２がオンになった時点でステップ♯１０１１に進む。
【０１４６】
ステップ♯１０１１では、発音駆動部１７ｂを介してスピーカ１７ａを駆動する（発音させる）ことにより、撮影者に静止画撮影が開始されたことを知らせる。この音は例えば、「ピッ」という電子音でもよいし、シャッタ１２ａの開き音でもよい。
【０１４７】
ステップ♯１０１２では、１回目の露光を開始する。なお、ステップ♯１０１２から後述するステップ♯１０２０までは、短い露光時間での露光を複数回繰り返し、これらの露光により得られた複数の画像を合成してみかけの露出を適正にする防振モードでの撮影動作である。
【０１４８】
ここで、１回目の露光は、上述した第１の画像１２７（図３（ａ））を得るために照明装置１６ａを発光させて撮影する。ただし、ステップ♯１００６の判定において、撮影画面の中央領域における被写体が明るい場合には、照明装置１６ａを発光させずに撮影を行う。また、ステップ♯１００６の判定において、照明光が撮影画面の中央領域における被写体に届かない場合には、照明装置１６ａを発光させても、発光させなくてもよい。
【０１４９】
ステップ♯１０１３では、露光によって取得した画像を一旦画像記憶部１１３に記憶しておく。
【０１５０】
ステップ♯１０１４では、ステップ♯１００５で設定された回数の露光が完了するまでステップ♯１０１２〜ステップ♯１０１４を循環して露光を続行する。このとき、２回目以降の露光は第２の画像群（図３（ｂ））を得るために照明装置１６ａを使用しないで行う。そして、すべての露光が完了するとステップ♯１０１５に進む。
【０１５１】
ステップ♯１０１５では、発音駆動部１７ｂを介してスピーカ１７ａを駆動する（発音させる）ことにより、撮影者に静止画撮影が完了したことを知らせる。この音は、例えば「ピッピッ」という電子音でもよいし、シャッタ１２ａの閉じ音でもよい。
【０１５２】
このように防振モードでの静止画撮影を行う場合において、この動作を表す発音は１セット（１回目の露光開始および最終回目の露光完了のそれぞれ１回）であるため、撮影者に複数回露光の違和感を与えることはない。
【０１５３】
すなわち、通常の静止画撮影（１回の露光で適正露出を得る撮影）を行う場合と防振モードでの静止画撮影を行う場合とで、発音の回数を等しくしており、撮影者に撮影時の違和感を与えるのを防止することができる。
【０１５４】
ステップ♯１０１６では、ステップ♯１００７での判定結果に基づいて主被写体が所定距離よりも遠い位置にある場合には変位検出部１１４が撮影画像の周辺領域（例えば図２の建物１２３ａ）の中から特徴的な像（特徴点）を抽出し、撮影画面内における特徴点の座標を求める。このとき、ステップ♯１００８又はステップ♯１０３０で既に特定された領域から特徴点を再抽出して特徴点が抽出できることを確認しておく。
【０１５５】
なお、１回目の露光で照明装置１６ａを発光させた場合、ステップ♯１０１６では、ステップ♯１００８と異なり、第１の画像と第２の画像群の各画像とをそれぞれ比較して明るさの異なる領域（照明光が十分被写体を照射した領域）以外の領域（照明光が被写体を十分照射していない領域）から特徴点を抽出できるのでより正確に特徴点の座標を求めることができる。
【０１５６】
一方、主被写体が所定距離以内にある場合には、撮影画像の中央領域から特徴的な像（特徴点）を抽出し、撮影画面における特徴点の座標を求める。
【０１５７】
ステップ♯１０１７では、座標変換部１１５により第２の画像群の各画像の座標変換を行う。ここで、照明装置１６ａを用いることによって得られた第１の画像については、座標変換を行う際の基準画像とし、座標変換は行わない。
【０１５８】
なお、１回目の露光で照明装置１６ａを使用しなかった場合、複数回露光によって得られた複数の画像のうちいずれか１つの画像を座標変換の基準画像とする。
【０１５９】
ステップ♯１０１８では、座標変換の対象となるすべての画像について座標変換が終了するまでステップ♯１０１６からステップ♯１０１８を循環して待機し、すべての画像の座標変換が完了した時点でステップ♯１０１９に進む。
【０１６０】
ステップ♯１０１９では、基準画像と座標変換された各画像の合成を行う。ここで、画像合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した合成画像をゲインアップして露出の適正化を図る。
【０１６１】
ステップ♯１０２０では、合成画像のうち各画像が構図ぶれにより重ならなかった領域（図４の領域１２９）をカットし、元のフレームの大きさになるように合成画像を拡散補完する。
【０１６２】
ステップ♯１０２１では、第１の画像補正部１１７ａにより合成画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯１０２２では、ステップ♯１０２１で得られた合成画像を、カメラに設けられた液晶表示部に表示する。
【０１６３】
ステップ♯１０２３では、ステップ♯１０２１で得られた合成画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体（記録部１１９）に記録する。ステップ♯１０２４では、スタートに戻る。
【０１６４】
なお、ステップ♯１０２４の段階でまだｓｗ１がオンになっているときは、そのままステップ♯１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。また、ステップ♯１０２４の段階でｓｗ２がオンになっているときには、スタートに戻らずステップ♯１０２４で待機する。
【０１６５】
次に、ステップ♯１００４で防振モードがオフのときに流れるフローについて説明する。
【０１６６】
ステップ♯１００４において、防振操作部１２０が操作されておらず防振モードがオフと判断したときには、ステップ♯１０２５に進む。
【０１６７】
ステップ♯１０２５では、防振モードを設定しないと手振れによる画像劣化が生ずる撮影条件（防振撮影条件）であるか否かを判断する。
【０１６８】
この撮影条件は上述したように被写体の明るさ、撮影レンズの明るさ、撮像感度、撮影光学系の焦点距離であり、被写体の明るさ、撮影レンズの明るさ、撮像感度に基づいて通常撮影における露光時間を求め、この露光時間と現在の撮影光学系の焦点距離では手振れによる画像劣化の可能性があるか否かをステップ♯１０２５で判断している。
【０１６９】
そして、画像劣化の可能性があるときにはステップ♯１０２６に進み、そうでないときにはステップ♯１０２７に進む。
【０１７０】
ステップ♯１０２６では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードに設定することを推奨する表示（防振必要表示）を行う。なお、音声により防振モードの設定を撮影者に促すようにしてもよい。
【０１７１】
ステップ♯１０２７では、レリーズボタンが全押し操作され、ｓｗ２がオンになるまでステップ♯１００１からステップ♯１０２７を循環して待機する。ステップ♯１０２８では、通常の静止画撮影が完了する迄待機し、この撮影完了とともにステップ♯１０２１に進む。
【０１７２】
なお、ここでは省いているが、通常の静止画撮影の場合においても撮影開始と撮影完了の動作に合わせて撮影動作音をスピーカ１７ａから発している。すなわち、防振モードでの静止画撮影においても通常の静止画撮影においても同じ形式の撮影動作音を発している。この場合には、撮影開始音から撮影完了音迄の時間の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数回露光を行っているか否かは撮影者には分からないようになっている。
【０１７３】
このため、防振モードでの静止画撮影においても特別な撮影を行っているという認識を撮影者に与えることがなく、使いやすいカメラになっている。
【０１７４】
ステップ♯１０２１では、第２の画像補正部１１７ｂにおいて通常の静止画撮影によって得られた画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯１０２２では、ステップ♯１０２１で得られた画像を、カメラの液晶表示部に表示する。
【０１７５】
ステップ♯１０２３では、ステップ♯１０２１で得られた画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体（記録部１１９）に記録する。ステップ♯１０２４では、スタートに戻る。
【０１７６】
上述したフローで分かるように防振モードをオフにしている場合においても手振れによる画像劣化が生ずる撮影条件（防振撮影条件）のときには、撮影者に防振モードの設定を促すことにより手振れによる画像劣化を未然に防止することができる。
【０１７７】
また、防振モードが設定されている場合、上述したように複数回の露光における各露光時間は撮影光学系の焦点距離に応じて変更することでいかなる焦点距離においても好ましい画像（合成画像）を得ることができる。
【０１７８】
次に、ステップ♯１００６で防振モードの設定が不要と判断した場合に流れるフローについて説明する。
【０１７９】
例えば、撮影画面の中央領域における被写体が暗く、周辺領域における被写体が明るい場合において、中央領域の被写体に照明光が届く場合には、中央領域の被写体（主被写体）は照明光で適正露出になり、周辺領域の被写体も明るいため、手振れの影響がでない短い露光時間で適正露出が得られる。また、中央領域及び周辺領域の被写体が明るい場合にも、短い露光時間で適正露出が得られる。
【０１８０】
このため、上記の場合には、予め防振モードが設定されているときであっても防振モードを使用しない方がよい。防振モードでの静止画撮影は、複数回の露光によって得られた複数の画像を合成して適正露出を得る方法であり、複数回の露光における合計の露光時間（露光時間）が長くなるため、短い露光時間で適正露出が得られる場合にまで防振モードを設定するのは好ましくないからである。
【０１８１】
そこで、ステップ♯１００６で防振モードの設定が不要と判断した場合には、ステップ♯１０２９に進み、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードの設定解除を推奨する表示（防振不要表示）を行う。なお、音声によって防振モードの設定解除を撮影者に知らせるようにしてもよい。また、通常の撮影モード（１回の露光で撮影画像を得るモード）に設定すべきことを表示したり、音声によって撮影者に知らせたりすることもできる。
【０１８２】
ステップ♯１００７では、上述したように被写体距離が所定距離以下（例えば６０ｃｍ以下）であるか否かを判別しており、所定距離以下の場合にはステップ♯１０３０に進み、所定距離以上の場合にはステップ♯１００８に進む。
【０１８３】
ここでは、被写体距離が所定距離以下の場合について説明する。
【０１８４】
主被写体が近距離に位置している場合には、撮影画面内に背景がほとんど写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では被写体の動きも敏感に画像劣化に影響を与えるため、主被写体を特徴点の抽出対象として選ぶ（防振ではなく被写体追尾）ほうが良好な画像が得られる。
【０１８５】
したがって、上記の場合には、ステップ♯１００７からステップ♯１０３０にフローが流れ、ステップ♯１０３０では、図２に示すように主被写体である人物１２２ａが存在していることの多い撮影画面の中央領域から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影に先立って行う。例えば、人物１２２ａの輪郭のエッジなどを特徴点として抽出する。
【０１８６】
ここで、静止画撮影を行う前に特徴点の抽出と動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、精度良く動きベクトルが求められないときには静止画撮影を行う前に予め対策を施すためである。
【０１８７】
ステップ♯１００９では、特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。特徴点を抽出でき、精度良く動きベクトルが検出できた場合にはステップ♯１０１０に進む。また、特徴点が抽出できない場合や、動きベクトルを検出できなかった場合にはステップ♯１０３１に進む。
【０１８８】
ここでは、特徴点の抽出又は動きベクトルの検出が良好にできなかった場合について説明する。
【０１８９】
この場合には、防振モードでの静止画撮影を行った際の実際の撮影画像から特徴点を抽出し、動きベクトルを求めてもその信頼性が低いために、画像合成によって得られた画像（静止画像）はぶれた画像になってしまう恐れがある。
【０１９０】
そこで、特徴点の抽出又は動きベクトルの検出ができない場合には、ステップ♯１００９からステップ♯１０３１にフローが流れ、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードでの撮影では良好な画像が得られないことを表示（防振不安定表示）し、ステップ♯１０１０に進む。なお、音声により防振不安定表示に関する情報を撮影者に知らせるようにしてもよい。
【０１９１】
このように防振不安定表示を行うことにより、撮影者は、防振モードでの静止画撮影によって像振れのない画像（合成画像）を得ることができるように各種の対策を講じることができる。
【０１９２】
具体的には、正確に特徴点の抽出が行われるようにフレーミングをし直す等の操作を行ったり、防振モードでの静止画撮影の間に手振れが生じにくいようにカメラの構え方を工夫（例えば、木などの静止物にカメラを押し付けて固定する）したりすることができる。
【０１９３】
（第２実施形態）
本実施形態のカメラは、第１実施形態の変形例である。本実施形態のカメラの構成は、第１実施形態（図１）と概ね同様であり、同じ部材については同一符号を付して説明する。
【０１９４】
第１実施形態では、静止画撮影を行う前における変位検出部１１４による特徴点の抽出領域を、撮影画面内の中央領域や周辺領域（図５のステップ♯１００８、ステップ♯１０３０）としている。
【０１９５】
一方、上述した場合に限らず、撮影画面内に設けられたフォーカシングエリアや現在ピントが合っている領域に基づいて、静止画撮影を行う前における特徴点の抽出領域を選択することもできる。
【０１９６】
これは、静止画撮影を行うときには、主被写体（人物）に対して、撮影画面内に設けられたフォーカシングエリアを重ねるため、特徴点を主被写体以外の領域から抽出するためには、フォーカシングエリア以外の領域を特徴点抽出領域に設定すればよいからである。
【０１９７】
図６は、撮影画面内における特徴点抽出領域を示した図である。撮影画面内に設けられたフォーカシングエリア１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ、１３１ｅの中で主被写体を捕らえているフォーカシングエリア１３１ｃで合焦している場合には、このフォーカシングエリア１３１ｃを中心とする所定範囲の領域である主被写体領域（第１の領域）１３２を除く周辺領域（第２の領域）１３０（図６の斜線領域）を特徴点抽出領域に設定する。
【０１９８】
この場合、フォーカシングエリア１３１ａ〜１３１ｅのうち主被写体を捕らえているフォーカシングエリアに応じて、主被写体領域および周辺領域（特徴点抽出領域）が変更される。
【０１９９】
そして、この特徴点抽出領域のなかで適した像を特徴点として抽出し、この特徴点の座標に基づいて各画像のずれを補正して画像合成を行うようにすれば、像振れのない好ましい静止画像が得られる。
【０２００】
第１実施形態では、防振モードの設定が必要でない撮影条件（防振撮影条件）において、予め防振モードが設定されている場合には、防振不要表示（図５のステップ♯１０２９）を行い、撮影者に防振モードの設定解除を促していた。これにより、撮影者は防振不要表示に基づいて防振モードの設定可否を判断することができる。
【０２０１】
一方、防振モードの設定が不要であるときに自動的に防振モードの設定を解除するようにしてもよい。これにより、撮影者が防振不要表示に基づいて防振モードの設定を解除する場合に比べて、カメラの操作性を向上させることができる。
【０２０２】
また、第１実施形態では、特徴点の抽出又は動きベクトルの検出ができない場合に、防振不安定表示（図５のステップ♯１０３１）を行い、撮影者に対応を促していた。
【０２０３】
一方、防振不安定表示を行うとともに、自動的に防振モードの設定を解除し、通常の静止画撮影を行う通常撮影モードに切り替えて撮影を実行するようにしてもよい。
【０２０４】
図７は、本実施形態であるカメラの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０２０５】
ステップ♯１００１では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップ♯１００２に進む。
【０２０６】
ステップ♯１００２では、撮像部１９において画像の読み出しが行われる。撮影制御部１８は、信号処理部１１１からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。
【０２０７】
そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。
【０２０８】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。ここで、撮影制御部１８は、撮影画面内の主被写体領域（例えば、図６の領域１３２）と、この主被写体領域以外の周辺領域（例えば、図６の領域１３０）とを分けて測光しており、これらの測光結果から画面全体における最適な露出値を演算する。
【０２０９】
ステップ♯１００３では、撮像部１９から読み出された画像を、カメラの外部に設けられた液晶表示部等（表示部１１８）に表示する。
【０２１０】
ステップ♯１００４では、撮影者が防振操作部１２０を操作して防振モードを設定しているか否かを判別し、防振モードがオンのときはステップ♯１００５に進み、オフのときにはステップ♯１０２５に進む。
【０２１１】
まず、防振モードが設定されている場合に流れるフローについて説明する。
【０２１２】
ステップ♯１００５では、ステップ♯１００２で求めた被写体の明るさ等の撮影条件に基づいて露光回数と各露光時間を求める。
【０２１３】
ここでいう撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞り値）
・撮像部１９の感度
の４点である。
【０２１４】
例えば、撮像部１９の感度がＩＳＯ２００に設定されていたとする。そして、ステップ♯１００２での測光結果に基づいた演算により、通常撮影で適正に露光するためには、絞り１３ａを全開（例えばｆ２．８）にするとともにシャッタ１２ａの閉じタイミング、すなわち露光時間を１／８秒にする必要があるとする。
【０２１５】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れにより像振れが発生する恐れがあるので、像振れが生じないように露光時間を１／３２秒に設定して４回露光を行うように設定する。
【０２１６】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れが生じないように露光時間を１／３２０秒に設定して４０回露光を行うように設定する。
【０２１７】
このように複数回露光を行うときの各露光時間を撮影条件に合わせて決定し、さらに何回露光するかも撮影条件に合わせて設定する。
【０２１８】
同一被写体を複数回に分けて露光するとしても、各露光条件はなるべく適正露光に近い方が撮像部１９での撮像によって被写体に関する正確な情報を得ることができる。
【０２１９】
このため、暗い被写体の場合や、絞り１３ａが絞り込んでおり暗い場合や、撮像部１９の感度が低く設定されている場合には、複数回の露光といえども各露光時間はなるべく長くして有効な露光条件とする。ただし、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に現れるため、各露光時間は上記の事情を考慮に入れて適宜設定する。
【０２２０】
具体的には、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは像振れが生じないように約焦点距離分の１に等しい露光時間である１／３２秒に設定することができる。
【０２２１】
そして、各露光時間では足りない分を複数回の露光によって補うことで露出を補完するようにしている。
【０２２２】
ここで、撮影光学系の焦点距離が上記の３０ｍｍよりも長い場合には、さらに露光時間を短くしないと手振れによる像劣化が生ずるので露光時間を短くするとともに、露光時間を短くした分だけ露光回数を増やして露出補完を行う。
【０２２３】
このように複数回露光における各露光時間は、被写体が暗いほど、撮影レンズが暗いほど、撮像部１９の感度が低いほど長くなり、撮影光学系の焦点距離が長いほど短くなる。また、露光回数は、被写体が暗いほど、撮影レンズが暗いほど、撮像部１９の感度が低いほど少なくなり、撮影光学系の焦点距離が長いほど多くなる。
【０２２４】
ステップ♯１００５では、上述した露光回数及び各露光時間の演算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードが設定されたことを表示するとともに、上記の演算した露光回数を表示して撮影者に知らせる。
【０２２５】
ステップ♯１００６では、防振モードでの静止画撮影を行う必要があるか否かについて判定し、防振モードでの静止画撮影を行う必要がある場合にはステップ♯１００７に進み、必要がない場合にはステップ♯１０２９に進む。
【０２２６】
この防振モードの判定は、具体的には以下のように行う。
【０２２７】
撮影画面の主被写体領域における被写体（主被写体）が暗く（主被写体領域における被写体輝度が所定値以下）、周辺領域における被写体が暗い（周辺領域における被写体輝度が所定値以下）場合には、防振モードでの撮影を行う必要があると判断する。主被写体が明るく（被写体輝度が所定値以上）、周辺領域の被写体が明るい（周辺領域における被写体輝度が所定値以上）場合には、防振モードでの撮影を行う必要がないと判断する。
【０２２８】
また、主被写体が暗く、周辺領域の被写体が明るい場合（例えば、逆光での撮影）において、照明光が主被写体に届く場合には防振モードでの撮影を行う必要がないと判断し、照明光が主被写体に届かない場合には防振モードでの撮影を行う必要があると判断する。
【０２２９】
さらに、主被写体が明るく、周辺領域の被写体が暗い場合には、防振モードでの撮影を行う必要があると判断する。
【０２３０】
ここで、ストロボが主被写体に届くか否かの判断は、照明装置１６ａをプリ発光させて、このときの反射光の情報に基づいて判断することができる。また、ピント合わせのための鏡筒（撮影レンズ１１）の繰り出し量から被写体距離を求め、この被写体距離と照明装置１６ａの発光量や絞り値の関係から照明光が主被写体に到達するか否かを判断することができる。
【０２３１】
ステップ♯１００７では、照明装置１６ａの反射光量や鏡筒の繰り出し量から求めた被写体距離が所定距離以下（例えば６０ｃｍ以下）であるか否かを判定しており、所定距離以下の場合にはステップ♯１０３０に進み、所定距離以上の場合にはステップ♯１００８に進む。
【０２３２】
ここで、被写体距離が所定距離以下であるか否かを判定している理由を説明する。
【０２３３】
上述したように特徴点の抽出は、主被写体領域以外の周辺領域内で行うようにしている。これは、被写体振れにより座標変換に誤差が生じ、背景がぶれるのを防止するためである。
【０２３４】
しかし、主被写体がカメラから近距離の位置にある場合、撮影画面内には殆ど背景が写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化につながるため、主要被写体を特徴点の抽出対象として選ぶ（防振ではなく被写体追尾）ほうが良好な画像が得られる。
【０２３５】
このため、ステップ♯１００７、♯１００８、♯１０３０では、主被写体の距離に応じて特徴点の抽出領域を変えるようにしている。
【０２３６】
ステップ♯１００８では、周辺領域（例えば、図６の領域１３０）から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影（防振モードでの撮影）に先立って開始する。
【０２３７】
ここで、防振モードでの静止画撮影を行う前に特徴点の抽出や動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、特徴点を抽出できなかったり、動きベクトルが求められなかったりしたときには、静止画撮影を行う前に予め対策を施すためである。
【０２３８】
特徴点が検出できない場合としては、例えば、背景が模様の無い壁のように特徴の無い場合や、極端な逆光条件又は被写体が激しく動いている場合がある。また、動きベクトルが求められない場合として、特徴点のコントラストが極めて低いとき、又は複数の領域で求めた動きベクトルの方向が揃っていない場合等がある。
【０２３９】
ステップ♯１００９では、ステップ♯１００８（ステップ♯１０３０）で特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点が抽出でき、良好に動きベクトルが検出できた場合にはステップ♯１０１０に進む。また、特徴点が抽出できない場合や、動きベクトルを検出できない場合にはステップ♯１０３１に進む。
【０２４０】
ステップ♯１０１０では、レリーズボタンの全押し操作によりｓｗ２がオンになるまでステップ♯１００１からステップ♯１０１０を循環して待機する。そして、ｓｗ２がオンになった時点でステップ♯１０１１に進む。
【０２４１】
ステップ♯１０１１では、発音駆動部１７ｂを介してスピーカ１７ａを駆動する（発音させる）ことにより、撮影者に撮影が開始されたことを知らせる。この音は例えば、「ピッ」という電子音でもよいし、シャッタ１２ａの開き音でもよい。
【０２４２】
ステップ♯１０１２では、１回目の露光を開始する。なお、ステップ♯１０１２から後述するステップ♯１０２０までは、短い露光時間での露光を複数回繰り返し、これにより得られた複数の画像を合成してみかけの露出を適正にする防振モードでの静止画撮影動作である。
【０２４３】
ここで、１回目の露光は、第１実施形態で説明した第１の画像１２７（図３（ａ））を得るために照明装置１６ａを発光させて行う。ただし、ステップ♯１００６の判定において、主被写体が明るい場合には、照明装置１６ａを発光させずに露光を行う。また、ステップ♯１００６の判定において、照明光が被写体に届かない場合には、照明装置１６ａを発光させても、発光させなくてもよい。
【０２４４】
ステップ♯１０１３では、撮影した画像を一旦画像記憶部１１３に記憶しておく。
【０２４５】
ステップ♯１０１４では、ステップ♯１００５で設定された回数の露光が完了するまでステップ♯１０１２からステップ♯１０１４を循環して露光を続行する。このとき、２回目以降の露光は第１実施形態で説明した第２の画像群（図３（ｂ））を得るために照明装置１６ａを発光させないで行う。そして、すべての露光が完了するとステップ♯１０１５に進む。
【０２４６】
ステップ♯１０１５では、発音駆動部１７ｂを介してスピーカ１７ａを駆動する（発音させる）ことにより、撮影者に撮影が完了したことを知らせる。この音は、例えば「ピッピッ」という電子音でもよいし、シャッタ１２ａの閉じ音でもよい。
【０２４７】
このように防振モードで静止画撮影を行う場合において、この動作を表す発音は１セット（１回目の露光開始および最終回目の露光完了のそれぞれ１回）であるため、撮影者に複数回露光の違和感を与えることはない。
【０２４８】
すなわち、通常の静止画撮影（１回の露光で適正露出を得る撮影）を行う場合と防振モードの静止画撮影を行う場合とで、発音の回数が等しくなっており、撮影者に撮影時の違和感を与えるのを防止することができる。
【０２４９】
ステップ♯１０１６において、ステップ♯１００７での判定結果に基づいて主被写体が所定距離よりも遠い位置にある場合には、変位検出部１１４が撮影画面の周辺領域（例えば、図６の領域１３０）の中から特徴的な像（特徴点）を抽出し、撮影画面内における特徴点の座標を求める。このとき、ステップ♯１００８又はステップ♯１０３０で既に特定された領域から特徴点を再抽出して特徴点が抽出できることを確認しておく。
【０２５０】
なお、１回目の露光で照明装置１６ａを発光させた場合、ステップ♯１０１６では、ステップ♯１００８と異なり、第１の画像と第２の画像群の各画像とをそれぞれ比較して明るさの異なる領域（照明光が十分被写体を照射した領域）以外の領域（照明光が被写体を十分照射していない領域）から特徴点を抽出できるのでより正確に特徴点の座標を求めることができる。
【０２５１】
一方、主被写体がカメラから所定距離以内にある場合には、主被写体領域から特徴的な像（特徴点）を抽出し、撮影画面内における特徴点の座標を求める。
【０２５２】
ステップ♯１０１７では、座標変換部１１５により第２の画像群の各画像に対して座標変換を行う。ここで、照明装置１６ａを発光させることにより得られた第１の画像については、座標変換を行う際の基準画像とし、座標変換は行わない。なお、１回目の露光で照明光を照射させなかったときには、第１の画像及び第２の画像群のうちいずれか１つの画像を基準画像とする。
【０２５３】
ステップ♯１０１８では、座標変換の対象となるすべての画像について座標変換が終了するまでステップ♯１０１６からステップ♯１０１８を循環して待機し、すべての画像の座標変換が完了した時点でステップ♯１０１９に進む。
【０２５４】
ステップ♯１０１９では、基準画像と座標変換された各画像の合成を行う。ここで、画像合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した合成画像をゲインアップして露出の適正化を図る。
【０２５５】
ステップ♯１０２０では、合成画像のうち各画像が構図ぶれにより重ならなかった領域（図４の領域１２９）をカットし、元のフレームの大きさになるように合成画像を拡散補完する。
【０２５６】
ステップ♯１０２１では、第１の画像補正部１１７ａにより合成画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯１０２２では、ステップ♯１０２１で得られた画像を、カメラに設けられた液晶表示部に表示する。
【０２５７】
ステップ♯１０２３では、ステップ♯１０２１で得られた合成画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体（記録部１１９）に記録する。ステップ♯１０２４では、スタートに戻る。
【０２５８】
なお、ステップ♯１０２４の段階でまだｓｗ１がオンになっているときは、そのままステップ♯１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。また、ステップ♯１０２４の段階でｓｗ２がオンになっているときには、スタートに戻らずステップ♯１０２４で待機する。
【０２５９】
次に、ステップ♯１００４で防振モードが設定されていない場合に流れるフローについて説明する。
【０２６０】
ステップ♯１００４において、防振モードがオフと判断したときには、ステップ♯１０２５に進む。
【０２６１】
ステップ♯１０２５では、防振モードを設定しないと手振れによる画像劣化が生ずる撮影条件（防振撮影条件）であるか否かを判断する。
【０２６２】
この撮影条件は上述したように被写体の明るさ、撮影レンズの明るさ、撮像感度、撮影光学系の焦点距離であり、被写体の明るさ、撮影レンズの明るさ、撮像感度に基づいて通常の静止画撮影における露光時間を求め、この露光時間と現在の撮影光学系の焦点距離では手振れによる画像劣化の可能性があるか否かをステップ♯１０２５で判断している。
【０２６３】
そして、画像劣化の可能性があるときにはステップ♯１０２６に進み、そうでないときはステップ♯１０２７に進む。
【０２６４】
ステップ♯１０２６では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部（表示部１１８）に、防振モードに設定することを推奨する表示（防振必要表示）を行う。なお、音声により防振モードの設定を撮影者に促すようにしてもよい。
【０２６５】
ステップ♯１０２７では、レリーズボタンが全押し操作され、ｓｗ２がオンになるまでステップ♯１００１からステップ♯１０２７を循環して待機する。ステップ♯１０２８では、通常の静止画撮影が完了する迄待機し、この撮影完了とともにステップ♯１０２１に進む。
【０２６６】
なお、ここでは省いているが、通常の静止画撮影の場合においても撮影開始と撮影完了の動作に合わせて撮影動作音をスピーカ１７ａから発している。すなわち、防振モードでの静止画撮影においても通常の静止画撮影においても同じ形式の撮影動作音を発している。この場合には、撮影開始音から撮影完了音迄の時間の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数回の露光を行っているか否かは撮影者には分からないようになっている。
【０２６７】
このため、防振モードでの静止画撮影においても特別な撮影を行っているという認識を撮影者に与えることがなく、使いやすいカメラになっている。
【０２６８】
ステップ♯１０２１では、第２の画像補正部１１７ｂにおいて通常の静止画撮影によって得られた画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯１０２２では、ステップ♯１０２１で得られた画像を、カメラの背面などに配置された液晶表示部（表示部１１８）に表示する。
【０２６９】
ステップ♯１０２３では、ステップ♯１０２１で得られた画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体（記録部１１９）に記録する。ステップ♯１０２４では、スタートに戻る。
【０２７０】
上述したフローで分かるように防振モードを設定していない場合においても手振れによる画像劣化が生ずる撮影条件（防振撮影条件）のときには、撮影者に防振モードの設定を促すことにより手振れによる画像劣化を未然に防ぐことができる。
【０２７１】
また、防振モードが設定されている場合、上述したように複数回の露光における各露光時間は撮影光学系の焦点距離に応じて変更することでいかなる焦点距離においても好ましい画像（合成画像）を得ることができる。
【０２７２】
次に、ステップ♯１００６で防振モードの設定が不要と判断した場合に流れるフローについて説明する。
【０２７３】
例えば、主被写体が暗く、周辺領域における被写体が明るい場合において、主被写体に照明光が届く場合には、主被写体は照明光で適正露出になり、周辺領域の被写体も明るいため、手振れの影響がでない短い露光時間で適正露出が得られる。また、主被写体及び周辺領域の被写体が明るい場合にも、短い露光時間で適正露出が得られる。
【０２７４】
このため、上記の場合には予め防振モードが設定されているときであっても防振モードを使用しない方がよい。防振モードでの静止画撮影は、複数回の露光によって得られた複数の画像を合成して適性露出を得る方法であり、複数回の露光における合計の露光時間が長くなるため、短い露光時間で適正露出が得られる場合にまで防振モードを設定するのは好ましくないからである。
【０２７５】
そこで、ステップ♯１００６で防振モードの設定が不要と判断した場合には、ステップ♯１０２９に進み、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部（表示部１１８）に、防振モードの設定解除を促す表示（防振不要表示）を行う。なお、音声によって防振モードの設定解除を撮影者に知らせるようにしてもよい。
【０２７６】
そして、ステップ♯１０２７に進むことにより、防振モードの設定を解除して通常の静止画撮影を行う撮影モードに切り替える。これにより、不要に防振モードでの静止画撮影を行わないようにしている。
【０２７７】
ステップ♯１００７では、上述したように被写体距離が所定距離以下（例えば６０ｃｍ以下）であるか否かを判別しており、所定距離以下の場合にはステップ♯１０３０に進み、所定距離以上の場合にはステップ♯１００８に進む。
【０２７８】
ここでは、被写体距離が所定距離以下である場合について説明する。
【０２７９】
主要被写体が近距離に位置している場合には、撮影画面内に背景がほとんど写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化に影響を与えるため、主被写体を特徴点の抽出対象として選ぶ（防振ではなく被写体追尾）ほうが良好な画像が得られる。
【０２８０】
したがって、上記の場合には、ステップ♯１００７からステップ♯１０３０にフローが流れ、ステップ♯１０３０では、主被写体領域（例えば、図６におけるフォーカシングエリア１３１ｃを中心とする主被写体領域１３２）から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影に先立って行う。例えば、人物１２２ａの輪郭のエッジなどを特徴点として抽出する。
【０２８１】
ここで、静止画撮影を行う前に特徴点の抽出と動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、精度良く動きベクトルが求められないときには静止画撮影の前に予め対策を施すためである。
【０２８２】
ステップ♯１００９では、ステップ♯１００８（ステップ♯１０３０）で特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点が抽出でき、精度良く動きベクトルが検出できた場合にはステップ♯１０１０に進む。また、特徴点が抽出できない場合や、動きベクトルを検出できない場合にはステップ♯１０３１に進む。
【０２８３】
ここでは、特徴点の抽出又は動きベクトルの検出が良好にできなかった場合について説明する。
【０２８４】
この場合には、防振モードでの静止画撮影を行った際の実際の撮影画像から特徴点を抽出し、動きベクトルを求めてもその信頼性が低いために、画像合成によって得られた静止画像はぶれた画像になってしまう恐れがある。
【０２８５】
そこで、特徴点の抽出又は動きベクトルの検出ができない場合には、ステップ♯１００９からステップ♯１０３１にフローが流れ、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部（表示部１１８）に、防振モードでの静止画撮影では良好な画像が得られないことを表示（防振不安定表示）する。なお、音声により防振不安定表示に関する情報を撮影者に知らせるようにしてもよい。
【０２８６】
そして、ステップ♯１０３１からステップ♯１０２７にフローが流れることにより、防振モードから通常の静止画撮影を行う通常撮影モードに切り替える。
【０２８７】
ここで、通常撮影モードに変更された場合には、１回の撮影で適正露出を得る必要があるため、露光時間を複数回露光の各露光時間よりも長く設定する。
【０２８８】
なお、撮影者は防振モードに設定したうえで静止画撮影に臨む場合もあるため、通常の撮影モードに変更しても露光時間が長くなる場合には、露光時間を制限（短く）して照明光を照射させるようにしてもよい。
【０２８９】
本実施形態では、上述したフローのように防振モードでの静止画撮影によっては不安定な画像が得られる場合には、防振モードから通常撮影モードに自動的に切り替わる構成になっているため、撮影者にとって扱いやすいカメラとなる。
【０２９０】
（第３実施形態）
次に、本発明の第３実施形態であるカメラについて説明する。本実施形態のカメラの構成は、第１実施形態で説明したカメラの構成（図１）と概ね同様である。
【０２９１】
上述した第１実施形態および第２実施形態では、複数回の露光によって得られたすべての画像を一旦画像記憶部１１３で記憶させておいてから、これらの画像を用いて画像合成を行っていた。
【０２９２】
一方、本実施形態のカメラでは、複数回の露光を行いながら同時に画像の合成を行うようになっている。
【０２９３】
図８は、このような動作を説明するタイミングチャートである。なお、同図では、４回の露光によって１枚の静止画像（合成画像）を得る場合について説明する。
【０２９４】
まず、１回目の露光ｆ１（照明光を用いた露光）によって撮像部１８で光電変換されて電荷蓄積された信号が、撮像信号Ｆ１として読み出される。同様にして、２回目の露光ｆ２（照明光を用いない露光）によって撮像部１８で光電変換されて電荷蓄積された信号が、撮像信号Ｆ２として読み出される。
【０２９５】
撮像信号Ｆ２の読み出しと同時進行で先に得られた撮像信号Ｆ１と今回の撮像信号Ｆ２の相関演算を行う。これにより、２つの画像における特徴点の変化を求め、２つの画像信号Ｆ１、Ｆ２を合成して合成信号Ｃ２を得る。
【０２９６】
次に、撮像信号Ｆ３の読み出しと同時進行で前回の合成信号Ｃ２と今回の撮像信号Ｆ３の相関演算を行うことで特徴点の変化を求め、合成信号Ｃ２および撮像信号Ｆ３を合成して合成信号Ｃ３を得る。
【０２９７】
次に、撮像信号Ｆ４の読み出しと同時進行で前回の合成信号Ｃ３と今回の撮像信号Ｆ４の相関演算を行うことで特徴点の変化を求め、合成信号Ｃ３および撮像信号Ｆ４を合成し合成信号Ｃ４を得る。
【０２９８】
そして、得られた合成信号Ｃ４を、カメラに設けられた液晶表示部に撮影画像として表示するとともに、カメラに着脱可能な記録媒体に記録する。
【０２９９】
図９は、本実施形態であるカメラの撮影動作を説明するフローチャートである。同図のフローチャートは、図７のフローチャートと比較すると、画像保存のステップがなく、複数回露光のうち各露光が完了するたびに座標変換を行って画像合成を行うようになっている点で異なる。
【０３００】
本実施形態では、露光ごとに合成画像が更新されるため、複数回の露光によって得られた各画像を保存しておく必要がない。このため、本実施形態のカメラでは、図１で示した画像記憶部１１２を備えていない。
【０３０１】
なお、図９のフローにおいて、ステップ♯２００２の全画像処理が完了するまで次の露光を行わないように見えるが、実際は図７のタイミングチャートのように露光や撮像信号出力、相関演算や画像合成は同時進行で行われる。
【０３０２】
図９のフローはカメラの電源がオンになったときにスタートする。
【０３０３】
ステップ♯１００１では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップ♯１００２に進む。
【０３０４】
ステップ♯１００２では、撮像部１９において撮像（画像の読み出し）が行われる。撮影制御部１８は、信号処理部１１１からの出力に基づいて撮影画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。
【０３０５】
そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。
【０３０６】
また、撮影制御部１８は、同時に撮像部１９の出力に基づいて被写界の明るさを求める。ここで、撮影制御部１８は、撮影画面内の主被写体領域（例えば、図６の領域１３２）と、この主被写体領域以外の周辺領域（例えば、図６の領域１３０）とを分けて測光しており、これらの測光結果から画面全体における最適な露光値を演算する。
【０３０７】
ステップ♯１００３では、撮像部１９によって撮像された画像を、カメラの液晶表示部などに表示する。
【０３０８】
ステップ♯１００４では、撮影者が防振操作部１２０を操作して防振モードを設定しているか否かを判別し、防振モードがオンのときにはステップ♯１００５に進み、オフのときにはステップ♯１０２５に進む。
【０３０９】
まず、防振モードが設定されている場合に流れるフローについて説明する。
【０３１０】
ステップ♯１００５では、ステップ♯１００２で求めた被写体の明るさ等の撮影条件に基づいて露光回数と各露光時間を求める。
【０３１１】
ここでいう撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞り値）
・撮像部１９の感度（設定値）
の４点である。
【０３１２】
例えば、撮像部１９の感度がＩＳＯ２００に設定されていたとする。そして、ステップ♯１００２での測光結果に基づいた演算により、通常撮影で適正に露出するためには、絞り１３ａを全開（例えばｆ２．８）にするとともにシャッタ１２ａの閉じタイミング、すなわち露光時間を１／８秒にする必要であるとする。
【０３１３】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れにより像振れが発生する恐れがあるので、像振れが生じないように露光時間を１／３２秒に設定して４回露光を行うように設定する。
【０３１４】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れが生じないように露光時間を１／３２０秒に設定して４０回露光を行うように設定する。
【０３１５】
このように複数回露光を行うときの各露光時間を撮影条件に合わせて決定し、さらに何回露光するかも撮影条件に合わせて設定する。
【０３１６】
同一被写体を複数回に分けて露光するとしても、各露光条件はなるべく適正露光（通常撮影における露光条件）に近い方が撮像部１９での撮像によって被写体に関する正確な情報を得ることができる。
【０３１７】
このため、暗い被写体の場合や、絞り１３ａが絞り込んでおり暗い場合や、撮像部１９の感度が低く設定されている場合には、複数回の露光といえども各露光時間はなるべく長くして有効な露光条件にする。ただし、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に現れるため、各露光時間は上記の事情を考慮に入れて適宜設定する。
【０３１８】
具体的には、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは像振れが生じないように約焦点距離分の１に等しい露光時間である１／３２秒に設定することができる。
【０３１９】
そして、各露光時間では足りない分を複数回の露光によって補うことで露出を補完するようにしている。
【０３２０】
ここで、撮影光学系の焦点距離が上記の３０ｍｍよりも長い場合には、さらに露光時間を短くしないと手振れによる像劣化が生ずるので露光時間を短くするとともに、露光時間を短くした分だけ露光回数を増やして露出補完を行う。
【０３２１】
このように複数回露光における各露光時間は、被写体が暗いほど、撮影レンズが暗いほど、撮像部１９の感度が低いほど長くなり、撮影光学系の焦点距離が長いほど短くなる。また、露光回数は、被写体が暗いほど、撮影レンズが暗いほど、撮像素子１９の感度が低いほど少なくなり、撮影光学系の焦点距離が長いほど多くなる。
【０３２２】
ステップ♯１００５では、上述した露光回数及び各露光時間の演算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードが設定されたことを表示するとともに、上記の演算によって得られた露光回数を表示して撮影者に知らせる。
【０３２３】
ステップ♯１００６では、防振モードでの静止画撮影を行う必要があるか否かについて判定し、防振モードでの静止画撮影を行う必要がある場合にはステップ♯１００７に進み、必要がない場合にはステップ♯１０２９に進む。
【０３２４】
この防振モードの判定は、具体的には以下のように行う。
【０３２５】
撮影画面の主被写体領域における被写体（主被写体）が暗く（主被写体領域における被写体輝度が所定値以下）、周辺領域における被写体が暗い（周辺領域における被写体輝度が所定値以下）場合には、防振モードでの静止画撮影を行う必要があると判断する。主被写体が明るく（被写体輝度が所定値以上）、周辺領域の被写体が明るい（周辺領域における被写体輝度が所定値以上）場合には、防振モードでの静止画撮影を行う必要がないと判断する。
【０３２６】
また、主被写体が暗く、周辺領域の被写体が明るい場合（例えば、逆光での撮影）において、照明光が主被写体に届く場合には防振モードでの静止画撮影を行う必要がないと判断し、照明光が主被写体に届かない場合には防振モードでの静止画撮影を行う必要があると判断する。
【０３２７】
さらに、主被写体が明るく、周辺領域の被写体が暗い場合には、防振モードでの撮影を行う必要があると判断する。
【０３２８】
ここで、照明光が主被写体に届くか否かの判断は、照明装置１６ａをプリ発光させて、このときの反射光の情報に基づいて判断することができる。また、ピント合わせのための鏡筒（撮影レンズ１１）の繰り出し量から被写体距離を求め、この被写体距離と照明装置１６ａの発光量や絞り値の関係から照明光が主被写体に到達するか否かを判断することができる。
【０３２９】
ステップ♯１００７では、照明装置１６ａの反射光量や鏡筒の繰り出し量から求めた被写体距離が所定距離以下（例えば６０ｃｍ以下）であるか否かを判定しており、所定距離以下の場合にはステップ♯１０３０に進み、所定距離以上の場合にはステップ♯１００８に進む。
【０３３０】
ここで、被写体距離が所定距離以下であるか否かを判定している理由を説明する。
【０３３１】
上述したように特徴点の抽出は、主被写体領域以外の周辺領域内で行うようにしている。これは、被写体振れにより座標変換に誤差が生じ、背景がぶれるのを防止するためである。
【０３３２】
しかし、主被写体がカメラから近距離の位置にある場合、撮影画面内には殆ど背景が写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化につながるため、主被写体を特徴点の抽出対象として選ぶ（防振ではなく被写体追尾）ほうが良好な画像が得られる。
【０３３３】
このため、ステップ♯１００７、♯１００８、♯１０３０では、主被写体の距離に応じて特徴点の抽出領域を変えるようにしている。
【０３３４】
ステップ♯１００８では、周辺領域（例えば、図６の領域１３０）から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影（防振モードでの撮影）に先立って開始する。
【０３３５】
ここで、防振モードでの静止画撮影を行う前に特徴点の抽出や動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、特徴点を抽出できなかったり、動きベクトルが求められなかったりしたときには、静止画撮影を行う前に予め対策を施すためである。
【０３３６】
特徴点が抽出できない場合としては、例えば、背景が模様の無い壁のように特徴の無い場合や、極端な逆光条件又は被写体が激しく動いている場合がある。また、動きベクトルが求められない場合としては、特徴点のコントラストが極めて低いとき、又は複数の領域で求めた動きベクトルの方向が揃っていない場合等がある。
【０３３７】
ステップ♯１００９では、ステップ♯１００８（ステップ♯１０３０）で特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点が抽出でき、良好に動きベクトルが検出できた場合にはステップ♯１０１０に進む。また、特徴点が抽出できない場合や、動きベクトルを検出できない場合にはステップ♯１０３１に進む。
【０３３８】
ステップ♯１０１０では、レリーズボタンの全押し操作によりｓｗ２がオンになるまでステップ♯１００１からステップ♯１０１０を循環して待機する。そして、ｓｗ２がオンになった時点でステップ♯１０１１に進む。
【０３３９】
ステップ♯１０１１では、発音駆動部１７ｂを介してスピーカ１７ａを駆動する（発音させる）ことにより、撮影者に静止画撮影が開始されたことを知らせる。この音は例えば、「ピッ」という電子音でもよいし、シャッタ１２ａの開き音でもよい。
【０３４０】
ステップ♯１０１２では、１回目の露光を開始する。なお、ステップ♯１０１２から後述するステップ♯２００２までは、短い露光時間での露光を複数回繰り返し、これによって得られた複数の画像を合成してみかけの露出を適正にする防振モードでの撮影動作である。
【０３４１】
ここで、１回目の露光は、第１実施形態で説明した第１の画像１２７（図３（ａ））を得るために照明装置１６ａを発光させて行う。ただし、ステップ♯１００６の判定において、主被写体が明るい場合には、照明装置１６ａを発光させずに露光を行う。また、ステップ♯１００６の判定において、照明光が主被写体に届かない場合には、照明装置１６ａを発光させても、発光させなくてもよい。
【０３４２】
ステップ♯２００１では、１回目の露光が終了するまで露光を継続させて待機し、露光が完了するとステップ♯１０１６に進む。ここで、第１実施形態及び第２実施形態ではすべての露光が完了するまで露光を続行していたが、本実施形態では１回の露光が完了するごとに次のステップにフローが流れるようになっている。
【０３４３】
ステップ♯１０１６、♯１０１７、♯１０１９は、特徴点抽出、座標計算、画像の座標変換、画像合成を行うステップであるが、１枚目の画像しか取り込んでいない場合（１回目の露光）では、この撮影画像から特徴点を抽出するだけである。このとき、ステップ♯１００８（ステップ♯１０３０）で既に特定してある領域から特徴点を再抽出できることを確認しておく。
【０３４４】
ステップ♯２００２では、すべての画像について画像合成が終了するまでステップ♯１０１２からステップ♯２００２を循環して待機し、すべての画像の画像合成が完了するとステップ♯１０１５に進む。
【０３４５】
すなわち、まだ１回しか露光していない場合にはステップ♯１０１２に戻り、２回目の露光を開始する。２回目の露光は、照明装置１６ａを発光させないで行い、この露光が終了するとステップ♯２００１からステップ♯１０１６に進む。
【０３４６】
ステップ♯１０１６において、ステップ♯１００７での判定結果より被写体距離が所定距離以上の場合には、変位検出部１１４が撮影画像の周辺領域（例えば図２の建物１２３ａ）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。このとき、ステップ♯１００８（ステップ♯１０３０）で特定した領域から特徴点を再抽出できることを確認しておく。
【０３４７】
この場合、ステップ♯１００８、♯１００９と異なり第１の画像と第２の画像をそれぞれ比較して明るさの異なる領域（照明光が被写体を照射した領域）以外の領域（照明光が被写体を照射していない領域）から特徴点を抽出し、この特徴点の座標を求めることができる。
【０３４８】
また、被写体距離が所定距離以下の場合には、主被写体領域から特徴的な像（特徴点）を抽出し、この特徴点の座標を求める。
【０３４９】
ステップ♯１０１７では、座標変換部１１５が第２の画像の座標変換を行う。ここで、１回目の露光によって得られた画像（照明光を用いた第１の画像）については、座標変換の際の基準画像とし、座標の変換は行わない。
【０３５０】
ステップ♯１０１９では、第１の画像と座標変換された第２の画像の合成を行う。
【０３５１】
画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０３５２】
ここで、３回目以降の露光についても、上述したようにステップ♯１０１２〜ステップ♯１０１９までの処理を行う。３回目以降の露光については、照明装置１６ａを発光させないで行う。また、３回目以降の露光によって得られた画像については、上述したように先に生成された合成画像に対して座標変換を行うことになる。
【０３５３】
ステップ♯２００２では、すべての画像について座標変換が終了するまでステップ♯１０１２からステップ♯２００２を循環して待機し、すべての画像の座標変換が完了するとステップ♯１０１５に進む。
【０３５４】
ステップ♯１０１５では、発音駆動部１７ｂを介してスピーカ１７ａを駆動する（発音させる）ことにより、撮影者に撮影が完了したことを知らせる。この音は、例えば「ピッピッ」という電子音でもよいし、シャッタ１２ａの閉じ音でもよい。
【０３５５】
このように防振モードで静止画撮影を行う場合において、この動作を表す発音は１セット（１回目の露光開始および最終回目の露光完了のそれぞれ１回）であるため、撮影者に複数回露光の違和感を与えることはない。
【０３５６】
すなわち、通常の静止画撮影（１回の露光で適正露出を得る撮影）を行う場合と防振モードの静止画撮影を行う場合とで、発音の回数が等しくなっており、撮影者に撮影時の違和感を与えるのを防止することができる。
【０３５７】
ステップ♯１０２０では、合成画像のうち各画像が構図ぶれにより重ならなかった領域（図４の領域１２９）をカットし、元のフレームの大きさになるように合成画像を拡散補完する。
【０３５８】
ステップ♯１０２１では、第１の画像補正部１１７ａにより合成画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯１０２２では、ステップ♯１０２１で得られた画像を、カメラに設けられた液晶表示部（表示部１１８）に表示する。
【０３５９】
ステップ♯１０２３では、ステップ♯１０２１で得られた合成画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体（記録部１１９）に記録する。ステップ♯１０２４では、スタートに戻る。
【０３６０】
なお、ステップ♯１０２４の段階でまだｓｗ１がオンになっているときは、そのままステップ♯１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。また、ステップ♯１０２４の段階でｓｗ２がオンになっているときには、スタートに戻らずステップ♯１０２４で待機する。
【０３６１】
次に、ステップ♯１００４で防振モードが設定されていない場合に流れるフローについて説明する。
【０３６２】
ステップ♯１００４において、防振モードがオフと判断したときには、ステップ♯１０２５に進む。
【０３６３】
ステップ♯１０２５では、防振モードを設定しないと手振れによる画像劣化が生ずる撮影条件（防振撮影条件）であるか否かを判断する。
【０３６４】
この撮影条件は上述したように被写体の明るさ、撮影レンズの明るさ、撮像感度、撮影光学系の焦点距離であり、被写体の明るさ、撮影レンズの明るさ、撮像感度に基づいて通常の静止画撮影における露光時間を求め、この露光時間と現在の撮影光学系の焦点距離では手振れによる画像劣化の可能性があるか否かをステップ♯１０２５で判断している。
【０３６５】
そして、画像劣化の可能性があるときにはステップ♯１０２６に進み、そうでないときにはステップ♯１０２７に進む。
【０３６６】
ステップ♯１０２６では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部（表示部１１８）に、防振モードに設定することを推奨する表示（防振必要表示）を行う。なお、音声により防振モードの設定を撮影者に促すようにしてもよい。
【０３６７】
ステップ♯１０２７では、レリーズボタンが全押し操作され、ｓｗ２がオンになるまでステップ♯１００１からステップ♯１０２７を循環して待機する。ステップ♯１０２８では、通常の静止画撮影が完了する迄待機し、この撮影完了とともにステップ♯１０２１に進む。
【０３６８】
なお、ここでは省いているが、通常の静止画撮影の場合においても撮影開始と撮影完了の動作に合わせて撮影動作音をスピーカ１７ａから発している。すなわち、防振モードでの静止画撮影においても通常の静止画撮影においても同じ形式の撮影動作音を発している。この場合には、撮影開始音から撮影完了音迄の時間の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数回の露光を行っているか否かは撮影者には分からないようになっている。
【０３６９】
このため、防振モードでの静止画撮影においても特別な撮影を行っているという認識を撮影者に与えることがなく、使いやすいカメラになっている。
【０３７０】
ステップ♯１０２１では、第２の画像補正部１１７ｂにおいて通常の静止画撮影によって得られた画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯１０２２では、ステップ♯１０２１で得られた画像を、カメラ背面などに配置された液晶表示部（表示部１１８）に表示する。
【０３７１】
ステップ♯１０２３では、ステップ♯１０２１で得られた画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体（記録部１１９）に記録する。ステップ♯１０２４では、スタートに戻る。
【０３７２】
上述したフローで分かるように防振モードを設定していない場合においても手振れによる画像劣化が生ずる撮影条件（防振撮影条件）のときには、撮影者に防振モードの設定を促すことにより手振れによる画像劣化を未然に防ぐことができる。
【０３７３】
また、防振モードが設定されている場合、上述したように複数回の露光における各露光時間は撮影光学系の焦点距離に応じて変更することでいかなる焦点距離においても好ましい画像（合成画像）を得ることができる。
【０３７４】
次に、ステップ♯１００６で防振モードの設定が不要と判断した場合に流れるフローについて説明する。
【０３７５】
例えば、主被写体が暗く、周辺領域における被写体が明るい場合において、主被写体に照明光が届く場合には、主被写体は照明光で適正露出になり、周辺領域の被写体も明るいため、手振れの影響がでない短い露光時間で適正露出が得られる。また、主被写体及び周辺領域の被写体が明るい場合にも、短い露光時間で適正露出が得られる。
【０３７６】
このため、上記の場合には予め防振モードが設定されているときであっても防振モードを使用しない方がよい。防振モードでの静止画撮影は、複数回の露光によって得られた複数の画像を合成して適性露出を得る方法であり、複数回の露光における合計の露光時間が長くなるため、短い露光時間で適正露出が得られる場合にまで防振モードを設定するのは好ましくないからである。
【０３７７】
そこで、ステップ♯１００６で防振モードの設定が不要と判断した場合には、ステップ♯１０２９に進み、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部（表示部１１８）に、防振モードの設定解除を促す表示（防振不要表示）を行う。なお、音声によって防振モードの設定解除を撮影者に知らせるようにしてもよい。
【０３７８】
そして、ステップ♯１０２７に進むことにより、防振モードの設定を解除して通常の静止画撮影を行う撮影モードに切り替える。これにより、不要に防振モードでの静止画撮影を行わないようにしている。
【０３７９】
ステップ♯１００７では、上述したように被写体距離が所定距離以下（例えば６０ｃｍ以下）であるか否かを判別しており、所定距離以下の場合にはステップ♯１０３０に進み、所定距離以上の場合にはステップ♯１００８に進む。
【０３８０】
ここでは、被写体距離が所定距離以下である場合について説明する。
【０３８１】
主被写体が近距離に位置している場合には、撮影画面内に背景がほとんど写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化に影響を与えるため、主被写体を特徴点の抽出対象として選ぶ（防振ではなく被写体追尾）ほうが良好な画像が得られる。
【０３８２】
したがって、上記の場合には、ステップ♯１００７からステップ♯１０３０にフローが流れ、ステップ♯１０３０では、主被写体領域（例えば、図６におけるフォーカシングエリア１３１ｃを中心とする主被写体領域１３２）から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影に先立って行う。例えば、人物１２２ａの輪郭のエッジなどを特徴点として抽出する。
【０３８３】
ここで、静止画撮影を行う前に特徴点の抽出と動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、精度良く動きベクトルが求められないときには静止画撮影の前に予め対策を施すためである。
【０３８４】
ステップ♯１００９では、ステップ♯１０３０で特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点を抽出でき、精度良く動きベクトルが検出できた場合にはステップ♯１０１０に進む。また、特徴点を抽出できない場合や、動きベクトルを検出できない場合にはステップ♯１０３１に進む。
【０３８５】
ここでは、特徴点の抽出又は動きベクトルの検出が良好にできなかった場合について説明する。
【０３８６】
この場合には、防振モードでの静止画撮影を行った際の実際の撮影画像から特徴点を抽出し、動きベクトルを求めてもその信頼性が低いために、画像合成によって得られた静止画像はぶれた画像になってしまう恐れがある。
【０３８７】
そこで、特徴点の抽出又は動きベクトルの検出ができない場合には、ステップ♯１００９からステップ♯１０３１にフローが流れ、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部（表示部１１８）に、防振モードでの静止画撮影では良好な画像（概ね像振れのない画像）が得られないことを表示（防振不安定表示）する。なお、音声により防振不安定表示に関する情報を撮影者に知らせるようにしてもよい。
【０３８８】
そして、ステップ♯１０３１からステップ♯１０２７にフローが流れることにより、防振モードから通常の静止画撮影を行う通常撮影モードに切り替える。
【０３８９】
ここで、通常撮影モードに変更される場合には、１回の撮影で適正露出を得る必要があるため、露光時間を複数回露光の各露光時間よりも長く設定する。
【０３９０】
なお、撮影者は防振モードを設定したうえで撮影に臨む場合もあるため、通常撮影モードに変更しても露光時間が長くなる場合には、露光時間を制限（短く）して照明光を照射させるようにしてもよい。
【０３９１】
本実施形態では、上述したフローのように防振モードでの静止画撮影によっては不安定な画像が得られる場合には、防振モードから通常撮影モードに自動的に切り替わる構成になっているため、撮影者にとって扱いやすいカメラとすることができる。
【０３９２】
なお、上述した実施形態では、撮影レンズ１１を備えたカメラについて説明したが、撮影レンズを備えたレンズ装置と、このレンズ装置が着脱可能に装着されるカメラ本体からなるカメラシステムについても本発明を適用することができる。
【０３９３】
また、上述した実施形態のカメラでは、照明装置１６ａを内蔵したカメラについて説明したが、カメラに着脱可能に装着され、装着時にカメラと通信可能な照明装置を用いることもできる。
【０３９４】
【発明の効果】
本発明によれば、撮像素子の出力に基づいて順次取得した複数の画像を合成して撮影画像を得る撮影装置において、撮影の失敗を軽減でき、撮影者にとって使い勝手の良いものとすることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態であるカメラのブロック図。
【図２】本発明の第１実施形態における座標変換説明図。
【図３】本発明の第１実施形態における特徴点抽出領域の説明図。
【図４】本発明の第１実施形態における画像合成の説明図。
【図５】本発明の第１実施形態における撮影動作を示すフローチャート。
【図６】本発明の第２実施形態における特徴点抽出領域の説明図。
【図７】本発明の第２実施形態における撮影動作を示すフローチャート。
【図８】本発明の第３実施形態における撮影処理動作を示すタイミングチャート。
【図９】本発明の第３実施形態における撮影動作を示すフローチャート。
【符号の説明】
１０ ：光軸
１１ ：撮影レンズ
１２ａ：シャッタ
１２ｂ：シャッタ駆動部
１３ａ：絞り
１３ｂ：絞り駆動部
１４ａ：ＡＦ駆動モータ
１４ｂ：焦点駆動部
１５ａ：ズーム駆動モータ
１５ｂ：ズーム駆動部
１６ａ：照明装置
１６ｂ：閃光駆動部
１７ａ：スピーカ
１７ｂ：発音駆動部
１８ ：撮影制御部
１９ ：撮像部
１１０ ：Ａ／Ｄ変換部
１１１ ：信号処理部
１１２ ：信号切替部
１１３ ：画像記憶部
１１４ ：変位検出部
１１５ ：座標変換部
１１６ ：画像合成部
１１７ ：画像補正部
１１８ ：表示部
１１９ ：記録部
１２０ ：防振操作部
１２１ａ：フレーム
１２２ａ：人物
１２３ａ：建物
１２４ａ：窓
１２５ａ：特徴点（エッジ）
１２６ ：座標変換方向（量）
１２７ ：第１の画像
１２８ ：第２の画像群

Claims (12)

1. 被写体像を光電変換する撮像素子を有し、前記撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る撮影装置であって、
   前記複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、
   この検出手段の検出結果に基づいて、前記他の画像上での特徴点が前記基準画像上での特徴点に一致するように前記他の画像の座標変換を行う座標変換手段と、
   前記基準画像および前記座標変換手段で座標変換された他の画像を合成する合成手段と、
   撮影を行う前に前記撮像素子によって取得した画像に対して、前記検出手段により特徴点を抽出できるか否かを判別する判別手段と、
   この判別手段の判別により特徴点が抽出できないときに警告を行う警告手段とを有することを特徴とする撮影装置。
2. 被写体像を光電変換する撮像素子を有し、前記撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る撮影装置であって、
   前記複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、
   この検出手段の検出結果に基づいて、前記他の画像上での特徴点が前記基準画像上での特徴点に一致するように前記他の画像の座標変換を行う座標変換手段と、
   前記基準画像および前記座標変換手段で座標変換された他の画像を合成する合成手段と、
   撮影を行う前に前記撮像素子によって取得した複数の画像に対して、前記検出手段により特徴点の動きを検出できるか否かを判別する判別手段と、
   この判別手段の判別により特徴点の動きが検出できないときに警告を行う警告手段とを有することを特徴とする撮影装置。
3. 被写体像を光電変換する撮像素子を有し、前記撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る撮影装置であって、
   前記複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、
   この検出手段の検出結果に基づいて、前記他の画像上での特徴点が前記基準画像上での特徴点に一致するように前記他の画像の座標変換を行う座標変換手段と、
   前記基準画像および前記座標変換手段で座標変換された他の画像を合成する合成手段と、
   前記撮像素子によって取得した画像に対して、前記検出手段により特徴点を抽出できるか否かを判別し、特徴点を抽出できないときに複数の画像を合成して撮影画像を得る撮影を禁止する制御手段とを有することを特徴とする撮影装置。
4. 順次取得した複数の画像を合成して撮影画像を得る第１の撮影モードと、１つの画像を取得して撮影画像を得る第２の撮影モードを設定可能な撮影装置であって、
   前記制御手段は、特徴点を抽出できないときに前記第２の撮影モードに設定することを特徴とする請求項３に記載の撮影装置。
5. 被写体像を光電変換する撮像素子を有し、前記撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る撮影装置であって、
   前記複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、
   この検出手段の検出結果に基づいて、前記他の画像上での特徴点が前記基準画像上での特徴点に一致するように前記他の画像の座標変換を行う座標変換手段と、
   前記基準画像および前記座標変換手段で座標変換された他の画像を合成する合成手段と、
   前記撮像素子によって取得した複数の画像に対して、前記検出手段により特徴点の動きを検出できるか否かを判別し、特徴点の動きを検出できないときに複数の画像を合成して撮影画像を得る撮影を禁止する制御手段とを有することを特徴とする撮影装置。
6. 順次取得した複数の画像を合成して撮影画像を得る第１の撮影モードと、１つの画像を取得して撮影画像を得る第２の撮影モードを設定可能な撮影装置であって、
   前記制御手段は、特徴点の動きが検出できないときに前記第２の撮影モードに設定することを特徴とする請求項５に記載の撮影装置。
7. 前記制御手段は、前記第２の撮影モードに設定したときに、前記第２の撮影モードにおける画像の取得時間を前記第１の撮影モードにおける各画像の取得時間よりも長くすることを特徴とする請求項４又は６に記載の撮影装置。
8. 被写体像を光電変換する撮像素子を有し、前記撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る撮影装置であって、
   前記複数の画像のうち各画像上の所定領域において特徴点を抽出する抽出手段と、
   前記複数の画像のうち基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、
   この検出手段の検出結果に基づいて、前記他の画像上の特徴点が前記基準画像上の特徴点に一致するように前記他の画像の座標変換を行う座標変換手段と、
   前記基準画像および前記座標変換手段で座標変換された他の画像を合成する合成手段と、
   被写体距離に応じて前記所定領域を変更する制御手段とを有することを特徴とする撮影装置。
9. 前記制御手段は、被写体距離が所定距離以下であるか否かを判別し、被写体距離が所定距離以下であるときには画像上の略中央に位置する第１の領域を前記所定の領域として選択し、被写体距離が所定距離以上であるときには前記第１の領域以外の第２の領域を選択することを特徴とする請求項８に記載の撮影装置。
10. 被写体観察画面内に複数のフォーカシングエリアが設けられた撮影装置であって、
    前記制御手段は、被写体距離が所定距離以下であるか否かを判別し、被写体距離が所定距離以下であるときには前記複数のフォーカシングエリアのうち主被写体に対応したフォーカシングエリアを含む第１の領域を前記所定領域として選択し、被写体距離が所定距離以上であるときには前記第１の領域以外の第２の領域を選択することを特徴とする請求項８に記載の撮影装置。
11. 被写体像を光電変換する撮像素子を有し、前記撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る第１の撮影モードと、１つの画像を取得して撮影画像を得る第２の撮影モードを設定可能な撮影装置であって、
    前記複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、
    この検出手段の検出結果に基づいて、前記他の画像上での特徴点が前記基準画像上での特徴点に一致するように前記他の画像の座標変換を行う座標変換手段と、
    前記基準画像および前記座標変換手段で座標変換された他の画像を合成する合成手段と、
    画像上の背景領域の明るさを重点的に測光する測光手段と、
    この測光手段の測光結果に基づいて前記第１の撮影モードおよび前記第２の撮影モードのうち一方の撮影モードを選択する選択手段と、
    この選択手段で選択された撮影モードに関する情報を出力する情報出力手段とを有することを特徴とする撮影装置。
12. 被写体像を光電変換する撮像素子を有し、前記撮像素子からの出力信号により順次取得した複数の画像を合成して撮影画像を得る第１の撮影モードと、１つの画像を取得して撮影画像を得る第２の撮影モードを設定可能な撮影装置であって、
    前記複数の画像のうち各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の動きを検出する検出手段と、
    この検出手段の検出結果に基づいて、前記他の画像上での特徴点が前記基準画像上での特徴点に一致するように前記他の画像の座標変換を行う座標変換手段と、
    前記基準画像および前記座標変換手段で座標変換された他の画像を合成する合成手段と、
    画像上の背景領域の明るさを重点的に測光する測光手段と、
    この測光手段の測光結果に基づいて前記第１の撮影モードおよび前記第２の撮影モードのうち一方の撮影モードに設定する制御手段とを有することを特徴とする撮影装置。

Images