JP4136793B2 - 撮像装置および撮像装置の制御方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はデジタルカメラ等における撮影精度向上の為の技術に関し、特に手振れを補正することで撮影精度を向上させる撮像装置および撮像装置の制御方法に関するものである。
【０００２】
【従来の技術】
現在のカメラは露出決定やピント合わせ等の撮影にとって重要な作業はすべて自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。
【０００３】
また、最近では、カメラに加わる手振れを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因はほとんど無くなってきている。
【０００４】
ここで、手振れを防ぐ防振システムについて簡単に説明する。
【０００５】
撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手振れを起こしていても像振れの無い写真を撮影可能とするための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。
【０００６】
すなわち、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。
【０００７】
像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正が行われる。
【０００８】
一方、手振れが生じない程度の露光時間で複数回撮影を繰り返し、これらの撮影により得られた画像に対しての画像の変位を修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば特許文献１）。
【０００９】
【特許文献１】
特許第３１１０７９７号
【００１０】
【発明が解決しようとする課題】
最近のデジタルカメラは、銀塩コンパクトカメラに比べて小さくなってきており、特にＶＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をよりいっそう小型化するか、振動検出部を小型化する必要がある。
【００１１】
しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。
【００１２】
さらに、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度振れは光学防振システムで補正可能であるがシフト振れ対策はできない。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。
【００１３】
一方、別の防振システムとしては、ビデオカメラでの動画撮影に用いられているように撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る方法もある。このような方法の場合には、上述した光学防振システムのような専用の振動検出部や補正レンズが不要となるため、製品全体を小型にできるメリットがある。
【００１４】
しかし、このビデオカメラの防振システムをデジタルカメラに簡単に適用することはできない。この理由を以下に説明する。
【００１５】
ビデオカメラにおける動きベクトルの抽出は画像を読み出すごとに行っており、例えば１秒に１５コマ画像を取り出すとすると、この取り出した各画像を比較して動きベクトルを検出している。
【００１６】
ところが、デジタルカメラで静止画を撮影する場合には、撮影被写体に対して１回の露光しか行わないため、ビデオカメラのように画像の比較を行って動きベクトルを検出することはできない。このため、ビデオカメラの防振システムを単純にデジタルカメラに適応させることはできない。
【００１７】
また、特許文献１にあるような方法においては複数回撮影を繰り返すことから撮影時間が長期にわたることになる。これは静止被写体の場合には問題にはならないが、被写体が人物のように僅かでも動く場合には被写体側の振れ（被写体振れ）を生じさせてしまい、手振れは抑制できても被写体振れによる画像劣化の恐れがあった。
【００１８】
そこで、本発明は、銀塩カメラの防振システムやビデオカメラの防振システムとは異なるデジタルカメラの静止画撮影向けの小型の防振システムを提供することにある。
【００１９】
【課題を解決するための手段】
上記の目的を達成するために、本発明の撮像装置は、撮像素子により、順次取得した複数の画像を合成することで合成画像を得る撮像装置であって、複数の画像のそれぞれにおける特徴点を抽出し、照明手段により照明光を照射して取得した画像を基準画像として、この基準画像上での特徴点に対する他の画像上での特徴点の変位量を検出する検出手段と、この検出手段の検出結果に基づいて特徴点を一致させるよう他の画像の座標変換を行う座標変換手段と、基準画像および座標変換手段で座標変換された他の画像を合成する合成手段と、他の画像のうち、基準画像内で照明光が照射された領域に対応する領域の明るさを調整する明るさ調整手段とを有し、検出手段は、基準画像のうち照明光が照射された領域以外の領域と、この領域に対応する他の画像内での領域とに含まれる特徴点を用いて上記変位量を検出することを特徴とする。
【００２０】
【発明の実施の形態】
（第１実施形態）
図１は、本発明の第１実施形態であるカメラ（撮像装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、シャッタ１２を通り、絞り１３で光量制限された後に撮像部１５に結像する。撮像部１５は、ＭＯＳやＣＣＤなどの半導体撮像素子からなる。
【００２１】
撮影レンズ１１は、ＡＦ駆動モータ１４からの駆動力を受けて光軸１上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４は焦点駆動部１９からの駆動信号を受けることで駆動する。
【００２２】
絞り１３は複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１７からの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２は複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１８からの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１５に入射する光束を制御する。
【００２３】
そして、焦点駆動部１９、絞り駆動部１７、シャッタ駆動部１８、および後述する照明部１０の駆動は、撮影制御部１１１により制御されている。
【００２４】
撮影制御部１１１は、後述する信号処理部１１２に取り込まれた画像信号に基づいて被写体輝度の検出（測光）を行い、この測光結果に基づいて絞り１３の絞り口径とシャッタ１２の開き時間、および照明部１０を使用するか否かを決定する。また、撮影制御部１１１は、焦点駆動部１９を駆動させながら、信号処理部１１２からの出力に基づいて合焦位置を求めている。
【００２５】
撮像部１５から出力される画像信号は、Ａ／Ｄ変換部１１０によりデジタル信号に変換されて信号処理部１１２に入力される。信号処理部１１２は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。
【００２６】
そして、信号処理部１１２で信号処理された画像信号は、表示部１１６に出力されることにより撮影画像として表示されるとともに、記録部１１７に出力されて記録される。
【００２７】
以上説明した動作は、振れ補正を必要としないような明るさの被写体を撮影する場合である。一方、被写体が暗く、露光秒時が長くなるために手振れの恐れがある場合には、撮影者がカメラに設けられた不図示の操作部（防振スイッチ）を操作することにより、防振システムがオン状態となって以下の動作に切り替わる。
【００２８】
まず、撮影者がカメラに設けられたレリースボタンを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッタ１２の開き時間（露光時間）と絞り１３の絞り口径を決定するが、一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、露光時間は長秒時露光になっている。
【００２９】
そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像は手振れの影響が少ない画像となる。そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。
【００３０】
しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図（被写体像）は微妙に変位している場合がある。ここで、これらの画像をそのまま合成すると、合成された画像は各画像における構図が変位した分だけ振れた画像になってしまう。
【００３１】
本実施形態において、連続撮影に応じて撮像部１５から撮影毎に複数出力される画像信号は、上述したようにＡ／Ｄ変換部１１０でデジタル信号に変換されてから信号処理部１１２で信号処理が施される。信号処理部１１２の出力は、撮影制御部１１１に入力されるととともに、画像記憶部１１３にも入力される。
【００３２】
この画像記憶部１１３は撮影された複数の画像をすべて記憶しておく。
【００３３】
変位検出部１１４は、撮影画像中における特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。
【００３４】
例えば、図２に示すようにフレーム１１９ａにおいて人物１２０ａが建物１２１ａを背景にして立っている写真を撮影する場合を考える。このとき、複数フレーム撮影するとフレーム１１９ｂのように手振れによりフレーム１１９ａに対して構図がずれた画像が撮影されることがある。
【００３５】
変位検出部１１４は、フレーム１１９ａの周辺に位置する建物１２１ａのうち輝度の高い点である窓１２２ａのエッジ１２３ａを特徴点として取り出す。そして、この特徴点１２３ａと、フレーム１２１ｂにおいて取り出した特徴点１２３ｂと比較し、この差分を補正（座標変換）する。
【００３６】
例えば、テンプレートマッチング等によりエッジ１２３ａと１２３ｂとを対応づけ、次のフレーム１１９ｂにおいて対応する特徴点１２３ｂをサーチすることにより、特徴点１２３ａとｂとの変位量を算出し、座標変換を行うようにする。
【００３７】
図２では、フレーム１１９ｂの特徴点１２３ｂを矢印１２４のようにフレーム１１９ａの特徴点１２３ａが重なるようにして、フレーム１１９ｂを座標変換する。
【００３８】
ここで、特徴点として撮影画面の周辺を選択する理由を以下に説明する。多くの撮影の場合では、画面中央近傍に主被写体が位置し、かつ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。
【００３９】
すなわち、複数フレームの撮影を行っているときに撮影者の手振ればかりでなく、被写体振れも生じることとなる。この場合、被写体振れに基づいて画像の座標変換をしてしまうと、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によって変位検出精度が大きく左右される。
【００４０】
例えば、主被写体（人物）の眼を特徴点として選んだ場合には瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので実際の被写体全体の振れとは異なってしまう。
【００４１】
このように人物の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、画像ごとに座標の位置がばらつき、好ましい画像は得られない。
【００４２】
そこで、本実施形態のように背景のような静止被写体を特徴点として選択して、画像の座標変換を行ったほうが好ましい画像が得られる。もちろんその場合には上述した被写体振れの影響が出てくる。そこで本発明においては複数回に分けた画像の内の１枚にだけ照明部１０で被写体を照射するようにしている。
【００４３】
ここで照明部１０を使用した画像を第１フレーム、照明部１０を作用させない複数の画像を第２のフレーム群と分ける。このとき第１フレームと第２のフレーム群の間には前述した構図の変位以外にも以下の違いが有る。それは第１フレームにおいて照明光の届いた被写体領域の明るさは第２のフレーム群の同じ領域の明るさとは異なるということである。
【００４４】
そして、第１フレームにおいて照明光の届いた主被写体に対しては十分な露出が得られ、届かない背景は露出が不足することになる。これは、一般的に人物などの主被写体はカメラの近くに位置しているために照明光が届き、背景はカメラから遠い位置にあるために照明光が届かないからである。
【００４５】
そして、露出の不足している背景に対してはこれから第２のフレーム群を構図の変位を修正しながら合成することで補う。
【００４６】
図３は、変位検出部１１４の特徴点抽出領域の選択方法を示しており照明部１０を使用した第１フレーム１２５（図３ａ）と照明部１０を使用しない第２のフレーム群１２６（図３R>３ｂ）を比較すると人物１２０ａに関して第１フレーム１２５は照明光が届き、第２のフレーム１２６では人物が暗くなっている。それに対して、照明光の届かない背景では建物１２１ａの明るさの変化は第１フレーム１２５と第２のフレーム１２６で変化が無い。
【００４７】
このように、明るさの変化の無い背景領域は照明光が届かずに露出が不足するので、この領域を画像合成（露出補正）のポイントと考えて、この部分を特徴点抽出の領域にして構図変位を補正する。
【００４８】
図３においては上記のように第１フレーム１２５と第２のフレーム１２６で明るさの変化が無い画面周辺の建物１２１ａの中で輝度の高い点である窓１２２ａのエッジ１２３ａを特徴点として取り出し、図２で説明した方式と同様に第１フレーム１２５に特徴点１２３ａと第２のフレーム１２６の特徴点１２３ｂと比較し、その差分を補正（座標変換）する。
【００４９】
座標変換部１１５は、第２のフレーム１２６の特徴点１２３ｂを第１フレーム１２５の特徴点１２３ａに重ねるように第２のフレーム１２６を座標変換する。そして、第２のフレーム群の中で２枚以降のフレームについても各々特徴点１２３ｂの座標を求め、その座標が第１フレーム１２５で定めた特徴点１２３ａの座標と重なるように座標変換部１１５は各フレームを座標変換してゆく。
【００５０】
ここでは、説明のために画像ごとの特徴点座標を求めているが、実際には第１フレーム１２５と第２のフレーム１２６を相関演算し、各々対応する画素の変化を動きベクトルとして特徴点の変化としている。そして、第２のフレーム群の２枚目に対しても第１フレーム１２５との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求めてゆく。
【００５１】
なお、特徴点は抽出領域の中で１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。
【００５２】
ここで、特徴点の変化として上記最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、最も変化しない特徴点を選ぶためである。
【００５３】
座標変換部１１５は、変位検出部１１４で求めた特徴点の変化にあわせて各画像の座標変換を行う。座標変換部１１５で座標変換された各画像は画像合成部１１８に出力されて１枚の画像に合成される。
【００５４】
以上のように、本発明では照明部１０を用いた第１フレーム１２５を基準（中心）にして、その画像に重なるように第２のフレーム群の各画像を座標変換している。
【００５５】
ここで第１フレーム１２５を基準にする理由を説明する。
図２のように構図の変位がある２枚の写真を合成する場合図４に示すように２枚の画像が重ならない領域１２７が生ずる。そこで、画像合成部１１８はこの領域をカットして、２枚の画像が重なった領域のみ拡散補完処理を行い、もとのフレームの大きさにする。そのために、第２のフレーム群の各画像は構図の変位の向きや大きさにしたがって画面の周辺が削られてしまう。
【００５６】
ここで、第１フレームと第２のフレーム群の中でもっとも正確な画像情報（主被写体の画像情報）が得られるのは、照明部１０を使用した第１フレームである。
【００５７】
そのために、第１フレームの周辺を削らないようにするために第１フレームを基準にしてその基準に対して第２のフレーム群の各画像を重ねてゆくのが好ましい。
【００５８】
デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。別の考え方をすれば、例えばノイズを許容して撮像部１５を高感度にして複数の画像を取得し、これらを加算平均することで画像に含まれるランダムノイズを減少させているともいえる。
【００５９】
合成された画像データは表示部１１６に静止画像として表示するとともに記録部１１７に記録される。
【００６０】
図５は、上述した動作をまとめたフローチャートであり、このフローは防振スイッチが操作（オン）されたときにスタートする。
【００６１】
ステップＳ１００１（図では、ステップをＳとする）では、撮影者がレリースボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【００６２】
ステップＳ１００２では、撮像部１５において被写体を撮像する。撮影制御部１１１は、信号処理部１１２からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。
【００６３】
そして、最もコントラストが高くなった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。
【００６４】
なお、位相差検出により焦点調節を行うこともできる。また、撮影制御部１１１は、撮像部１５の出力に基づいて被写体の明るさを求める。
【００６５】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから取得するフレーム数を求める。例えば、被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３を全開（例えばｆ２．８）にし、シャッタ１２の開き時間、すなわち露光時間を１／８秒にする必要があるとする。
【００６６】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れにより像振れが発生する恐れがあるので、手振れが生じないように露光時間を１／３２秒に設定して４回画像の取得を行うように設定する。
【００６７】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、手振れが生じないように露光時間を１／３２０秒に設定して４０回画像の取得を行うように設定する。
【００６８】
ステップＳ１００４では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、取得フレーム数を表示して撮影者に知らせる。
【００６９】
ステップＳ１００５では、レリースボタンの全押し操作によりｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリースボタンの半押し操作が解除、すなわちｓｗ１がオフになるとスタートに戻る。
【００７０】
ステップＳ１００６では、撮影制御部１１１で１枚目の画像の取得であるかの判断を行う。１枚目である場合にはステップＳ１００８に進む。１枚目でない場合にはステップＳ１００７へ進む。
【００７１】
ステップＳ１００７では、照明部１０を発光させずに撮影を行い、ステップＳ１００９へ進む。
【００７２】
ステップＳ１００８では、照明部１０を発光させ撮影を行い、ステップＳ１００９へ進む。
【００７３】
ステップＳ１００９では取得した画像を画像記憶部１１３に記憶する。
【００７４】
ステップＳ１０１０では、ステップＳ１００３で設定されたフレーム数の取得が完了するまでステップＳ１００６、ステップＳ１００７、ステップＳ１００８を循環して待機する。そして、すべての取得が完了するとステップＳ１０１１に進む。
【００７５】
ステップＳ１０１１では、変位検出部１１４によりフレーム内の抽出領域の中から特徴的な像（特徴点）を抽出し、この像の座標を求める。
【００７６】
ステップＳ１０１２では、座標変換部１１５が各画像の座標変換を行うが、最初の１枚の画像（照明部１０を用いて撮影した第１フレーム）のみ座標の変換は行わない（この画像が座標変換の基準となる）。
【００７７】
ステップＳ１０１３ではすべての画像が座標変換終了するまでステップＳ１０１１、１０１２を循環して待機し、すべての画像の座標変換が完了するとステップＳ１０１４に進む。
【００７８】
ステップＳ１０１４では、画像合成部１１８で画像を合成する。ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【００７９】
ステップＳ１０１５では、合成された画像のうち図４の領域１２７のように各画像が構図振れにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。
【００８０】
ステップＳ１０１６では、ステップＳ１０１５で得られた画像データをカメラ背面などに配置された液晶表示部に静止画像として表示する。これにより、撮影者は撮影された画像を観察することができる。
【００８１】
ステップＳ１０１７では、ステップＳ１０１５で得られた画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体に記録する。
【００８２】
ステップＳ１０１８では、スタートに戻る。
【００８３】
なお、ステップＳ１０１８の段階でまだ継続してレリースボタンが半押し操作されており、ｓｗ１がオンになっているときには、ステップＳ１００１、 Ｓ１００２、Ｓ１００３、Ｓ１００４と再度フローを進めてゆく。また、ステップＳ１０１８の段階でレリースボタンが全押し操作されており、ｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１８で待機する。
【００８４】
（第２実施形態）
本実施形態のカメラは、上述した第１実施形態におけるカメラの変形例である。ここで、本実施形態のカメラの構成は、第１実施形態（図１）で説明した構成と概ね同様である。
【００８５】
第１実施形態において、変位検出部１１４により抽出される特徴点の抽出領域は、フレームの周辺領域に設定されている。
【００８６】
しかし、特徴点の抽出領域は、フレームの周辺領域に限られず、撮影画面内に設けられたフォーカスエリア以外の領域を特徴点の抽出領域としたり、現在ピントが合っている領域以外を特徴点の抽出領域としたりすることができる。
【００８７】
これは撮影するときには主被写体（人物）をフォーカスエリアに重ねるため、特徴点を主被写体以外にするためには、フォーカスエリア以外の領域を特徴点抽出領域に設定すればよいからである。
【００８８】
図６は、撮影画面内における特徴点抽出領域を示した図である。
【００８９】
今、撮影画面（フレーム１２０ａ）内に設けられたフォーカスエリア１２８ａ、１２８ｂ、１２８ｃ、１２８ｄ、１２８ｅの中で主被写体を捕らえているフォーカスエリア１２８ｃが合焦している場合には、このフォーカスエリア１２８ｃを中心とする主被写体領域１２９を除く画面周辺領域１３０を特徴点抽出領域に設定する。
【００９０】
すなわち、主被写体が、フォーカスエリア１２８ａ、１２８ｂ、１２８ｃ、１２８ｄ、１２８ｅのうちいずれかのフォーカスエリアに位置しているかに応じて、主被写体領域１２９および特徴点抽出領域１３０が変更される。
【００９１】
そして、この特徴点抽出領域の中で適した像を特徴点として、この特徴点の座標に基づいて各画像の変位を補正して画像合成を行うようにすれば好ましい画像合成が行える。
【００９２】
また、図５のフローのようにすべての画像の座標変換が終了して、これらの画像の保存が終わってから画像の合成を行うのではなく、画像の取得を続行しながら画像の合成を同時進行で行ってもよい。
【００９３】
図７は、このような動作を説明するタイミングチャートである。露光ｆ１に対して、撮像部１５で光電変換されて電荷蓄積された信号が撮像信号Ｆ２として読み出される。そして、撮像信号Ｆ２の読み出しと同時進行で前の撮像信号Ｆ１と今回の撮像信号Ｆ２との相関演算を行う。これにより２つの画像における特徴点の変化を求め、２つの画像信号Ｆ１、Ｆ２を合成して合成信号Ｃ２を得る。
【００９４】
次に、撮像信号Ｆ３の読み出しと同時進行で前回の合成信号Ｃ２と今回の撮像信号Ｆ３との相関演算を行うことで特徴点の変化を求め、合成信号Ｃ２及び撮像信号Ｆ３を合成して合成信号Ｃ３を得る。
【００９５】
次に、撮像信号Ｆ４の読み出しと同時進行で前回の合成信号Ｃ３と今回の撮像信号Ｆ４との相関演算を行うことで特徴点の変化を求め、合成信号Ｃ３及び撮像信号Ｆ４を合成して合成信号Ｃ４を得る。
【００９６】
そして、得られた合成信号Ｃ４（合成画像）を、カメラ背面などに設けられた液晶表示部に表示するとともに、記録媒体に記録する。
【００９７】
図８は、以上の動作を説明するフローチャートである。図５のフローチャートと比較すると、ステップＳ１００９の画像保存がなくなり、座標変換（ステップＳ１０１０）が行われた後、画像合成（ステップＳ１０１１）が行われ、全撮影フレーム数の撮影が完了したか否かを判断（ステップＳ１０１２）するようになっている。
【００９８】
本実施形態において、画像保存が廃止されたのは、取得された画像は画像取得と同時進行で前の画像取得で得られた画像と合成されるため、最終的には１枚の合成画像しか存在しておらず、複数の画像を保存する必要がないためである。
【００９９】
すなわち、画像取得ごとに合成画像が更新されるので各画像を保存しておく必要がない。したがって、本実施形態のカメラでは、図１で示した画像記憶部１１３を備えていない。
【０１００】
なお、図８のフローにおいてもステップＳ１０１２の全画像処理が完了するまで次の画像取得を行わないように見えるが、実際は図７のタイミングチャートのように画像取得や撮像信号出力、相関演算や画像合成は同時進行で行われている。
【０１０１】
以上説明したように本発明の第１実施形態及び第２実施形態においては、手振れの生じないような短い露光時間で画像の取得を複数回繰り返し、取得された複数の画像を合成することで露出の不足を補完できることに着目し、さらに合成前に各画像ごとに座標変換を行い手振れにより生ずる各画像の構図の変位を補正することで、合成画像に生ずる像振れをなくす構成にしている。
【０１０２】
これにより、デジタルカメラでありながらビデオカメラと同様に電子的に振れ補正が行えるため、銀塩カメラに比べて格段に小さい防振システムを構築でき、かつ、画像そのものの変位を補正しているために角度振ればかりではなくシフト振れも補正することができる。
【０１０３】
しかも、上述した第１実施形態および第２実施形態は、撮影される各画像の構図の変位を補正する座標変換のための変位検出において、撮影画面内のどの領域で特徴点を抽出すべきかを考えたものである。
【０１０４】
例えば、取得画面を図６に示すように２つの領域１２９、１３０に分割し、主被写体（人物）が位置する可能性の高い領域１２９で特徴点を抽出して構図の変位の検出を行うと、人物そのものの振れにより構図の変位が正確に判断することができない。
【０１０５】
このため、上述した第１実施形態および第２実施形態のように、取得画面内のうち領域１２９以外の領域である領域１３０において、輝点１２３ａなどの特徴点の位置座標を画像ごとに検出し、各画像で検出された特徴点が同じ位置にそろうように各画像を座標変換した後に、画像合成を行うことで像振れのない１枚の画像を得ることができる。
【０１０６】
さらに、変位検出部は第１フレームと第２のフレーム群を比較し、照明装置の照射による明るさ変化のない領域（例えば１２３ａ）において構図の変位を検出することで構図の変位検出領域の選択精度を高め、一層の像振れのない１枚の画像を得ることが可能となっている。
【０１０７】
（第３実施形態）
図９は、本発明の第３実施形態であるカメラのブロック図である。本実施形態において、第１実施形態と異なる点は、明るさ調整部２１が設けられている点である。なお、他の構成については、第１実施形態と同様である。
【０１０８】
ここで、明るさ調整部２１の役割を説明する。明るさ調整部２１は、座標変換部１１５により座標変換された第２のフレーム群の各々の画像のそれぞれにおいて、第１フレームにおける照明部１０の照明光が十分に照射された被写体領域と同じ座標の領域の像を暗くする（被写体の輝度信号をゲインダウンする、もしくは情報無し（真っ黒）にする）。
【０１０９】
これは、第１フレームにおいて照明部１０による照明光の照射が十分な領域では既に第１フレームだけで適正な露出になっているために、それ以上画像を重ね合わせると露出オーバーになってしまうことや、照明光が照射された人物の周辺部に輝度の高い背景が重なってしまうことを避けるためである。ここで、人物の周辺部に輝度の高い背景が重なること避ける理由をさらに説明する。
【０１１０】
第１フレームにおいては人物は照明部１０で照射され適正な露出が得られている。第２のフレーム群の各画像においては人物は照明部１０で照射されないので暗い被写体になる。そして、この暗い被写体に輝度の高い背景がさえぎられている場合もある。
【０１１１】
このようなときに、各撮影時の構図の変位（手振れ）により、さえぎられている筈の輝度の高い背景が人物からずれて、人物の端から見えるようになることもあり得る。この人物の端から輝度の高い背景の見える画像を、第１フレームに重ねると、人物にさえぎられて見えるはずの無い輝度の高い背景が、照明光が照射された人物に重なって（例えば人物の輪郭上に）表れてしまい主被写体である人物像の精度を大きく劣化させてしまう。
【０１１２】
以上の影響を避けるために、第１フレームにおいて人物のように照明部１０の照明光の照射が十分な領域は第２のフレーム群において、その明るさを明るさ調整部２１により暗くしている。
【０１１３】
このとき、明るさ調整を行う領域は、第１フレームと第２のフレーム群の各画像を比較して、その明るさの異なる領域（第１フレームにおいて照明光の照射が十分な領域）としており、第１フレームのその領域の座標と同じ座標における第２のフレーム群の被写体の明るさを調整している。
ここで注意しなくてはいけないのは、第２のフレーム群の明るさ調整領域は変位検出部１１４で検出し、座標変換部１１５で座標変換したあとの新しい座標における領域とする事である。
【０１１４】
これは、座標変換する前の第２のフレーム群の座標は構図の変位により第１フレームの同じ座標とは異なる被写体領域を示しているからであり、それを補正するために特徴点の重ね合わせをして構図の変位を補正した新しい座標で、第１フレームで求めた明るさ調整領域座標と同じ領域を明るさ調整するようにしている。
【０１１５】
第２のフレーム群の明るさの調節の仕方は、第１フレームで求めた明るさ調整領域の座標は真っ黒（情報無し）にし、その輪郭から周囲にかけては、例えば画像の境界における画像の輝度信号をなだらかに変化させる処理を施すことにより、グラディーション状に暗さを抑えてぼかすようにする。明るさ調節を領域ごとに明確に区別すると領域の輪郭が不自然に際立ってしまい良好な像が得られないからである。
【０１１６】
また、第２の実施例においても複数フレームの画像のうちで１枚だけを照明部１０を用いて画像の取得をしているが、第１の実施例と異なるのは複数回に分けた画像の取得のうちの、最終フレームに照明部１０を用い被写体を照射するようにしていることである。
【０１１７】
ここで最終フレームに照明光を照射する訳を説明する。
【０１１８】
被写体が人物の場合、被写体は照明部１０が発光すると撮影が終了したと考える場合が多く発光が終了すると被写体は撮影位置より動いてしまう。
【０１１９】
そのため、本発明のように複数の画像を取得する場合においては合計の撮影時間が長くなり、始めに照明部を使用すると、その後の画像の取得では被写体が大きく動いてしまう。そこで最終フレームに照明光を照射し、それ以降は画像の取得を行わないようにしている。これにより、撮影者が撮影前に被写体である人物に注意を喚起してから照明部が発光するまでの間で人物が動いてしまうことは無くなる。
【０１２０】
なお、照明部を発光させる画像（第１フレーム）の撮影においても後幕シンクロのように露光の最終段階にストロボを発光させるほうが人物の動き防止には効果がある。また、照明部を発光するのに先立って、その照射量を適正にするために照明部を本発光前に弱く発光させる（プリ発光）カメラも有る。
【０１２１】
このようなカメラにおいて、プリ発光は発光の直前（照明部１０を用いる第１フレームにおける本発光の直前であり、後幕シンクロの場合には、露光の最終段階で本発光の直前）に行っても良いし、あるいは撮影開始のための合図として一番始めの画像の取得（第２のフレーム群の最初の画像の取得）に先立ってプリ発光を行っても良い。
【０１２２】
図１０は、本実施形態のカメラにおける画像取得動作を示すフローチャートであり、このフローは、カメラに設けられた防振スイッチをオンさせたときにスタートする。
【０１２３】
ステップＳ１００１では、撮影者がレリースボタンを半押し操作することによりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１２４】
ステップＳ１００２では、撮像部１５で露光が行われる。撮影制御部１１１は、信号処理部１１２からの出力に基づいて取得画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。そして、被写体像のコントラストがピークに達した時点で、撮影レンズ１１の移動を停止させることにより、撮影光学系を合焦状態とする。また、撮影制御部１１１は、撮像部１５の出力に基づいて被写体の明るさを求める。
【０１２５】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから取得するフレーム数を求める。例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光を行うためには、絞り１３を全開（例えばｆ２．８）にするとともにシャッタ１２の開き時間、すなわち露光時間を１／８秒にする必要があるとする。
【０１２６】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときには、露光時間を１／８秒とする画像の取得では手振れによる像振れが発生する恐れがあるので、像振れが生じないように露光時間を１／３２秒に設定して４回画像の取得を行うように設定する。
【０１２７】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れが生じないように露光時間を１／３２０秒に設定して４０回画像の取得を行うように設定する。
【０１２８】
ステップＳ１００４では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、取得フレーム数を表示して撮影者に知らせる。
【０１２９】
ステップＳ１００５では、レリースボタンの全押し操作により、ｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリースボタンの半押し操作が解除され、ｓｗ１がオフになったときにはスタートに戻る。
【０１３０】
ステップＳ１００６では、撮影制御部１１１で最終フレームであるか否かの判断を行う。最終フレームである場合にはステップＳ１００８に進む。最終フレームでない場合にはステップＳ１００７へ進む。
【０１３１】
ステップＳ１００７では、照明部１０を発光させずに画像の取得を行い、ステップＳ１００９へ進む。
【０１３２】
ステップＳ１００８では、照明部１０を照明させ画像の取得を行い、ステップＳ１００９へ進む。
【０１３３】
ステップＳ１００９では、取得した画像を画像記録部１１３に記録する。
【０１３４】
ステップＳ１０１０では、ステップＳ１００３で設定された取得フレーム数が完了するまでステップＳ１００６、ステップＳ１００７、ステップＳ１００８を循環して待機する。そして、画像の取得が完了するとステップＳ１０１１に進む。
【０１３５】
ステップＳ１０１１では、変位検出部１１４によりフレームの周辺領域の中から特徴的な像（特徴点）を抽出し、この像の座標を求める。これは前述したように第１フレームと第２のフレーム群の像各々をそれぞれ比較して明るさの異なる領域（照明光が十分被写体を照射した領域）以外の領域（照明光が被写体を十分照射していない領域）から特徴点を抽出しその座標を求めることである。
【０１３６】
ステップＳ１０１２では座標変換部１１５が各画像の座標変換を行うが、最終フレーム（照明部を用いた第１フレーム）を座標変換の基準位置とする。
実際には、ここで相関演算が行われて特徴点の変化量が求められ、２枚目の画像がこのステップに来た時に最終フレーム（照明部を用いた第１フレーム）と相関演算されて特徴点の変化量が求められる。また、３枚目、４枚目の画像に対してもこのステップで、あらかじめ記憶してある最終フレームとの相関演算が行われて特徴点の変化量が求められる。
【０１３７】
ステップＳ２００１では、第１フレームの中で第２のフレーム群と比較して明るさの異なる領域の座標（照明光の照射された被写体領域）を求め、ステップＳ１０１２で座標変換後の第２のフレーム群における同じ座標の明るさを、次の方法で暗くする。第２のフレーム群の明るさの調節の仕方は、第１フレームで求めた明るさ調整領域の座標は真っ黒（情報無し）にし、その輪郭から周囲にかけてはグラディーション上に暗さを抑えてぼかすようにする。これにより、第１フレームにおいて照明部１０により適正に露光された領域は、第２のフレーム群の同じ領域の信号がなくなるために合成後に第２のフレーム群が第１フレームを劣化させることが無くなる。
【０１３８】
ステップＳ１０１３では、ステップＳ１００３で求めた取得フレーム数の処理が完了したか否かを判断しており、全取得フレーム数の処理が完了するまではステップＳ１０１１に戻り、処理を繰り返す。処理が完了した場合はステップＳ１０１４へ進む。
【０１３９】
ステップＳ１０１４では、画像合成部１１８で画像を合成する。ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０１４０】
ステップＳ１０１５では、画像合成部１１８で合成された画像の端部のように各画像が構図振れにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。
【０１４１】
ステップＳ１０１６では、ステップＳ１０１２で得られた画像データを、カメラ背面などに配置された液晶表示部に撮影画像として表示する。
【０１４２】
ステップＳ１０１７では、ステップＳ１０１４で得られた画像データを記録媒体に記録する。
【０１４３】
ステップＳ１０１８では、スタートに戻る。なお、ステップＳ１０１８の段階でまだ継続してレリースボタンが半押し操作されており、ｓｗ１がオンになっているときはそのままステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４と再度フローを進めてゆく。また、ステップＳ１０１８の段階でレリースボタンが全押し操作されており、ｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１８で待機する。
【０１４４】
以上説明したように、本発明の第３実施形態においては、上述した第１実施形態および第２実施形態の効果に加えて、座標変換後の第２のフレーム群の中で第１フレームにおける照明装置の照射される座標領域を暗くする明るさ調整部２１を設け、照明装置の照射される座標領域と座標領域以外の境界をぼかすことにより、被写体振れ、手振れを目立たなくしている。
【０１４５】
また、第２のフレーム群（照明光なし）の画像の取得がすべて終了した後に第１フレーム（照明光有り）を撮影することで照明による撮影終了が被写体に分かるようにし、被写体の動きを防止している。
【０１４６】
（第４実施形態）
本発明の第４実施形態であるカメラを図１１に示す。第３の実施例と異なるのは明るさ調整禁止部３１、画像合成禁止部３２が設けられていることと、画像記憶部１１３から記録部１１７に画像データが入力されていることである。
【０１４７】
ここで、明るさ調整禁止部３１の動作を説明する。明るさ調整禁止部３１は第１フレームにおいて、照明部１０の照明光が被写体に十分照射されていないときに作動する。例えば人物がカメラから遠い場合は照明部１０の照明光は被写体を十分照射しない。
【０１４８】
前述したように、変位検出部１１４は第１フレームと第２のフレーム群を比較して、明るさの変化のある領域は第１フレームにおいて照明部１０が機能した領域と判断し、それ以外の領域を特徴点抽出に用いる。
【０１４９】
しかしながら、照明光の照射が不十分な場合には第１フレームと第２のフレーム群の明るさの差は少ない。（実際には構図の変位により座標変換前の各画像の同じ座標の明るさには若干の差は見られるが、明るさの差が有る領域が少ない場合には照明光は不十分と判断する。）
そのような場合には、第１フレームにおいて照明部１０が僅かに照射している領域の第２のフレーム群の領域の明るさを暗くしてしまうと、画像合成後もその領域の露出は不十分になる。
【０１５０】
明るさ調整禁止部３１は、上記のような変位検出部１１４の結果を受けて照明部１０による照射が多くの領域で不十分と判断し、第２のフレーム群の明るさ調整を禁止して画像合成を行う。これにより、その領域の露出も第２のフレーム群の合成により露出の適正化が図れる。
【０１５１】
次に画像合成禁止部３２の作用を説明する。前述したように照明部１０による照射が不十分な場合には明るさ調整禁止部３１は明るさ調整部２１の動作を禁止している。しかし、この反対に第１フレームにおいて照明部１０の照明光が画面全体を十分照射している場合もある。このようなときに、第２のフレーム群を画像合成すると全体の露出は過度になってしまう。
【０１５２】
そのために、そのような状態を判断して第１フレームに対して第２のフレーム群の合成を禁止するのが画像合成禁止部３２の役割である。
【０１５３】
変位検出部１１４は第１フレームと第２のフレーム群を比較して明るさの変化のある領域は第１フレームにおいて照明部１０が機能した領域と判断し、それ以外の領域を特徴点抽出に用いる。しかしながら、撮影被写体が画面全体に広がり、カメラに対して遠い領域が無い場合や背景の反射率の高い場合（例えばカメラに近い位置に人物がいる場合、または人物のすぐ後ろが白い壁の背景の場合など）、第１フレームと第２のフレーム群の明るさの差は画面のすべての領域に及ぶ。
【０１５４】
画像合成禁止部３２はそのような情報を変位検出部１１４から受け取り、第１フレームと第２のフレーム群をそのまま合成すると露出が過度になると判断する。
【０１５５】
実際には、明るさ調整部３１が作用するために第２のフレーム群の各画像は真っ暗に調整され、画像合成後も露出の変化は無い訳であるが第２のフレーム群の僅かなノイズが第１フレームを劣化させるのを避けるために画像合成を禁止している。
【０１５６】
次に、画像記憶部１１３から記録部１１７に画像データを入力している理由を説明する。第１実施形態においては画像合成後の画像のみ記録部１１７に記録し、その合成のために用いた第１フレーム、第２のフレーム群の情報（画像記憶部１１３に一時的に保管されている）は破棄していた。
【０１５７】
第４実施形態においては、少なくとも第１フレームも合成後の画像と共に記録部１１７に記録する構成になっている。これは、照明部１０だけに頼る従来の撮影方法と、背景も生かす複数フレーム合成画像は撮影する被写体、明るさにより撮影者の好みが左右されるため、いずれも選択できるようにするためである。
【０１５８】
もちろん、第２のフレーム群も記憶部１１７に記憶しておくことも可能であるが、そのようにすると記憶部１１７の記憶容量が第２のフレーム群で一杯になってしまい、全体の撮影可能枚数が減ってしまうことになる。
【０１５９】
そこで本発明では、合成画像のほかには第１フレームのみを記録部１１７に記録することにし、多くとも第２のフレーム群の中で１枚だけを記録部１１７に記録するようにしている。
【０１６０】
図１２は、上述した動作を説明するフローチャートであり、このフローはカメラに設けられた防振スイッチをオンさせたときにスタートする。
【０１６１】
ステップＳ１００１では、撮影者がレリースボタンを半押し操作することによりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１６２】
ステップＳ１００２では、撮像部１５で露光が行われる。撮影制御部１１１は、信号処理部１１２からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。そして、被写体像のコントラストがピークに達した時点で、撮影レンズ１１の移動を停止させることにより、撮影光学系を合焦状態とする。また、撮影制御部１１１は、撮像部１５の出力に基づいて被写体の明るさを求める。
【０１６３】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから取得するフレーム数を求める。例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光を行うためには、絞り１３を全開（例えばｆ２．８）にするとともにシャッタ１２の開き時間、すなわち露光時間を１／８秒にする必要があるとする。
【０１６４】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときには、露光時間を１／８秒とする撮影では手振れによる像振れが発生する恐れがあるので、像振れが生じないように露光時間を１／３２秒に設定して４回の画像の取得を行うように設定する。
【０１６５】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れが生じないように露光時間を１／３２０秒に設定して４０回の画像の取得を行うように設定する。
【０１６６】
ステップＳ１００４では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、取得フレーム数を表示して撮影者に知らせる。
【０１６７】
ステップＳ１００５では、レリースボタンの全押し操作により、ｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリースボタンの半押し操作が解除され、ｓｗ１がオフになったときにはスタートに戻る。
【０１６８】
ステップＳ１００６では、撮影制御部１１１で最終フレームであるかの判断を行う。最終フレームである場合にはステップＳ１００８に進む。最終フレームでない場合にはステップＳ１００７へ進む。
【０１６９】
ステップＳ１００７では、照明部１０を発光させずに画像の取得を行い、ステップＳ１００９へ進む。
【０１７０】
ステップＳ１００８では、照明部１０を発光させ画像の取得を行い、ステップＳ１００９へ進む。
【０１７１】
ステップＳ１００９では、取得した画像を画像記憶部１１３に記録する。
【０１７２】
ステップＳ１０１０では、ステップＳ１００３で設定されたフレーム数の画像の取得が完了するまでステップＳ１００６、ステップＳ１００７、ステップＳ１００８を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１０１１に進む。
【０１７３】
ステップＳ１０１１では、変位検出部１１４によりフレームの周辺領域の中から特徴的な像（特徴点）を抽出し、この像の座標を求める。これは前述したように第１フレームと第２のフレーム群の像各々をそれぞれ比較して明るさの異なる領域（照明光が十分被写体を照射した領域）以外の領域（照明光が被写体を十分照射していない領域）から特徴点を抽出しその座標を求めることである。
【０１７４】
また、このときに第１フレームと第２のフレーム群の明るさを比較しており、第１フレームが第２のフレーム群の画像よりも十分明るい領域が画像全体の中で所定領域以上（例えば中央部は十分明るく、周辺部でも８０％の領域で照明光が十分行き渡っている。）のときは全画面に明るさが十分であるとし、反対に第１フレームと第２のフレーム群を比較して明るさの変化がある領域において第１フレームの明るさが不十分である場合には、露出不足と判定する。
【０１７５】
ステップＳ３００１では、変位検出部１１４は全画面にわたり明るさが十分であるか否かを判断しており、全画面にわたり明るさが十分な場合にはステップＳ１０１６に進み、そうでないときにはステップＳ１０１２に進む。
【０１７６】
ステップＳ１０１２では、座標変換部１１５が各画像の座標変換を行うが、最終フレームを（照明部を用いた第１フレーム）座標変換の基準位置とする。
【０１７７】
ステップＳ３００２では第１フレームにて明るさが不十分（照明光不足）である場合にはステップＳ１０１３に進み、ステップＳ２００１をスキップする。
【０１７８】
すなわち第１フレームで照明光が照射された被写体領域の明るさが不十分な為に、第２のフレーム群の明るさを、暗くすることはやめて、画像の合成により露出を適正にするようにしている。なお、ここでは明るさ調節を行わないようにしているが、第１フレームの照明領域の照明程度により明るさ調節の程度を変更しても良い。
【０１７９】
例えば第１フレームで明るさが十分な場合には第２のフレーム群のその領域を真っ暗にし、第１フレームで明るさが不十分ではあるが、ある程度被写体に照明光が照射されている場合には第２のフレーム群はその領域を真っ暗にはせず、ある程度暗くし、または第１フレームで照明光が所定の照射量以下の場合には第２のフレーム群の明るさ調整を行わない（暗くしない）ようにしても良い。
【０１８０】
ステップＳ２００１では、明るさ調整部２１は第１フレームの中で第２のフレーム群と比較して明るさの異なる領域の座標（照明光の照射された被写体領域）を求め、ステップＳ１０１２で座標変換後の第２のフレーム群における同じ座標の明るさを暗くする。
第２のフレーム群の明るさの調節の仕方は、第１フレームで求めた明るさ調整領域の座標は真っ黒（情報無し）にし、その輪郭から周囲にかけてはグラディーション上に暗さを抑えてぼかすようにする。これにより第１フレームにおいて照明光により適正に露光された領域は第２のフレーム群の同じ領域の信号がなくなる為に合成後に第２のフレーム群が第１フレームを劣化させることが無くなる。
【０１８１】
ステップＳ１０１３では、ステップＳ１００３で求めたフレーム数の処理が完了したか否かを判断しており、全フレーム数の処理が完了するまではステップＳ１０１１に戻り、処理を繰り返す。処理が完了した場合はステップＳ１０１４へ進む。
【０１８２】
ステップＳ１０１４では、画像合成部１１８は複数の画像を合成する。ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０１８３】
ステップＳ１０１５では、画像合成部１１８は合成された画像の端部のように各画像が構図振れにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する
ステップＳ１０１６では、ステップＳ１０１２で得られた画像データを、カメラ背面などに配置された液晶表示部に撮影画像として表示する。
【０１８４】
ステップＳ１０１７では、ステップＳ１０１４で得られた画像データを記録媒体に記録する。
【０１８５】
ステップＳ１０１８では、スタートに戻る。なお、ステップＳ１０１８の段階でまだ継続してレリースボタンが半押し操作されており、ｓｗ１がオンになっているときはそのままステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４と再度フローを進めてゆく。また、ステップＳ１０１８の段階でレリースボタンが全押し操作されており、ｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１８で待機する。
【０１８６】
以上説明したように本発明の第４実施形態においては、上述した第１実施形態、第２実施形態、および第３実施形態の効果に加えて、第１フレーム（照明光有り）と第２のフレーム群（照明光なし）を比較し、照明装置による明るさ変化が所定以下の場合には、明るさ調整部２１の作用を禁止する明るさ調整禁止部３１を設けることで、人物などの主被写体に照明光が届かない場合にも主被写体の明るさを画像合成で補うようにしている。
【０１８７】
また、逆に第１フレームにおいて照明光が画面全体を十分照射している場合には、画像合成禁止部３２により、第１フレームに対して第２のフレーム群の合成を禁止し、全体の露出が過度になることを防止している。
【０１８８】
さらに、第１フレーム（照明光有り）と第２のフレーム（照明光なし）を合成する事で映像信号の露出を見かけ上補正する撮像装置において、第２のフレームを合成終了後に記録から消去することで記録メモリの確保を行っている。
【０１８９】
以上説明した各実施形態は一例であり、本発明は上記各実施形態に様々な変更や改良が加えられて実施されるものである。
【０１９０】
【発明の効果】
本発明の撮影装置、ストロボ等の照明光を利用して被写体振れのない精度良い合成画像（１枚の撮影画像）を得ることができる。
【０１９１】
また、主被写体（人物）はストロボの照明時のみの露光になり、背景は、複数回の露光の合成で露出を補正されるので人物、背景とも適正露出の画像が得られる。
【図面の簡単な説明】
【図１】本発明の第１実施形態であるカメラのブロック図。
【図２】本発明の第１実施形態における座標変換説明図。
【図３】本発明の第１実施形態における特徴点抽出領域の説明図。
【図４】本発明の第１実施形態における画像合成の説明図。
【図５】本発明の第１実施形態における撮影動作を示すフローチャート。
【図６】本発明の第２実施形態における特徴点抽出領域の説明図。
【図７】本発明の第２実施形態における撮影処理動作を示すタイミングチャート。
【図８】本発明の第２実施形態における撮影動作を示すフローチャート。
【図９】本発明の第３実施形態であるカメラのブロック図。
【図１０】本発明の第３実施形態における撮影動作を示すフローチャート。
【図１１】本発明の第４実施形態であるカメラのブロック図。
【図１２】本発明の第４実施形態における撮影動作を示すフローチャート。
【符号の説明】
１０ ：照明部
１１ ：撮影レンズ
１２ ：シャッタ
１３ ：絞り
１４ ：ＡＦ駆動モータ
１５ ：撮像部
１６ ：駆動部
１７ ：絞り駆動部
１８ ：シャッタ駆動部
１９ ：焦点駆動部
１１０ ：Ａ／Ｄ変換部
１１１ ：撮影制御部
１１２ ：信号処理部
１１３ ：画像記憶部
１１４ ：変位検出部
１１５ ：座標変換部
１１６ ：表示部
１１７ ：記録部
１１８ ：画像合成部
１１９ ：フレーム
１２０ ：主被写体
１２３ ：特徴点
１２４ ：特徴点の変化
１２５ ：特徴点抽出領域
１２６ ：主被写体領域
１２７ ：画面欠け領域
１２８ ：フォーカスエリア
２１ ：明るさ調整部
３１ ：明るさ調整禁止部
３２ ：画像合成禁止部

Claims (9)

1. 撮像素子により、順次取得した複数の画像を合成することで合成画像を得る撮像装置であって、
   前記複数の画像のそれぞれにおける特徴点を抽出し、照明手段により照明光を照射して取得した画像を基準画像として、該基準画像上での特徴点に対する他の画像上での特徴点の変位量を検出する検出手段と、
   該検出手段の検出結果に基づいて前記特徴点を一致させるよう前記他の画像の座標変換を行う座標変換手段と、
   前記基準画像および前記座標変換手段で座標変換された他の画像を合成する合成手段と、
   前記他の画像のうち、前記基準画像内で照明光が照射された領域に対応する領域の明るさを調整する明るさ調整手段と
   を有し、
   前記検出手段は、前記基準画像のうち照明光が照射された領域以外の領域と、この領域に対応する前記他の画像内での領域とに含まれる特徴点を用いて前記変位量を検出することを特徴とする撮像装置。
2. 前記検出手段は、前記基準画像と前記照明手段を使用しないで取得した前記他の画像とを比較して、明るさの変化が所定値以下の領域を、前記照明光が照射された領域以外の領域として決定することを特徴とする請求項１に記載の撮像装置。
3. 前記明るさ調整手段は、前記他の画像内の前記領域の明るさを暗く調整することを特徴とする請求項１または２に記載の撮像装置。
4. 前記明るさ調整手段は、前記他の画像内のうち前記特徴点が含まれる領域と、この領域以外の領域との境界をぼかすように明るさを調整することを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
5. 前記検出手段は、前記基準画像と前記他の画像とを比較し、各画像内の特徴点の明るさの変化が所定の値以上である場合には、前記合成手段による画像の合成を禁止する画像合成禁止手段を有することを特徴とする請求項１から４のいずれか１つに記載の撮像装置。
6. 前記検出手段は、前記基準画像と前記他の画像とを比較し、各画像内の特徴点の明るさの変化が所定の値以下である場合には、前記明るさ調整手段による明るさの調整を禁止する明るさ調整禁止手段を有することを特徴とする請求項１から５のいずれか１つに記載の撮像装置。
7. 前記照明手段は、順次取得する複数の画像のうち、最後の画像を取得する際に照明光を照射することを特徴とする請求項１から６のいずれか１つに記載の撮像装置。
8. 前記合成手段による合成後の画像と前記基準画像と前記他の画像とを記録する記録手段を有し、
   該記録手段は、画像合成前に記録された前記他の画像を、画像合成後に消去することを特徴とする請求項１から７のいずれか１つに記載の撮像装置。
9. 撮像素子により、順次取得した複数の画像を合成することで合成画像を得る撮像装置の制御方法であって、
   前記複数の画像のそれぞれにおける特徴点を抽出し、照明手段により照明光を照射して取得した画像を基準画像として、該基準画像上での特徴点に対する他の画像上での特徴点の変位量を検出する検出ステップと、
   該検出ステップの検出結果に基づいて前記特徴点を一致させるよう前記他の画像の座標変換を行う座標変換ステップと、
   前記基準画像および前記座標変換ステップで座標変換された他の画像を合成する合成ステップと、
   前記他の画像のうち、前記基準画像内で照明光が照射された領域に対応する領域の明るさを調整する明るさ調整ステップと
   を有し、
   前記検出ステップにおいて、前記基準画像のうち照明光が照射された領域以外の領域と、この領域に対応する前記他の画像内での領域とに含まれる特徴点を用いて前記変位量を検出することを特徴とする制御方法。