JP2006186593A

JP2006186593A - 撮像装置及び制御方法

Info

Publication number: JP2006186593A
Application number: JP2004377241A
Authority: JP
Inventors: Hiroshi Suda; 浩史須田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-12-27
Filing date: 2004-12-27
Publication date: 2006-07-13
Anticipated expiration: 2024-12-27
Also published as: CN100438576C; JP4390274B2; US7509039B2; US20060140604A1; CN1798263A

Abstract

【課題】低輝度／低照度の被写体を撮影する場合に、電子画像切り出し方式により手ぶれを補正しながら、滑らかな動きの動画像を低コストに撮影できるようにすること。
【解決手段】撮像手段により撮像した複数の画像の相関に基づいて、各画像からその一部を選択することにより画像間のぶれを補正するぶれ補正機能を有する撮像装置の制御方法であって、前記撮像手段を露光し、所定周期で画像信号を読み出す撮像工程と、前記所定周期で読み出された画像信号のそれぞれを１枚の画像として出力する第１の出力工程と、前記所定周期で読み出された画像信号のうち、最新のｎ（ｎは２以上の自然数）周期分の画像信号をぶれ補正しながら加算して１枚の画像として出力する第２の出力工程とを有する。
【選択図】図６

Description

本発明は、動画を撮影可能なビデオカメラやデジタルカメラ等の撮像装置及びその制御方法に関し、特に、画像処理により手ぶれを補正する機能を備えた撮像装置及びその制御方法に関する。

従来より、手ぶれを補正する技術はさまざまな方式が提案されている。手ぶれ補正とは、デジタルビデオカメラ等の撮像機器の、撮影者による手ぶれ情報（揺れ量や揺れの方向等）を、外部センサや画像処理を用いて検出し、その検出結果に基づいて、揺れを打ち消すように光学系の一部を動かしたり、画像の一部を切り出したりして揺れを補正する技術である。

手ぶれ量を検出する一つの方式として外部センサ検出方式があり、振動ジャイロに代表される角速度センサにて、撮像機器の手ぶれを直接測定する方式がある（例えば、特許文献１参照）。また、手ぶれ量を検出する別の方式として画像処理による方式があり、撮影した複数の画像から画面の動きベクトルを検出して手ぶれを検出する方式もある（例えば、特許文献２参照）。

また、手ぶれを補正する方式として、撮影レンズ系の一部を光軸と垂直に動かすことで撮像素子に結像される像を移動させて補正する方法や、可変頂角プリズムを撮影レンズ系の前面に置いて、この可変頂角プリズムの頂角を可動することで撮像素子に結像される像を移動させて補正する方法などの、光学手ぶれ補正方式が知られている（例えば、特許文献１参照）。この光学手ぶれ補正方式は、補正のダイナミックレンジを広くとれるなどの特徴があるが、アクチュエータや光学素子などのメカ部材を必要とするために、コスト的に不利になるという欠点がある。

一方、実際に必要とする画像サイズよりも大きめの撮像素子を用意して、手ぶれ量に応じて撮像素子から得られる画像から手ぶれを補正するように画像の一部切り出すことで補正する電子画像切り出し方法による手ぶれ補正が動画撮影等では有効であり、メカ部材を必要としないことからコスト的にも有利であり、広く普及している（例えば、特許文献２参照）。

ところで、ビデオカメラでは、照明が少ない夜などの撮影でも、ビデオライトやフラッシュを使わずに撮影することが多い。これは、動画撮影では、一瞬しか明るく照らすことができないフラッシュでは役に立たず、また、ビデオライトでは多くの電力を必要とするために、撮影機材が大きく重くなるために、使用しづらい欠点があるからである。したがって、低輝度被写体や低照度被写体でも撮影を可能にするために、通常の動画の一コマの時間（１フレームや１フィールドの時間）よりも露光時間を長くして撮影するスローシャッターモードがある（例えば、特許文献３参照）。

ところが、上述のスローシャッターモードでは、動画のコマ数を減らすことで、長い露光時間を確保するために、動画の動きが不自然になるばかりか、動画の一コマの撮影中に手ぶれが起きる確率が高いために、上述の電子画像切り出し方法による手ぶれ補正では、十分な手ぶれ補正効果が得られないという欠点があった。これは、上述の電子画像切り出し方式が動画のコマとコマの間の動きを画像の切り出し範囲を変えることで補正して手ぶれの無い動画にする機能であるため、動画の一コマのなかで起きた手ぶれは、電子画像切り出し方式では補正できないからである。

この欠点を解決するために、高速な電子シャッターで複数枚の画像を撮影し、ベクトル検出により手ぶれ量を検出して、手ぶれを補正しつつ画像を重ね合わせることで、手ぶれ補正効果を得るとともに、十分な画像信号値を得る提案が成されている（例えば、特許文献４参照）。

特開平０６―９８２４６特開平０５―７３２７特開平０６−９０４０２特開平１１−２５２４４５

ところが、上述の従来のスローシャッターでは、長時間露光で撮像素子に電荷を長く蓄積するために、通常の動画に対して撮影コマ数が減少し、動きが滑らかにならないなど、不自然な動画になるという欠点があった。また、上述の従来からの画像重ね合わせの手ぶれ補正の方式は静止画撮影のための提案であり、動画を滑らかに動かす方法について考慮されていない。

本発明は上記問題点を鑑みてなされたものであり、低輝度／低照度の被写体を撮影する場合に、電子画像切り出し方式により手ぶれを補正しながら、滑らかな動きの動画像を低コストに撮影できるようにすることを目的とする。

上記目的を達成するために、撮像手段により撮像した複数の画像の相関に基づいて、各画像からその一部を選択することにより画像間のぶれを補正するぶれ補正機能を有する本発明の撮像装置は、前記撮像手段を露光し、所定周期で画像信号を読み出す駆動手段と、前記所定周期で読み出された画像信号のそれぞれを１枚の画像として出力する第１の制御手段と、前記所定周期で読み出された画像信号のうち、最新のｎ（ｎは２以上の自然数）周期分の画像信号をぶれ補正しながら加算して１枚の画像として出力する第２の制御手段とを有する。

また、撮像手段により撮像した複数の画像の相関に基づいて、各画像からその一部を選択することにより画像間のぶれを補正するぶれ補正機能を有する撮像装置の本発明の制御方法は、前記撮像手段を露光し、所定周期で画像信号を読み出す撮像工程と、前記所定周期で読み出された画像信号のそれぞれを１枚の画像として出力する第１の出力工程と、前記所定周期で読み出された画像信号のうち、最新のｎ（ｎは２以上の自然数）周期分の画像信号をぶれ補正しながら加算して１枚の画像として出力する第２の出力工程とを有する。

本発明によれば、低輝度／低照度の被写体を撮影する場合に、電子画像切り出し方式により手ぶれを補正しながら、滑らかな動きの動画像を低コストに撮影できるようにすることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本発明の実施の形態に共通の撮影モード判定アルゴリズムを表すフローチャートである。

ステップＳ１０１において撮影モード判別アルゴリズムを開始し、ステップＳ１０２では、撮像素子から得られる被写体情報等より撮影する被写体の輝度を測定する。ステップＳ１０３では、被写体輝度が所定値以下かどうかの判別を行い、所定値より大きい場合はステップＳ１０５へ進み、撮影モードを後述する通常撮影モードに設定する。また、所定値以下の場合はステップＳ１０４へ進む。ステップＳ１０４では、手ぶれの量が所定値以上かどうかの判別を行い、手ぶれの量が所定値よりも小さい場合はステップＳ１０６へ進み、撮影モードを後述する撮像素子蓄積スローシャッターモードに設定する。一方、手ぶれの量が所定値以上の場合はステップＳ１０７へ進み、撮影モードを後述するメモリ蓄積スローシャッターモードに設定する。ステップＳ１０５、Ｓ１０６、Ｓ１０７で各撮影モードに設定後、ステップS１０８において撮影モード判別アルゴリズムを終了する。

つまり、上述の判定により、被写体が十分に明るい場合には通常撮影モード、被写体が暗く、撮像装置の揺れが小さい場合には撮像素子蓄積スローシャッターモード、被写体が暗く、撮像装置の揺れが大きい場合にはメモリ蓄積スローシャッターモードが設定される。各モードにおける撮像素子からの画像信号の読み出し及び処理のタイミングは撮像素子や処理回路のタイプ、制御方法等により異なるため、以下、いくつかの例について具体的に説明する。

＜第１の実施形態＞
まず、本発明の第１の実施形態について説明する。

図２は、本発明の第１の実施形態における撮像装置として、デジタルビデオカメラ（以下、「カメラ」と呼ぶ。）の構成を表すブロック図である。カメラの起動時から、ＣＰＵ１２０は、フラッシュメモリ１２３内のプログラムに従って動作することで、後述の各種動作の制御を行う。

被写体からの光は、レンズ群１０１を通して撮像素子１０２上に結像される。撮像素子１０２上に結像された被写体像は光電変換され、ＣＤＳ・Ａ／Ｄ回路１０３にて、サンプルホールドされた後にアナログ信号からデジタル信号へと変換される。ラインメモリ１０４では、ＣＤＳ・Ａ／Ｄ回路１０３から出力された１ライン分のデジタル信号を一旦蓄積し、蓄積したデジタル信号の内、後述する所定範囲のデジタル信号を画像バス１２６へ流す。なお、後述する画像メモリ１１０、カメラ信号処理回路１１１、画像処理回路１１２、映像出力回路１１３は、画像バス１２６に接続されており、画像バス１２６を介して画像データをやり取りする。

画像メモリ１１０は、ラインメモリ１０４から出力された画像データを１フレーム分一時的に蓄積する。カメラ信号処理部１１１は、画像メモリ１１０に蓄積された画像データを標準的な画像データになるように処理する。画像処理部１１２は、画像の拡大や縮小、画像同士の加算やフレーム変換処理などを行う。また、映像出力部１１３は、デジタル画像データを一般的なＮＴＳＣやＰＡＬなどの標準ＴＶ信号に変換する。

一方、バスブリッジ１２１を介して、ＣＰＵバス１２５には、ＣＰＵ１２０、フラッシュメモリ１２３、ＣＰＵメモリ１２４が接続されている。ＣＰＵ１２０は全体の制御を行い、フラッシュメモリ１２３にはＣＰＵ１２０を動作させるためのプログラムや各種パラメータ値が格納されており、ＣＰＵメモリ１２４はＣＰＵを動作させるためのワークメモリとして使用される。

また、角速度センサ１０５がＣＰＵ１２０に接続されており、角速度センサ１０５で検出した角速度はＣＰＵ１２０で処理することで、カメラの手ぶれ情報に変換され、撮像素子１０２やラインメモリ１０４を制御することで、手ぶれ補正動作を行う。この角速度センサ１０５はレンズ群１０１の光軸に対して垂直な２軸を検出することで、撮影に有害な手ぶれを検出する。

図３は、本発明の第１の実施形態における手ぶれ補正動作を説明するための概念図である。ＣＰＵ１２０は、角速度センサ１０５の出力から得られる垂直方向の手ぶれ情報に基づいて、撮像素子１０２の出力のうち、図３（ａ）に表すように、直前のフレームで切り出した画像における被写体の位置が、現フレームで切り出した画像においてほぼ同じ位置となるように、撮像素子１０２からの画像信号の読み出しを制御する。

まず垂直方向について、図３（ｂ）に表すように、垂直位置のＶ１からＶ２までの間の画像信号のみを、ＣＤＳ・Ａ／Ｄ１０３へ出力するように制御する。つまり、垂直方向の手ぶれが補正されるように、Ｖ１、Ｖ２の読み出し開始／終了位置を、撮像素子１０２から１枚の画像を読み出すタイミング毎に決定する。ＣＤＳ・Ａ／Ｄ１０３から出力された１ライン分のデジタル画像信号はラインメモリ１０４に一旦記憶する。

次に、ＣＰＵ１２０は、角速度センサ１０５の出力から得られる水平方向の手ぶれ情報に基づいて、図３（ｃ）に表すように、ラインメモリ１０４に記憶された画像信号のうち、水平位置のＨ１からＨ２までの間の画像信号のみを、画像バス１２６へ出力するように制御する。つまり、水平方向の手ぶれが補正されるように、Ｈ１、Ｈ２の読み出し開始／終了位置を、撮像素子１０２から１枚の映像を画像を読み出すタイミング毎に決定する。

次に、外部検出センサである角速度センサ１０５を用いて手ぶれ検出を行い、プログレッシブ動画撮影を行う場合の動作における、図１で説明した通常撮影モード、撮像素子蓄積スローシャッターモード、及びメモリ蓄積スローシャッターモードのそれぞれの信号の流れやタイミングについて、図４を参照して説明する。

図４（ａ）は、通常撮影モードにおける画像信号の読み出し及び信号処理のタイミングを表した図、図４（ｂ）は、撮像素子蓄積スローシャッターモードにおける画像信号の読み出し及び信号処理のタイミングを表した図、図４（ｃ）は、メモリ蓄積スローシャッターモードにおける画像信号の読み出し及び信号処理のタイミングを表した図である。

（１）通常撮影モード
最初に、図４（ａ）に示す通常撮影モードの動作について説明する。まず、撮像素子１０２は、蓄積時間Ｔ１の間、被写体からの光を光電変換して電荷を蓄積する。この蓄積時間Ｔ１の間に、ＣＰＵ１２０は角速度センサ１０５の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図３を参照して上述したようにして、ＣＰＵ１２０は撮像素子１０２からの読み出しタイミング及びラインメモリ１０４からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した１フレーム分の画像信号を画像メモリ１１０に記憶する。

画像メモリ１１０に記憶された画像信号は、垂直同期のタイミングで後段のカメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、このときの垂直同期の期間Ｔｖは、撮像素子１０２の蓄積時間Ｔ１に等しい。上述した読み出しから表示出力までの処理を繰り返すことにより、動画の撮影が行われる。

（２）撮像素子蓄積スローシャッターモード
次に、図４（ｂ）に示す撮像素子蓄積スローシャッターモードの動作について説明する。撮像素子蓄積スローシャッターモードは、被写体が暗く、カメラの揺れが小さい場合に設定されるモードである。

撮像素子蓄積スローシャッターモードでは、通常撮影モードの２倍の蓄積時間Ｔ２の間、撮像素子１０２を露光する。この蓄積時間Ｔ２の間に、ＣＰＵ１２０は角速度センサ１０５の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図３を参照して上述したようにして、ＣＰＵ１２０は撮像素子１０２からの読み出しタイミング及びラインメモリ１０４からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した１フレーム分の画像信号を画像メモリ１１０に記憶する。

画像メモリ１１０に記憶された画像信号は、垂直同期のタイミングで後段のカメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。ただし、この場合、図４（ｂ）から分かるように、撮像素子蓄積スローシャッターモードでは撮像素子１０２の蓄積時間が通常撮影モードの２倍であるために、蓄積時間Ｔ１に対応する時間おきに画像が画像メモリ１１０に記憶されることになる。また、垂直同期の期間Ｔｖが蓄積時間Ｔ２の１／２なので、同じ画像を２回繰り返し出力することになり、画像の更新周期が垂直同期の期間Ｔｖの２回に１度になる。さらに、手ぶれ補正の周期も周期Ｔｖの２回に１度になるために、手ぶれ補正の特性が通常撮影モードに比べて劣るが、暗い被写体を撮影する場合に、蓄積時間を通常撮影モードの２倍とすることで撮像素子１０２に蓄積される電荷量をより多くできるので、ノイズの少ない、より明るい画像を取得することができる。

（３）メモリ蓄積スローシャッターモード
最後に、図４（ｃ）に示すメモリ蓄積スローシャッターモードの動作について説明する。メモリ蓄積スローシャッターモードは、被写体が暗く、撮像装置の揺れが大きい場合に設定されるモードである。

メモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間Ｔ１の間、撮像素子１０２を露光する。この蓄積時間Ｔ１の間に、ＣＰＵ１２０は角速度センサ１０５の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図３を参照して上述したようにして、ＣＰＵ１２０は撮像素子１０２からの読み出しタイミング及びラインメモリ１０４からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した１フレーム分の画像信号を画像メモリ１１０に記憶する。

その後、同様にして蓄積時間Ｔ１の間、撮像素子１０２を露光して手ぶれ補正した１フレーム分の画像信号を取得し、画像処理部１１２において画像メモリ１１０に記憶されている画像信号に加算する。加算した画像信号は、再び画像メモリ１１０に記憶される。

画像メモリ１１０に記憶された画像信号は、垂直同期のタイミングで後段のカメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。この場合、垂直同期の期間Ｔｖは、各フレームの蓄積時間Ｔ１と同じである。しかしながら、画像メモリ１１０に加算画像信号が蓄積されるのは蓄積時間Ｔ１の２回に１回なので、同じ画像を２回繰り返し出力することになり、画像の更新周期が垂直同期の期間Ｔｖの２回に１度になるが、暗い被写体を撮影する場合に、より明るい画像を取得することができる。

このように、メモリ蓄積スローシャッターモードでは、撮像素子蓄積スローシャッターモードのように撮像素子１０２に１度に長時間蓄積するのではなく、蓄積時間Ｔ１で読み出した画像信号を２フレーム分加算して撮像信号を生成するので、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなるが、手ぶれ補正を各フレーム毎に行うために、その特性は通常撮影モードと同等になり、カメラの揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。

このように、本第１の実施形態によれば、被写体の明るさ及び撮像装置の揺れの度合いに応じて画像読み出し及び手ぶれ補正の仕方を変えることにより、より高画質な画像を取得することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

第２の実施形態では、外部検出センサである角速度センサ１０５を用いて手ぶれ検出を行い、インターレース動画撮影を行う場合の動作における、図１で説明した通常撮影モード、撮像素子蓄積スローシャッターモード、及びメモリ蓄積スローシャッターモードのそれぞれの信号の流れやタイミングについて、図５を参照して説明する。なお、本第２の実施形態では、第１の実施形態において説明した図２に示すデジタルビデオカメラを使用し、図３を参照して説明した手ぶれ補正動作を行うものとし、それらの説明は省略する。

（１）通常撮影モード
最初に、図５（ａ）に示す通常撮影モードの動作について説明する。まず、撮像素子１０２は、蓄積時間Ｔ１の間、被写体からの光を光電変換して電荷を蓄積する。この蓄積時間Ｔ１の間に、ＣＰＵ１２０は角速度センサ１０５の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図３を参照して上述したようにして、ＣＰＵ１２０は撮像素子１０２からの読み出しタイミング及びラインメモリ１０４からの読み出しタイミングを制御して、画像を切り出して１ラインおきに読み出すことにより各フィールド画像の手ぶれ補正を行う。このようにして切り出した１フィールド分の画像信号（例えば、図５（ａ）の「１奇」）を画像メモリ１１０に記憶する。以降、直前の蓄積時間Ｔ１で蓄積した画像信号を読み出したラインと異なるラインの信号を読み出すことで、１フィールド分の画像信号（例えば、図５（ａ）の「２偶」、「３奇」、「４偶」等）を画像メモリ１１０に記憶する。ここで、「奇」は奇数フィールドを、「偶」は偶数フィールドを示している。

画像メモリ１１０に記憶された１フィールド分の画像信号は、後段のカメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な映像信号に変換された後、垂直同期のタイミングで奇数フィールドと偶数フィールドの画像信号が交互に不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、このときの垂直同期の期間Ｔｖは、撮像素子１０２の蓄積時間Ｔ１に等しい。

（２）撮像素子蓄積スローシャッターモード
次に、図５（ｂ）に示す撮像素子蓄積スローシャッターモードの動作について説明する。

撮像素子蓄積スローシャッターモードでは、通常撮影モードの２倍の蓄積時間Ｔ２の間、撮像素子１０２を露光する。この蓄積時間Ｔ２の間に、ＣＰＵ１２０は角速度センサ１０５の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図３を参照して上述したようにして、ＣＰＵ１２０は撮像素子１０２からの読み出しタイミング及びラインメモリ１０４からの読み出しタイミングを制御して、画像を切り出して１ラインおきに読み出すことにより各フィールド画像の手ぶれ補正を行う。このようにして切り出した１フィールド分の画像信号（例えば、図５（ｂ）の「１奇」）を画像メモリ１１０に記憶する。以降、同様にして蓄積時間Ｔ２毎に画像を切り出し、１フィールド分の画像信号を画像メモリ１１０に記憶する。なお、図５（ｂ）の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。

画像メモリ１１０に記憶された１フィールド分の画像信号は、後段のカメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な片フィールドの映像信号に変換されるとともに、この片フィールド（図５（ｂ）の例では奇数フィールド）からもう一つのフィールド（図５（ｂ）の例では偶数フィールド）の画像信号を生成され、垂直同期のタイミングで奇数フィールドと偶数フィールドの画像信号が交互に不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、この時の垂直同期の期間Ｔｖは、蓄積時間Ｔ２の１／２であるが、片フィールド（図５（ｂ）の例では奇数フィールド）からもう一つのフィールド（図５（ｂ）の例では偶数フィールド）を生成するため、画像の更新周期は垂直同期の期間Ｔｖと等しくなる。

手ぶれ補正の周期は垂直同期の期間Ｔｖの２回に１度になるため、手ぶれ補正の特性が通常撮影モードに比べて劣るが、暗い被写体を撮影する場合に、蓄積時間を通常撮影モードの２倍とすることで撮像素子１０２に蓄積される電荷量をより多くしたので、ノイズの少ない、より明るい画像を取得することができる。

（３）メモリ蓄積スローシャッターモード
最後に、図５（ｃ）に示すメモリ蓄積スローシャッターモードの動作について説明する。

メモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間Ｔ１の間、撮像素子１０２を露光する。この蓄積時間Ｔ１の間に、ＣＰＵ１２０は角速度センサ１０５の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図３を参照して上述したようにして、ＣＰＵ１２０は撮像素子１０２からの読み出しタイミング及びラインメモリ１０４からの読み出しタイミングを制御して、画像を切り出して１ラインおきに読み出すことにより各フィールド画像の手ぶれ補正を行う。このようにして切り出した１フィールド分の画像信号（例えば、図５（ｃ）の「１奇」）を画像メモリ１１０に記憶する。なお、図５（ｃ）の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。

その後、同様にして蓄積時間Ｔ１の間、撮像素子１０２を露光して手ぶれ補正した１フィールド分の画像信号（例えば、図５（ｃ）の「１奇」）を取得し、画像処理部１１２において画像メモリ１１０に記憶されている画像信号に加算する。加算した画像信号（例えば、図５（ｃ）の「１奇＋２奇」）は、再び画像メモリ１１０に記憶される。

以降、同様にして、蓄積時間Ｔ１毎に画像を切り出し、１フィールド分の画像信号を画像メモリ１１０に記憶する動作と、読み出した画像信号を画像メモリ１１０にすでに記憶してある画像信号に加算してから再び画像メモリ１１０に記憶する動作とを交互に繰り返す。

なお、図５（ｃ）の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。

このようにして、画像メモリ１１０に記憶された１フィールド分の画像信号は、後段のカメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な片フィールドの映像信号に変換されるとともに、この片フィールド（図５（ｃ）の例では奇数フィールド）の画像信号（例えば、「１奇＋２奇、奇」）からもう一つのフィールド（図５（ｃ）の例では偶数フィールド）の画像信号（例えば、「１奇＋２奇、偶」）が生成され、垂直同期のタイミングで不図示のディスプレイ等の画像出力装置に出力され、表示される。この場合、垂直同期の期間Ｔｖは、蓄積時間Ｔ１と同じであるが、画像メモリ１１０に加算画像信号が蓄積されるのは垂直同期の期間Ｔｖの２回に１回である。しかし、片フィールド（例えば、奇数フィールド）からもう一つのフィールド（例えば、偶数フィールド）を生成するため、画像の更新周期は垂直同期の期間Ｔｖと等しくなる。

このように、メモリ蓄積スローシャッターモードでは、撮像素子蓄積スローシャッターモードのように撮像素子１０２で１度に長時間電荷を蓄積するのではなく、蓄積時間Ｔ１で読み出した画像信号を２フィールド分加算して撮像信号を生成するので、暗い被写体を撮影する場合に、より明るい画像を取得することができる。この場合、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなるが、手ぶれ補正を各フィールド毎に行うため、その特性は通常撮影モードと同等になり、撮像装置の揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

本第３の実施形態では、外部検出センサである角速度センサ１０５を用いて手ぶれ検出を行い、プログレッシブ動画撮影を行う場合の動作における、図１で説明したメモリ蓄積スローシャッターモードの別の動作について、図６を参照して説明する。なお、本第３の実施形態では、第１の実施形態において説明した図２に示すデジタルビデオカメラを使用し、図３を参照して説明した手ぶれ補正動作を行うものとし、それらの説明は省略する。ただし、画像メモリ１１０は少なくとも２枚のフレーム画像の画像信号を格納するために十分な容量を備えているものとし、ここでは便宜上、第１フレームメモリ１１０ａ及び第２フレームメモリ１１０ｂと呼ぶ。

（３）メモリ蓄積スローシャッターモード
図６に示すメモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間Ｔ１の間、撮像素子１０２を露光する。この蓄積時間Ｔ１の間に、ＣＰＵ１２０は角速度センサ１０５の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図３を参照して上述したようにして、ＣＰＵ１２０は撮像素子１０２からの読み出しタイミング及びラインメモリ１０４からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した１フレーム分の画像信号（例えば、図６の「１」）を、第１フレームメモリ１１０ａに記憶する。

次に、同様にして蓄積時間Ｔ１の間、撮像素子１０２を露光して手ぶれ補正した１フレーム分の画像信号（例えば、図６の「２」）を取得し、画像処理部１１２において第１フレームメモリ１１０ａに記憶されている画像信号（例えば、図６の「１」）を読み出して加算し、加算した画像信号（例えば、図６の「１＋２」）を第２フレームメモリ１１０ｂに記憶する。この加算処理と並行して、新たに取得した画像信号（例えば、図６の「２」）を第１フレームメモリ１１０ａに記憶する。

このように、第１フレームメモリ１１０ａに記憶された１フレーム前の画像信号に、新たに取得した画像信号を加算して第２フレームメモリ１１０ｂに記憶するとともに、新たに取得した画像信号を第１フレームメモリ１１０ａに記憶することにより、第２フレームメモリ１１０ｂには、新たに取得した画像信号と、その１フレーム前に取得した画像信号とを加算した画像信号が記憶されることになる。

次に、垂直同期のタイミングで、第２フレームメモリ１１０ｂに記憶された画像信号を読み出してカメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な映像信号に変換した後、不図示のディスプレイ等の画像出力装置に出力され、表示される。

本第３の実施形態では、蓄積時間Ｔ１毎に第２フレームメモリ１１０ｂに新しい加算画像信号が記憶されるため、各垂直同期の期間Ｔｖ毎に画像が更新される。なお、蓄積時間Ｔ１で読み出した画像信号を２フレーム分加算して撮像信号を生成するので、暗い被写体を撮影する場合に、より明るい画像を取得することができるが、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなる。しかしながら、手ぶれ補正を各フレーム毎に行うために、その特性は通常撮影モードと同等になり、撮像装置の揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。

＜第３の実施形態の変形例＞
上記第３の実施形態では、画像メモリ１１０に２枚のフレーム画像を記憶する場合について説明したが、３枚以上のフレーム画像を記憶可能な容量を有する画像メモリ１１０を用いることにより、３枚以上のフレーム画像を加算することが可能になり、より暗い被写体を撮影する場合にも、通常撮影モードと同等の手ぶれ補正特性を保ったまま、より明るい画像を取得することができる。

（３）メモリ蓄積スローシャッターモード
図７は、プログレッシブ動画撮影を行った際のメモリ蓄積スローシャッターモードの別の動作を示す図で、通常撮影モードの４倍の露光時間分の画像信号を加算する場合の信号の流れ及びタイミングを表した図である。この場合、画像メモリ１１０は少なくとも４枚のフレーム画像の画像信号を格納するために十分な容量を備えているものとし、ここでは便宜上、第１フレームメモリ１１０ａ、第２フレームメモリ１１０ｂ、第３フレームメモリ１１０ｃ、第４フレームメモリ１１０ｄと呼ぶ。

図７に示すメモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間Ｔ１の間、撮像素子１０２を露光する。この蓄積時間Ｔ１の間に、ＣＰＵ１２０は角速度センサ１０５の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図３を参照して上述したようにして、ＣＰＵ１２０は撮像素子１０２からの読み出しタイミング及びラインメモリ１０４からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した１フレーム分の画像信号（例えば、図７の「１」）を第１フレームメモリ１１０ａに記憶する。

次に、同様にして蓄積時間Ｔ１の間、撮像素子１０２を露光して手ぶれ補正した１フレーム分の画像信号（例えば、図７の「２」）を取得し、画像処理部１１２において第１フレームメモリ１１０ａに記憶されている画像信号（例えば、図７の「１」）を読み出して加算し、加算した画像信号（例えば、図７の「１＋２」）を第２フレームメモリ１１０ｂに記憶する。この加算処理と並行して、新たに取得した画像信号（例えば、図７の「２」）を第１フレームメモリ１１０ａに記憶する。

更に、同様にして蓄積時間Ｔ１の間、撮像素子１０２を露光して手ぶれ補正した１フレーム分の画像信号（例えば、図７の「３」）を取得し、画像処理部１１２において第１フレームメモリ１１０ａに記憶されている画像信号（例えば、図７の「２」）を読み出して加算し、加算した画像信号（例えば、図７の「２＋３」）を第２フレームメモリ１１０ｂに記憶する。また、画像処理部１１２において第２フレームメモリ１１０ｂに記憶されている画像信号（例えば、図７の「１＋２」）を読み出して新たに取得した画像信号（例えば、図７の「３」）を加算し、加算した画像信号（例えば、図７の「１＋２＋３」）を第３フレームメモリ１１０ｄに記憶する。これらの加算処理と並行して、新たに取得した画像信号（例えば、図７の「３」）を第１フレームメモリ１１０ａに記憶する。

更に、蓄積時間Ｔ１の間、撮像素子１０２を露光して手ぶれ補正した１フレーム分の画像信号（例えば、図７の「４」）を取得し、同様にして第１〜第３フレームメモリ１１０ａ〜１１０ｃに記憶された画像信号に加算し、加算した画像信号（例えば、図７の例では「３＋４」、「２＋３＋４」、「１＋２＋３＋４」）を第２〜第４フレームメモリ１１０ｂ〜１１０ｄに記憶するとともに、新たに取得した画像信号（例えば、図７の「４」）を第１フレームメモリ１１０ａに記憶する。

上記制御により、第４フレームメモリ１１０ｄには、新たに取得した画像信号と、その３フレーム前までに取得した画像信号すべてを加算した画像信号が記憶されることになる。なお、第４フレームメモリ１１０ｄからの画像信号の読み出しから表示までの処理は第３の実施形態と同様であるので、ここでは説明を省略する。

このように、本変形例におけるメモリ蓄積スローシャッターモードでは、蓄積時間Ｔ１で読み出した画像信号を４フレーム分加算して撮像信号を生成するので、より暗い被写体を撮影する場合に、明るい画像を取得することができるが、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなる。しかしながら、手ぶれ補正を各フレーム毎に行うために、その特性は通常撮影モードと同等になり、撮像装置の揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。

なお、４フレームに限るものではなく、画像メモリ１１０の容量に応じて、任意のフレーム数の画像信号を加算可能に制御できることは言うまでも無い。

また、第３の実施形態及びその変形例では、プログレッシブ動画撮影の場合について説明したが、第２の実施形態で説明したインターレース動画撮影にも適用可能であることは言うまでもない。

その場合、蓄積時間Ｔ１毎に偶数または奇数フィールドのいずれか一方から信号を読み出すように制御し、画像処理部１１２において加算した信号に基づいて、１フィールド期間おきにもう一方のフィールドの信号を生成し、この生成した１フィールド分の信号と、画像処理部１１２から出力された加算信号とを交互に出力するようにする。例えば、図７に示す例では、生成した信号を「’」で表すとすると、「１＋２＋３＋４」、「（２＋３＋４＋５）’」、「３＋４＋５＋６」、「（４＋５＋６＋７）’」といったように出力する。

なお、被写体が暗く、撮像装置の揺れが大きい場合に、メモリ蓄積スローシャッターモードに移行し、上述した第３の実施形態及びその変形例に示す制御を行う場合について説明したが、ユーザーが手動で上述した制御を行うように切り替えるように構成しても良い。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。

図８は、本発明の第４の実施形態における撮像装置として、デジタルビデオカメラ（以下、「カメラ」と呼ぶ。）の構成を表すブロック図である。なお、第１の実施形態で説明した図２の構成と同様の構成には同じ符号を付し、説明を省略する。図８に示すカメラの構成では、角速度センサ１０５及びラインメモリ１０４が無く、画像ベクトル検出部８０１が加えられ、画像バス１２６に接続されているところが図２に示す構成と異なる。また、本第４の実施形態では、画像メモリ１１０は少なくとも３枚のフレーム画像分の画像信号を蓄積可能な容量を有し、ここでは便宜上、第１フレームメモリ１１０ａ、第２フレームメモリ１１０ｂ、及び第３フレームメモリ１１０ｃと呼ぶ。なお、第１及び第２のフレームメモリ１１０ａ、１１０ｂは、それぞれ撮像素子１０２から読み出した信号を全て記憶可能な容量が必要であるが、第３フレームメモリ１１０ｃは、撮像素子１０２から読み出した信号の内、手ぶれ補正のために切り出して読み出した分の画像信号を記憶可能な容量であればよい。

まず、被写体からの光は、レンズ群１０１を通して撮像素子１０２上に結像される。撮像素子１０２上に結像された被写体像は光電変換され、ＣＤＳ・Ａ／Ｄ回路１０３にて、サンプルホールドされた後にアナログ信号からデジタル信号へと変換される。こうして得られたデジタル画像信号は、画像バス１２６へ流され、各フレーム画像の読み出し毎に第１フレームメモリ１１０ａ及び第２フレームメモリ１１０ｂのいずれかに交互に一時的に蓄積される。

画像ベクトル検出部８０１は、第１フレームメモリ１１０ａ及び第２フレームメモリ１１０ｂに一時的に蓄積された、連続的に得られた２つの画像を比較することで画像の動きベクトルを検出し、検出した動きベクトルから撮影に有害な画像の手ぶれ情報を検出する。

本第４の実施形態においても、図３（ａ）を参照して説明した画像切り出し方法と同様の概念による方法により手ぶれ補正を行うが、角速度センサ１０５の出力からの手ぶれ情報の代わりに、画像ベクトル検出回路８０１の出力から得られる水平方向と垂直方向の手ぶれ情報に基づいて手ぶれ補正を行うと共に、画像メモリ１１０に蓄積された撮像素子１０２のすべての画素の画像信号の内、Ｖ１からＶ２までの垂直位置及びＨ１からＨ２までの水平位置の画像信号のみを読み出すことで、手ぶれを補正する。

次に、画像ベクトル検出部８０１を用いて手ぶれ検出を行い、プログレッシブ動画撮影を行う場合の動作における、図１で説明した通常撮影モード、撮像素子蓄積スローシャッターモード、及びメモリ蓄積スローシャッターモードのそれぞれの信号の流れやタイミングについて、図９を参照して説明する。

（１）通常撮影モード
最初に、図９（ａ）に示す通常撮影モードの動作について説明する。まず、撮像素子１０２は、蓄積時間Ｔ１の間、被写体からの光を光電変換して電荷を蓄積し、蓄積時間Ｔ１終了後、電荷信号を撮像素子１０２からＣＤＳ・Ａ／Ｄ１０３を介して第１フレームメモリ１１０ａ及び第２フレームメモリ１１０ｂに交互に読み出す動作を繰り返し行う。画像ベクトル検出回路８０１は、新たに読み出した画像（例えば、第２フレームメモリ１１０ｂに記憶された「２」）と、１フレーム前に読み出した画像（例えば、第１フレームメモリ１１０ａに記憶された「１」）とを比較して動きベクトルを検出し、検出した動きベクトルに基づいて、新たに読み出した画像（上述の例の場合、「２」）の手ぶれ情報を検出する。なお、図９の手ぶれ検出の各パルス横の（）の数字は、手ぶれ情報を検出する画像を示している。

次に、垂直同期のタイミングで、検出した手ぶれ情報に基づいて、第１フレームメモリ１１０ａまたは第２フレームメモリ１１０ｂの水平及び垂直方向の読み出し位置を制御して、新たに読み出した画像（例えば、フレームメモリ１１０ｂに記憶された「２」）を切り出して読み出すことにより手ぶれ補正を行い、カメラ信号処理部１１１へと画像信号を送る。

画像信号は、カメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、このときの垂直同期の期間Ｔｖは、撮像素子１０２の蓄積時間Ｔ１に等しい。上述した読み出しから表示出力までの処理を繰り返すことにより、動画の撮影が行われる。

（２）撮像素子蓄積スローシャッターモード
次に、図９（ｂ）に示す撮像素子蓄積スローシャッターモードの動作について説明する。

撮像素子蓄積スローシャッターモードでは、通常撮影モードの２倍の蓄積時間Ｔ２の間、撮像素子１０２を露光して電荷を蓄積し、蓄積時間Ｔ２終了後、電荷信号を撮像素子１０２からＣＤＳ・Ａ／Ｄ１０３を介してフレームメモリ１１０ａ及びフレームメモリ１１０ｂに交互に読み出す動作を繰り返し行う。画像ベクトル検出回路８０１は、新たに読み出した画像（例えば、第２フレームメモリ１１０ｂに記憶された「２」）と、１フレーム前に読み出した画像（例えば、第１フレームメモリ１１０ａに記憶された「１」）とを比較して動きベクトルを検出し、検出した動きベクトルに基づいて、新たに読み出した画像（上述の例の場合、画像「２」）の手ぶれ情報を検出する。

画像信号は、カメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。ただし、この場合、図９（ｂ）から分かるように、撮像素子蓄積スローシャッターモードでは撮像素子１０２の蓄積時間が通常撮影モードの２倍であるために、蓄積時間Ｔ１に対応する時間おきに画像がフレームメモリ１１０ａまたはフレームメモリ１１０ｂに記憶されることになる。また、垂直同期の期間Ｔｖが蓄積時間Ｔ２の１／２なので、同じ画像を２回繰り返し出力することになり、画像の更新周期が垂直同期の期間Ｔｖの２回に１度になる。さらに、手ぶれ補正の周期も２Ｖ周期に一回になるために、手ぶれ補正の特性が通常撮影モードに比べて劣るが、暗い被写体を撮影する場合に、蓄積時間を通常撮影モードの２倍とすることで撮像素子１０２に蓄積される電荷量をより多くできるので、ノイズの少ない、より明るい画像を取得することができる。

（３）メモリ蓄積スローシャッターモード
最後に、図９（ｃ）に示すメモリ蓄積スローシャッターモードの動作について説明する。

メモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間Ｔ１の間、撮像素子１０２を露光して電荷を蓄積し、蓄積時間Ｔ１終了後、電荷信号を撮像素子１０２からＣＤＳ・Ａ／Ｄ１０３を介して第１フレームメモリ１１０ａ及び第２フレームメモリ１１０ｂに交互に読み出す動作を繰り返し行う。画像ベクトル検出回路８０１は、新たに読み出し画像（例えば、第２フレームメモリ１１０ｂに記憶された「２」）と、１フレーム前に読み出した画像（例えば、第１フレームメモリ１１０ａに記憶された「１」）とを比較して動きベクトルを検出し、動きベクトルに基づいて、新たに読み出した画像（上述の例の場合、「２」）の手ぶれ情報を検出する。

次に、垂直同期のタイミングで、検出した手ぶれ情報に基づいて、第１フレームメモリ１１０ａまたは第２フレームメモリ１１０ｂの水平及び垂直方向の読み出し位置を制御して、新たに読み出した画像（例えば、第２フレームメモリ１１０ｂに記憶された「２」）を切り出して読み出すことにより手ぶれ補正を行う。

切り出した画像（例えば、第１フレームメモリ１１０ａに記憶された「１’」）は、第３フレームメモリ１１０ｃに記憶し、今回切り出した画像信号（例えば、「２’」）と、１フレーム前に切り出した画像信号（例えば、「１’」）とを画像処理部１１２により加算し、加算した画像信号（例えば、「１’＋２’」）を第３フレームメモリ１１０ｃに再び記憶する。

第３フレームメモリ１１０ｃに記憶された画像信号は、垂直同期のタイミングで後段のカメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。この場合、垂直同期の期間Ｔｖは、各フレームの蓄積時間Ｔ１と同じである。しかしながら、第３フレームメモリ１１０ｃに加算画像信号が蓄積されるのは蓄積時間Ｔ１の２回に１回なので、同じ画像を２回繰り返し出力することになり、画像の更新周期が垂直同期の期間の２回に１度になるが、暗い被写体を撮影する場合に、より明るい画像を取得することができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。

本第５の実施形態では、画像ベクトル検出部８０１を用いて手ぶれ検出を行い、インターレース動画撮影を行う場合の動作における、図１で説明した通常撮影モード、撮像素子蓄積スローシャッターモード、及びメモリ蓄積スローシャッターモードのそれぞれの信号の流れやタイミングについて、図１０を参照して説明する。なお、本第５の実施形態では、第４の実施形態において説明した図８に示すデジタルビデオカメラを使用し、図３（ａ）を参照して説明した手ぶれ補正動作を行うものとし、説明を省略する。ただし、本第５の実施形態では、インターレース読み出しのため、画像メモリ１１０は少なくとも３枚のフィールド画像分の画像信号を蓄積できれば良く、ここでは便宜上、第１〜第３フィールドメモリ２１０ａ〜２１０ｃ（不図示）と呼び、第１〜第３フレームメモリ１１０ａ〜１１０ｃの代わりに用いるものとする。

（１）通常撮影モード
最初に、図１０（ａ）に示す通常撮影モードの動作について説明する。まず、撮像素子１０２は、蓄積時間Ｔ１の間、被写体からの光を光電変換して電荷を蓄積し、蓄積時間Ｔ１終了後、１ラインおきに蓄積した電荷信号を読み出すことにより１フィールド分の電荷信号を撮像素子１０２からＣＤＳ・Ａ／Ｄ１０３を介して第１フィールドメモリ２１０ａ及び第２フィールドメモリ２１０ｂに交互に読み出す動作を繰り返し行う。以降、直前の蓄積時間Ｔ１で蓄積した画像信号を読み出したラインと異なるラインの信号を読み出すことで、１フィールド分の画像信号（例えば、図１０（ａ）の「１奇」、「２偶」、「３奇」、「４偶」等）を第１フィールドメモリ２１０ａ及び第２フィールドメモリ２１０ｂに交互に記憶する。ここで、「奇」は奇数フィールドを、「偶」は偶数フィールドを示している。

画像ベクトル検出回路８０１は、新たに読み出したフィールド画像（例えば、第２フィールドメモリ２１０ｂに記憶された「２偶」）と、１フィールド前に読み出したフィールド画像（例えば、第１フィールドメモリ２１０ａに記憶された「１奇」）とを比較して動きベクトルを検出し、検出した動きベクトルに基づいて、新たに読み出したフィールド画像（例えば、第２フィールドメモリ２１０ｂに記憶された「２偶」）の手ぶれ情報を検出する。次に、垂直同期のタイミングでこの手ぶれ情報に基づいて、フィールドメモリ２１０ａまたはフィールドメモリ２１０ｂの水平及び垂直方向の読み出し位置を制御して、新たに読み出した画像（例えば、第２フィールドメモリ２１０ｂに記憶された「２偶」）を切り出して読み出すことにより手ぶれ補正を行い、カメラ信号処理部１１１へと画像信号を送る。

画像信号は、カメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な映像信号に変換された後、奇数フィールドと偶数フィールドの画像信号が交互に不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、このときの垂直同期の期間Ｔｖは、撮像素子１０２の蓄積時間Ｔ１に等しい。

（２）撮像素子蓄積スローシャッターモード
次に、図１０（ｂ）に示す撮像素子蓄積スローシャッターモードの動作について説明する。

撮像素子蓄積スローシャッターモードでは、通常撮影モードの２倍の蓄積時間Ｔ２の間、撮像素子１０２を露光して電荷を蓄積し、蓄積時間Ｔ２終了後、１ラインおきに蓄積した電荷信号を読み出すことにより１フィールド分の電荷信号（例えば、図１０（ｂ）の「１奇」、「２奇」、「３奇」）を撮像素子１０２からＣＤＳ・Ａ／Ｄ１０３を介して第１フィールドメモリ２１０ａ及び第２フィールドメモリ２１０ｂに交互に読み出す動作を繰り返し行う。なお、図１０（ｂ）の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。

画像ベクトル検出回路８０１は、新たに読み出したフィールド画像（例えば、第２フィールドメモリ２１０ｂに記憶された「２奇」）と、１フレーム前に読み出したフィールド画像（例えば、第１フィールドメモリ２１０ａに記憶された「１奇」）とを比較して動きベクトルを検出し、検出した動きベクトルに基づいて、新たに読み出したフィールド画像（例えば、第２フィールドメモリ２１０ｂに記憶された「２奇」）の手ぶれ情報を検出する。次に、垂直同期のタイミングでこの手ぶれ情報に基づいて、フィールドメモリ２１０ａまたはフィールドメモリ２１０ｂの水平及び垂直方向の読み出し位置を制御して、新たに読み出した画像（例えば、第２フィールドメモリ２１０ｂに記憶された「２奇」）を切り出して読み出すことにより手ぶれ補正を行い、カメラ信号処理部１１１へと画像信号を送る。

画像信号は、カメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な片フィールドの映像信号に変換されるとともに、この片フィールド（図１０（ｂ）の例では奇数フィールド）の画像信号からもう一つのフィールド（図１０（ｂ）の例では偶数フィールド）の画像信号が生成され、垂直同期のタイミングで不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、この時の垂直同期の期間Ｔｖは、蓄積時間Ｔ２の１／２であるが、片フィールド（図１０（ｂ）の例では奇数フィールド）からもう一つのフィールド（図１０（ｂ）の例では偶数フィールド）を生成するため、画像の更新周期は垂直同期の期間Ｔｖと等しくなる。

なお、手ぶれ補正の周期は２垂直周期に１回になるため、手ぶれ補正の特性が通常撮影モードに比べて劣るが、暗い被写体を撮影する場合に、蓄積時間を通常撮影モードの２倍とすることで撮像素子１０２に蓄積される電荷量をより多くしたので、ノイズの少ない、より明るい画像を取得することができる。

（３）メモリ蓄積スローシャッターモード
最後に、図１０（ｃ）に示すメモリ蓄積スローシャッターモードの動作について説明する。

メモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間Ｔ１の間、撮像素子１０２を露光して電荷を蓄積し、蓄積時間Ｔ１終了後、１ラインおきに蓄積した電荷信号を読み出すことにより１フィールド分の電荷信号（例えば、図１０（ｃ）の「１奇」、「２奇」、「３奇」等）を撮像素子１０２からＣＤＳ・Ａ／Ｄ１０３を介して第１フィールドメモリ２１０ａ及び第２フィールドメモリ２１０ｂに交互に読み出す動作を繰り返し行う。なお、図１０（ｃ）の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。

その後、画像ベクトル検出回路８０１は、新たに読み出しフィールド画像（例えば、第２フィールドメモリ２１０ｂに記憶された「２奇」）と、１フィールド前に読み出したフィールド画像（例えば、フィールドメモリ２１０ａに記憶された「１奇」）とを比較して動きベクトルを検出し、動きベクトルに基づいて、新たに読み出したフィールド画像（例えば、第２フィールドメモリ２１０ｂに記憶された「２奇」）の手ぶれ情報を検出する。次に、垂直同期のタイミングでこの手ぶれ情報に基づいて、第１フィールドメモリ２１０ａまたは第２フィールドメモリ２１０ｂの水平及び垂直方向の読み出し位置を制御して、新たに読み出したフィールド画像（例えば、第２フィールドメモリ２１０ｂに記憶された「２奇」）を切り出して読み出すことにより手ぶれ補正を行う。

切り出した画像（例えば、第１フィールドメモリ２１０ａに記憶された「１’奇」）は、第３フィールドメモリ２１０ｃに記憶し、今回切り出した画像信号（例えば、第２フィールドメモリ２１０ｂに記憶された「２’奇」）と、１フィールド前に切り出した画像信号（例えば、第１フィールドメモリ２１０ａに記憶された「１’奇」）とを画像処理部１１２により加算し、加算した画像信号（例えば、「１’奇＋２’奇」）を第３フィールドメモリ２１０ｃに再び記憶する。

第３フィールドメモリ２１０ｃに記憶された１フィールド分の画像信号は、垂直同期のタイミングで後段のカメラ信号処理部１１１、画像処理部１１２、映像出力部１１３を介して標準的な片フィールドの映像信号に変換されるとともに、この片フィールド（図１０（ｃ）の例では奇数フィールド）の画像信号（例えば、「１’奇＋２’奇、奇」）からもう一つのフィールド（図１０（ｃ）の例では偶数フィールド）の画像信号（例えば、「１’奇＋２’奇、偶」）が生成され、不図示のディスプレイ等の画像出力装置に出力され、表示される。この場合、垂直同期の期間Ｔｖは、各フィールドの蓄積時間Ｔ１と同じである。なお、第３フィールドメモリ２１０ｃに加算画像信号が蓄積されるのは垂直同期の期間Ｔｖの２回に１回だが、片フィールド（例えば、奇数フィールド）からもう一つのフィールド（例えば、偶数フィールド）を生成するため、画像の更新周期は垂直同期の期間Ｔｖと等しくなる。

このように、メモリ蓄積スローシャッターモードでは、撮像素子蓄積スローシャッターモードのように撮像素子１０２に１度に長時間蓄積するのではなく、蓄積時間Ｔ１で読み出した画像信号を２フィールド分加算して撮像信号を生成するので、暗い被写体を撮影する場合に、より明るい画像を取得することができるが、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなる。しかしながら、手ぶれ補正を各フィールド毎に行うために、その特性は通常撮影モードと同等になり、撮像装置の揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付き形態端末など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の実施の形態における撮影モードの判定処理を示すフローチャートである。本発明の第１乃至第３の実施形態における撮像装置の構成を示すブロック図である。本発明の実施の形態における手ぶれ補正処理の概念を説明する図である。本発明の第１の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。本発明の第２の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。本発明の第３の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。本発明の第３の実施形態の変形例における画像信号の読み出し及び信号処理のタイミングを説明する図である。本発明の第４及び第５の実施形態における撮像装置の構成を示すブロック図である。本発明の第４の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。本発明の第５の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。

符号の説明

１０１レンズ群
１０２撮像素子
１０３ＣＤＳ・Ａ／Ｄ回路
１０４ラインメモリ
１０５角速度センサ
１１０画像メモリ
１１１カメラ信号処理回路
１１２画像処理回路
１１３映像出力回路１１３
１２０ＣＰＵ
１２１バスブリッジ
１２３フラッシュメモリ
１２４ＣＰＵメモリ
１２５ＣＰＵバス
１２６画像バス
８０１画像ベクトル検出部

Claims

撮像手段により撮像した複数の画像の相関に基づいて、各画像からその一部を選択することにより画像間のぶれを補正するぶれ補正機能を有する撮像装置であって、
前記撮像手段を露光し、所定周期で画像信号を読み出す駆動手段と、
前記所定周期で読み出された画像信号のそれぞれを１枚の画像として出力する第１の制御手段と、
前記所定周期で読み出された画像信号のうち、最新のｎ（ｎは２以上の自然数）周期分の画像信号をぶれ補正しながら加算して１枚の画像として出力する第２の制御手段と
を有することを特徴とする撮像装置。
測光手段と、
前記第１の制御手段により画像を出力するか、もしくは前記第２の制御手段により画像を出力するかを前記測光手段の結果により切り換える切り換え手段と
を更に有することを特徴とする請求項１に記載の撮像装置。
前記第２の制御手段は、前記測光手段による測光の結果に応じて、前記ｎを決定することを特徴とする請求項１または２に記載の撮像装置。
前記撮像手段は、プログレッシブ読み出しを行うことを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
前記撮像手段はインターレース読み出しを行い、前記第２の制御手段はいずれか一方のフィールドの画像信号を前記所定周期で読み出すように制御するとともに、１所定周期おきに加算して得た画像信号に基づいて他方のフィールドの画像信号を生成し、当該生成した画像信号と、前記加算して得た画像信号とを前記所定周期で交互に出力するように制御することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
前記撮像装置のぶれ量を検出するぶれ量検出手段を有し、
前記ぶれ量検出手段により検出されたぶれ量に応じて、前記各画像から選択する部分を決定することを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
前記ぶれ量検出手段は、角速度センサであることを特徴とする請求項６に記載の撮像装置。
前記ぶれ量検出手段は、前記複数の画像間における動きベクトルを検出することでぶれ量を検出することを特徴とする請求項６に記載の撮像装置。
撮像手段により撮像した複数の画像の相関に基づいて、各画像からその一部を選択することにより画像間のぶれを補正するぶれ補正機能を有する撮像装置の制御方法であって、
前記撮像手段を露光し、所定周期で画像信号を読み出す撮像工程と、
前記所定周期で読み出された画像信号のそれぞれを１枚の画像として出力する第１の出力工程と、
前記所定周期で読み出された画像信号のうち、最新のｎ（ｎは２以上の自然数）周期分の画像信号をぶれ補正しながら加算して１枚の画像として出力する第２の出力工程と
を有することを特徴とする制御方法。
測光工程と、
前記第１の出力工程で画像を出力するか、もしくは前記第２の出力工程で画像を出力するかを前記測光工程の結果により切り換える切り換え手段と
を更に有することを特徴とする請求項９に記載の制御方法。
前記第２の出力工程では、前記測光工程における測光の結果に応じて、前記ｎを決定することを特徴とする請求項９または１０に記載の制御方法。
前記撮像工程では、プログレッシブ読み出しを行うことを特徴とする請求項９乃至１１のいずれかに記載の制御方法。
前記撮像工程ではインターレース読み出しを行い、
前記撮像工程においていずれか一方のフィールドの画像信号を前記所定周期で読み出すように制御する制御工程と、
１所定周期おきに前記第２の出力工程で出力される画像信号に基づいて他方のフィールドの画像信号を生成する生成工程と、
前記第２の出力工程で出力される画像信号と、前記生成工程で生成した画像信号とを前記所定周期で交互に出力する第３の出力工程と
を更に有することを特徴とする請求項９乃至１２のいずれかに記載の制御方法。
前記撮像装置のぶれ量を検出するぶれ量検出工程を有し、
前記ぶれ量検出工程で検出されたぶれ量に応じて、前記各画像から選択する部分を決定することを特徴とする請求項９乃至１３のいずれかに記載の制御方法。
前記ぶれ量検出工程では、角速度センサ用いてぶれ量を検出することを特徴とする請求項１４に記載の制御方法。
前記ぶれ量検出工程では、前記複数の画像間における動きベクトルを検出することでぶれ量を検出することを特徴とする請求項１４に記載の制御方法。
請求項９乃至１６のいずれかに記載の制御方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
請求項１７に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。