JP2020184698A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】ユーザの意図に合ったタイミングでの静止画撮影と、静止画撮影時の安定した動画表示とを両立させることが可能な撮像装置を提供すること。【解決手段】撮像装置は、動画撮影のための撮像素子の駆動期間である第１の駆動期間に、静止画撮影のための撮像素子の駆動期間である第２の駆動期間が重複する場合、静止画撮影が単写もしくは連写の１枚目であれば第２の駆動期間の開始タイミングを変更しない。一方、静止画撮影が連写の２枚目以降である場合、撮像装置は動画表示を優先して第２の駆動期間の開始タイミングを変更する。【選択図】図２

Description

本発明は撮像装置およびその制御方法に関し、特に動画撮影中の静止画撮影が可能な撮像装置およびその制御方法に関する。

デジタルカメラや、カメラ機能を備えた電子機器（以下、まとめて撮像装置と呼ぶ）には、ライブビュー（ＬＶ）機能を有するものがある。ＬＶ機能は、動画撮影と、その撮影で得られた動画の表示とを並行して実行することにより、動画を表示する表示装置をファインダーとして機能させる。ユーザは、ＬＶ機能により表示される動画像により、記録を行う静止画や動画の撮影範囲を調整することができる。

通常、静止画データと動画データとは解像度などが異なるため、撮像センサの動作も静止画撮影時と動画撮影時とで異なる。動画撮影と静止画撮影とに同じ撮像センサを用いる場合には、撮影する画像の種類に応じて撮像センサの動作を切り替える必要がある。静止画撮影のタイミングによっては、動画撮影を中断する必要があり、その場合にはライブビュー表示が中断したり、表示画像の更新頻度が低下したりする。

特許文献１には、フル解像度のフレームと、より低い解像度のフレームとを規則的な順序で撮像素子から読み出して動画を取得しつつ、静止画撮影の指示があった場合には、直近のフル解像度のフレームを静止画として出力する方法が開示されている。

特開２０１８−０３８０８８号公報

特許文献１に開示されているように、撮影中の動画の１フレームを静止画として抽出することで、動画撮影が静止画撮影によって中断したり、動画の更新頻度が低下したりすることを抑制できる。しかし、フル解像度のフレームが直近に撮影されたタイミングと静止画撮影の指示の入力タイミングとの差により、ユーザの意図した静止画が得られない場合がある。また、動画撮影時には解像度の異なる２種類の読み出しを例えば１フレームごとに切り替えながら実施する必要がある。そのため、撮像素子の読出制御や、表示用画像データの生成処理が複雑になるという問題もある。

本発明は、このような従来技術の課題に鑑みてなされたもので、ユーザの意図に合ったタイミングでの静止画撮影と、静止画撮影時の安定した動画表示とを両立させることが可能な撮像装置およびその制御方法の提供を目的とする。

上述の目的は、撮像素子と、動画撮影のための撮像素子の駆動期間である第１の駆動期間に、静止画撮影のための撮像素子の駆動期間である第２の駆動期間が重複する場合に、第２の駆動期間の開始タイミングを変更する制御手段を有し、制御手段は、動画撮影および動画表示を行いながら静止画撮影を行う場合、静止画撮影が単写もしくは連写の１枚目である場合には第２の駆動期間の開始タイミングを変更せず、静止画撮影が連写の２枚目以降である場合には動画表示を優先して第２の駆動期間の開始タイミングを変更する、ことを特徴とする撮像装置によって達成される。

本発明によれば、ユーザの意図に合ったタイミングでの静止画撮影と、静止画撮影時の安定した動画表示とを両立させることが可能な撮像装置およびその制御方法を提供できる。

実施形態に係る撮像装置の機能構成例を示すブロック図 実施形態における動画撮影中の静止画撮影時の動作に関するタイミングチャート 実施形態における動画撮影中の静止画撮影時の動作に関するフローチャート 図２の一部を示すタイミングチャート 図２の一部を示すタイミングチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下の実施形態では本発明をデジタルカメラのような撮像装置に適用した例について説明する。しかし、本発明は１つの撮像センサを用いて動画撮影中に静止画撮影可能な撮像機能を有する任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

図１は本発明に係る撮像装置の一例としてのデジタルカメラ１の機能構成例を示すブロック図である。
撮像素子１００は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、光電変換部を有する画素が複数配列されている。撮像素子１００は、撮像レンズ１２０が撮像面に形成する光学像を複数の画素で電気信号に変換し、複数の画素データから構成される画像データを生成する。撮像素子１００が生成した画像データは、データ転送部１０５を介して一時記憶部（バッファメモリ）１０７に書き込まれるほか、画像縮小部１１０に供給される。

画像縮小部１１０は、撮像素子１００が出力する画像データを縮小し、ライブビュー（ＬＶ）表示用の解像度を有する縮小画像データを生成する。画像縮小部１１０が生成した縮小画像データは、データ転送部１０５を介して一時記憶部１０７へ書き込まれる。

記録画像処理部１０１は、静止画データを生成するための画像処理ブロックである。記録画像処理部１０１は、一時記憶部１０７に記憶された画像データに対してさまざまな画像処理を適用して静止画データを生成する。記録画像処理部１０１が画像データに適用する画像処理には、前処理、色補間処理、補正処理、データ加工処理などが含まれる。前処理には、ノイズ低減、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、撮像レンズ１２０の光学系の収差を補正する処理、色を補正する処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。なお、これらは記録画像処理部１０１が実施可能な画像処理の例示であり、記録画像処理部１０１が実施する画像処理を限定するものではない。記録画像処理部１０１は、生成した静止画データを一時記憶部１０７に書き込む。

表示画像処理部１０９は、画像縮小部１１０が生成して一時記憶部１０７に書き込まれた縮小画像データに対して様々な画像処理を適用してライブビュー画像データを生成する。基本的に表示画像処理部１０９は記録画像処理部１０１と同様の画像処理を縮小画像データに適用してライブビュー画像データを生成する。しかし、ライブビュー画像は動画データであり、各フレームに対して処理を行う必要があるため、記録画像処理部１０１よりも簡易かつ高速な方法で画像処理を適用する。

表示画像処理部１０９は、生成したライブビュー画像データを、データ転送部１０５を介して表示部１０２に出力する。なお、本実施形態では、静止画用の画像処理部と表示用（動画用）の画像処理部とを別個の構成とした。しかし、１つの画像処理部を用いて、記録用の静止画データとライブビュー表示用の動画データを生成してもよい。例えば、ライブビュー画像の生成処理を行わない期間に静止画データの生成処理を行うことにより、１つの画像処理部により動画データと静止画データとを生成してもよい。

なお、表示画像処理部１０９は、縮小画像データもしくは生成したライブビュー画像データに対して検出処理や評価値算出処理を適用してもよい。検出処理は、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などである。また、評価値算出処理は、位相差ＡＦ（自動焦点検出）用の１対の像信号、コントラストＡＦ用の評価値、自動露出制御（ＡＥ）に用いる評価値など、制御部１０４が用いる評価値を算出する処理である

表示部１０２は、データ転送部１０５を介して一時記憶部１０７からライブビュー画像データを受け取る。表示部１０２は、ライブビュー画像データに対し、表示デバイス１０３に表示するための加工処理を必要に応じて適用する。加工処理には例えば表示デバイスの表示画面とライブビュー画像のアスペクト比が異なる場合の縁部の処理（レターボックス処理など）がある。また、撮影時間などの補助情報を合成する処理、ＯＳＤ画像などのＧＵＩ画像の合成や、信号形式の変換なども加工処理に含まれる。

表示部１０２は、必要な加工処理を適用したライブビュー画像データを、表示デバイス１０３に出力する。表示デバイス１０３は、例えば、ＬＣＤ(Liquid Crystal Display)やＯＬＥＤ(Organic Light Emitting Diode)ディスプレイである。ライブビュー画像データ（動画データを）表示する表示デバイス１０３は、電子ビューファインダー（ＥＶＦ）として機能する。

撮影指示部１１１は、ユーザが静止画撮影の指示をデジタルカメラ１に与えるための入力部材である。撮影指示部１１１はデジタルカメラ１に設けられたレリーズボタンでもよいし、リモコンなど他の入力部材であってもよい。撮影指示部１１１を通じたユーザ指示は制御部１０４によって検出される。

制御部１０４は、ＣＰＵを有し、例えばＲＯＭ１１３に記憶されたプログラムをＲＡＭ１１２に読み込んで実行する。なお、ＣＰＵの代わりにプログラマブルプロセッサであるＦＰＧＡ（field-programmable gate array）を用いてもよい。制御部１０４は、各機能ブロックの動作を制御することにより、デジタルカメラ１の機能を実現する。ＲＯＭ１１３は例えば書き換え可能な不揮発性メモリであり、制御部１０４のＣＰＵが実行可能なプログラム、設定値、ＧＵＩデータなどを記憶する。ＲＡＭ１１２は、制御部１０４のＣＰＵが実行するプログラムを読み込んだり、プログラムの実行中に必要な値を保存したりするために用いられる。後述する、撮像素子１００からの読み出し動作の制御も制御部１０４が主体となって行う。

データ転送部１０５は例えば複数のＤＭＡ(Direct Memory Access)コントローラ（ＤＭＡＣ）で構成される。各種の画像データは、ＤＭＡＣにより、バス１０６を介して一時記憶部１０７に一時記憶される。また、一時記憶部１０７に記憶された画像データは、ＤＭＡＣによってバス１０６に読み出され、データ転送部１０５に接続されている各部へ供給される。

バス１０６は、例えば独立したシステムバスとデータバスとを有する。バス１０６に接続された機能ブロックは、双方向の通信が可能である。
一時記憶部１０７は、メモリ制御部とメモリから構成され、制御部１０４またはデータ転送部１０５の指示に応じて、メモリにデータを書き込んだり、メモリからデータを読み出して出力する。一時記憶部１０７は、動画データや静止画データのバッファとしても用いられる。

記録部１０８は、記録画像処理部１０１が生成した記録用の静止画データや動画データを、制御部１０４の制御に従ってメモリカードなどの記録媒体に記録する。また、記録部１０８は、制御部１０４の制御に従って、記録媒体に記録された画像データを読み出して出力する。制御部１０４は、読み出した画像データを一時記憶部１０７に記憶する。

図２は、ライブビュー（ＬＶ）表示（動画表示）を行いながら静止画撮影を行う場合の撮影ならびに表示動作のタイミング制御を模式的に示した図である。横軸が時間軸であり、図面左から右方向に時間が進む。ここでは、静止画撮影の指示が連続的に入力される連写撮影の場合を示している。

撮像表示Ｖ同期は、撮像素子１００からＬＶ画像の露光およびデータ読み出しを開始するタイミングを示す垂直同期信号の出力タイミングを示している。垂直同期信号は、ＬＶ画像（動画）のフレームレートに応じた周期Ｔ１で出力される。

静止画同期は、撮像素子１００で静止画データを読み出すタイミングを示す信号である。制御部１０４は、撮影指示部１１１から静止画撮影の指示が入力されている間、所定のタイミングで静止画同期信号を生成する。本実施形態では、最初に静止画撮影の指示を検出すると、制御部１０４は一定時間（レリーズタイムラグ）後に静止画同期信号を出力する。その後、静止画撮影の指示が連続して入力されている場合、制御部１０４は予め定められた基本周期で静止画同期信号を出力する。ただし、後述するように、ＬＶ表示用の動画撮影のタイミングに応じて、２回目以降の静止画同期信号の出力周期は基本周期から変更される場合がある。図２では、Ｔ５が基本周期、Ｔ４が変更された周期を示している。

センサ出力画像は、撮像素子１００において撮像および画像データ（ＬＶ画像データ、静止画データ）の読み出しが行われる期間と、ＬＶ画像（動画）読み出しと静止画読み出しとを切り替える期間（読み出しモード切り替え期間）を示している。表示１〜表示１０がＬＶ画像の撮像および読み出し期間（動画駆動期間または第１の駆動期間）、静止画１〜静止画３が静止画の撮像および読み出し期間（静止画駆動期間または第２の駆動期間）を示す。また、２０１および２０２は撮像素子１００の駆動モード切り替え期間を示す。２０１はＬＶ画像（動画）取得用の駆動モード（動画モード）から静止画取得用の駆動モード(静止画モード）への切り替え期間、２０２は静止画モードから動画モードへの切り替え期間を示す。撮像素子１００の駆動モードの切り替えは、例えば制御部１０４が撮像素子１００の設定を変更することによって行う。

表示用の動画であるＬＶ画像と、記録用の静止画とは、解像度や露光時間が異なる。特に、ＬＶ画像の解像度は静止画データの解像度より低いため、読み出す画像データの量が少ない。そのため、動画駆動期間は静止画駆動期間よりも短い。なお、表示１〜表示６のうち、表示２、６で示す動画駆動期間には実際にはＬＶ画像データの読み出しが行われないため、斜線が付されている。

表示画像処理は、表示画像処理部１０９における画像処理期間を示す。表示１、３、４、５、７、８、９、１０、および静止画２は、処理の対象となるセンサ出力画像を示している。画像処理期間は、撮像素子１００から読み出された画像データが一時記憶部１０７を介して表示画像処理部１０９に供給され、画像処理後に再び一時記憶部１０７に記憶されるまでの期間である。

なお、ＬＶ画像に関しては、１画面分の画像データが全て一時記憶部１０７に記憶されるのを待たずに表示画像処理部１０９への供給が開始される。なお、データ転送部１０５は、一時記憶部１０７に記憶された画像データのみを表示画像処理部１０９や記録画像処理部１０１に供給する。一時記憶部１０７に記憶されずに表示画像処理部１０９や記録画像処理部１０１に供給される画像データはない。

２０３で示す表示６は、静止画２に基づいて生成される。より具体的には、静止画２の期間に撮像素子１００から読み出された静止画データは、もとの解像度のまま一時記憶部１０７に記憶されるほか、画像縮小部１１０により縮小された縮小画像についても一時記憶部１０７に記憶される。そして、縮小画像データが表示画像処理部１０９に供給され、表示６に相当するライブビュー画像が生成される。

なお、静止画データからライブビュー画像データを生成する場合、画像縮小部１１０で縮小する代わりに、表示画像処理部１０９で縮小してもよい。この場合、一時記憶部１０７には静止画データのみが記憶され、表示画像処理部１０９にも静止画データが共有される。なお、表示画像処理において表示６の期間が長いのは、静止画データの読み出しに要する時間が動画データの読み出しよりも長いからである。

記録画像処理は、記録画像処理部１０１における画像処理期間を示す。静止画１、２、３は、処理の対象となるセンサ出力画像を示している。画像処理期間は、撮像素子１００から読み出された画像データが一時記憶部１０７を介して表示画像処理部１０９に供給され、画像処理後に再び一時記憶部１０７に記憶されるまでの期間である。

静止画に関しては、撮像素子１００から読み出された１画面分の静止画データが一時記憶部１０７に全て記憶されてから記録画像処理部１０１への供給が開始される。ただし、これは必須でなく、ライブビュー画像と同様、撮像素子１００から一時記憶部１０７への記憶動作と、一時記憶部１０７から記録画像処理部１０１への供給動作とを並行して実施してもよい。

表示Ｖ同期は、表示デバイス１０３の垂直同期信号である。なお、撮像表示Ｖ同期に対する表示Ｖ同期の遅れを短くすることにより、ライブビュー表示のリアルタイム性が向上する。

表示は、表示デバイス１０３における表示期間と、表示される画像を示している。なお、最初の２フレームがいずれも表示１の画像なのは、表示２に相当するライブビュー画像データが表示画像処理で生成されないためである。また、表示６（静止画２）は、ライブビュー画像の６フレーム目が、静止画２に基づいて生成されていることを示している。

本実施形態では、静止画の撮影指示が入力されていない状態において入力が検出されると、予め定められたレリーズタイムラグＴ０を延長することなく静止画撮影を実施する。レリーズタイムラグＴ０後に開始する静止画駆動期間が動画駆動期間と重複する場合であっても、静止画撮影を優先する。したがって、単写もしくは連写の１枚目の撮影においてはレリーズタイムラグが常にＴ０であり、ユーザの意図したタイミングでの撮影が実現できる。

その後、撮影指示の入力が継続して検出されていると、制御部１０４は連写と判断する。そして、制御部１０４は、予め定められた基本周期Ｔ５に従って次の静止画撮影のタイミングを予定する。基本周期Ｔ５に従って決定した静止画駆動期間が動画駆動期間と重複する場合、制御部１０４は、静止画から生成するライブビュー画像がライビュー画像の更新タイミングに間に合うように静止画撮影の開始タイミングを調整する。このように、連写の２枚目以降の静止画撮影に関しては、ライブビュー画像が一定の更新頻度で表示されることを優先して撮影のタイミングを調整する。

図３は、図２のタイミングチャートに示した制御を行うための制御部１０４の動作に関するフローチャートである。制御部１０４は、このフローチャートに示す動作を、ライブビュー表示中に撮影指示部１１１を通じた静止画の撮影指示の入力が検出されたことに応じて実行する。

Ｓ３０１で制御部１０４は、表示画像処理部１０９がライブビュー画像データに基づいて生成した評価値を用いた自動露出（ＡＥ）および自動焦点検出（ＡＦ）処理を実行する。制御部１０４はＡＥ処理により静止画撮影時の露出条件を決定する。また、制御部１０４は、ＡＦ処理により撮像レンズ１２０を焦点検出領域に合焦させる。
Ｓ３０２で制御部１０４は、Ｓ３０１で決定した露出条件を絞りやシャッターの駆動制御回路に設定する。なお、撮影指示に先立って撮影準備指示が入力される場合、Ｓ３０１とＳ３０２の処理は撮影準備指示の入力を検出した際に実行してもよい。

Ｓ３０３で制御部１０４は、撮像素子１００の駆動モードを動画モードから静止画モードに切り替える。この駆動モード切り替えに要する期間が、図２における２０１の期間に該当する。なお、制御部１０４は、駆動モードの切り替えが、並行して実施している表示２の動画駆動期間中に実行されることから、表示２に相当するＬＶ画像の生成を中止し、全フレーム（表示１）のＬＶ画像を繰り返し表示することを決定する。

Ｓ３０４で制御部１０４は、撮影指示の入力からレリーズタイムラグＴ０後に、Ｓ３０３で求めた露出条件に従った１枚目の静止画撮影処理を実行する。撮影によって得られた静止画データは、上述したように記録画像処理部１０１によって処理されて一時記憶部１０７に一時記憶される。

Ｓ３０５で制御部１０４は、静止画撮影が連写か否かを判定する。制御部１０４は２００（図２）で入力され始めた撮影指示が継続して入力されている場合には、静止画撮影を継続して実行する（連写である）と判定し、処理をＳ３０６に進める。一方、Ｓ３０５の時点で撮影指示の入力が無くなっていれば、制御部１０４は静止画撮影が単写であると判定し、処理をＳ３２２へ進める。

Ｓ３０６で制御部１０４は、基本周期Ｔ５に基づく次の静止画駆動期間までに動画撮影が可能であるか否かを判定する。具体的には、制御部１０４は、次の動画駆動期間の終了時刻が次の静止画駆動期間の開始時刻より早ければ、動画撮影が可能と判定し、早いと判定されれば処理をＳ３０７へ、判定されなければＳ３１３へ処理を進める。

図４は、図２のタイミングチャートの最初から、表示６のＬＶ画像が表示されるまでの期間を抜き出したものである。ここで、Ｔ０はレリーズタイムラグ、Ｔ１は動画駆動期間の周期（フレーム周期）、Ｔ２は動画駆動期間の長さ、Ｔ６は撮影指示の入力時点から最初の表示Ｖ同期信号から静止画同期信号までの時間である。また、Ｔ５は静止画連写時の基本周期、Ｔ７は静止画駆動期間の長さである。撮影指示の入力時点以降のセンサ出力画像の動画フレーム番号をｍ、静止画フレーム番号をｎ（ｍ、ｎは２以上の整数）とすると、撮影指示の入力時点を起点とした、駆動期間の開始、終了時刻は以下のように表記できる。
フレーム番号ｍの動画駆動期間（表示ｍ）の開始時刻：（Ｔ０−Ｔ６）＋ｍＴ１
フレーム番号ｍの動画駆動期間（表示ｍ）の終了時刻：（Ｔ０−Ｔ６）＋ｍＴ１＋Ｔ２
フレーム番号ｎの静止画駆動期間（静止画ｎ）の開始時刻：Ｔ０＋ｎＴ５
フレーム番号ｎの静止画駆動期間（静止画ｎ）の終了時刻：Ｔ０＋ｎＴ５＋Ｔ７

したがって、制御部１０４は、次のフレーム番号ｍ、ｎについて、以下の（式１）が成立するか否かによってＳ３０６における判定を行うことができる。
ｎＴ５＞ｍＴ１−Ｔ６＋Ｔ２ （式１）
なお、連写時の撮影間隔に相当する基本周期Ｔ５は、ユーザが設定可能であってよい。

Ｓ３０７で制御部１０４は、撮像素子１００の駆動モードを静止画モードから動画モードに切り替える。
Ｓ３０８で制御部１０４は、例えば直近に撮影したＬＶ画像について表示画像処理部１０９で生成された評価値を取得する。なお、直近に静止画が撮影されている場合、制御部１０４は静止画データに基づいて評価値を生成してもよい。
Ｓ３０９で制御部１０４は、Ｓ３０８で取得した評価値に基づいて次の動画撮影の露出値を決定する、また必要に応じて撮像レンズの合焦位置を調整する。

Ｓ３１０で制御部１０４は、Ｓ３０８で決定した露出条件に従って、絞りと、撮像素子１００の露光期間とを制御し、ＬＶ画像を撮像する。
Ｓ３１１で制御部１０４は、ＬＶ画像データを表示画像処理部１０９で画像処理させた後、表示部１０２を介して表示デバイス１０３に表示させる。

Ｓ３１２で制御部１０４は、Ｓ３０６と同様の判定を行い、次の静止画駆動期間までにさらなる動画撮影が可能であるか否かを判定する。動画撮影が可能と判定されればＳ３０８から再度実行し、可能と判定されなければ処理をＳ３１３に進める。図４に示す例では、表示５の動画駆動期間が行われるまで、制御部１０４はＳ３０８からＳ３１２を繰り返し実行する。

Ｓ３１３で制御部１０４は、基本周期Ｔ５に基づく次の静止画駆動期間が、次の動画駆動期間と重複していないか否かを判定する。具体的には、まずＳ３１３で制御部１０４は、次の静止画駆動期間の終了時刻が次の動画駆動期間の開始時刻より早いか否かを判定し、早いと判定されればＳ３１４へ進め、早いと判定されなければＳ３１６へ処理を進める。図４に示す例において、制御部１０４は、次のフレーム番号ｍ、ｎについて、以下の（式２）が成立するか否かによってＳ３１３における判定を行うことができる。
ｎＴ５＋Ｔ７＜ｍＴ１−Ｔ６ （式２）

Ｓ３１４を実行するのは、基本周期Ｔ５に基づく次の静止画駆動期間が、次の動画駆動期間より早く終了する場合である。この場合、基本周期Ｔ５に基づく次の静止画駆動期間は次の動画駆動期間と重複しないため、静止画駆動期間の開始タイミングを調整する必要はない。したがって、制御部１０４は撮像素子１００の駆動モードを動画モードから静止画モードに切り替える。

Ｓ３１５で制御部１０４は、静止画撮像処理を実行し、処理をＳ３２０に進める。ここでは、連写時の２枚目以降の撮影では１枚目の露出条件と合焦距離を用いるものとする。しかし、２枚目以降についても露出条件や合焦距離を調整する場合には、Ｓ３０１、Ｓ３０２と同様に処理することができる。

Ｓ３１６で制御部１０４は、基本周期Ｔ５に基づく次の静止画駆動期間の終了時刻が、次の動画駆動期間の終了時刻と同じまたは早いか否かを判定する。制御部１０４は、同じまたは早いと判定されればＳ３１７へ、判定されなければＳ３１８へ、処理を進める。

図５は、図２のタイミングチャートの最初から、表示６のＬＶ画像が表示されるまでの期間を抜き出したものである。この場合、制御部１０４は以下の（式３）が成立するか否かによってＳ３１６における判定を行うことができる。
ｎＴ５＋Ｔ７≦ｍＴ１−Ｔ６＋Ｔ２ （式３）
あるいは、例えば表示５の動画駆動期間の開始時刻にＳ３１６を実行する場合、直前の表示Ｖ同期信号から次の静止画同期信号までの時間をＴ１４とすると、制御部１０４は以下の（式３’）が成立するか否かによってＳ３１６における判定を行うことができる。
Ｔ１≧Ｔ１４ （式３’）

式３が成立する場合、静止画駆動期間が重複している動画駆動期間に対応するＬＶ画像を、静止画に基づいて生成する。静止画からＬＶ画像を生成する場合、動画フレームからＬＶ画像を生成するよりも時間を要する。そのため、更新タイミングにＬＶ画像の生成が間に合うように、静止画駆動期間を前にずらす（開始時刻を早める）。

Ｓ３１７で制御部１０４は、次の静止画駆動期間の開始時刻を早めるように調整する。具体的には、制御部１０４は、次の静止画駆動期間で得られる静止画データからＬＶ画像を生成する表示画像生成処理（図５の２０３）が、生成したＬＶ画像を表示すべき表示Ｖ同期より前に完了するように、次の静止画駆動期間の開始時刻を調整する。静止画データの読み出し開始から表示画像生成処理が開始されるまでの時間をＴＡ、表示画像生成処理に要する時間をＴＢとすると、対象とする表示Ｖ同期の時刻より（ＴＡ＋ＴＢ）以上前に静止画駆動期間が開始するように調整すればよい。そして、ＴＡ，ＴＢはいずれも予め求めておくことができる。縮小に要する時間は、縮小を画像縮小部１１０で行う場合にはＴＡに、表示画像処理部１０９で行う場合にはＴＢに含める。したがって、制御部１０４は、基本周期Ｔ５に基づく次の静止画駆動期間の開始時刻を、静止画データに基づくＬＶ画像を表示すべき表示Ｖ同期の時刻より（ＴＡ＋ＴＢ）以上前になるように調整する。

例えば図５の例であれば、Ｔ１１が上述のＴＡ＋ＴＢに相当する。したがって制御部１０４は、対象とする表示Ｖ同期の時刻をＳ２より（ＴＡ＋ＴＢ）以上早い時刻に次の静止画駆動期間（静止画２）の開始時刻Ｓ１を調整すればよい。表示５の撮像表示Ｖ周期を起点とした場合、次の静止画駆動期間（静止画２）は、基本周期に基づいた場合にはＴ１４後の時刻Ｓ０に開始するが、Ｔ１３後の時刻Ｓ１に開始するように調整される。

式３が成立しない場合、静止画駆動期間を後にずらす（開始時刻を遅くする）ことにより、動画駆動期間と静止画駆動期間が重複しないようにする。これにより、静止画の撮影タイミングが基本周期Ｔ５で定まるタイミングよりも若干遅れることになるが、ＬＶ画像の生成を通常通り行うことができる。

Ｓ３１８で制御部１０４は、次の静止画駆動期間の開始時刻を遅くするように調整する。具体的には、制御部１０４は、次の静止画駆動期間の開始時刻を次の動画駆動期間の終了後になるように調整する。静止画駆動期間の前には撮像素子の駆動モードを変更する必要がある。そのため、制御部１０４は、静止画駆動期間が終了し、モード切替期間が経過した以降の時刻に、次の静止画駆動期間の開始時刻を調整する。なお、開始時刻は、調整後の静止画駆動期間が動画駆動期間に重複しないように決定する。基本周期Ｔ５で定まる開始時刻からの遅れを最小とするには、調整後の開始時刻を、次の動画駆動期間の終了時刻からモード切替期間が経過した時刻とする。例えば図５において、動画駆動期間（表示５）の開始時にＳ３１８を実施する場合、制御部１０４は、調整後の開始時刻Ｓ１を、Ｔ１＋Ｔ２＋Ｔ８経過後の時刻とする。

Ｓ３１９で制御部１０４は、静止画撮像処理を実行し、処理をＳ３２０に進める。
Ｓ３２０で制御部１０４は、記録画像処理部１０１で生成された、静止画データの縮小画像を表示デバイス１０３に表示させる。

Ｓ３２１で制御部１０４は、Ｓ３０５と同様にして、静止画撮影が連写か否かを判定する。制御部１０４は撮影指示が継続して入力されている場合には、静止画撮影を継続して実行する（連写である）と判定し、処理をＳ３０６に戻す。一方、撮影指示の入力が無くなっていれば、制御部１０４は静止画撮影の連射が終了したと判定し、処理をＳ３２２へ進める。

Ｓ３２２で制御部１０４は撮像素子１００の駆動モードを静止画モードから動画モードに切り替え、静止画撮影処理を終了する。

以上説明したように、本実施形態によれば、ライブビュー画像のような動画像の撮影中に静止画を撮影する場合に、静止画撮影が単写もしくは連写の１枚目についてはレリーズタイムラグを一定とすることができる。そのため、ユーザの意図したタイミングでの静止画撮影が可能になる。一方、静止画撮影が連写の場合、２枚目以降は動画像の更新を優先するように静止画撮影のタイミングを変更するようにした。そのため、動画像の表示が中断したり、動画像の更新頻度が低下したりすることがなく、静止画撮影中も安定した動画像の表示が可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１００…撮像素子、１０１…記録画像処理部、１０４…制御部、１０９…表示画像処理部、１１０…画像縮小部、１１１…撮影指示部

Claims (10)

1. 撮像素子と、
   動画撮影のための前記撮像素子の駆動期間である第１の駆動期間に、静止画撮影のための前記撮像素子の駆動期間である第２の駆動期間が重複する場合に、前記第２の駆動期間の開始タイミングを変更する制御手段を有し、
   前記制御手段は、動画撮影および動画表示を行いながら静止画撮影を行う場合、前記静止画撮影が単写もしくは連写の１枚目である場合には前記第２の駆動期間の開始タイミングを変更せず、前記静止画撮影が連写の２枚目以降である場合には前記動画表示を優先して前記第２の駆動期間の開始タイミングを変更する、ことを特徴とする撮像装置。
2. 前記制御手段は、前記静止画撮影が連写の２枚目以降であり、前記第２の駆動期間が、重複している前記第１の駆動期間よりも早く終了する場合には、前記第２の駆動期間を早めることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第２の駆動期間が重複している前記第１の駆動期間に対応する動画フレームを、前記第２の駆動期間で得られた静止画から生成して表示できるように前記第２の駆動期間を早めることを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記静止画撮影が連写の２枚目以降であり、前記第２の駆動期間が、重複している前記第１の駆動期間よりも遅く終了する場合には、前記第２の駆動期間を遅らせることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第２の駆動期間が前記第１の駆動期間に重複しないように前記第２の駆動期間を遅らせることを特徴とする請求項４に記載の撮像装置。
6. 前記静止画撮影が連写である場合、１枚目の撮影から予め定められた周期ごとに２枚目以降の撮影のタイミングが予定され、前記制御手段は、前記第２の駆動期間の開始タイミングを変更することにより、前記予定された撮影のタイミングを変更することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記予め定められた周期がユーザによって設定可能であることを特徴とする請求項６に記載の撮像装置。
8. 前記動画撮影が、ライブビュー表示を行うための動画撮影であることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 撮像素子を有する撮像装置の制御方法であって、
   制御手段が、動画撮影のための前記撮像素子の駆動期間である第１の駆動期間に、静止画撮影のための前記撮像素子の駆動期間である第２の駆動期間が重複する場合に、前記第２の駆動期間の開始タイミングを変更する制御工程を有し、
   前記制御工程において前記制御手段は、動画撮影および動画表示を行いながら静止画撮影を行う場合、前記静止画撮影が単写もしくは連写の１枚目である場合には前記第２の駆動期間の開始タイミングを変更せず、前記静止画撮影が連写の２枚目以降である場合には前記動画表示を優先して前記第２の駆動期間のタイミングを変更する、ことを特徴とする撮像装置の制御方法。
10. 撮像装置が有するコンピュータを、請求項１から８のいずれか１項に記載の撮像装置が有する、撮像素子を除いた各手段として機能させるためのプログラム。

Images