JP7478006B2 - 撮像装置及びその制御方法、プログラム - Google Patents

Description

本発明は、撮像装置において、ライブビュー画像を表示する技術に関する。

従来、デジタルカメラ等の撮像装置では、画像を生成するために、被写体からの光を撮像面上に結像させた状態で撮像素子の露光を行う。そして、例えば、装置背面に設けられたモニタに、撮影により得られた画像をライブビュー（ＬＶ）画像としてリアルタイムに表示させる機能を備えている。また、撮影を行う際に、適切な露光量となるように露出条件を制御する機能が備えられているのが一般的である。

低輝度環境下における露出条件の制御機能の一つに、撮影時のフレームレートを下げることで露光可能な時間を延ばす機能がある。この機能は、適切な明るさを取得できる一方で、上記のようなライブビュー表示において、表示フレームレートの低下を引き起こし、被写体の追従性が低下するという問題がある。

この問題を解決する一つの方法として、任意のフレームレートで適正露出を保った表示を行うために、一定の時間間隔で撮像した画像を合成し、その合成画像を表示する手法が知られている。特許文献１には、露光可能時間以上の露光時間が必要な場合でもフレームレートを下げず、過去に撮像した連続する複数のフレームを合成することにより、所望の露光時間相当の画像となる合成画像を生成し、それを表示する技術が開示されている。

特開２０１９－９２０１８号公報

しかしながら、特許文献１で提案されている技術では、合成に用いる画像数を変化させる場合については言及されていない。したがって、特許文献１で提案されている技術では、例えば、合成する画像数の変更に伴う処理時間の増加や回路の複雑化に対する対策には何ら言及されていない。また、合成する画像数の変更に伴って映像が不自然に表示されることへの対策についても何ら言及されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、複数の画像を合成してライブビュー表示を行う場合でも、表示フレームレートを確保しつつ、違和感のない表示を行うことである。

本発明に係わる撮像装置は、撮像手段と、記憶手段と、前記撮像手段を用いて生成された複数の画像を合成できる合成手段と、表示用の画像を生成する第１の制御と第２の制御とを切り替える切り替え手段であって、前記撮像手段により生成された画像と、過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像と、を用いて表示用の合成画像を生成する第１の制御と、過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像と、を用いて予備的な合成画像を生成する第１の動作と、前記撮像手段により生成された画像と、過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像または前記予備的な合成画像と、を用いて表示用の合成画像を生成する第２の動作とを交互に行う第２の制御と、を撮像装置の状態に応じて切り替える切り替え手段と、を備えることを特徴とする。

本発明によれば、複数の画像を合成してライブビュー表示を行う場合でも、表示フレームレートを確保しつつ、違和感のない表示を行うことが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 第１の実施形態における撮像素子の概略構成を示す図。 第１の実施形態における低輝度環境下のライブビュー動作を説明するフローチャート。 第１の実施形態における画像の合成方法の概要図。 第２の実施形態における低輝度環境下のライブビュー動作を説明するフローチャート。 第２の実施形態における画像の合成方法の概要図。 第２の実施形態における次合成用画像の合成方法の概要図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、例えば、動画像または静止画像を撮像可能なデジタルカメラであるが、これに限られるものではない。例えば監視カメラや、スマートフォン等の携帯機器や、車載カメラ等の移動体にも適用可能である。

図１において、レンズ部１０１は、撮像光学系を構成する複数のレンズを備える。レンズ部１０１は、カメラ本体部に装着可能な交換レンズ、またカメラ本体部に一体化されたレンズユニットである。レンズ駆動部１０２は、撮像光学系を構成する可動レンズ（ズームレンズ、フォーカスレンズ等）を駆動する。メカニカルシャッタ（図にはメカシャッタと表記する）１０３は露光時間の制御に用いられ、絞り１０４は露光量の制御に用いられる。メカニカルシャッタ・絞り駆動部（図にはシャッタ・絞り駆動部と表記する）１０５は、メカニカルシャッタ１０３および絞り１０４を駆動することによって撮像素子１０６の露出状態を制御する。なお、露光量を制御するための手段としてＮＤフィルタ等の光学フィルタを設ける構成にしてもよい。

撮像素子１０６は、撮像光学系を通して結像される被写体からの光（被写体像）を受光して光電変換を行い、電気信号を出力する。積層型構成の撮像素子の場合、撮像層と回路層とを有する。撮像信号処理回路１０７は撮像素子１０６の出力信号を処理し、処理後の画像信号を出力する。第１のメモリ部（図にはメモリ部Ｉと表記する）１０８は、撮像信号処理回路１０７が処理した画像信号等を記憶する。

全体制御演算部１０９は、撮像装置全体の制御を司る中枢部であり、ＣＰＵ（中央演算処理部）を備える。ＣＰＵは第２のメモリ部（図にはメモリ部ＩＩと表記する）１１４から読み出したプログラムを実行することにより、各部の動作を制御する。第２のメモリ部１１４は、撮像装置全体を制御するプログラムを記憶している不揮発性メモリ部（ＲＯＭ）と、プログラムの展開等に用いられる揮発性メモリ部（ＲＡＭ）を有する。第２のメモリ部２１４はＣＰＵの演算結果やユーザ操作によって撮像装置に設定されたカメラ情報等も記憶する。

記録媒体制御インターフェース（Ｉ／Ｆ）部１１０は、全体制御演算部１０９の制御指令にしたがって、画像信号等を記録媒体１１２に記録し、また記録媒体１１２から情報を読み出す処理を行う。記録媒体１１２は、撮像装置の本体部に着脱可能である。

表示部１１１は、液晶表示パネル等の表示デバイスを備え、全体制御演算部１０９の制御指令にしたがって画像データ等を画面に表示する。外部インターフェース（Ｉ／Ｆ）部１１３は、コンピュータ等の外部装置との間で情報を送受し合う通信処理部である。本実施形態では撮像装置が表示部１１１を備えるが、表示手段のない撮像装置の場合には画像情報や関連情報が外部Ｉ／Ｆ部１１３を介して外部の表示装置に出力される。

操作部１１５は、スイッチやタッチパネル等の入力デバイスを備え、ユーザの操作指示を受け付けて操作指示信号を全体制御演算部１０９に出力する。全体制御演算部１０９は、操作部１１５によってユーザが設定した撮像装置の撮像モードや露出条件等に関する情報に基づいて撮像装置全体を制御する。

レンズ部１０１を通った被写体からの光は絞り１０４により適切な光量に調整され、撮像素子１０６の撮像面上に結像される。撮像素子１０６の画素部２０１（図２参照）を構成する光電変換部は被写体の光学像に対して光電変換を行い、電気信号を出力する。電気信号にはさらにゲイン制御が行われ、Ａ／Ｄ変換によってアナログ信号からデジタル信号へ変換された上でＲ、Ｇｒ、Ｇｂ、Ｂの信号として、撮像信号処理回路１０７に送られる。全体制御演算部１０９は、撮像素子１０６に蓄積された電荷をリセットするタイミングを制御することにより、電子的にも露光時間を制御することが可能である。通常は1フレームに1度リセットされるので、フレームレートを落とすことにより、より長時間の露光が可能となる。

撮像信号処理回路１０７は、撮像された画像データを用いて所定の演算処理を行う。得られた演算結果に基づいて全体制御演算部１０９が露光制御および焦点調節制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（自動焦点調節）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また、撮像信号処理回路１０７は、撮像された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。この他、撮像信号処理回路１０７は、ノイズを低減するローパスフィルタ処理や、シェーディング補正処理、ホワイトバランス処理等の各種の信号処理を行い、さらに各種の補正および画像信号の圧縮等を行う。

図２は、本実施形態における撮像素子の構成例を示す概略ブロック図である。

撮像素子１０６は、多数の画素部２０１を２次元アレイ状に配置した構成を有する。各画素部２０１に対して、垂直出力線２０２、転送信号線２０３、リセット信号線２０４、行選択信号線２０５がそれぞれ接続されている。カラムＡＤＣブロック２１１は、画素部２０１に接続された垂直出力線２０２から出力される信号に対し、Ａ（アナログ）／Ｄ（デジタル）変換した信号を出力する。行走査回路２１２は、転送信号線２０３、リセット信号線２０４、行選択信号線２０５により画素部２０１に接続される。複数の列走査回路２１３は、水平信号線２１５ａ，２１５ｂにより、複数のカラムＡＤＣブロック２１１に接続される。タイミング制御回路２１４は、カラムＡＤＣブロック２１１、列走査回路２１３にそれぞれタイミング制御信号を出力して制御を行う。

切り替え部２１６は、水平信号線２１５ａと２１５ｂによる各信号を切り替えて、パラレル・シリアル変換部（以下、Ｐ／Ｓ変換部と表記する）２１７に出力する。Ｐ／Ｓ変換部２１７は切り替え部２１６の出力を取得し、パラレル・シリアル変換を行う。Ｐ／Ｓ変換部２１７は変換した信号を外部に出力する。

画素信号の読み出し方式としては、全画素を読み出す方式、垂直方向に画素を間引いて読み出す方式、水平方向に画素を加算して読み出す方式、垂直間引き水平加算を行う方式等を適宜に選択可能である。垂直間引き水平加算方式は、垂直方向に間引き読み出しを行い、水平方向に画素を加算して読み出す方式である。本実施形態では、ライブビュー読み出しの方式には垂直間引き水平加算方式（第２の読み出しモード）を採用する。第２の読み出しモードでは、第１の画素数よりも少ない第２の画素数の画素部から画素信号が読み出される。読み出し画素数が少ないため、処理の高速化に適している。

次に、図３を参照して、本実施形態におけるライブビュー撮影の処理例について説明する。図３は、低輝度環境下のライブビュー動作において、撮像装置１００が複数フレームの画像を加算して表示を行う場合の処理を説明するフローチャートである。本実施形態では、過去に撮像した連続する複数の画像を用いて表示用の画像の合成を行う。この合成では、画像の取得時刻により合成割合の重みづけを行う。

ステップＳ３０１では、全体制御演算部１０９は、シャッタ・絞り駆動部１０５に対し、メカシャッタ１０３を開いた状態に固定し、絞り１０４を開放状態に固定するように制御する。このとき、全体制御演算部１０９は、低輝度環境下においてもフレームレートを落とさないように撮像素子１０６を制御する。たとえば、１２０ｆｐｓ（フレーム間隔８．３ｍｓｅｃ）で撮像を行う場合、適正露出を得るのに必要な露光時間が１０ｍｓｅｃであっても、全体制御演算部１０９は、撮像素子１０６の電荷リセットタイミングが８．３ｍｓｅｃ間隔になるよう制御する。その後、全体制御演算部１０９は撮像素子１０６の露光を開始する。

ステップＳ３０２では、全体制御演算部１０９は、撮像素子１０６の画像信号読み出しを、垂直間引き水平加算方式で開始する。その後、全体制御演算部１０９は、読み出した画像信号に対し、撮像信号処理回路１０７を用いて画像処理を施し、第１のメモリ部１０８に記憶させる。

ステップＳ３０３では、全体制御演算部１０９は、撮影環境の明るさに応じて必要となる露光時間と、ステップＳ３０１で設定した画像の露光時間とから、合成枚数を算出する。たとえば、ステップＳ３０２で読み出した画像の露光時間が１００μｓｅｃとする。必要な露光時間が３２０μｓｅｃの撮影環境であれば、３２０÷１００＝３．２枚以上、すなわち４枚分の露光時間を合成した合成露光時間であれば条件を満たすことができる。なお、本実施形態において、合成枚数は可能な限り少なくする。

ステップＳ３０４では、全体制御演算部１０９は、第１のメモリ部１０８と撮像信号処理回路１０７を制御して画像合成を行う。ステップＳ３０４における画像合成を概略的に説明すると、全体制御演算部１０９は、撮像信号処理回路１０７において、直前のフレーム処理時に合成した合成画像から、最も古い画像成分を除去する。その後、全体制御演算部１０９は、撮像信号処理回路１０７において、合成画像から、露出調整のために最も古い過去の画像成分を減算し、最新画像を加算する。なお、ステップＳ３０４における処理の詳細については後述する。

ステップＳ３０５では、全体制御演算部１０９は、ステップＳ３０４で撮像信号処理回路１０７から出力された合成画像をライブビュー画像として、表示部１１１が備える液晶表示パネルなどの表示デバイスの画面に表示させる。

ステップＳ３０６では、全体制御演算部１０９は、ユーザが操作部１１５により行った操作指示に基づき、ライブビュー撮影を終了するか否かを判断する。ライブビュー撮影を続行すると判断された場合、ステップＳ３０１へ戻る。ライブビュー撮影終了と判断された場合には一連の処理を終了する。

次に、図４を参照して、ステップＳ３０４の画像合成処理について説明する。図４は、本実施形態における画像合成方法について説明する図である。演算部４０１は、本実施形態における合成回路の構成例を示している。なお、本実施形態では、撮像信号処理回路１０７の一部に演算部４０１を構成した例について説明するが、演算部４０１は撮像信号処理回路１０７の一部でなくてもよい。

演算部４０１は、４つの加算器４０５～４０８と、乗算器４０９，４１０とを備えて構成される。演算部４０１は、第１のメモリ部１０８から読み出した最新画像と、過去画像と、合成画像とを入力とする。なお、最新画像とは、現フレーム処理において撮像した画像を保存したメモリ領域４０２から読み出す画像のことである。過去画像とは、一定間隔のフレーム処理において、撮像を繰り返すことで取得した画像を保存したメモリ領域４０３から読み出す画像のことである。合成画像（過去合成画像）とは、前のフレーム処理において合成した画像を保存したメモリ領域４０４から読み出す画像のことである。

本実施形態では、第１のメモリ部１０８の一部領域を、それぞれメモリ領域４０２、メモリ領域４０３、メモリ領域４０４として割り当てる。本実施形態では、直前のフレーム処理における合成枚数が４枚であった場合について説明する。

Ｅは現フレーム処理で取得した最新画像である。Ｄは１フレーム前に撮像した過去画像、Ｃは２フレーム前に撮像した過去画像、Ｂは３フレーム前に撮像した過去画像、Ａは４フレーム前に撮像した過去画像である。合成画像ａＢＣＤは直前のフレーム処理時に合成した画像である。ａとは、過去画像Ａの一定割合成分が減算された画像成分である。

演算部４０１において、加算器４０５は、メモリ領域４０４に記憶した合成画像を入力とする。演算部４０１は、スイッチ４１１を有し、ＯＮの場合は、メモリ領域４０３における過去画像Ａの保存領域を、乗算器４０９への入力として接続し、ＯＦＦの場合は接続を切る。演算部４０１は、スイッチ４１２を有し、ＯＮの場合は、メモリ領域４０３における過去画像Ｂの保存領域を、加算器４０６への入力として接続し、ＯＦＦの場合は接続を切る。演算部４０１は、セレクタ４１３を有し、乗算器４１０の入力として接続する領域を、メモリ領域４０３における過去画像Ａ、Ｂ、Ｃの保存領域から選択可能である。演算部４０１において、加算器４０８は、領域４０２に記憶した最新画像を入力とする。演算部４０１において、乗算器４０９から出力された値は加算器４０５の入力となる。演算部４０１において、乗算器４１０から出力された値は加算器４０７の入力となる。

図３のステップＳ３０４において、全体制御演算部１０９は、ステップＳ３０３の結果を用いて、合成枚数（今回のフレームの合成枚数）が直前フレームの処理（前回のフレームの合成枚数）から減少したか維持されたか増加したかを判定する。

たとえば、合成画像ａＢＣＤの合成露光時間を３２０μｓｅｃとし、成分内訳をａ：Ｂ：Ｃ：Ｄを２０：１００：１００：１００とする。現フレーム処理で必要な露光時間を２９０μｓｅｃとする。撮像間隔は一定で露光時間を１００μｓｅｃとする。このとき、２９０μｓｅｃを１００μｓｅｃで除算すると２９０÷１００＝２．９となり、ステップＳ３０３で算出される合成枚数の結果は、３枚（０．９は端数）となる。ステップＳ３０４において、全体制御演算部１０９は合成枚数減少と判定し、処理を開始する。

合成枚数減少の場合、全体制御演算部１０９は、スイッチ４１１をＯＮにし、スイッチ４１２をＯＮにし、セレクタ４１３を過去画像Ｃの領域に接続する。次に、全体制御演算部１０９は、スイッチ４１１を通って入力された過去画像Ａに対し、乗算器４０９で０．２倍率のダウンゲインをかけ画像成分ａ：２０を算出する。その後、全体制御演算部１０９は、加算器４０５で合成画像ａＢＣＤから画像成分ａを差し引き、除去する。算出された合成画像成分ＢＣＤはＢ：１００、Ｃ：１００、Ｄ：１００の計３００となる。

次に、全体制御演算部１０９は、加算器４０６で合成画像成分ＢＣＤから、スイッチ４１２を通って入力された過去画像成分Ｂ：１００を差し引き、除去する。算出された合成画像成分ＣＤはＣ：１００、Ｄ：１００の計２００となる。

次に、全体制御演算部１０９は、セレクタ４１３を通って入力された過去画像成分Ｃ：１００に対し、乗算器４１０で０．１倍率のダウンゲインをかける。乗算器４１０によって露光時間が１０μｓｅｃ相当になった画像成分Ｃを加算器４０７に入力し、合成画像成分ＣＤから減算することで、露出調整（合成比率の調整）を行う。この結果、合成画像成分ｃＤはｃ：９０、Ｄ：１００の計１９０μｓｅｃとなる。ｃとは、過去画像Ｃの一定割合成分が減算された画像成分である。

最後に、全体制御演算部１０９は、加算器４０８で、最新画像Ｅ：１００を合成画像ｃＤに加算する。この結果、合成画像を構成する画像成分はｃ：Ｄ：Ｅ＝９０：１００：１００の計２９０μｓｅｃとなり、必要な露光時間と等しくなる。

図３のステップＳ３０４において、全体制御演算部１０９は、合成画像から除去された画像成分に対応する過去画像Ａ、Ｂを領域４０３から削除してもよい。また、ステップＳ３０４において、全体制御演算部１０９は、演算部４０１から出力された合成画像を領域４０４に保存する。全体制御演算部１０９は、最新画像Ｅを過去画像領域４０３に保存する。もしくは、最新画像Ｅを保存した領域４０２を、次フレーム処理からは領域４０３に含めて扱うよう制御してもよい。

一方、図３のステップＳ３０４において、全体制御演算部１０９が、合成枚数維持と判定した場合、全体制御演算部１０９は、スイッチ４１１をＯＮにし、スイッチ４１２をＯＦＦにし、セレクタ４１３を過去画像Ｂの領域に接続する。

たとえば、合成画像ａＢＣＤの合成露光時間を３２０μｓｅｃとし、成分内訳をａ：Ｂ：Ｃ：Ｄを２０：１００：１００：１００とする。現フレーム処理で必要な露光時間を３４０μｓｅｃとする。撮像間隔は一定で露光時間を１００μｓｅｃとする。このとき、３４０÷１００＝３．４となり、ステップＳ３０３で算出される合成枚数の結果は、４枚となる。ステップＳ３０４において、全体制御演算部１０９は合成枚数維持と判定し、処理を開始する。

全体制御演算部１０９は、スイッチ４１１を通って入力された過去画像Ａに対し、乗算器４０９で０．２倍率のダウンゲインをかけ画像成分ａ：２０を算出する。その後、全体制御演算部１０９は、加算器４０５で合成画像ａＢＣＤから画像成分ａを差し引き、除去する。算出された合成画像成分ＢＣＤはＢ：１００、Ｃ：１００、Ｄ：１００の計３００となる。

全体制御演算部１０９は、加算器４０６において演算を行わない。そして、全体制御演算部１０９は、セレクタ４１３を通って入力された過去画像成分Ｂ：１００に対し、乗算器４１０で０．６倍率のダウンゲインをかける。乗算器４１０によって露光時間が６０μｓｅｃ相当になった画像成分Ｂを加算器４０７に入力し、合成画像成分ＢＣＤから減算することで、露出調整を行う。この結果、合成画像成分ｂＣＤはｂ：４０、Ｃ：１００、Ｄ：１００の計２４０μｓｅｃとなる。ｂとは、過去画像Ｂの一定割合成分が減算された画像成分である。

最後に、全体制御演算部１０９は、加算器４０８で、最新画像Ｅ：１００を合成画像ｂＣＤに加算する。この結果、合成画像を構成する画像成分はｂ：Ｃ：Ｄ：Ｅ＝４０：１００：１００：１００の計３４０μｓｅｃとなり、必要な露光時間と等しくなる。

図３のステップＳ３０４において、全体制御演算部１０９は、合成画像から除去された画像成分に対応する過去画像Ａを領域４０３から削除してもよい。なお、最新画像、合成画像の保存は合成枚数減少時と同様に行われる。

さらに、ステップＳ３０４において、全体制御演算部１０９が、合成枚数増加と判定した場合、全体制御演算部１０９は、スイッチ４１１をＯＦＦにし、スイッチ４１２をＯＦＦにし、セレクタ４１３を過去画像Ａの領域に接続する。合成枚数増加の場合、全体制御演算部１０９は、加算器４０７で行う演算を加算にする場合がある。

たとえば、合成画像ａＢＣＤの合成露光時間を３２０μｓｅｃとし、成分内訳をａ：Ｂ：Ｃ：Ｄを２０：１００：１００：１００とする。現フレーム処理で必要な露光時間を４５０μｓｅｃとする。撮像間隔は一定で露光時間を１００μｓｅｃとする。このとき、４５０÷１００＝４．５となり、ステップＳ３０３で算出される合成枚数の結果は、５枚となる。ステップＳ３０４において、全体制御演算部１０９は合成枚数増加と判定し、処理を開始する。

全体制御演算部１０９は、加算器４０５，４０６において演算を行わず、画像成分除去はしない。そして、全体制御演算部１０９は、セレクタ４１３を通って入力された過去画像成分Ａ：１００に対し、乗算器４１０で０．３倍率のダウンゲインをかける。乗算器４１０によって露光時間が３０μｓｅｃ相当になった画像成分Ａを加算器４０７に入力し、合成画像成分ａＢＣＤに加算することで、露出調整を行う。この結果、合成画像成分ａ’ＢＣＤはａ’：５０、Ｂ：１００、Ｃ：１００、Ｄ：１００の計３５０μｓｅｃとなる。ａ’とは、画像成分ａに過去画像Ａの一定割合成分が加算もしくは減算された画像成分である。

最後に、全体制御演算部１０９は、加算器４０８で、最新画像Ｅ：１００を合成画像ａ’ＢＣＤに加算する。この結果、合成画像を構成する画像成分はａ’：Ｂ：Ｃ：Ｄ：Ｅ＝５０：１００：１００：１００：１００の計４５０μｓｅｃとなり、必要な露光時間と等しくなる。

なお、最新画像、合成画像の保存は合成枚数減少時および維持時と同様に行われる。

ここで、従来のように、複数の画像を均一の合成割合で合成して表示する場合においては、例えば合成枚数が増加するような場合、急に残像量が増えるような見え方をする。これは、直前の表示合成画像における、最古画像成分によって結像された被写体領域が除去されず残るためである。合成枚数が減る場合であれば、残像が急に消えるような見え方をする。そのため、ユーザに違和感を与えることとなる。これに対し、本実施形態では、合成画像の最古画像成分の合成量を徐々に変化させるため、残像量変化の原因である過去画像成分領域の合成割合を調整することが可能となる。そのため、見え方の変化を軽減でき、ユーザの違和感を軽減することができる。

なお、本実施形態では、全体制御演算部１０９で最古の画像成分の合成量を調整し、適正露出を取得するよう制御するが、被写体の動きに応じて、合成割合を変えるように制御してもよい。たとえば、被写体の動きが大きい場合は最新フレームにゲインをかけることで、最新画像における被写体の位置を強調し、被写体追従性を向上させるようにしてもよい。この場合、演算部４０１における、メモリ領域４０２から加算器４０８への入力部分に乗算器を加えた構成にしてもよい。

また、顔など、特定の被写体検出を行う状態において、検出失敗時など、所定の評価値に応じて合成割合を変えるように制御してもよい。この場合、演算部４０１において、乗算器を、メモリ領域４０２から加算器４０８への入力部分に加えた構成、あるいはメモリ領域４０３から加算器４０６への入力部分に加えた構成、あるいはその両方に加えた構成にしてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、画像合成（ステップＳ３０４）の一部処理を省き、省いた処理の代替処理を行う制御方法について説明する。なお、本実施形態において第１の実施形態と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点について説明する。

第１の実施形態における演算部４０１は、加算器が４つで構成されており、使用可能な加算器が４つ以上（所定数以上）確保できる場合の実施形態であるが、カメラの処理回路や、カメラの状態によっては、加算器が十分に確保できない場合が考えられる。例えば、加算器数が限られるカメラの状態としては、ＨＤＲや多重露出撮影など、画像の合成を必要とする撮影方法のライブビュー表示状態が挙げられる。また、静止画現像中のライブビュー表示など、内部処理と並行したライブビュー表示状態も挙げられる。

そこで、第２の実施形態では、画像合成処理の一部を省くことで、演算部で必要となる加算器数を削減する。さらに、省いた処理の代替処理である次合成用画像（予備的な合成画像）の合成の実行タイミングを早めることで処理の遅延を防ぐ。なお、本実施形態の撮像装置では、加算器の数が十分に確保できる場合の第１の実施形態の方法と、加算器数が限られる場合の第２の実施形態の方法を、上記のような撮像装置の状態に応じて切り替えることが可能である。

図５を参照して、本実施形態における処理例について説明する。図５は、本実施形態の処理を説明するフローチャートである。ステップＳ３０１、ステップＳ３０２、ステップＳ３０３は第１の実施形態と同様である。

ステップＳ５０１において、全体制御演算部１０９は、第１のメモリ部１０８と撮像信号処理回路１０７を制御して画像合成を行う。ステップＳ５０１における画像合成では、全体制御演算部１０９は、撮像信号処理回路１０７において、直前のフレーム処理時に合成した画像から、露出調整のために過去画像成分を減算し、最新画像を加算する。なお、ステップＳ５０１の処理の詳細については後述する。

次に、全体制御演算部１０９は、第１の実施形態と同様にＬＶ表示処理（ステップＳ３０５）を行うが、ステップＳ３０５の処理と並行して、ステップＳ５０２において、全体制御演算部１０９は、第１のメモリ部１０８と撮像信号処理回路１０７を制御して次合成用画像（予備的な合成画像）の合成を行う。なお、次合成用画像の合成の詳細については後述する。ステップＳ５０１とＳ５０２は、交互に行われる。

ステップＳ３０６は、第１の実施形態と同様である。ステップＳ３０６においてＬＶ撮影終了判定が否であった場合に、次のフレーム処理のステップＳ５０１において、全体制御演算部１０９は、ステップＳ５０２の出力画像を、画像合成の入力として用いることがある。

図６を参照して、ステップＳ５０１の画像合成について説明する。図６は本実施形態における画像合成方法を説明するための図である。演算部６０１は、本実施形態における合成回路の構成例である。なお、本実施形態では、撮像信号処理回路１０７の一部に演算部６０１を構成した例で説明するが、演算部６０１は撮像信号処理回路１０７の一部でなくてもよい。

演算部６０１は、２つの加算器６０３，６０４と、乗算器６０５を備えて構成される。演算部６０１は、第１のメモリ部１０８から読み出した最新画像と、過去画像と、次合成用画像と、合成画像とを入力とする。なお、次合成用画像とは、前のフレーム処理において合成した次合成用画像を保存した領域６０２から読み出す画像のことである。次合成用画像の合成（ステップＳ５０２）についての詳細は後述する。

本実施形態では、第１のメモリ部１０８の一部領域をメモリ領域４０２、メモリ領域４０３、メモリ領域６０２、メモリ領域４０４として割り当てる。本実施形態では、直前フレームの処理における合成枚数が４枚であった場合について説明する。次合成用画像ＢＣＤは、合成画像ａＢＣＤから画像成分ａが除去された画像である。次合成用画像ＣＤは、合成画像ａＢＣＤから画像成分ａおよびＢが除去された画像である。次合成用画像は、前フレーム処理におけるステップＳ５０２で出力された画像である。

演算部６０１は、セレクタ６０６を有し、加算器６０３の入力として接続する領域を、メモリ領域６０２およびメモリ領域４０４における、次合成用画像ＣＤ、次合成用画像ＢＣＤ、合成画像ａＢＣＤの保存領域から選択可能である。演算部６０１は、セレクタ６０７を有し、乗算器６０５の入力として接続する領域を、メモリ領域４０３における、過去画像Ａ、Ｂ、Ｃの保存領域から選択可能である。演算部６０１において、加算器６０４は、メモリ領域４０２に記憶した最新画像を入力とする。演算部６０１において、乗算器６０５から出力された値は加算器６０３の入力となる。演算部６０１は、セレクタ６０８を有し、演算部６０１の出力元を、加算器６０３の出力部分および６０４の出力部分から選択可能である。なお、ステップＳ５０１では、セレクタ６０８は加算器６０４の出力部分を選択する。

図５のステップＳ５０１において、全体制御演算部１０９は、ステップＳ３０３の結果を用いて、合成枚数が直前フレーム処理から減少したか維持されたか増加したかを判定する。

ステップＳ５０１において、全体制御演算部１０９が、合成枚数減少と判定した場合、全体制御演算部１０９は、セレクタ６０６を次合成用画像ＣＤの領域に接続し、セレクタ６０７を過去画像Ｃの領域に接続する。全体制御演算部１０９は、セレクタ６０７を通って入力された過去画像成分Ｃに対し、乗算器６０５でダウンゲインをかける。乗算器６０５から出力された画像成分を加算器６０３に入力し、セレクタ６０６を通って入力された合成画像成分ＣＤから減算することで、露出調整を行う。この結果の合成画像成分をｃＤとする。最後に、全体制御演算部１０９は、加算器６０４で、最新画像Ｅを合成画像ｃＤに加算する。この結果、合成画像ｃＤＥの合成枚数は３枚であり、合成枚数減少時の処理が完了する。なお、ステップＳ５０１において、全体制御演算部１０９は、合成枚数減少と判定した時点で、過去画像ＡおよびＢを過去画像領域４０３から削除してもよい。さらに、ステップＳ５０１において、全体制御演算部１０９は、演算部６０１からセレクタ６０８を通して出力された合成画像を領域４０４に保存する。全体制御演算部１０９は、最新画像Ｅを過去画像領域４０３に保存する。もしくは、最新画像Ｅを保存した領域４０２を、ステップＳ５０１以降からは領域４０３に含めて扱うよう制御してもよい。また、ステップＳ５０１の後、次合成用画像を削除してもよい。

一方、ステップＳ５０１において、全体制御演算部１０９が、合成枚数維持と判定した場合、全体制御演算部１０９は、セレクタ６０６を次合成用画像ＢＣＤの領域に接続し、セレクタ６０７を過去画像Ｂの領域に接続する。全体制御演算部１０９は、セレクタ６０７を通って入力された過去画像成分Ｂに対し、乗算器６０５でダウンゲインをかける。乗算器６０５から出力された画像成分を加算器６０３に入力し、セレクタ６０６を通って入力された合成画像成分ＢＣＤから減算することで、露出調整を行う。この結果の合成画像成分をｂＣＤとする。最後に、全体制御演算部１０９は、加算器６０４で、最新画像Ｅを合成画像ｂＣＤに加算する。この結果、合成画像ｂＣＤＥの合成枚数は４枚であり、合成枚数維持時の処理が完了する。なお、ステップＳ５０１において、全体制御演算部１０９は、合成枚数維持と判定した時点で、過去画像Ａを過去画像領域４０３から削除してもよい。なお、最新画像、合成画像、次合成用画像の保存および削除は、合成枚数減少時と同様に行われる。

さらに、ステップＳ５０１において、全体制御演算部１０９が、合成枚数増加と判定した場合、全体制御演算部１０９は、セレクタ６０６を合成画像ａＢＣＤの領域に接続し、セレクタ６０７を過去画像Ａの領域に接続する。全体制御演算部１０９はセレクタ６０７を通って入力された過去画像成分Ａに対し、乗算器６０５でダウンゲインをかける。乗算器６０５から出力された画像成分を加算器６０３に入力し、セレクタ６０６を通って入力された合成画像成分ａＢＣＤに加算あるいは減算することで、露出調整を行う。この結果の合成画像成分をａ’ＢＣＤとする。最後に、全体制御演算部１０９は、加算器６０４で、最新画像Ｅを合成画像ａ’ＢＣＤに加算する。この結果、合成画像ａ’ＢＣＤＥの合成枚数は５枚であり、合成枚数増加時の処理が完了する。なお、最新画像、合成画像、次合成用画像の保存および削除は、合成枚数減少時および維持時と同様に行われる。

次に、図７を参照して、ステップＳ５０２の次合成用画像の合成処理について説明する。図７は本実施形態における次合成用画像の合成方法の概要図である。なお、本実施形態では、ステップＳ５０１において、４枚合成画像ｂＣＤＥが生成された場合について説明する。次合成用画像の合成は、図６に示した画像合成時と同様に、演算部６０１を用いて実施される。

ステップＳ５０２において、全体制御演算部１０９は、演算部６０１の入出力先及びセレクタ６０８の接続先を変更する。全体制御演算部１０９は、演算部６０１における乗算器６０５に過去画像Ｂを入力し、加算器６０４に過去画像Ｃを入力する。

全体制御演算部１０９は、セレクタ６０８を加算器６０３の出力部分につなぎ、セレクタ６０８を通る画像成分（加算器６０３で算出された画像成分）および加算器６０４で算出された画像成分をメモリ領域６０２に出力する。具体的には、全体制御演算部１０９は、入力された過去画像成分Ｂに対し、乗算器６０５でダウンゲインをかけ画像成分ｂを算出する。そして、全体制御演算部１０９は、加算器６０３に入力した合成画像成分ｂＣＤＥから、乗算器６０５を通って入力された画像成分ｂを差し引き、除去する。全体制御演算部１０９は、この結果の合成画像成分ＣＤＥを、セレクタ６０８を通して、メモリ領域６０２に保存する。また、加算器６０３から出力された合成画像成分ＣＤＥは、加算器６０４へも入力される。そして、全体制御演算部１０９は、加算器６０４に入力された過去画像Ｃを、加算器６０３を通って入力された画像成分ＣＤＥから差し引き、除去する。全体制御演算部１０９は、加算器６０４から出力された画像ＤＥを次合成用画像としてメモリ領域６０２に保存する。

なお、本実施形態のステップＳ５０１で用いられた次合成用画像は、直前のフレーム処理におけるステップＳ５０２で生成された画像である。直前のフレーム処理では、全体制御演算部１０９は、メモリ領域４０４に合成画像ａＢＣＤを保存しており、乗算器６０５に過去画像Ａ、加算器６０４に過去画像Ｂを入力するので、メモリ領域６０２に保存される出力画像はＢＣＤおよびＣＤである。

以上説明したように、本実施形態によれば、ステップＳ５０１の直後にステップＳ５０２を行うため、加算器数が少ない状態でも、合成枚数の切り替わり時の表示処理の遅延を防止でき、高フレームレート表示の維持が可能となる。

なお、第１の実施形態に示した制御を実行中に、加算器数が足りないカメラの状態に移行した場合は、第２の実施形態に示す制御方法に切り替えるような制御を行ってもよい。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０１：レンズ部、１０２：レンズ駆動部、１０４：絞り、１０５：シャッタ・絞り駆動部、１０６：撮像素子、１０７：撮像信号処理回路、１０９：全体制御演算部

Claims (17)

1. 撮像手段と、
   記憶手段と、
   前記撮像手段を用いて生成された複数の画像を合成できる合成手段と、
   表示用の画像を生成する第１の制御と第２の制御とを切り替える切り替え手段であって、
   前記撮像手段により生成された画像と、過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像と、を用いて表示用の合成画像を生成する第１の制御と、
   過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像と、を用いて予備的な合成画像を生成する第１の動作と、前記撮像手段により生成された画像と、過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像または前記予備的な合成画像と、を用いて表示用の合成画像を生成する第２の動作とを交互に行う第２の制御と、を撮像装置の状態に応じて切り替える切り替え手段と、
   を備えることを特徴とする撮像装置。
2. 前記切り替え手段は、前記撮像装置の状態が、前記合成手段において使用可能な加算器の数が所定数以上である状態の場合に、前記第１の制御を行うように切り替えることを特徴とする請求項１に記載の撮像装置。
3. 前記切り替え手段は、前記撮像装置の状態が、前記合成手段において使用可能な加算器の数が所定数より少ない状態である場合に、前記第２の制御を行うように切り替えることを特徴とする請求項２に記載の撮像装置。
4. 前記表示用の合成画像は、ライブビューの表示を行うために用いられる画像であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像手段は、前記複数の画像のそれぞれの露光時間を一定の露光時間として撮像を行い、前記表示用の合成画像は、ライブビューの表示のために必要な１フレームの露光時間を前記一定の露光時間で除算した数の画像を合成した画像であることを特徴とする請求項４に記載の撮像装置。
6. 前記１フレームの露光時間を前記一定の露光時間で除算した数に端数がある場合に、前記表示用の合成画像を生成するために用いる最も古い画像の合成比率を前記端数に合わせて調整することを特徴とする請求項５に記載の撮像装置。
7. 前記第２の制御では、ライブビューの今回のフレームの表示に用いられる合成画像における画像の合成枚数が、ライブビューの前回のフレームの表示に用いられた合成画像における画像の合成枚数と同じか少ない場合に、前記撮像手段により生成された画像と、過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記予備的な合成画像と、を用いて表示用の合成画像を生成することを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
8. 前記第２の制御では、ライブビューの今回のフレームの表示に用いられる合成画像における画像の合成枚数が、ライブビューの前回のフレームの表示に用いられた合成画像における画像の合成枚数より多い場合に、前記撮像手段により生成された画像と、過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像と、を用いて表示用の合成画像を生成することを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
9. 被写体を検出する検出手段をさらに備え、前記表示用の合成画像を生成する場合に、複数の画像を合成する合成比率を前記被写体に応じて変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
10. 前記検出手段により検出された被写体の動きに応じて、前記表示用の合成画像を生成する場合の、複数の画像を合成する合成比率を変更することを特徴とする請求項９に記載の撮像装置。
11. 前記検出手段により検出された顔に応じて、前記表示用の合成画像を生成する場合の、複数の画像を合成する合成比率を変更することを特徴とする請求項９に記載の撮像装置。
12. 撮像手段と、記憶手段と、前記撮像手段を用いて生成された複数の画像を合成できる合成手段と、を備える撮像装置を制御する方法であって、
    表示用の画像を生成する第１の制御と第２の制御とを切り替える切り替え工程であって、
    前記撮像手段により生成された画像と、過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像と、を用いて表示用の合成画像を生成する第１の制御と、
    過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像と、を用いて予備的な合成画像を生成する第１の動作と、前記撮像手段により生成された画像と、過去に前記撮像手段により撮像され前記記憶手段に記憶された過去画像と、前記合成手段により合成され前記記憶手段により記憶された過去合成画像または前記予備的な合成画像と、を用いて表示用の合成画像を生成する第２の動作とを交互に行う第２の制御と、を撮像装置の状態に応じて切り替える切り替え工程を有することを特徴とする撮像装置の制御方法。
13. 請求項１２に記載の制御方法をコンピュータに実行させるためのプログラム。
14. 被写体像を撮像して画像を生成する撮像手段と、
    画像を記憶する記憶手段と、
    前記撮像手段で生成された複数の画像を合成して表示用の合成画像を生成する合成手段と、
    前記表示用の合成画像の露出を調整する調整手段と、を備え、
    前記撮像手段は、前記複数の画像のそれぞれの露光時間を一定の露光時間として撮像を行い、前記表示用の画像は、ライブビューの表示のために必要な１フレームの露光時間を前記一定の露光時間で除算した数の画像を合成した画像であり、
    前記調整手段は、前記１フレームの露光時間を前記一定の露光時間で除算した数に端数がある場合に、前記表示用の合成画像を生成するために用いる最も古い画像の合成比率を前記端数に合わせて調整することを特徴とする撮像装置。
15. 前記調整手段は、前記表示用の合成画像を生成するために用いる最も古い画像に前記端数に合わせてゲインをかけて、前記表示用の合成画像に用いる他の画像に加算または減算することにより、前記合成比率を調整することを特徴とする請求項１４に記載の撮像装置。
16. 被写体像を撮像して画像を生成する撮像手段と、画像を記憶する記憶手段と、前記撮像手段で生成された複数の画像を合成して表示用の合成画像を生成する合成手段と、を備える撮像装置を制御する方法であって、
    前記表示用の合成画像の露出を調整する調整工程を備え、
    前記撮像手段は、前記複数の画像のそれぞれの露光時間を一定の露光時間として撮像を行い、前記表示用の画像は、ライブビューの表示のために必要な１フレームの露光時間を前記一定の露光時間で除算した数の画像を合成した画像であり、
    前記調整工程では、前記１フレームの露光時間を前記一定の露光時間で除算した数に端数がある場合に、前記表示用の合成画像を生成するために用いる最も古い画像の合成比率を前記端数に合わせて調整することを特徴とする撮像装置の制御方法。
17. 請求項１６に記載の制御方法をコンピュータに実行させるためのプログラム。

Images