JP5929362B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、所定のフレームレートで動画像を撮像する撮像装置および同装置における撮像方法に関するものであって、詳しくは、動画像のダイナミックレンジを拡張することができる撮像装置および撮像方法に関するものである。

撮影レンズを介して受光面に結像した被写体画像に係る静止画像を記録する撮像装置が知られている。このような撮像装置の中には、従来のものに比べて撮像する静止画像のダイナミックレンジを拡張することができるものがある（例えば、特許文献１を参照）。

特許文献１の撮像装置が備えるダイナミックレンジ拡張技術は、自動露出機能により、予め定められた基準露光量で撮像した画像に生じた「白とび」や「黒潰れ」を、基準露光量とは異なる露光量で撮像した画像を用いて補完して、「白飛び」や「黒潰れ」の無い撮像画像を生成するものである。

また、近年の撮像装置の中には、動画像を撮像する機能も備えているものもある。動画像撮像モードでは、予め規定された所定の記録フレームレートに対応するフレームレートで静止画像を連続的に取得し、動画像として記録する。動画像においても、静止画像の撮像の撮像時に生じる「白飛び」や「黒潰れ」が、同様の原因で生じることがある。

しかし、動画像の撮像時に、上記特許文献１に記載されているダイナミックレンジ拡張技術を適用するには課題がある。例えば、動画像の記録フレームレートが毎秒３０フレームである場合、毎秒３０枚の静止画像を基準露光量で取得し、さらに、基準と異なる露光量の画像を同じフレームレートで取得することになるが、基準と異なる露光量の静止画像を取得するには、露光時間を長くする必要がある。そのために、毎秒３０フレームよりも遅いフレームレートで画像を取得する必要がある。この場合、特に「黒つぶれ」を補正するための明るい画像を取得するには、露光時間がより長くなる。このように、従来知られているダイナミックレンジ拡張技術を動画像の撮像に用いると、補完のために取得する画像のフレームレートを遅くすることになり、それにともなって、記録する動画像のフレームレートも毎秒３０フレームよりも遅くなる。その結果として、動画像の動きの滑らかさが損なわれてコマ送り画像のようになってしまう。

上記の課題を解決するものとして、撮像素子を２つ以上備えた撮像装置が知られている（例えば、特許文献２を参照）。特許文献２に記載されている撮像装置によれば、露光量が異なる２つ撮像素子を介して取得した２つの動画像を合成することで、ダイナミックレンジを拡張することができる。

しかし、特許文献２の撮像装置のように、複数の撮像素子を介して画像を取得すると、それぞれの画像の画角が異なるので、画像合成処理を行うには、まず、各画像の画角を合わせる必要が生じる。また、複数の撮像素子の動作を同期させないと、動画像にズレが生じることから、これを制御する構成が必要となり、複雑な制御処理も必要となる。さらに、撮像素子を複数搭載することから、部品点数が増えるため製造コストが上がるという課題が生じる。

本発明は上記の課題に鑑みてなされたものであって、容易にダイナミックレンジの広い動画像を撮像することができる撮像装置および撮像方法を提供することを目的とする。

本発明は、被写体の動画像を所定の記録フレームレートで記録する撮像装置であって、記録フレームレートよりも高い取込フレームレートで動画像を撮影する動画像撮影手段と、取込フレームレートで撮影された動画像から、記録フレームレートの動画像を生成する動画像生成手段と、生成された記録フレームレートの動画像を記録する動画像記録手段と、を有し、動画像生成手段は、取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、１のフレーム画像を注目フレーム画像として決定する注目フレーム画像決定部と、注目フレーム画像の明るさを判定する判定部と、決定された注目フレーム画像に、複数のフレーム画像のうち他のフレーム画像を合成する画像合成部と、注目フレーム画像と他のフレーム画像とが合成されて得られる画像を用いて、動画像記録手段に記録される記録フレームレートの動画像を生成する動画像生成部と、を有し、画像合成部が、判定部の判定結果に基づいて注目フレーム画像に他のフレーム画像を合成することが決定された場合に、注目フレーム画像に他のフレーム画像を合成する、ことを最も主要な特徴とする。

本発明によれば、ダイナミックレンジの広い動画像を撮像することができる。

本発明に係る撮像装置であるカメラの例を示す正面図である。 本発明に係る撮像装置であるカメラの例を示す上面図である。 本発明に係る撮像装置であるカメラの例を示す背面図である。 本発明に係る撮像装置の機能構成の例を示す機能ブロック図である。 従来の撮像装置によって撮像される動画像のフレーム構成の例を示す図であって、（ａ）取込フレームレートの例、（ｂ）記録フレームレートの例、である。 本発明に係る撮像装置によって撮像される動画像のフレーム構成の例を示す図であって、（ａ）取込フレームレートの例、（ｂ）記録フレームレートの例、である。 本発明に係る撮像装置が実行する動画像撮像処理の例を示すフローチャートである。 上記動画像撮像処理における動画像生成処理の例を示すフローチャートである。 上記動画像撮像処理におけるフレーム合成処理の例を示すフローチャートである。 上記動画像撮像処理における動画像生成処理の別の例を示すフローチャートである。 上記動画像撮像処理におけるブロック合成処理の例を示すフローチャートである。 上記動画像撮像処理におけるフレーム合成処理の別の例を示すフローチャートである。 本発明に係る撮像方法を実行するプログラムの構成例を示すブロック図である。 本発明に係る撮像装置における輝度値を算出する画像ブロックの例を示す図である。 本発明に係る撮像装置における合成比率の例を示すグラフである。

●撮像装置の外観●
以下、本発明に係る撮像装置および撮像方法の実施の形態について図面を参照しながら説明する。図１から図３は、本発明に係る撮像装置の実施形態を示す外観図である。図１は本発明に係る撮像装置１の正面図、図２は撮像装置１の上面図、図３は撮像装置１の背面図、である。図１に示すように、撮像装置１の筐体であるカメラボディＣＢの正面には、ストロボ発光部３、ファインダ４の対物面、リモコン受光部６および撮像レンズを含む撮像光学系７が配置されている。カメラボディＣＢの一方の側面部には、メモリカード装填室および電池装填室の蓋２が設けられている。

また、図２に示すように、カメラボディＣＢの上面には、レリーズスイッチＳＷ１、モードダイヤルＳＷ２およびサブ液晶ディスプレイ（サブＬＣＤ）（以下「液晶ディスプレイ」を「ＬＣＤ」という。）１１が配置されている。

また、図３に示すように、カメラボディＣＢの背面には、ファインダ４の接眼部、ＡＦ用発光ダイオード（以下、発光ダイオードを「ＬＥＤ」という。）８、ストロボＬＥＤ９、被写体画像と拡大画像および各種設定画面を表示する表示手段であるＬＣＤモニタ１０、電源スイッチ１３、広角方向ズームスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマの設定および解除スイッチＳＷ５、メニュースイッチＳＷ６、上移動およびストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、ディスプレイスイッチＳＷ９、下移動およびマクロスイッチＳＷ１０、左移動および画像確認スイッチＳＷ１１、ＯＫスイッチＳＷ１２、電源スイッチＳＷ１３、が配置されている。

●撮像装置の機能ブロック●
図４は、撮像装置１の機能構成例を示す機能ブロック図である。本発明に係る撮像装置の各種動作（処理）は、デジタル信号処理ＩＣ（集積回路）等で構成されるプロセッサ２３と、プロセッサ２３において動作するプログラムによって制御される情報処理手段によって実現されるものである。当該プログラムはＲＯＭ３８に記憶されている。

図４において撮像装置１は、フォーカスレンズ（フォーカス光学系）を含む撮影レンズ系７、撮影レンズ系７と撮像素子であるＣＣＤ１０１との間に設けられたメカニカルシャッタ１７と、この撮像レンズ系７およびメカニカルシャッタ１７を介して受光面に結像する被写体像に係る信号を出力する撮像素子であるＣＣＤ１０１と、撮像レンズ系７のうち少なくともフォーカスレンズを、その光軸に沿った可動範囲で変位させるモータドライバ７５と、撮像開始の操作指示に用いられるレリーズスイッチＳＷ１等を含む操作部１９と、主としてＣＣＤ１０１からの信号読み取り処理を行うフロントエンド（Ｆ／Ｅ）のＦ／Ｅ信号処理部１０２と、ＣＣＤ１０１から信号を読み取るための制御や、読み取られた信号の処理、モータドライバ７５の駆動制御、操作部１９からの操作信号の入力処理、ＣＣＤ１０１から読み取って得られた画像信号に基づいて動画像を生成して記憶する等の各種画像処理を行うデジタル信号処理ＩＣ（プロセッサ）２３と、撮像装置１の動作制御を行うプログラムを記憶するＲＯＭ３８と、フレームメモリであるＳＤＲＡＭ４１と、モニタリング画像や再生画像を表示する画像表示部を構成するＬＣＤ１０と、撮像した画像を記録するメモリカード１４と、を有してなる。

なお、図示はしないが、撮像装置１には、定期的に被写体距離を測定する測距手段である測距センサ、手ブレを補正する手ブレ補正手段、撮像装置１のブレを検出するためのジャイロセンサなど、も備えてもよい。

ＣＣＤ１０１は、露光状態で受光面に入射される光学像を電気信号に変換し、画像信号として転送出力する。動画像を撮像するときには、露光は所定のタイミング間隔で繰り返して行われて、所定の時間間隔で動画像信号を転送出力する。ＣＣＤ１０１には各画素上に色分解フィルタとしてのＲＧＢ原色フィルタ（不図示）が配置されており、各画素においてＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が発生する。ＣＣＤ１０１の画素出力値は、例えば、１２ビット（Ｒ、Ｇ、Ｂに３ビットずつ割り当て、Ｇが２つある）であって、各画素は０〜４０９５の値をとる。

Ｆ／Ｅ信号処理部１０２は、ＣＤＳ（相関２重サンプリング）回路１０２１、ＡＧＣ（自動利得制御）回路１０２２、Ａ／Ｄ（アナログ・デジタル）変換器１０２３、およびタイミング発生器（ＴＧ）１０２４を有してなる。

ＣＤＳ回路１０２１は、上記のアナログＲＧＢ画像信号を相関２重サンプリングして信号のノイズを除去する回路である。

ＡＧＣ（自動利得制御）回路１０２２は、ＣＤＳ回路１０２１でノイズ除去された信号を自動利得制御して所望の信号レベルに調整する回路である。

Ａ／Ｄ（アナログ・デジタル）変換器１０２３は、ＡＧＣ回路１０２２からのアナログＲＧＢ画像信号をデジタルＲＧＢ画像データ（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換する回路である。

タイミング発生器（ＴＧ）１０２４は、プロセッサ２３のカメラインターフェイス（カメラＩ／Ｆ）３１からの水平同期駆動信号（ＨＤ）と垂直同期駆動信号（ＶＤ）に応動して、プロセッサ２３の制御部２５と連携して、ＣＣＤ１０１、ＣＤＳ回路１０２１、ＡＧＣ回路１０２２およびＡ／Ｄ変換器１０２３に対して、それぞれタイミング信号を送る。このタイミング信号によって各回路は、適正に同期する。

プロセッサ２３は、カメラＩ／Ｆ３１、メモリコントローラ３２、表示出力制御部３３、圧縮処理部３４、ＹＵＶ変換部３５、リサイズ処理部３６、メディアインターフェイス（メディアＩ／Ｆ）３７、制御部２５および動画像生成処理部３９と、を有してなる。

カメラＩ／Ｆ３１は、Ａ／Ｄ変換器１０２３から出力されるＲＡＷ−ＲＧＢデータを所定のフレームレートをもって取り込み、メモリコントローラ３２を介してＳＤＲＡＭ４１にＲＡＷ−ＲＧＢデータとして記憶させる。カメラＩ／Ｆ３１が、取り込むデジタルＲＧＢ画像データ（以下、取込画像データ、という。）のフレームレートは、記録・保存される動画像データのフレームレートよりも高いフレームレート（取込フレームレート）である。

メモリコントローラ３２は、制御部２５の制御に基づき、カメラＩ／Ｆ３１において取り込まれた取込画像データ、取込画像データがＹＵＶ変換部３５によりＹＵＶ変換されたＹＵＶデータ、静止画撮像モードにおいて、カメラＩ／Ｆ３１から取り込まれた静止画データが圧縮処理部３４により例えばＪＰＥＧ形式で圧縮処理された画像データ、および後述する動画像生成処理部３９によって生成された合成画像データなどを、ＳＤＲＡＭ４１への書き込む処理、およびＳＤＲＡＭ４１に保存されている画像データの読み出す処理を行う。

表示出力制御部３３は、ＳＤＲＡＭ４１から読み出された画像データを、ＬＣＤモニタ１０に表示させるとともに、図示しない外部のディスプレイへの画像出力を行う。

ＳＤＲＡＭ４１は、半導体メモリで構成されており、各種の画像データなどのデータを保存するために用いられる。

圧縮処理部３４は、制御部２５の制御に基づき、与えられた画像データを所定の方式でエンコードして圧縮された画像データを生成する。

ＹＵＶ変換部３５は、カメラＩ／Ｆ３１により取り込まれた取込画像データの輝度レベルを判定する輝度レベル判定部、ＲＡＷ−ＲＧＢデータをビットシフトしてビット圧縮するビット圧縮変換部、オートホワイトバランス制御部、制御部２５から与えられるオートホワイトバランス制御値にしたがってＲＡＷ−ＲＧＢ形式の取込画像データをＹＵＶ形式のデータに変換するＲＧＢ−ＹＵＶ変換部、変換されたＹＵＶ形式のデータから輝度ヒストグラムを生成する輝度ヒストグラム生成部等を有している。

リサイズ処理部３６は、カメラＩ／Ｆ３１により取り込まれた取込画像データや、ＳＤＲＡＭ４１から読み出された画像データ等をリサイズする処理を行う。

メディアＩ／Ｆ３７は、カメラＩ／Ｆ３１により取り込まれた取込画像データやＳＤＲＡＭ４１から読み出された記録用の動画像ファイルを、メモリコントローラ３２と制御部２５の制御に従ってメモリカード１４に書き込むインターフェース回路である。

ＲＯＭ３８には、後述する撮影動作に係る各種の処理を行うためのプログラムおよびデータが格納されている。当該プログラムおよびデータによって、プロセッサ２３が画像演算処理等を行い、メモリカード１４に動画像ファイルを記録することができる。

●プログラム構成
図１３に、ＲＯＭ３８に格納されている制御プログラム３８０の構成の例を示す。制御プログラム３８０は、注目フレーム判定部３８１と、明るさ判定部３８２と、合成処理部３８３と、記録フレーム生成部３８４と、動き検出処理部３８５と、を有してなる。

注目フレーム判定部３８１は、取込画像データを構成する特定のフレームを注目フレームとして特定する処理を行う。明るさ判定部３８２は、注目フレームの画像の明るさ（輝度値）を検出して、合成処理の要否を判断する処理を行う。合成処理部３８３は、後述する合成処理を行う。記録フレーム生成部３８４は、後述する動画像生成処理部３９において、記録フレームレートの画像から動画像ファイルを生成する処理を行う。動き検出処理部３８５は、取込画像データに含まれる被写体の動き検出処理を行い、合成処理の要否を判定する処理を行う。

動画像生成処理部３９は、所定のフレームレートにてカメラＩ／Ｆ３１が取り込んだ取込画像データから、記録フレームレートからなる記録動画像ファイルを生成する処理を行う。

●動画像撮像処理の流れ
以上の構成を備える撮像装置１において、撮影者が撮像装置１のメニュースイッチ６（図３参照）を操作して撮影設定画面（不図示）をＬＣＤ１０に表示させる。そして、撮影者が撮影設定画面に表示される「動画撮影モード」を選択することにより、撮像装置１は制御部２５の制御によって動画撮影モードに設定される。

動画撮影モードで動作をする撮像装置１は、レリーズスイッチＳＷ１が押下されるまでモニタリング動作をおこなう。モニタリング動作は、予め規定されたフレームレートで被写体画像をＬＣＤ１０に表示する動作である。ＬＣＤ１０に表示される画像に対しては、ＡＥ（自動露光）処理と公知のＡＷＢ処理が繰り返し行われている。

ここで、ＡＥ処理について説明をする。制御部２５は、取込画像データにおけるＲＧＢ値のそれぞれを積分値からＡＥ（自動露出）評価値を算出する。例えば、ＣＣＤ１０１の全画素の受光面に対応した画面を図１４に示すように２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算を算出する。そして、制御部２５は算出されたＲＧＢ積算値から、画面それぞれのエリアの輝度を算出して輝度分布から適正な露光量（適正露光時間Ｔｓ）を決定する。

●フレームレートの説明
次に、本発明に係る撮像装置の動画像撮像動作の例について説明をする。まず動画像の構成について説明をする。図５は、従来の撮像装置における取込フレームレート（ａ）と、記録フレームレート（ｂ）の例を示している。従来の撮像装置は、取込フレームレートと記録フレームレートが同じフレームレートになる。従って、図５（ｂ）に示すように、記録フレームレートを１／３０秒に設定していれば、図５（ａ）に示すように、取込フレームレートも１／３０秒になる。

次に、本発明に係る撮像装置に係る取込フレームレートと記録フレームレートについて説明する。図６（ａ）は、本発明に係る撮像装置における取込フレームレートの例を示している。図６（ｂ）は、本発明に係る撮像装置における記録フレームレートの例を示している。図６（ｂ）に示すように、記録フレームレートが１／３０秒の場合、取込フレームレートは記録フレームレートよりも高いフレームレート（例えば、１／１２０秒）が設定される。

●ダイナミックレンジ技術の適用原理
本発明に係る撮像装置では、まず、取込画像データを構成する取込フレームレートの１フレームを注目フレームとし、注目フレームに係る画像を「注目フレーム画像」という。注目フレーム画像に対する明るさ判定処理によって、画像合成処理の有無を判定することになるので、注目フレームは、記録フレームレートに対応する取込フレームレートの最後のフレームが望ましい。よって、注目フレームは、図６（ａ）の符号１００、１０１、１０２で示したフレームとする。言い換えると、注目フレームは、取込フレームレートを構成するフレームのうち、記録フレームレートに対応する分の取込フレームレートにおける最新のフレームである。

注目フレーム画像の明るさが適正であるか否かは、注目フレーム画像の輝度値を算出し、この輝度値が適正な値（閾値）を超えているか否かを判定することで行われる。注目フレーム画像の輝度値が閾値を超えていれば、この注目画像の明るさは適正であると判定する。この判定処理の結果、注目フレーム画像１００の輝度値が閾値を超えていれば、この注目フレーム１００画像を用いて記録フレームレートの１フレーム（符号１００１）の画像を生成すればよい。

注目フレーム画像１０１の輝度値が閾値以下であれば、この注目フレーム画像１０１の明るさは不適であると判定する。このときは、当該注目フレーム画像１０１の１つ前のフレーム画像１０１ａと、注目フレーム画像１０１を合成することで、適正な輝度値からなる画像を生成し、この画像を用いて、記録フレームレートの１フレーム（符号１０１１）を生成する。同様に、注目フレーム画像１０２の輝度値が閾値以下であるとき、１つ前のフレーム画像１０２ａと、注目フレーム画像１０２とを合成する。しかし、合成後の注目フレーム画像１０２の輝度値が閾値以下であるときは、さらに１つ前のフレーム画像１０２ｂも合成する。このように、注目フレーム画像の輝度値が閾値を超えるまで他のフレーム画像を合成することで、適正な明るさからなる記録フレームレートの１フレーム（符号１０２１）に係る画像を生成する。

このように本発明に係る撮像装置によれば、記録フレームレートよりも高い取込フレームレートで動画像を撮像し、取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、１のフレームである注目フレーム画像の明るさを判定し、この判定結果に応じて、他のフレーム画像と注目フレーム画像とを合成して記録フレームの動画像を生成することで、ダイナミックレンジを拡張することができる。

●撮像方法●
次に、本発明に係る撮像装置が実行する撮像方法の例について、図７以降のフローチャートを用いて説明する。各フローチャートにおいて、処理ステップは、Ｓ１、Ｓ２、Ｓ３、・・・のように表す。図７は、本発明に係る撮像方法の全体の流れの例を示している。撮像装置１の電源スイッチＳＷ１３が操作され、モードダイヤルＳＷ２が操作されて「動画撮像モード」が選択されると、画像取込処理（Ｓ１）が実行される。画像取込処理（Ｓ１）では、記録フレームレートよりも高いフレームレートである取込フレームレートによって、カメラＩ／Ｆ３１から取込画像データを取得する。取得された取込画像データは、メモリコントローラ３２を介してＳＤＲＡＭ４１に、一時的に記録される。その後、制御部２５の制御によって、ＳＤＲＡＭ４１に一時的に記録された取込画像データに対して所定の画像処理が行われ、メモリコントローラ３２と表示出力制御部３３を介して、ＬＣＤ１０にモニタリング画像が出力される。

●画像取込処理
ここで、レリーズスイッチＳＷ１が操作されて（例えば押下されて）、動画像撮像が開始されると、ＳＤＲＡＭ４１に記録された取込画像データを用いて動画像データを生成する動画像生成処理（Ｓ２）が行われる。動画像生成処理（Ｓ２）の詳細については後述する。続いて、生成された動画像を動画像ファイルとしてメディアＩ／Ｆ３７を介してメモリカード１４に記録（Ｓ３）し、当該処理は終了する。

●動画像生成処理
次に、動画像生成処理（図７のＳ２）の詳細な処理の流れについて、図８のフローチャートを用いて説明する。まず、注目フレーム決定処理が行われる（Ｓ２１）。注目フレームとは、取込画像データにおいて、１記録フレームレートに相当する取込フレームレートに含まれるフレームのうち、最新のフレームをいう。また、注目フレーム画像とは、取込画像データにおいて、１記録フレームレートに相当する取込フレームレートに含まれるフレームのうち、最新のフレームの画像をいう（図６（ａ）の符号１００、１０１、１０２を参照）。次に、注目フレーム画像の明るさを判定する第１明るさ判定処理が行われる（Ｓ２２）。注目フレーム画像の輝度値が所定の閾値を超えていれば（Ｓ２２のＹＥＳ）、当該注目フレーム画像の明るさは適正であると判定されて、記録フレームレートの１フレーム分の画像を生成する記録フレーム生成処理が、この注目フレームを用いて実行される（Ｓ２３）。

第１明るさ判定処理において、閾値以下であれば（Ｓ２２のＮＯ）、フレーム合成処理（Ｓ２４）が行われる。フレーム合成処理（Ｓ２４）の詳細については後述する。フレーム合成処理（Ｓ２４）後の注目フレーム画像に対する第1明るさ判定処理（Ｓ２２）が行われ、注目フレー像の輝度値が閾値適正な輝度値を超えていれば（Ｓ２２のＹＥＳ）、当該合成された注目フレーム画像を用いて記録フレームレートの１フレーム分の画像が生成される（Ｓ２３）。ここで、合成された画像に対して、再度、第１明るさ判定処理（Ｓ２２）が行われて、合成された注目フレーム画像が閾値以下であれば（Ｓ２２のＮＯ）、再度のフレーム合成処理（Ｓ２４）が行われる。フレーム合成処理（Ｓ２４）は、注目フレーム画像の輝度値が適正値になるまで繰り返し実行される。

このように、本発明に係る撮像方法によれば、取込画像データの取込フレームレートを構成する１つのフレームを用いて画像の明るさを輝度値によって判定し、適正な輝度値であれば、その１フレームを用いて記録フレームレートの１フレームに係る画像を生成する。一方、輝度値が不適であれば、取込フレーム中の他のフレームに係る画像を合成して輝度値を増加させて明るさを補完することで、１つの撮像素子から取得した動画像を用いて、ダイナミックレンジを拡張した動画像ファイルを生成することができる。

●フレーム合成処理
次に、フレーム合成処理（図８のＳ２４）の詳細な処理の流れについて、図９のフローチャートを用いて説明する。まず、注目フレーム画像の明るさに応じて、注目フレーム画像に対して他のフレーム画像を画像合成するための、合成比率を決定する（Ｓ２４１）。合成比率決定処理（Ｓ２４１）について図１５を用いて説明する。

●合成比率の決定方法
図１５は横軸を輝度値とし、縦軸を合成比率とするグラフである。フレーム合成処理（Ｓ２４）において、取込フレームレートを構成する取込画像データの１フレーム分の画像全体の輝度によって、合成比率を決定する場合、１フレーム分の画像全体を複数の画像ブロックに分割し、この画像ブロックごとに算出した輝度値の平均値を用いて、合成比率を決定すればよい。例えば、適正な明るさに係る輝度値を６０とし、注目フレームに係る画像の輝度値がこの値以下であれば、フレーム合成処理を行うと判定すればよい（Ｓ２２のＮＯ）。

なお、「画像ブロックに分割する」とは、図１４に示すように１フレーム分の画像を、縦方向と横方向に所定の数で画像ブロックを形成することをいう。

合成条件決定処理（Ｓ２４１）における合成処理の決定方法について、図１５を例に説明をする。例えば、当該注目フレーム画像の輝度値が０〜１５の間であれば、図１５のグラフに示すように、合成比率は「１００％」となる。輝度値が３０のときは、合成比率は「９５％」、輝度値が４５のときは「５０％」、輝度値が６０のときは「６％」、というように決定すればよい。輝度値が上記の中間の値であるときは、合成比率も図１５に示すグラフに従って中間の値を用いればよい。

なお、輝度値が０〜１５の間であれば「１００％」、１６〜３０の間であれば「９５％」、３１〜４５の間であれば「５０％」、４６〜６０の間であれば「６％」というように、参照テーブル形式のデータとして規定して、ＲＯＭ３８に記憶しておき、所定の数値幅の輝度値に対しては、同じ合成比率を適用してもよい。テーブルデータとして合成比率決定テーブルを記憶しておけば、合成比率決定処理（Ｓ２４１）をより素早く行うことができる。

決定した合成比率を用いて、注目フレーム画像と、注目フレーム画像の一つ前の他のフレーム画像とを合成する（Ｓ２４２）。合成処理は、注目フレーム画像の各画素の画素値に対して、対応する他のフレーム画像の各画素の画素値に合成比率を掛け合わせた値を、加算する処理である。

フレーム合成処理（Ｓ２４）によって他のフレーム画像が合成された注目フレーム画像の明るさ判定処理（図８のＳ２２）が再度行われる。その結果、合成した注目フレーム画像の輝度値が閾値を超えていなければ（Ｓ２２のＮＯ）、再度、フレーム合成処理（Ｓ２４）を実行する。再度のフレーム合成処理では、先のフレーム合成処理において使用した他のフレーム画像のさらに前のフレーム画像を、合成された注目フレーム画像に合成する。この場合、合成比率の決定は（図９のＳ２４１）、合成されている注目フレーム画像の明るさに応じて行う。

以上説明をした本発明に係る撮像方法によれば、記録フレームレートよりも高いフレームレートである取込フレームレートで構成される取込画像データに含まれる１のフレームを注目フレームとして、この注目フレームに係る画像（注目フレーム画像）の明るさに応じて、他のフレーム画像と注目フレーム画像を合成し、記録フレームを生成することで、動画像のダイナミックレンジを拡張することができる。

●フレーム内分割した動画像生成処理
次に、本発明に係る撮像装置が実行する撮像方法に係る動画像生成処理（図７のＳ２）の別の例について、図１０のフローチャートを用いて説明する。図１０において、既に説明をした動画像生成処理（図８）と同じ処理には同じ符号を付与し、詳細な説明を省略する。まず、注目フレーム決定処理が行われる（Ｓ２１）。次に、注目フレーム画像のブロック分割処理が行われる（Ｓ２１１）。当該処理は、注目フレーム画像を、所定の大きさの画素ブロックに分割する処理である。画素ブロックへの分割は、例えば、図１４に示すように有効画素を縦１６横１６の計２５６ブロックに分割すればよい。

次に、画素ブロック毎に明るさを判定する第２明るさ判定処理を行う（Ｓ２２１）。この第２明るさ判定処理によって、全ての画素ブロックの輝度値が所定の閾値よりも高ければ（Ｓ２２１のＹＥＳ）、当該注目フレームの明るさは適正であると判定されて、当該注目フレーム画像を用いて記録フレーム生成処理（Ｓ２３）が実行される。

第２明るさ判定処理（Ｓ２２１）において、輝度値が閾値以下の画素ブロックがあれば（Ｓ２２１のＮＯ）、この画素ブロックに対して、ブロック合成処理（Ｓ２５）を行う。ブロック合成処理（Ｓ２５）の詳細については、後述する。ブロック合成処理（Ｓ２５）の後、再度、合成処理をした画素ブロックに対して第２明るさ判定処理（Ｓ２２１）を行う。全ての画素ブロックの輝度値が閾値を超えるまで、当該処理を繰り返す。

●ブロック合成処理
次に、ブロック合成処理（図１０のＳ２５）の詳細な処理の流れについて、図１１のフローチャートを用いて説明する。明るさ判定処理（Ｓ２２１）において、輝度値が閾値以下と判定された画素ブロックの輝度値に応じて、合成比率決定処理（Ｓ２５１）を行う。合成比率決定処理（Ｓ２５１）は、既に説明をした合成比率決定処理（Ｓ２４１）と同様に、注目フレーム画像の該当する画素ブロックの輝度値に応じて決定される数値であって、当該画素ブロックに対して、対応する他のフレーム画像の画素ブロックを合成するための、合成比率を決定する（Ｓ２５１）。

決定した合成比率を用いて、注目フレーム画像の当該画像ブロックと、当該画像ブロックに対応する注目フレーム画像の一つ前のタイミングで取得された他のフレーム画像の画像ブロックとを合成する。ブロック合成処理は、注目フレーム画像の当該画像ブロックに対応する、注目フレーム画像の一つ前のタイミングで取得された他のフレーム画像の画像ブロックの画素値に、決定した合成比率を掛け合わせた値を、注目フレーム画像の対応する画像ブロックの画素値に加算する処理である。

以上説明をした本発明に係る撮像装置によれば、注目フレームに係る画像を画像ブロックに分割して、各画像ブロックの輝度値に応じて、他の取込フレームに係る画像の合成要否を決定する。これによって、注目フレーム全体ではなく、一部に対してだけ画像合成を行うことで、より精密に、かつ、素早く動画像ファイルのダイナミックレンジの拡張処理を行うことができる。

●動き検出に係る撮像方法
次に、フレーム合成処理（図８のＳ２４）の別の詳細な処理の流れについて、図１２のフローチャートを用いて説明する。まず、動き判定処理（Ｓ２４０）を行う。動き判定処理では、注目フレーム画像の輝度値の平均と、注目フレームの一つ前のフレームに係る画像の輝度値の平均の差分が閾値以下であれば、「動きなし」と判定し（Ｓ２４０のＮＯ）、差分が閾値を超えていれば「動きあり」（Ｓ２４０のＹＥＳ）と判定する。また、動き判定処理においては、注目フレーム画像と、１つ前のフレーム画像とを、パターンマッチングによって比較して、当該フレーム間において被写体に動きがあるか否かを判定してもよい。この場合、パターンマッチング処理の方が、より素早く動き判定処理（Ｓ２４０）を行うことができる。

「動きあり」と判定されたときは（Ｓ２４０のＹＥＳ）、注目フレーム画像と１つ前のフレーム画像とを合成すると、画像にずれが生じてしまい、注目フレーム画像の明るさを補完するダイナミックレンジ拡張処理を行うことができない。従って、「動きあり」と判定されたときは（Ｓ２４０ＹＥＳ）、注目フレーム画像の画素値に、この注目フレーム画像の画素値を加算する合成処理を行う（Ｓ２４０１）。このように処理することで、被写体の動きがあっても、暗い注目フレーム画像の輝度値を引き上げることができるようになる。

「動きあり」と判定されなければ（Ｓ２４０のＮＯ）、合成比率決定処理（Ｓ２４１）、フレーム合成処理（Ｓ２４２）を行って、処理を動画像生成処理に戻す。

なお、上記の実施例では、「動きあり」と判定されたときは、注目フレーム画像の画素値に注目フレーム画像の画素値を加算する合成処理を行う（Ｓ２４０１）としたが、「動きあり」と判定されたときに、図９のフレーム合成処理と同様に、注目フレーム画像の輝度値に応じて合成比率を決定してから、注目フレーム画像の各画素の画素値に対して、注目フレーム画像の各画素の画素値に、決定した合成比率を掛け合わせた値を、加算する処理を行ってもよい。

また、上記の実施例では画像全体で動きの有無を判定したが、画像をブロック分割して、各ブロックにおいて動きの有無を判定し、「動きあり」と判定されたブロックのみにおいて注目フレーム画像の当該画像ブロックの画素値に、注目フレーム画像の当該画像ブロックの画素値を加算する合成処理を行ってもよい。

この場合に、ブロック分割を図１０のＳ２１１と同様に行い、各ブロックにおいて動きの有無を判定し、「動きあり」と判定されたブロックについて、図１０のブロック合成処理と同様に、画像ブロックの輝度値に応じて合成比率を決定してから、注目フレームの画像ブロックの各画素の画素値に対して、注目フレームの画像ブロックの各画素の画素値に、決定した合成比率を掛け合わせた値を、加算する処理を行ってもよい。

更には、明るさ判定処理の後段で動き判定処理を行うのではなく、先に動き判定処理を行ってから明るさ判定処理を行ってもよい。
以上説明をした本発明に係る撮像装置によれば、動きがある被写体を撮像した動画像においてもダイナミックレンジを拡張することができる。

２３ プロセッサ
２５ 制御部
３１ カメラＩ／Ｆ
３８ ＲＯＭ
３９ 動画像生成処理部
３８０ 制御プログラム

特開２０１０−１７８１６４号公報 特開２０１０−１４７８１２号公報

Claims (10)

1. 被写体の動画像を所定の記録フレームレートで記録する撮像装置であって、
   上記記録フレームレートよりも高い取込フレームレートで動画像を撮影する動画像撮影手段と、
   上記取込フレームレートで撮影された動画像から、上記記録フレームレートの動画像を生成する動画像生成手段と、
   上記生成された記録フレームレートの動画像を記録する動画像記録手段と、
   を有し、
   上記動画像生成手段は、
   上記取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、１のフレーム画像を注目フレーム画像として決定する注目フレーム画像決定部と、
   上記注目フレーム画像の明るさを判定する判定部と、
   上記決定された注目フレーム画像に、上記複数のフレーム画像のうち他のフレーム画像を合成する画像合成部と、
   上記注目フレーム画像と上記他のフレーム画像とが合成されて得られる画像を用いて、上記動画像記録手段に記録される上記記録フレームレートの動画像を生成する動画像生成部と、
   を有し、
   上記画像合成部は、上記判定部の判定結果に基づいて上記注目フレーム画像に他のフレーム画像を合成することが決定された場合に、上記注目フレーム画像に他のフレーム画像を合成する、ことを特徴とする撮像装置。
2. 上記画像合成部は、上記判定部の判定結果に基づいて、上記注目フレーム画像に他のフレーム画像を合成する合成比率を決定する、
   請求項１記載の撮像装置。
3. 上記動画像生成手段は、上記注目フレーム画像を複数の画像ブロックに分割する画像分割部を有し、
   上記判定部は、上記画像ブロックごとの明るさを判定し、
   上記画像合成部は、上記判定部の判定結果に基づいて、上記画像ブロックごとに、上記注目フレーム画像の画像ブロックに、他のフレームの対応する画像ブロックを合成する合成比率を決定する、
   請求項１または２に記載の撮像装置。
4. 上記画像合成部は、上記合成された注目フレーム画像の明るさを判定部によって判定した結果に基づいて、上記合成された注目フレーム画像に、上記取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、さらに他のフレームの画像を合成する、
   請求項１乃至３のいずれかに記載の撮像装置。
5. 上記注目フレーム画像の明るさごとに対応する上記合成比率が設定されたデータベースが記憶されている記憶手段を備える、
   請求項２または３に記載の撮像装置。
6. 上記被写体の移動を検知する検知手段を備え、
   上記画像合成部は、上記検知手段が上記被写体の移動を検知したときには、上記注目フレーム画像に上記注目フレーム画像を合成する、
   請求項１乃至５のいずれかに記載の撮像装置。
7. 上記検知手段は、上記注目フレーム画像と別のフレーム画像とのパターンマッチングにより、上記被写体の移動を検知する、
   請求項６記載の撮像装置。
8. 上記別のフレーム画像は、上記取込フレームレートの動画像を構成する複数のフレーム画像のうち、上記注目フレーム画像の撮影以前に撮影されたフレーム画像である、
   請求項７記載の撮像装置。
9. 上記注目フレーム画像は、上記記録フレームレートに対応する上記取込フレームレートの最新のフレームの画像である、
   請求項１乃至８のいずれかに記載の撮像装置。
10. 被写体の動画像を所定の記録フレームレートで記録する撮像装置が実行する撮像方法であって、
    上記撮像装置は、上記記録フレームレートよりも高い取込フレームレートで動画像を撮影する動画像撮影手段と、上記取込フレームレートで撮影された動画像から、上記記録フレームレートの動画像を生成する動画像生成手段と、上記生成された記録フレームレートの動画像を記録する動画像記録手段と、を有してなり、
    上記動画像生成手段が、
    上記取込フレームレートで撮影された動画像を構成する複数のフレーム画像のうち、１のフレーム画像を注目フレーム画像として決定するステップと、
    上記注目フレーム画像の明るさを判定するステップと、
    上記決定された注目フレーム画像に、上記複数のフレーム画像のうち他のフレーム画像を合成するステップと、
    上記注目フレーム画像と上記他のフレーム画像とが合成されて得られる画像を用いて、上記動画像記録手段に記録される上記記録フレームレートの動画像を生成する動画像生成ステップと、を実行し、
    上記画像を合成するステップは、上記注目フレーム画像の明るさを判定するステップによる判定結果に基づいて、上記注目フレーム画像に他のフレーム画像を合成することが決定された場合に、上記フレーム画像に他のフレーム画像を合成する、ことを特徴とする撮像方法。
    

Images