JP2012248026A - 画像生成装置およびプログラム - Google Patents

Abstract

【課題】演算量を著しく増大させることなく、効果的に高解像度化すること。
【解決手段】画像生成装置は、複数の画像を含む時系列画像のデータを取得する画像データ取得部と、画像領域内に複数のエリアを設定する設定部と、時系列画像のデータを用いて複数の画像より解像度が高い出力画像の画像データを生成する画像生成部とを備え、画像生成部は、時系列画像のデータに含まれる第１のデータ量のデータを用いて、複数のエリアのうちの第１エリアを高解像度化し、時系列画像のデータに含まれる第２のデータ量のデータを用いて、複数のエリアのうちの第２エリアを高解像度化する。
【選択図】図２

Description

本発明は、画像生成装置およびプログラムに関する。

撮影シーンに応じた重要部分を高画質で記録する撮像装置が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−８７５９９号公報

画像データが多画素化するにつれて、高解像度化に要する演算量も増大する。従来、演算量を著しく増大させることなく、複数の画像を用いて効果的に高解像度化することができないという課題があった。

本発明の第１の態様においては、画像生成装置は、複数の画像を含む時系列画像のデータを取得する画像データ取得部と、画像領域内に複数のエリアを設定する設定部と、時系列画像のデータを用いて複数の画像より解像度が高い出力画像の画像データを生成する画像生成部とを備え、画像生成部は、時系列画像のデータに含まれる第１のデータ量のデータを用いて、複数のエリアのうちの第１エリアを高解像度化し、時系列画像のデータに含まれる第２のデータ量のデータを用いて、複数のエリアのうちの第２エリアを高解像度化する。

本発明の第２の態様においては、プログラムは、複数の画像を含む時系列画像のデータを取得するステップと、画像領域内に複数のエリアを設定するステップと、時系列画像のデータを用いて複数の画像より解像度が高い出力画像の画像データを生成するステップとをコンピュータに実行させ、画像データを生成するステップは、時系列画像のデータに含まれる第１のデータ量のデータを用いて、複数のエリアのうちの第１エリアを高解像度化し、時系列画像のデータに含まれる第２のデータ量のデータを用いて、複数のエリアのうちの第２エリアを高解像度化する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置１００のシステム構成図を示す。 ＡＳＩＣ１３５におけるブロック構成の一例を示す。 複数枚の画像データを用いた高解像度化処理を模式的に示す。 エリア分割の一例を示す。 高解像度化に用いる画像を選択する時間範囲の一例を示す。 高解像度化に用いる画像を選択する時間範囲の他の一例を示す。 高解像度化に用いる画像を選択する時間範囲の更なる他の一例を示す。 高解像度化に用いる画像を選択する時間範囲の更なる他の一例を示す。 撮像装置１００の起動から終了までの処理フローを示す。 動画に含まれる画像を高解像度化する場合の動作フローの一例を示す。 設定部２３０がエリアを設定する処理フローの一例を示す。 画像生成部２４０による高解像度化処理の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置１００のシステム構成図を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。

被写体光は、光軸に沿って撮影光学系としてのレンズ群１２２を透過して、撮像素子１３２の受光面に結像する。レンズ群１２２は、レンズＭＰＵ１２３によって制御される。例えば、レンズＭＰＵ１２３は、フォーカスレンズモータを制御して、レンズ群１２２を構成するフォーカスレンズ群を移動させる。撮像素子１３２は、レンズ群１２２を通過した被写体光により撮像する撮像部の一部として機能する。

レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。撮像素子１３２は、被写体像である光学像を光電変換する素子であり、例えばＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１３２で光電変換された被写体像は、Ａ／Ｄ変換器１３４でアナログ信号からデジタル信号に変換される。撮像素子駆動部１４０は、撮像素子１３２およびＡ／Ｄ変換器１３４の駆動を制御する。例えば、撮像素子駆動部１４０は、カメラＭＰＵ１３３から与えられる露光時間、露光周期等に従って、撮像素子１３２の電荷リセットおよび読み出しタイミング、読み出しゲイン等に対する制御信号を出力する。撮像素子駆動部１４０は、撮像素子１３２からのアナログ信号としての読み出しに同期して、Ａ／Ｄ変換器１３４にデジタル信号へ変換させる制御信号を出力する。

デジタル信号に変換された受光信号としての被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１３４によりデジタル信号に変換された画像データは、ＡＳＩＣ１３５へ引き渡される。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＳＤＲＡＭ１３６は、ＡＳＩＣ１３５における処理、画像データの記録および再生動作時において一時的に画像データを記憶するためのバッファメモリとして機能する。

ＡＳＩＣ１３５は、画像データを規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画データとしてのＪＰＥＧファイルを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、動画データとしてのＭＰＥＧファイルを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ１６０に転送して記録させる。外部メモリ１６０は、例えばフラッシュメモリ等により構成される。

ＡＳＩＣ１３５は、外部メモリ１６０への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。

撮像装置１００は、上記の画像処理における各々の要素も含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等を適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内のＡ／Ｄ変換器１３４、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。

操作入力部１４１は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部１４１としては、電源スイッチ、レリーズボタン、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各要素を制御する。また、カメラＭＰＵ１３３は、タッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各要素を制御する。

カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０は、カメラ本体１３０に対して着脱できる、例えばリチウムイオン電池などの二次電池、家庭用ＡＣ電源等により構成される。カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各要素への電力供給を制御する。二次電池は、撮像装置１００を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。

撮像素子１３２が動画を撮影した場合、ＡＳＩＣ１３５は、動画に含まれる複数の画像の画像データを用いて、各画像に対して高解像度化を施す。また、撮像素子１３２が連続撮影した場合、ＡＳＩＣ１３５は、連続撮影で得られ複数の画像の画像データを用いて、各画像に対して高解像度化を施す。動画に含まれる複数の画像、連写撮影された複数の静止画は、複数の画像を含む時系列の画像の一例である。すなわち、ＡＳＩＣ１３５は、時系列画像のデータを用いて、時系列画像に含まれる複数の画像より解像度が高い出力画像の画像データを生成する画像生成部として機能する。

ＡＳＩＣ１３５は、エリア毎に異なるデータ量の画像データを用いて、出力画像の画像データを高解像度化する。例えば、ＡＳＩＣ１３５は、人物の顔が撮像された顔エリアを高解像度化する場合に、他のエリアよりも多い数の画像を用いて高解像度化する。例えば、ＡＳＩＣ１３５は、高画質化の対象として選択された画像を高解像度化する場合に、時系列画像における前後２つの画像と選択された画像とを含む５つの画像を用いる。一方、人物の顔が撮像されていないエリアを高解像度化する場合には、時系列画像における前後の２つの画像を用いる。

このため、人物の顔が撮像されていないエリアに対しては、高解像度化処理に要する演算量を低減することができる。このため、例えば全画像領域を５つの画像を用いて高解像度化する場合と比較して、高解像度化処理に要する演算量を低減することができる。また、着目度の高い顔画像を適切に高解像度化することができる。なお、本実施形態において、高解像度化処理とは、元の画像よりも画素数が多い出力画像の画像データを生成する処理を示す。元の画像が撮像された画像である場合、高解像度化処理とは、対応する画角内において、元の画像よりも画素数が多い出力画像を生成する処理を示す。

図２は、ＡＳＩＣ１３５におけるブロック構成の一例を示す。ＡＳＩＣ１３５は、画像データ取得部２２０と、設定部２３０と、画像生成部２４０と、動きベクトル特定部２５０と、符号化部２６０とを、機能ブロックとして有する。

画像データ取得部２２０は、複数の画像を含む時系列画像のデータを取得する。具体的には、画像データ取得部２２０は、Ａ／Ｄ変換器１３４から連続して出力された画像データを、時系列画像のデータとして取得する。すなわち、画像データ取得部２２０は、時間的に連続して撮像された撮像画像のデータを時系列画像のデータとして取得する。具体的には、画像生成部２４０は、第１の画像数の画像データを用いて第１エリアを高解像度化し、第２の画像数の画像データを用いて第２エリアを高解像度化してよい。データ量を表す指標値しては、画像数の他に、画素数、色数等を例示することができる。画像生成部２４０は、撮像素子１３２から読み出した画素数よりも多い画素数の出力画像データを、高解像度化処理により生成してよい。

設定部２３０は、画像領域内に複数のエリアを設定する。例えば、動きベクトル特定部２５０は、時系列画像における動きベクトルを特定する。そして、設定部２３０は、動きベクトル特定部２５０が特定した動きベクトルの特性に基づいて、複数のエリアを設定する。例えば、動きベクトルの大きさおよび向きの類似度に基づいて、複数のエリアを設定する。

画像生成部２４０は、時系列画像のデータに含まれる第１のデータ量のデータを用いて、複数のエリアのうちの第１エリアを高解像度化し、時系列画像のデータに含まれる第２のデータ量のデータを用いて、複数のエリアのうちの第２エリアを高解像度化する。

画像生成部２４０により高解像度化処理により生成された出力画像の画像データは、ＳＤＲＡＭ１３６に記憶される。符号化部２６０は、ＳＤＲＡＭ１３６に記憶された出力画像の画像データに符号化を施す。例えば、符号化部２６０は、画像生成部２４０によりそれぞれ高解像度化された複数の出力画像のデータに対して、動画としての圧縮処理を施す。符号化部２６０により圧縮処理が施されたデータは、外部メモリ１６０に転送され記録される。

なお、設定部２３０は、予め定められた種類の被写体が撮像されたエリアを含む複数のエリアを設定してよい。例えば、設定部２３０は、人物の顔が撮像されたエリアを含む複数のエリアを設定してよい。画像生成部２４０は、顔が撮影されたエリアである第１エリアの画像データを、第１のデータ量のデータを用いて高解像度化し、第１のデータ量よりもデータ量が少ない第２のデータ量のデータを用いて第２エリアを高解像度化してよい。

また、設定部２３０は、フォーカスポイントとして設定されたエリアを含む複数のエリアを設定してよい。画像生成部２４０は、フォーカスポイントが設定されたエリアである第１エリアの画像データを、第１のデータ量のデータを用いて高解像度化し、第１のデータ量よりもデータ量が少ない第２のデータ量のデータを用いて第２エリアを高解像度化してよい。

また、画像生成部２４０は、第１エリアの面積が大きいほど、より小さい第１のデータ量のデータを用いて第１エリアの画像データを高解像度化する。このため、例えば画像領域の大半を人物の顔で占められている場合に、演算量が著しく増大することを未然に防ぐことができる。

図３は、複数枚の画像データを用いた高解像度化処理を模式的に示す。時系列画像３００は、画像３１０、３２０、３３０、３４０および３５０を含む。ここでは、画像３３０を高解像度化処理の対象とする。そして、画像３３０と、画像３３０の前後の画像である画像３２０および画像３４０とを用いて、画像３３０のエリアを高解像度化する。

画像３３０内のエリア３６０を高解像度化する場合に、画像生成部２４０は、エリア３６０内の画像データと、画像３２０内の対応するエリア３７０の画像データと、画像３４０内の対応するエリア３８０の画像データとを位置合わせして重ね合わせる。重ね合わせにより得られた画像データを、出力画像のエリア３６０に対応するエリアの画像データとして適用する。画像生成部２４０は、画像３３０内の各エリアに対して同様の高解像度化処理を施して、画像３３０の全体を高解像度化した出力画像３９０の画像データを生成する。

なお、画像生成部２４０は、動きベクトル特定部２５０が各エリアから特定した動きベクトルに基づいて、エリア３６０、エリア３７０およびエリア３８０の間の位置合わせを行う。例えば、画像生成部２４０は、エリア３６０内の複数のブロックからそれぞれ特定された複数の動きベクトルの平均値を、エリア３６０の動きベクトルとして特定する。エリア３７０、エリア３８０についても同様である。このため、画像生成部２４０は、被写体の全体の動きを考慮して適切に重ね合わせをすることができる。

図４は、エリア分割の一例を示す。動きベクトル特定部２５０は、画像３３０に含まれる複数のブロックから、それぞれ動きベクトルを算出する。例えば、動きベクトル特定部２５０は、８×８画素を１ブロックとする複数のブロックから、画像の差分に基づき動きベクトルを算出する。

設定部２３０は、ブロック単位で複数のエリアに分割する。例えば、設定部２３０は、動きベクトルの一致度が予め定められた値よりも高いブロックのうち、画像領域として連続する複数のブロックの集合を、同一エリアに属するブロックとして設定する。例えば、設定部２３０は、画像内から人物の顔が検出された場合、顔が検出された画像領域内のブロックの動きベクトルに基づき、人物エリアを設定する。動きベクトルの一致度が予め定められた値よりも高いブロックの集合を、人物エリアとして設定する。

なお、設定部２３０は、被写体認識に基づき、同一エリアに属するブロックを設定してもよい。例えば、被写体が人物、動物等、予め定められた種類の被写体である場合、エッジ検出によりアウトライン切り出しによりエリアを設定してよい。また、後述する動体エリアに対しては、矩形切り出しを適用してもよい。設定部２３０は、これらの切り出し処理と動きベクトルによるエリア設定とを併用して、複数のエリアを設定してもよい。

本例において、設定部２３０は、人物の顔が検出されたエリア４２０を、主要被写体エリアに設定する。また、主要被写体エリア以外の領域のうち、予め定められた値より大きい動きベクトルが検出されたエリア４３０およびエリア４４０を、動体エリアに設定する。また、他のエリア４５０を、背景エリアに設定する。

なお、撮像装置１００における撮像モードとして、特定被写体に対してフォーカスを合わせて撮影するフォーカス追従モードを設定することができる。フォーカス追従モードに設定されて撮影された場合、設定部２３０は、フォーカスポイントを含むエリアを、主要被写体エリアとして設定してよい。そして、他のエリアを、背景エリアに設定してよい。なお、フォーカスポイントは、レンズＭＰＵ１２３による合焦制御情報から特定してもよい。また、画像に付帯されたフォーカス情報を用いて、フォーカスポイントを特定してもよい。

図５は、高解像度化に用いる画像を選択する時間範囲の一例を示す。本例は、人物エリアを高解像度化する場合に選択する時間範囲の一例を示す。人物エリアは主要被写体エリアとして設定される。主要被写体エリアに対しては、画像生成部２４０は、高解像度化の対象画像５００と前後２枚の画像を選択する。主要被写体エリアが人物エリアである場合、対象画像５００に時間的に近い順に画像５１０ａ〜ｄを選択する。また、画像生成部２４０は、各画像に、高解像度化処理における重みづけを割り当てる。

例えば、画像生成部２４０は、対象画像５００に、重み０．６を設定する。そして、対象画像５００に時間的に最も近い画像５１０ａおよび５１０ｂに、重み０．１５を設定する。そして、対象画像５００に時間的に最も遠い画像５１０ｃおよび５１０ｄに、重み０．０５を設定する。画像生成部２４０は、各画像に設定した重みを、重ね合わせ処理における重みとして適用してよい。画像生成部２４０は、補間演算によって高解像度化処理を施す場合、各画像に設定した重みを、補間演算の重みづけとして適用してよい。

図６は、高解像度化に用いる画像を選択する時間範囲の他の一例を示す。本例は、動き量が予め定められた値以下の動体エリアを高解像度化する場合に選択する時間範囲の一例を示す。動き量は、動きベクトルから特定されてよい。例えば、動体エリア内の各ブロックから特定された動きベクトルの平均値を、動き量として特定してよい。

本動体エリアに対しては、画像生成部２４０は、高解像度化の対象画像６００と、前後の画像６１０ａおよび６１０ｂとを選択する。そして、画像生成部２４０は、対象画像６００に重み０．５を設定し、画像６１０ａおよび６１０ｂに重み０．２５を設定する。このように、動き量が予め定められた値以下の動体エリアを高解像度化する場合、画像生成部２４０は、対象画像６００に比較的に大きい重みを設定する。

図７は、高解像度化に用いる画像を選択する時間範囲の更なる他の一例を示す。本例は、動き量が予め定められた値より大きい動体エリアを高解像度化する場合に選択する時間範囲の一例を示す。本動体エリアに対しては、画像生成部２４０は、高解像度化の対象画像７００と、前後の時間範囲からそれぞれ１つおきに選択した画像７１０ａおよび７１０ｂとを選択する。そして、画像生成部２４０は、対象画像７００に重み０．４を設定し、画像６１０ａおよび６１０ｂに重み０．３を設定する。このように、動き量が予め定められた値より大きい動体エリアを高解像度化する場合、画像生成部２４０は、対象画像７００以外の画像７１０にも比較的に大きい重みを設定する。

図６、図７に関連して説明したように、画像生成部２４０は、第１エリアから特定された動きベクトルの大きさが、第２エリアから特定された動きベクトルの大きさよりも大きい場合に、第１の時間範囲に属する第１の画像数の画像データを用いて第１エリアを高解像度化する。そして画像生成部２４０は、第１の時間範囲よりも短い第２の時間範囲に属する第２の画像数の画像データを用いて、第２エリアを高解像度化する。このため、複数の画像を参照することで得られる高解像度化の効果が大きいエリアには、広い時間範囲から画像を選択する。また、画像生成部２４０は、動きベクトルの大きさが予め定められた値より小さい場合に、高解像度化の対象とする時刻との間の時間差が小さい画像により大きい重みづけを適用して、出力画像の画像データを生成する。例えば、動きベクトルの大きさが予め定められた値より小さい場合に、高解像度化の対象とする画像の重みづけを大きく設定する。

なお、図６、図７においては、動体エリアに対する高解像度化処理に３枚の画像を用いる場合を例示した。しかし、高解像度化処理に用いる画像の枚数は、３枚に限られない。例えば、画像生成部２４０は、動き量が大きいほど、より多くの画像を用いて高解像度化してよい。また、半画素単位の動きベクトルが特定された画像には、他の画像よりも大きい重みづけを適用してもよい。

図８は、高解像度化に用いる画像を選択する時間範囲の更なる他の一例を示す。本例は、背景エリアに対する時間範囲の一例を示す。本動体エリアに対しては、画像生成部２４０は、高解像度化の対象画像８００と、直前の画像８１０を選択する。そして、画像生成部２４０は、対象画像８００および画像８１０にそれぞれ重み０．５を設定する。なお、画像生成部２４０は、直後の画像を高解像度化処理に用いる画像として選択してもよい。

図９は、撮像装置１００の起動から終了までの処理フローを示す。本フローは、操作入力部１４１の一部としての電源ボタンがＯＮされた場合に、開始される。本フローは、特に断らない限り、カメラＭＰＵ１３３が主体となって撮像装置１００の各部を制御することにより実行される。

ステップＳ９００において、カメラＭＰＵ１３３は、初期設定を開始する。例えば、カメラＭＰＵ１３３は、撮像装置１００を制御するための各種パラメータ等を、システムメモリ１３９からＳＤＲＡＭ１３６に展開する。そして、カメラＭＰＵ１３３は、例えば撮像モードスイッチ等を含む操作入力部１４１の状態、および、展開された各種パラメータに基づき、撮像装置１００の各部の動作条件を設定する。

例えば、撮像モードスイッチの位置に応じて、ポートレートモード、スポーツモード等の撮像モードを設定する。ポートレートモードは、人物撮影に撮像条件および画像処理が最適化されるモードであってよい。例えば、撮像モードがポートレートモードの場合、人物が際立つように比較的開放に近い露出値が設定され、柔らかい表情が表現されるように画像処理においてエッジ強調を若干弱く適用するためのエッジ強調パラメータが設定される。また、赤目処理をするための赤目処理パラメータが設定される。スポーツモードでは、シャッタ速度が高速重視に設定される。静止画撮影におけるスポーツモードでは、連続して撮影する連写撮影モードに設定される。なお、撮像モードがポートレートモードまたはスポーツモードに設定された場合、フォーカス動作としてはフォーカス追従モードに設定されてよい。また、画像処理モードの一部として、時系列画像を用いて高解像度化処理を施す高解像度化モードを含んでよい。

続いて、ステップＳ９０２において、表示部１３８に設定結果を表示する。例えば、カメラＭＰＵ１３３は、ステップＳ９０２で設定した撮像モード、露出値等を表示部１３８に表示させる。

続いて、ステップＳ９０４において、カメラＭＰＵ１３３は、操作入力部１４１に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラＭＰＵ１３３が主体となって、指示された設定処理を行う（ステップＳ９０６）。設定処理としては、撮像モードを設定する処理、撮像条件を設定する処理、画像処理モードを設定する処理等を例示することができる。画像処理モードの設定処理としては、高解像度化モードを設定する処理または高解像度化モードを解除する処理を例示することができる。

ステップＳ９０４において、ユーザ指示が撮影実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ９１２）。撮影実行に関する指示としては、ライブビューボタン、動画撮影ボタン、レリーズボタンに対する操作等を例示することができる。撮像モードが連写撮影モードに設定されている場合、カメラＭＰＵ１３３は、レリーズボタンが押下されている間、撮像素子１３２に連写撮影させる。

ステップＳ９０４におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を実行する（ステップＳ９２２）。再生処理としては、記録媒体に記録された画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。

ステップＳ９０６、ステップＳ９１２、ステップＳ９２２の処理が完了すると、ステップＳ９０８に進み、電源をＯＦＦするか否かを判断する。例えば、電源ボタンがＯＦＦ位置に切り替えられた場合や、電源がＯＮされてから予め定められた期間、ユーザ指示無しの状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は動作を終了し、電源をＯＦＦしないと判断した場合はステップＳ９０４に処理を移行させる。

図１０は、動画に含まれる画像を高解像度化する場合の処理フローの一例を示す。本フローは、ステップＳ９１２の一部の処理フローである。例えば、本処理フローは、動画撮影ボタンが押し込まれた場合に開始される。

ステップＳ１００２において、撮像素子１３２から１フレームの画像データが読み出される。続いて、ステップＳ１００４において、画像処理モードとして高解像度化モードが設定されているか否かを判断する。

高解像度化モードが設定されている場合、動きベクトル特定部２５０が動きベクトルを特定する（ステップＳ１００６）。続いて、設定部２３０は、複数のエリアを設定し（ステップＳ１００８）、各エリアの種類を設定する（ステップＳ１０１０）。

続いて、画像生成部２４０は、高解像度化の対象とする対象フレームを選択して、高解像度化処理を施す（ステップＳ１０１２）。なお、高解像度化処理されたフレームは、ＳＤＲＡＭ１３６に一時的に記憶されて、符号化部２６０による符号化に供され、外部メモリ１６０に転送される。続いて、ＡＳＩＣ１３５は、高解像度化処理を施した画像データから、表示用の画像データを生成する（ステップＳ１０１４）。ステップＳ１０１４において、表示部１３８の画素数に適合する表示用の画像データが生成される。

続いて、ステップＳ１０１６において、カメラＭＰＵ１３３は、動画撮影を終了するか否かを判断する。例えば、動画撮影ボタンが再度押し込まれた場合に、動画撮影を終了すると判断する。動画撮影を終了しない場合、ステップＳ１００２に処理を移行させる。動画撮影を終了する場合、本フローを終了する。

ステップＳ１００４の判断において、画像処理モードとして高解像度化モードが設定されていない場合、画像生成部２４０はフレームの画像データに対して画素の間引き処理を施して、ユーザが設定した記録用の画素数の画像データを生成する（ステップＳ１０１８）。なお、生成された画像データは、ＳＤＲＡＭ１３６に一時的に記憶されて、符号化部２６０による符号化に供され、外部メモリ１６０に転送される。ステップＳ１０２２の処理の後、ステップＳ１０１４に移行して、表示用の画像データが生成される。

図１１は、設定部２３０がエリアを設定する処理フローの一例を示す。すなわち、図１０のステップＳ１００８の詳細な処理フローである。本処理は、主として設定部２３０が主体となって実行する。

ステップＳ１１０２において、撮像モードとしてフォーカス追従モードが設定されているか否かを判断する。フォーカス追従モードが設定されていない場合、人物の顔が検出されたエリアが存在するか否かを判断する（ステップＳ１１０４）。

人物の顔が検出されたエリアが存在する場合、当該エリアを主要被写体エリアに設定し（ステップＳ１１０６）、ステップＳ１１０８に処理を進める。人物の顔が検出されたエリアが存在しない場合、ステップＳ１１０８に処理を進める。

ステップＳ１１０８において、動き量が予め定められた値より大きいエリアが存在するか否かを判断する。動き量が予め定められた値より大きいエリアが存在する場合、当該エリアを動体エリアに設定し（ステップＳ１１１０）、ステップＳ１１１２に処理を進める。動き量が予め定められた値より大きいエリアが存在しない場合、ステップＳ１１１２に処理を進める。

ステップＳ１１１２において、残りのエリアを背景エリアを設定する。すなわち、主要被写体エリア以外のエリアのうち、動き量が予め定められた値より小さいエリアには、背景エリアが設定される。なお、動き量が予め定められた値より大きい場合でも、動きベクトルの向きが揃っていないエリアについては、当該エリアを背景エリアに設定してもよい。また、動体エリアであるか否かを判断する場合に用いる動き量の基準値は、ユーザが設定してよい。

ステップＳ１１０２の判断において、撮像モードがフォーカス追従モードに設定されている場合、フォーカスポイントを含むエリアを、主要被写体エリアに設定する（ステップＳ１１２２）。フォーカスポイントが複数存在し、かつ、異なる複数のエリアにフォーカスポイントが含まれる場合、それぞれのエリアを主要被写体エリアに設定してよい。続いて、ステップＳ１１２４において、他のエリアを背景エリアに設定する。

ステップＳ１１１２、ステップＳ１１２４の処理が完了すると、本フローを終了する。なお、ステップＳ１１０６において、人物の顔が検出されたエリアを主要被写体エリアに設定するとした。しかし、動物等をテンプレートマッチングで検出する等、予め定められた種類の被写体を検出して主要被写体として撮影する撮像モードでは、検出された被写体が写り込んでいる位置を主要被写体エリアに設定してもよい。

図１２は、画像生成部２４０による高解像度化処理の一例を示す。すなわち、図１０のステップＳ１０１２の詳細な処理フローである。本処理は、主として画像生成部２４０が主体となって実行する。

ステップＳ１２０２において、エリアの種別を判断する。エリアの種別が主要被写体エリアである場合、高解像度化処理の対象フレームを含む計５フレームの画像データを用いて、主要被写体エリアを高解像度化した画像データを生成する（ステップＳ１２０４）。

ステップＳ１２０２の判断においてエリアの種別が動体エリアである場合、高解像度化処理の対象フレームを含む計３フレームの画像データを用いて、動体エリアを高解像度化した画像データを生成する（ステップＳ１２０６）。

ステップＳ１２０２の判断においてエリアの種別が背景エリアである場合、高解像度化処理の対象フレームを含む計２フレームの画像データを用いて、背景エリアを高解像度化した画像データを生成する（ステップＳ１２０８）。このとき、対象フレームの前または後のいずれのフレームを選択してもよい。また、例えば動き量が０である場合には、対象フレームだけを用いて、背景エリアを高解像度化してよい。例えば、対象フレームに対する画素値の補完演算により、背景エリアを高解像度化してよい。

ステップＳ１２０４、ステップＳ１２０６、ステップＳ１２０８の処理が完了すると、各ステップで生成された各エリアを合成して高解像度化した出力画像データを生成し（ステップＳ１２１０）、処理を終了する。

以上に説明したように、撮像装置１００によれば、動き量に応じてエリアを分割し、動き量に応じて高解像度化処理のパラメータを調整することができる。このため、動き量に適した高解像度化処理を適用することが可能になる。また、高解像度化処理に用いる画像数をエリア毎に設定するので、高解像度化に要する演算量が著しく増大することを未然に防ぐことができる。また、再生時に注目され易い人物エリアに対しては多数の画像を用いて高解像度化し、注目されにくい背景エリアに対しては少数の画像を用いて高解像度化する。このため、比較的に少ない演算量で効果的に高解像度化することができる。また、フォーカス追従モードでは、フォーカスポイントを主要被写体エリアの設定に用いるので、主要被写体エリアを効率的に設定できる。

以上の説明において、エリア毎に高解像度化のレベルを設定するとした。しかし、鮮明にすることが好ましくないエリアについては、ぼかし処理を施してよい。例えば、背景エリアにぼかし処理を施してよい。背景エリアにぼかし処理を施すことで、主要被写体が相対的に鮮明に視認される場合がある。

本実施形態の撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばプロセッサ等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。

本実施形態において、撮像装置１００を取り上げて画像生成装置の一例を説明した。撮像装置としては、レンズ交換式の一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置、スキャナ、ファクシミリ等、撮像機能を有する機器を適用の対象とすることができる。また、画像生成装置は、テレビ、ビデオ、デジタルフォトフレーム、プロジェクタ装置、ゲーム機器等の娯楽装置等の電子機器として実現されてよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像装置、１２０ 交換レンズ、１２１ レンズマウント接点、１３０ カメラ本体、１３１ カメラマウント接点、１２２ レンズ群、１３２ 撮像素子、１２３ レンズＭＰＵ、１３３ カメラＭＰＵ、１３４ Ａ／Ｄ変換器、１３５ ＡＳＩＣ、１３６ ＳＤＲＡＭ、１３７ 表示制御部、１３８ 表示部、１３９ システムメモリ、１４０ 撮像素子駆動部、１４１ 操作入力部、１４５ 接続インタフェース、１７０ 電源、１６０ 外部メモリ、２２０ 画像データ取得部、２３０ 設定部、２４０ 画像生成部、２５０ ベクトル特定部、２６０ 符号化部、３００ 時系列画像、３１０、３２０、３３０、３４０ 画像、３６０、３７０、３８０、４２０、４３０、４４０、４５０ エリア、３９０ 出力画像、５００ 対象画像、５１０ 画像、６００ 対象画像、６１０ 画像、７００ 対象画像、７１０ 画像、８００ 対象画像、８１０ 画像

Claims (11)

1. 複数の画像を含む時系列画像のデータを取得する画像データ取得部と、
   画像領域内に複数のエリアを設定する設定部と、
   前記時系列画像のデータを用いて前記複数の画像より解像度が高い出力画像の画像データを生成する画像生成部と
   を備え、
   前記画像生成部は、前記時系列画像のデータに含まれる第１のデータ量のデータを用いて、前記複数のエリアのうちの第１エリアを高解像度化し、前記時系列画像のデータに含まれる第２のデータ量のデータを用いて、前記複数のエリアのうちの第２エリアを高解像度化する
   画像生成装置。
2. 前記画像生成部は、第１の画像数の画像データを用いて前記第１エリアを高解像度化し、第２の画像数の画像データを用いて前記第２エリアを高解像度化する
   請求項１に記載の画像生成装置。
3. 前記時系列画像における動きベクトルを特定する動きベクトル特定部
   をさらに備え、
   前記画像生成部は、前記第１エリアから特定された動きベクトルの大きさが、前記第２エリアから特定された動きベクトルの大きさよりも大きい場合に、第１の時間範囲に属する第１の画像数の画像データを用いて前記第１エリアを高解像度化し、前記第１の時間範囲よりも短い第２の時間範囲に属する第２の画像数の画像データを用いて前記第２エリアを高解像度化する
   請求項１または２に記載の画像生成装置。
4. 前記画像生成部は、前記動きベクトルの大きさが予め定められた値より小さい場合に、高解像度化の対象とする時刻との間の時間差が小さい画像により大きい重みづけを適用して、前記出力画像の画像データを生成する請求項３に記載の画像生成装置。
5. 前記設定部は、前記動きベクトルの特性に基づいて前記複数のエリアを設定する
   請求項３または４に記載の画像生成装置。
6. 前記複数の画像は、時間的に連続して撮像された撮像画像であり、
   前記設定部は、予め定められた種類の被写体が撮像されたエリアを含む前記複数のエリアを設定する
   請求項１から５のいずれか一項に記載の画像生成装置。
7. 前記設定部は、人物の顔が撮像されたエリアを含む前記複数のエリアを設定し、
   前記画像生成部は、前記顔が撮影されたエリアである前記第１エリアの画像データを、第１のデータ量のデータを用いて高解像度化し、前記第１のデータ量よりもデータ量が少ない第２のデータ量のデータを用いて前記第２エリアを高解像度化する
   請求項６に記載の画像生成装置。
8. 前記画像生成部は、高解像度化の対象とする画像の撮像時刻に対して撮像時刻がより近い画像により大きい重みづけを適用して、前記第１エリアの画像データを生成する
   請求項７に記載の画像生成装置。
9. 前記複数の画像は、時間的に連続して撮像された撮像画像であり、
   前記設定部は、フォーカスポイントとして設定されたエリアを含む前記複数のエリアを設定し、
   前記画像生成部は、前記フォーカスポイントが設定されたエリアである前記第１エリアの画像データを、第１のデータ量のデータを用いて高解像度化し、前記第１のデータ量よりもデータ量が少ない第２のデータ量のデータを用いて前記第２エリアを高解像度化する
   請求項２から５のいずれか一項に記載の画像生成装置。
10. 前記画像生成部は、前記第１エリアの面積が大きいほど、より小さい前記第１のデータ量のデータを用いて前記第１エリアの画像データを高解像度化する
    請求項７から９のいずれか一項に記載の画像生成装置。
11. 複数の画像を含む時系列画像のデータを取得するステップと、
    画像領域内に複数のエリアを設定するステップと、
    前記時系列画像のデータを用いて前記複数の画像より解像度が高い出力画像の画像データを生成するステップと
    をコンピュータに実行させ、
    前記画像データを生成するステップは、前記時系列画像のデータに含まれる第１のデータ量のデータを用いて、前記複数のエリアのうちの第１エリアを高解像度化し、前記時系列画像のデータに含まれる第２のデータ量のデータを用いて、前記複数のエリアのうちの第２エリアを高解像度化する
    プログラム。

Images