JP6606838B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、複数の画像に基づく画像処理に関する。

ビデオカメラ、テレビジョンシステムなどでは、複数の画像に基づいて画像処理を行い、例えば撮像素子の解像度（画素数）を超える高解像度の画像や、色合いなどの再現性が優れた高画質の画像を得ることができる（いわゆる「超解像処理」）。そこでは、被写体とカメラとの位置関係、あるいは被写体の状態を固定した状態で、撮像素子を被写体像に対して相対的に移動させることで、被写体像と画素位置との相対位置が異なる複数枚の画像を撮影し、サンプリング点の補間処理、あるいは色情報の補間などを行って合成する。これにより、撮像素子の画素数の割に高画質の画像を得ることができる。

超解像処理を行う場合、複数枚の画像を撮影中に被写体とカメラとの位置関係、あるいは被写体の状態に変化（動き）があると、その動きを推定し補正した上で、複数枚の画像を合成しなければならない。そのため、テレビジョンシステムなどでは、誤った動きの推定があると、生成される合成画像が乱れる。これを防ぐため、例えば、動きベクトルを検出しながら前後のフレーム間で異常な動きベクトルを映像の一部に検出した場合、その部分については超解像処理を実行しない（特許文献１参照）。

特開２００９−１４０３９３号公報

しかしながら、例えば撮影時に超解像処理を行う状況では、撮影者は生成された画像を詳細に見なければ、画像処理が成功したか否かを判断できず、失敗だった場合には無駄な画像処理を行ったことになる。また、撮影者がその場では失敗に気づかずに編集作業等において失敗したことに気付く事態が生じる。したがって、このような不便を改善することが必要とされる。

本発明の撮像装置は、被写体像と撮像素子との相対位置を変更しながら複数の画像の取得を制御する制御部と、取得された複数の画像に基づいて画像処理をする画像処理部と、取得された少なくとも２枚の画像間の少なくとも一部における被写体像の差異を検出する検出部とを備え、制御部が、被写体像の差異に応じて、再度画像の取得もしくは被写体像の差異の報知を行う。複数の画像を取得する撮影に関しては、被写体像に対して撮像素子をシフトさせ、あるいは、その逆も可能である。

このような撮像装置は、例えば、超解像撮影など高画質の画像を生成するための撮影動作を実行可能なカメラなどに適用することが可能であり、解像度（画素数）の向上、正確な色補間など、画質向上に関連する複数の画像取得に対し、被写体像の差異検出そして再度画像の取得や差異の報知を行うことが可能である。すなわち、被写体像の差異が生じなければ、そのまま複数の画像から１枚の画像を生成できるような撮影に対して適用可能である。

例えば制御部は、被写体像の差異が発生する部分を識別化させた画像を表示することで被写体像の差異を報知することが可能である。また、発光部を設け、制御部が、発光部を発光させることで、被写体像の差異を報知することも可能である。

ここで、「被写体像の差異」は、被写体の動き、明るさ、色合いなどを含む変化によって発生し、複数の画像間において、少なくとも一部において被写体像に関する相違がある場合、被写体像に差異が生じているとする。例えば、検出部は、被写体像の動き、被写体像の明るさの変化、被写体像の色の変化のうち少なくともいずれか１つを、被写体像の差異として検出する。また、「再度画像の取得」とは、被写体像の差異のない複数の画像を得るように、撮影（撮像素子に対する露光および画像（データ）の取得）を再度行うなど、画像処理の基にする複数の画像の全取得を完了させるように画像の取得動作を制御することを示す。

検出部は、少なくとも２枚の画像間の差分に基づいて、被写体像の差異を検出することが可能である。例えば、検出部は、少なくとも２枚の画像間の対応する画素間の輝度または色情報の差分を求め、求められた差分に基づいて被写体像の差異を検出する。また、検出部は、少なくとも２枚の画像の輝度ヒストグラムまたは色情報ヒストグラムの差分を求め、求められた差分に基づいて被写体像の差異を検出することが可能である。さらに検出部は、少なくとも２枚の画像の輝度の平均値または色情報の平均値の差分を求め、求められた差分に基づいて被写体像の差異を検出することも可能である。

検出部は、少なくとも２枚の画像間の被写体像の位置変化、被写体像の明るさの変化、被写体像の色の変化のうち少なくともいずれか１つを、被写体像の差異として検出することが可能である。例えば、検出部は、画像処理の基とする複数の画像の全取得完了前に被写体像の差異を検出し、制御部が、被写体像の差異が検出されると、始めから、複数の画像の再取得を実行すればよい。

あるいは、制御部は、被写体像の差異が検出されると、既に取得された複数の画像のうち最後に取得された画像から、再取得を実行することも可能である。一方、検出部は、画像処理の基とする複数の画像の全取得完了後に、基準となる画像の被写体像と他の画像の被写体像の差異を検出し、被写体像の差異が検出されると、その際の生じた画像について再取得を実行することも可能である。

検出部は、画像処理の基とする複数の画像の全取得完了前もしくは画像処理の基とする複数の画像の全取得完了後に被写体像の差異を検出し、制御部が、被写体像の差異が検出されると、既に取得された少なくともいずれかの画像の保存と、既に取得された少なくともいずれかの画像の表示の、少なくともいずれかを実行することも可能である。また、検出部は、複数の画像に基づく画像処理後に被写体像の差異を検出し、制御部が、被写体像の差異が検出されると、該被写体像の差異を報知することも可能である。

一方、スルー画像表示期間といった撮影前（レリーズボタン操作前）などにおいても被写体像の差異を検出することも可能である。例えば、複数の画像の取得の開始前に、相対位置を変更しながら、撮像素子によって得られる複数の画像間で被写体像の差異を検出する撮影前検出部と、被写体像の差異が検出されると、該被写体像の差異を報知する撮影前制御部とを設けることが可能である。撮影前検出部と上記検出部、撮影前制御部と上記制御部は、別々であってもよく、あるいは実質的同一、あるいは上記検出部、制御部の中に含まれる構成であってもよい。このような撮影前に関係する構成は、上述した複数の画像の取得、差異検出、画像再取得あるいは報知とは関係なく構成することが可能である。

本発明の他の態様による撮像方法は、被写体像と撮像素子との相対位置を変更しながら複数の画像の取得を実行し、取得された複数の画像に基づいて画像処理を実行して別の画像を生成し、取得された少なくとも２枚の画像間の少なくとも一部の被写体像の差異を検出し、該被写体像の差異に応じて、再度画像の取得もしくは被写体像の差異の報知を行う。

本発明の他の態様におけるコンピュータ読み取り可能な媒体に記録されたプログラムは、
撮像装置を、被写体像と撮像素子との相対位置を変更しながら複数の画像の取得を制御する制御手段と、取得された複数の画像に基づいて画像処理を実行し、別の画像を生成する画像処理手段と、取得された少なくとも２枚の画像間の少なくとも一部の被写体像の差異を検出する検出手段として機能させ、該被写体像の差異に応じて、再度画像の取得もしくは該被写体像の差異の報知を行うように、制御手段を機能させる。

本発明の他の態様における画像処理装置は、被写体像と撮像素子との相対位置を変更しながら複数の画像を取得することによって得られる複数の画像に基づいて画像処理を実行し、別の画像を生成する画像処理部と、少なくとも２枚の画像間の少なくとも一部の被写体像の差異を検出する検出部と、被写体像の差異が検出されると、該被写体像の差異を報知する報知部とを備える。

本発明の他の態様における撮像装置は、被写体像と撮像素子との相対位置を変更しながら複数の画像の取得を制御する制御部と、取得された複数の画像に基づいて画像処理する画像処理部と、少なくとも２枚の画像間の少なくとも一部の被写体像の差異を検出する検出部とを備え、制御部が、被写体像の差異に応じて、複数の画像の取得回数の変更を行う。

例えば、被写体像の差異が検出されると、差異が生じていない複数の画像が得られるように、再度画像を取得して取得回数を増やす。あるいは、被写体像の差異が生じたことによって最終的に１枚の画像を生成することができないような場合には、途中で画像取得を終了し、取得回数を減らすことも可能である。

本発明によれば、複数の画像に基づく画像処理における画像生成の失敗を防ぐことができる。

第１の実施形態であるデジタルカメラのブロック図である。 像ブレ補正機構の概略的斜視図である。 超解像処理のフローを示した図である。 超解像撮影時のイメージセンサのシフト位置を示した図である。 高画質画像を部分的に示した図である。 画素値の差分を示した図である 画像全体の平均値の差分を示した図である。 画像全体のヒストグラム差分を示した図である。 本実施形態における超解像撮影および超解像処理のフローチャートである。 第２の実施形態における超解像撮影および超解像処理のフローチャートである。 第３の実施形態における超解像撮影および超解像処理のフローチャートである。 第４の実施形態における超解像撮影および処理のフローチャートである。 第５の実施形態における超解像撮影および処理のフローチャートである。 被写体像変化を知らせる表示画面を示した図である。 第６の実施形態における超解像撮影および処理のフローチャートである。

以下では、図面を参照して本実施形態であるデジタルカメラについて説明する。

図１は、第１の実施形態であるデジタルカメラのブロック図である。図２は、像ブレ補正機構の概略的斜視図である。

デジタルカメラ１０は、カメラ本体２０と、カメラ本体２０に着脱可能な撮影レンズ３０（鏡筒）とを備え、カメラ本体２０の背面には、表示装置としてＬＣＤ２４が設けられている。また、レリーズボタン１５、あるいはモードダイヤル、十字ボタン、実行ボタン（いずれも図示せず）などに対する入力操作に従い、撮影動作、モード設定などが行われる。

ＣＰＵ、ＤＳＰなどによって構成されるコントローラ４０は、絞り／シャッタ駆動回路２３、イメージセンサ駆動回路６０などに制御信号を出力し、レリーズボタン操作などを検出する撮影操作スイッチ２６などから送られてくる信号に従い、露出制御、撮影／記録動作、再生動作、機能設定処理などカメラ全体の動作制御を行う。カメラ動作制御のプログラムは、図示しないＲＯＭなどの記録媒体にあらかじめ記憶されている。

通信用メモリ３３には、レンズ解像力などのデータが記憶されており、撮影レンズ３０が装着されるとコントローラ４０によって読み出される。発光部９０は、所定の撮影動作モードで発光可能であり、ユーザなどに撮影状況などを知らせる。

フォーカシングレンズなどを含む撮影光学系３１は、被写体からの光が入射するとイメージセンサ２２に光を結像させ、これによって被写体像がイメージセンサ２２に形成される。イメージセンサ２２は、ＣＣＤ、ＣＭＯＳなどによって構成可能であり、カラーフィルタアレイ（図示せず）がイメージセンサ２２の受光面上に対向配置されている。カラーフィルタアレイは、ここではＲ，Ｇ，Ｂのカラーフィルタエレメントを例えばベイヤー配列させた構成になっている。

撮影モードにおいてスルー画像（先行画像）をＬＣＤ２４に表示する間、１フィールド又は１フレーム分の画素信号が所定の時間間隔（１／６０秒など）でイメージセンサ２２から順次読み出される。読み出されたＲ，Ｇ，Ｂの画素信号は、ＡＦＥ回路（図示せず）を経由してコントローラ４０に送られる。

コントローラ４０は、入力された一連の画素信号に対してゲイン処理、色変換処理、ホワイトバランス調整などを施し、Ｒ，Ｇ，Ｂのカラー画像信号を生成する。そして、コントローラ４０は、生成されたＲ，Ｇ，Ｂカラー画像信号に基づいてＬＣＤ２４を駆動制御し、これによって、リアルタイムの動画像がＬＣＤ２４に表示される。

レリーズボタン１５が半押しされると、ＡＦ駆動回路６２は、コントラスト方式に従い、イメージセンサ２２から読み出される画素信号に基づいてフォーカシングレンズを駆動する。また、コントローラ４０では、イメージセンサ２２から読み出される画素信号に基づいて被写体像の明るさが検出され、露出値が演算される。

レリーズボタン１５が全押しされると、コントローラ４０の駆動制御部４１は、絞り／シャッタ駆動回路２３へ制御信号を出力し、露出制御する。これにより、１フレーム分の画素信号がイメージセンサ２２から読み出される。コントローラ４０では、読み出された１フレーム分の画素信号に基づいて静止画像データが生成され、圧縮あるいは非圧縮状態で画像データが取得され、画像メモリ２５に記録される。

イメージセンサ２２は、像ブレ補正機構５０に搭載されており、撮影光学系３１の光軸（ｚ軸）と直交するｘ、ｙ軸方向に沿って相対移動可能である。像ブレ補正機構５０は、図２に示すように、カメラ本体２０に固定されるプレート状支持部５１と、支持部５１に対して相対的に移動可能な可動ステージ５２とを備え、支持部５１には、磁石Ｍ１、Ｍ２、Ｍ３が可動ステージ５２と対向するように配置されている。また、可動ステージ５２には、ヨークＹ１、Ｙ２、Ｙ３が磁石Ｍ１、Ｍ２、Ｍ３とそれぞれ対向するように配置されている。

可動ステージ５２には駆動用コイルＣ１、Ｃ２、Ｃ３が設けられており、磁界内において交流駆動信号を駆動用コイルＣ１、Ｃ２、Ｃ３に流すことにより、可動ステージ５２が光軸直交平面に沿って支持部５１に対し相対移動する。コントローラ４０の駆動制御部４１は、イメージセンサ駆動回路６０の駆動信号生成部６１を制御し、これによって交流駆動信号が駆動信号生成部６１から出力される。

支持部５１の駆動用コイルＣ１、Ｃ２、Ｃ３近傍にはホールセンサＨ１、Ｈ２、Ｈ３がそれぞれ配置されており、ホールセンサＨ１、Ｈ２、Ｈ３は磁石Ｍ１、Ｍ２、Ｍ３の磁力を検出して可動ステージ５２（イメージセンサ２２）の光軸直交面内における位置を検出する。また、カメラ本体２０に設けられたジャイロセンサ２８は、カメラ本体２０のブレを検出する。

ジャイロセンサ２８によって検出されるカメラ本体２０のブレ（傾斜角あるいは角速度）およびホールセンサＨ１、Ｈ２、Ｈ３によるイメージセンサ２２の位置に従い、コントローラ４０は像ブレ補正装置５０を光軸直交面に沿って駆動制御し、手振れによる像変位を相殺するように被写体像の結像エリアをシフトさせる。この手振れ補正動作により、像ブレが生じていない被写体像を得ることができる。

本実施形態では、像ブレ補正機構５０を利用して画質のより優れた画像（以下、高画質画像という）を取得することが可能である。具体的には、撮影対象エリアをシフトさせながら複数回の撮影（以下、超解像撮影という）を行う。この時、ユーザは三脚にカメラ１０を設置するなど、カメラ１０を固定して撮影を行う。そして、得られた複数の画像（以下、撮影画像という）に基づいて画像処理（合成）し、得られた画像（以下、高画質画像という）を記録／表示する。

超解像撮影する場合、ここでは４枚の画像を順次取得する。超解像操作スイッチ２７は、超解像処理のＯＮ／ＯＦＦ、および超解像処理に関するユーザの設定操作を検出する。

以下、図３〜５を用いて、超解像撮影について説明する。

図３は、超解像処理のフローを示した図である。図４は、超解像撮影時のイメージセンサのシフト位置を示した図である。図５は、高画質画像を部分的に示した図である。ただし、図３のフローは、超解像処理を説明するためのフローであり、実際には後述するフローによってカメラ１０は動作制御される。

レリーズボタン１５が押下され、超解像撮影が開始されると、イメージセンサ２２が１枚目の撮影位置へ移動して撮影（イメージセンサ２２に対する露光と画像の取得）を行う（Ｓ１０１、Ｓ１０２）。そして、１枚目撮影時におけるイメージセンサ２２の位置を基準位置とし、２枚目、３枚目、４枚目の撮影時には、イメージセンサ２２の撮影位置をそれぞれ異なる位置へシフトさせ、撮影を行う（Ｓ１０３〜Ｓ１０７）。１枚目〜４枚目の撮影は、最初のレリーズボタン１５押下後、続けて自動的に行われる。なお、超解像撮影時においては、それまでの設定によらず一時的に手振れ補正機能をＯＦＦに設定し、超解像撮影終了後、元の設定に戻してもよい。

図４には、イメージセンサ２２の各撮影時における位置を示しており、画像の横方向、縦方向をそれぞれＸ、Ｙ座標で表している。また、説明上、６×６の画素配列によって画像領域ＩＲが構成されるものとする。イメージセンサ２２が撮影ごとにシフトする、すなわち、撮影光学系３１によって形成される被写体像に対してイメージセンサ２２の位置（画素位置）が相対的に移動することにより、画像領域ＩＲに形成される像は撮影ごとに異なる。

ここでは、１枚目を基準位置とし、２枚目の撮影時にＸ方向に＋１ピクセル分だけずれた位置にイメージセンサ２２が移動する。３枚目の撮影では、基準位置に対してＸ，Ｙ方向にそれぞれ＋１ピクセル、−１ピクセルずれた位置にイメージセンサ２２が移動し、４枚目の撮影では、基準位置に対してＹ方向に−１ピクセル分ずれた位置にイメージセンサ２２が移動する。これにより、被写体像に対し画像領域ＩＲの位置がそれぞれ異なる撮影画像Ｉ１〜Ｉ４が生成される。

上述したように、イメージセンサ２２の受光面にはベイヤー配列のカラーフィルタアレイが配置されており、Ｒ，Ｇ，Ｂいずれかのカラーエレメントが各画素に対して対向配置されている。したがって、色補間処理前の１枚の画像データに着目すれば各画素から出力される画素信号は、Ｒ，Ｇ，Ｂいずれかの色情報しか含まれていない。図４では、対向するカラーフィルタエレメントの色に合わせて、各画素の符号を「１１Ｒ、１２Ｇ、１３Ｒ、・・」と表している。

一方、超解像撮影を行うと、１画素分だけイメージセンサ２２の受光領域ＩＲを順次相対移動させることから、隣接する他色のカラーフィルタエレメントを備える画素によって同一箇所が撮影される。これにより、各画素の画素信号には、Ｒ，Ｇ，Ｂの色情報すべてが含まれている。

例えば、１枚目の撮影において、画素３３Ｒによって形成されるイメージＰＡは、イメージセンサ２２の１ピクセル分のシフトにより、２枚目、３枚目、４枚目の撮影ではそれぞれ画素３２Ｇ、２２Ｂ、２３Ｇに形成される。画素３２Ｇ、２２Ｂ，２３Ｇから出力される画素信号には、ＧもしくはＢの色情報が含まれることから、イメージＰＡに対してＲ，Ｇ，Ｂすべての色情報が含まれる画素信号を得ることができる。なお、Ｇ成分については、３２Ｇ、２３Ｇから出力される画素信号の平均値をここではＧ成分の画素値として算出する。

４枚の撮影画像Ｉ１〜Ｉ４が得られると、撮影画像Ｉ１〜Ｉ４を合成する画像処理（超解像処理）が実行され、４枚の撮影画像Ｉ１〜Ｉ４とは別に高画質画像が生成される。すなわち、各画素のＲ，Ｇ，Ｂの画素値に基づいた撮影画像データが形成される。生成された高画質画像はＬＣＤ２４に表示されるとともに、画像メモリ２５に記録される（Ｓ１０８〜Ｓ１１０）。

図５は、高画質画像を例示した図である。高画質画像ＩＨの画像領域ＩＲ’は、図４に示した６×６画素配列の中でＲ，Ｇ，Ｂすべての情報が含まれない右端縦列を除いた５×５画素配列で構成されている。各画素は、Ｒ，Ｇ，Ｂそれぞれの画素値を有し、例えば、図４のイメージＰＡに相当する画素２２のイメージＰＡ’は、Ｒ，Ｇ，Ｂの色情報が含まれている。

このようなイメージセンサ２２の撮像領域オーバラップを伴う移動によって複数回の超解像撮影を行い、超解像処理によって実現される高画質画像の生成は、被写体（像）が変化しない（複数の画像中の被写体像に差異がない）ことを前提としている。すなわち、被写体像に動き／ブレ、明るさ、色合い変化等がない状態でイメージセンサ２２の移動および撮影を行うことを前提とし、高画質画像は、同一の被写体部分、同一の明るさ、色に基づいたイメージをもつ画素によって構成されなければならない。

しかしながら、超解像撮影の間、被写体に動きが生じ、あるいは被写体の明るさ、色合いなどが変化して被写体像に差異が発生すると、高画質画像の画素は、同一の撮影条件に基づいたイメージにならない。その結果、不適切なイメージが部分的、あるいは全体的に現れた画像を生成することになる。

そこで本実施形態では、被写体像の変化が生じた場合、補完撮影（再度画像の取得）を行う。すなわち、被写体像変化（差異）の生じない撮影画像具体的には、被写体像に動きが生じた場合、被写体像の明るさが変化した場合、被写体像の色合いが変化した場合、撮影をやり直し、被写体像の変化のない複数の撮影画像に基づいた高画質画像を生成する。

被写体像の変化を検出する方法として、ここでは３つの検出方法が用意されており、画素値の差分、ヒストグラム差分、平均値の差分に基づいて検出可能である。以下、図６〜８を用いてそれぞれの検出方法を説明する。

図６は、画素値の差分を示した図である。１枚目と２枚目の撮影によって得られる２枚の撮影画像Ｉ１、Ｉ２に関し、対応する画素間で輝度値の差分を算出し、差分が閾値Ｔ１以上の画素をカウントする。そして、全画素数のうち閾値Ｔ１以上であった画素のカウント数が閾値Ｔ２以上である場合、被写体像の変化が生じていると判断する。閾値Ｔ１、Ｔ２は、撮影条件等を考慮して定められ、ＲＯＭなどにあらかじめ記憶されている。

例えば、超解像撮影の間に被写体が移動している場合、得られる撮影画像の間で、同一被写体のイメージとならない画素が生じる。図６では、１枚目の撮影と２枚目の撮影時に得られる撮影画像Ｉ１、Ｉ２において、画素ＰＸのイメージは同一被写体に基づいていない。

図７は、画像全体の平均値の差分を示した図である。１枚目と２枚目の撮影によって得られる２枚の撮影画像Ｉ１、Ｉ２に関し、それぞれ輝度平均値を算出する。そして、輝度平均値の差分を求め、差分量が閾値Ｔ３以上の場合、被写体像の変化が生じていると判断する。

例えば、蛍光灯などのチラツキなどに起因する照明の変化、シャッタ、絞りの動作に起因する被写体像の明るさ変化などが超解像撮影中に生じた場合、被写体の動きは生じていない一方で、被写体像の明るさに関し、撮影画像Ｉ１、Ｉ２の間で相違が生じる。このような被写体像の変化を、平均値の差分を演算することによって検出することが可能である。

図８は、画像全体のヒストグラム差分を示した図である。１枚目と２枚目の撮影によって得られる２枚の撮影画像Ｉ１、Ｉ２に関し、それぞれヒストグラム演算を行う。そして、ヒストグラム演算によって得られたヒストグラムＨＧ１、ＨＧ２の差分（図８斜線部分参照）を求め、差分量が閾値Ｔ４以上の場合、被写体像の変化が生じていると判断する。

例えば、超解像撮影中に予想外のもの（鳥など）が撮影範囲に一時的に入り込んだ場合、被写体像全体での動きの変化は比較的少ないが、明るさ、色合いなどに関し、撮影画像Ｉ１、Ｉ２の間で相違が生じる。また、雲に隠れた太陽が雲の僅かな移動によって日光が漏れるような場合でも撮影画像間で相違が生じる。このような被写体像の変化を、ヒストグラム差分を演算することによって検出することが可能である。

本実施形態では、ユーザがモード設定などにおいていずれか１つの検出方法を設定することも可能であり、あるいは、２つ以上組み合わせて検出することもできる。なお、画素差分値、ヒストグラム差分値、平均差分値については、輝度値の代わりに色情報に基づく各差分を求め、利用してもよいし、輝度値と色情報を併用しても良い。

図９は、本実施形態における超解像撮影および超解像処理のフローチャートである。

１枚目、２枚目の撮影時にイメージセンサ２２を定められた位置に移動し、撮影を行う（Ｓ２０１〜Ｓ２０４）。そして、１枚目の撮影画像と２枚目の撮影画像との間で、被写体像変化が生じているか否かを検出する（Ｓ２０５）。被写体像変化が生じている場合、ステップＳ２０１に戻り、イメージセンサ２２を最初の位置に移動させ、１枚目の撮影からやり直す（つまり１枚目の２回目撮影をする）。

一方、１枚目、２枚目の撮影画像の間で被写体像の変化が生じていない場合、３枚目の撮影に移行し（Ｓ２０６、Ｓ２０７）、１枚目と３枚目の撮影画像の間で、被写体像の変化が生じているか否かが判断される（Ｓ２０８）。被写体像の変化が生じている場合、ステップＳ２０１に戻り、１枚目の撮影からやり直す。

ステップＳ２０８において被写体像の変化が生じていないと判断されると、４枚目の撮影に移行し（Ｓ２０９、Ｓ２１０）、１枚目と４枚目の撮影画像の間で、被写体像の変化が生じているか否かが判断される（Ｓ２１１）。被写体像の変化が生じている場合、ステップＳ２０１に戻り、１枚目の撮影からやり直す。

ステップＳ２１１において被写体像の変化が生じていないと判断されると、取得された４枚の撮影画像に基づいて超解像処理を実行し、高画質画像を保存、表示する（Ｓ２１２〜Ｓ２１４）。

このように本実施形態によれば、超解像撮影において、最初の撮影によって得られた撮影画像と、２枚目以降の撮影によって得られた撮影画像との間で被写体像の変化があるか否かを撮影が行われる度に検出し、被写体像変化が生じた場合、超解像撮影を最初からやり直す。

このように、被写体像の動きがあった（被写体像に差異が発生した）撮影画像を使用せず、被写体像の動きのない撮影画像のみから高画質画像を得るため、乱れたりカラーバランスの崩れる画像をわざわざ画像処理、表示、記録することがなく、効率よく高画質画像を撮影、表示、記録することが可能となる。

また、１枚目の撮影画像を基準として被写体像の変化を検出するため、動きのある被写体の撮影などによって被写体像に動きが生じている場合、適切にそれを検出することができる。なお、超解像撮影については、長時間にわたって撮影が続くのを防ぐため、繰り返し撮影（再度画像の取得）を行う回数に制限を設け、制限回数を越えると超解像撮影処理を一旦強制終了させると更に効率がよい。

次に、図１０を用いて、第２の実施形態であるデジタルカメラについて説明する。第２の実施形態では、被写体像の変化が生じると、直前に行われた撮影をやり直す。それ以外の構成については、第１の実施形態と実質的に同じである。

図１０は、第２の実施形態における超解像撮影および超解像処理のフローチャートである。

１枚、２枚目の撮影後、１枚目の撮影画像と２枚目の撮影画像との間で、被写体像変化が生じているか否かを検出する（Ｓ３０１〜Ｓ３０５）。被写体像の変化が生じている場合、被写体像の変化が実質的にない撮影画像を得られるまで、２枚目の撮影と被写体像の変化検出を２回目、３回目・・・と行う。

ステップＳ３０５において被写体像の変化が生じていない場合、３枚目の撮影を行い、２枚目の撮影画像と３枚目の撮影画像との間で、被写体像変化が生じているか否かを検出する（Ｓ３０６〜３０８）。被写体像の変化が生じている場合、被写体像の変化が実質的にない撮影画像を得られるまで、３枚目の撮影と被写体像の変化検出を２回目、３回目・・・と行う。

ステップＳ３０８において被写体像の変化が生じていないと判断されると、４枚目の撮影を行い、３枚目の撮影画像と４枚目の撮影画像との間で、被写体像変化が生じているか否かを検出する（Ｓ３０９〜Ｓ３１１）。被写体像の変化が生じていると判断されると、被写体像の変化が実質的にない撮影画像を得られるまで、４枚目の撮影と被写体像の変化検出を２回目、３回目・・・と行う。

ステップＳ３１１において被写体像の変化が生じていないと判断されると、得られた４枚の撮影画像に基づいて超解像処理を実行し、高画質画像を保存、表示する（Ｓ３１２〜Ｓ３１４）。

このように第２の実施形態によれば、超解像撮影において、Ｎ−１枚目（Ｎは、ここでは２、３、４のいずれかの整数）の撮影によって得られた撮影画像と、Ｎ枚目の撮影で得られた撮影画像との間で被写体像の変化があるか否かを、撮影が行われる度に検出し、被写体像変化が生じた場合、被写体像の変化のない撮影画像を得るまでＮ枚目の撮影を行う。

時系列的に隣り合う２枚の撮影画像間で被写体像の変化を検出するため、照明のチラツキ、あるいはシャッタ／絞り動作のバラツキなどに起因する明るさ、色合い変化を適切に検出することができる。また、最初から撮影を行わないことにより、被写体によっては超解像撮影を短時間で終了させることができる場合がある。

なお、撮影の繰り返し回数については制限回数を設けるようにしてもよい。また、４枚の撮影に限定されず、複数枚の撮影に渡る超解像撮影を行なえばよい。

次に、図１１を用いて、第３の実施形態について説明する。第３の実施形態では、４枚の撮影を連続して先に行い、その後被写体像の変化が生じている“Ｎ（Ｎは、ここでは１、２、３、４のいずれかの整数）枚目”の撮影のみ再試行する。それ以外の構成については、第１の実施形態と実質的に同じである。

図１１は、第３の実施形態における超解像撮影および超解像処理のフローチャートである。

イメージセンサ２２の移動を伴う４枚の撮影を続けて行って４枚の撮影画像を取得し、一時的にＲＡＭなどのメモリに記憶する（Ｓ４０１〜Ｓ４０８）。そして、超解像撮影終了後、例えば１枚目の撮影画像を基準として、２枚目、３枚目、４枚目の撮影画像に被写体像の変化が生じているか否かが判断される（Ｓ４０９）。被写体像の変化が生じている場合、その撮影画像を得た撮影を再試行する（Ｓ４１３〜Ｓ４２１）。被写体像の変化が生じていない場合、４枚の画像に基づく超解像処理によって高画質画像が保存、表示される（Ｓ４１０〜Ｓ４１２）。

このように第３の実施形態によれば、超解像撮影（複数枚撮影）を先に終了し、その後に被写体像の変化を検出して撮影をやり直す。これにより、被写体によっては超解像撮影を短時間で終了させることが可能となる場合がある。また、動きのない明るさ変化などの場合にも効率よく処理することができる。

第１〜第３の実施形態では、連続して撮影した２枚の撮影画像、あるいは１枚目の撮影画像を基準とした２枚目以降の撮影画像を抽出して被写体像の変化を検出しているが、これに限定されず、他の組合せによる撮影画像に基づいて被写体像の変化を検出してもよい。あるいは、３枚以上の撮影画像に基づいて被写体像の変化を検出してもよい。

次に、図１２を用いて、第４の実施形態であるデジタルカメラについて説明する。第４の実施形態では、第１〜第３の実施形態のような補完撮影は行わず、被写体像の変化があったことをユーザに通知するとともに、超解像処理を行わない。

図１２は、第４の実施形態における超解像撮影および処理のフローチャートである。

第１の実施形態と同様、２枚目、３枚目、４枚目の撮影を行うたびに、被写体像の変化が生じているか否かを、１枚目の撮影画像を基準として判断する（Ｓ５０１〜Ｓ５１１）。被写体像の変化が生じていない場合、超解像処理によって高画質画像を生成し、表示／記録する（Ｓ５１２〜Ｓ５１４）。

一方、被写体像の変化が生じている場合、コントローラ４０は、超解像処理を実行せず、４枚の撮影画像それぞれを保存するとともに、１枚目、あるいはそれ以外の撮影画像をＬＣＤ２４に表示する（Ｓ５１４、Ｓ５１５）。そして、被写体像が変化したことをユーザに報知する（Ｓ５１６）。ここでは、ＬＣＤ２４に被写体像変化を知らせる警告文（例えば、「被写体像が変化しました！」など）を、１枚目の撮影画像とともに、あるいは警告文のみ表示する。

このように第４の実施形態によれば、被写体像の変化が検出されると、超解像処理を実行せず、ユーザに被写体像変化を通知するとともに、各撮影画像を保存し、いずれかの撮影画像を表示する。これにより、結果として失敗する無駄な超解像処理が実行、表示、記録されることを防ぐ。また、撮影ごとに被写体像変化を検出することで、即座に超解像撮影を中止し、撮影環境の見直しをユーザに促すことができる。そして、撮影中にユーザが認識できないような被写体像変化においても超解像処理を行わないため、無駄な画像処理、画像記録、画像表示することが免れる。また、各撮影画像は個々に保存されるので、超解像処理には不向きでも別目的に転用することが可能である。

なお、画面表示による被写体像変化のユーザへの通知については、表示以外の構成も可能であり、カメラ本体２０に設けられた発光部９０（図１参照）を発光させることが可能である。あるいは、ブザー音等、所定のサウンドやメッセージを発するようにしてもよい。

次に、図１３、１４を用いて、第５の実施形態であるデジタルカメラについて説明する。第５の実施形態では、被写体像の変化に関わらず超解像処理を行う一方、被写体像の変化が生じていた場合にはその旨をユーザに通知する。

図１３は、第５の実施形態における超解像撮影および処理のフローチャートである。図１４は、被写体像変化を知らせる表示画面を示した図である。

４枚に渡る超解像撮影を続けて行い、１枚目から４枚目の撮影画像を一時的にメモリに保存する一方、超解像処理によって画像を生成して表示、保存する（Ｓ６０１〜Ｓ６１１）。その一方で、１枚目の撮影画像を基準として２枚目、３枚目、４枚目の撮影画像に被写体像変化が生じているか否かを判断する（Ｓ６１２）。被写体像の変化が生じている場合、生成された高画質画像を使ってユーザにその旨を知らせる（Ｓ６１３）。

図１４には、二人の被写体ＳＩ、ＭＩを超解像撮影することによって得られた高画質画像を示している。被写体ＭＩに動きなどが生じたため、被写体ＭＩを被写体ＳＩと識別できるように被写体ＭＩの画像領域について画像編集処理する。ここでは、同色で被写体ＭＩ塗りつぶすなどしてユーザに被写体像変化を知らせる。

このように第５の実施形態によれば、被写体像の変化が検出されると、超解像処理によって得られた画像から、変化のあった部分をユーザが知ることができる。被写体像変化が認識しにくい画像においても、ユーザは変化の部分を知ることができる。なお、任意の撮影画像を表示し、その画像において被写体像変化があった部分を識別できるように表示してもよい。また、変化が発生した画像領域の輪郭を強調表示しても良い。これによると、厳密には被写体像の変化によるエラーが含まれる高画質画像が生成されてしまうことになるが、エラーの位置や範囲をユーザに明確に認識させることができるので、例えばエラー箇所が画面の最周辺部の狭い部分であれば、その部分をトリミングしてしまうことで対応できる場合もある。ユーザがエラーに気づかず、公表や納品してしまうという最悪の事態を防止することができるのである。

次に、図１５を用いて、第６の実施形態について説明する。第６の実施形態では、超解像撮影前に被写体像変化を検出する。

図１５は、第６の実施形態における超解像撮影および処理のフローチャートである。スルー画表示モード下において超解像処理モードに設定されていると、処理が開始される。または、スルー画表示モード、超解像処理モード設定下において、レリーズボタン１５の半押しによってオートフォーカス動作等がされた後、処理が開始されても良い。

ステップＳ７０１では、スルー画像（先行画像）表示の間、所定の時間間隔で読み出される１フィールド／フレーム分の画素信号に基づいて、被写体像の変化が生じているか否かが判断される。ここでは、イメージセンサ２２の位置は固定されていることから、連続する２フィールド／フレーム分の画素信号（撮影前画像）との間で、被写体像の変化を検出する。また、上述した被写体像変化検出時に使用される閾値が、上述した閾値よりも小さい値に設定される。

被写体像の変化がある場合、その旨を伝える警告文の表示、あるいは、ＬＥＤ９０の発光などが行われる（Ｓ７０２）。一方、被写体像変化が検出されず、レリーズボタン１５が全押しされると、超解像撮影および超解像処理が実行され、高画質画像が表示、保存される（Ｓ７０３−Ｓ７１５）。

このように第６の実施形態によれば、超解像撮影開始前に被写体像の変化を検出すると、ユーザにその旨を通知する。これにより、無駄な（画像処理しても失敗する）超解像撮影を行ってしまうことを防ぐことができる。なお、４枚あるいはそれ以外の枚数による撮影前画像によって被写体像変化を検出してもよく、動きベクトル検出などで被写体像変化を検出してもよい。また、本実施形態については、超解像撮影においては被写体像の変化検出、および補完撮影あるいはユーザ通知を行わないように構成してもよい。なお、第６の実施形態の変形として、レリーズボタン１５が全押しされた後でも、直ちに露光動作をせず、一定期間被写体像変化を検出し、変化が検出されない場合に、超解像撮影および超解像処理が開始され、高画質画像が表示、保存されるようにしても良い。

第１〜第６の実施形態については、イメージセンサを１ピクセル分移動させる超解像撮影を行い、色再現性を向上させた高画質画像を実現しているが、イメージセンサの移動量は１ピクセル分に限定されず、それ以上の移動量、あるいはサブピクセル（１ピクセル以下）の精度でイメージセンサを移動させて超解像処理を実行する構成にしてもよい。すなわち、複数の撮影画像に基づいた超解像処理に適用すればよい。

超解像撮影については、被写体像に対してイメージセンサを移動させる代わりに光学素子を偏心駆動することでイメージセンサに対して被写体像を移動し、超解像撮影を行ってもよい。また、コントローラとは別に画像処理部を設けてもよい。デジタルカメラについては、レンズが着脱自在な一眼レフ型カメラ（いわゆる「ミラーレス一眼カメラ」を含む）、レンズ一体型のコンパクトカメラいずれにも適用可能であり、スマートフォンなど撮影機能を備えた携帯装置といった撮像装置にも、適用可能である。

一方、カメラなどで記録された撮影画像を読み出し、画像編集処理を行う画像編集ソフトあるいは画像処理装置においても、超解像処理を実行することが可能である。この場合、各撮影画像データと関連付けて、組となる複数の撮影画像情報や被写体像の変化の有無を記録しておき、画像編集ソフトあるいは画像処理装置に取り込んだ複数枚一組の撮影画像間において被写体像に変化がある場合には、ユーザにその旨を通知することにより、ユーザは被写体像の変化があったことを認識することができる。

以上で説明したように、カメラなどを使って、複数の画像に基づいて超解像処理による画像を生成する為に、撮影時に画素位置（イメージセンサ位置）をずらしながら複数枚の撮影（露光と画像取得）を行う時、従来は複数枚の撮影の間に被写体に動きが生じ、あるいは、照明やシャッタ、絞り動作に起因する撮影中の明るさ変化、色変化などが生じた場合に、ユーザにとって無駄な画像処理となり、失敗画像をそのまま記録、表示してしまう恐れがある。そして、超解像処理による高画質の画像生成に失敗した場合、撮影者は、構図、露出条件などを確認しながら、もう一度撮影を行わなければならないが、本願実施形態によれば、そのような不便が解消され、効率よく撮影作業を遂行することができる。

１０ デジタルカメラ（撮像装置）
２２ イメージセンサ（撮像素子）
４０ コントローラ（画像処理部、制御部、検出部、撮影前検出部、撮影前制御部）

Claims (16)

1. 被写体像と撮像素子との相対位置を変更しながら複数の画像の取得を制御する制御部と、
   取得された複数の画像に基づいて画像処理をする画像処理部と、
   取得された少なくとも２枚の画像間の少なくとも一部における被写体像の差異を検出する検出部とを備え、
   前記制御部が、前記被写体像の差異に応じて、再度画像の取得もしくは被写体像の差異の報知を行う撮像装置であって、
   前記制御部が、取得された画像の中で被写体像の差異が検出された画像に対し、再度画像の取得を行うことを特徴とする撮像装置。
2. 前記検出部が、少なくとも２枚の画像間の差分に基づいて、前記被写体像の差異を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記検出部が、少なくとも２枚の画像間の対応する画素間の輝度または色情報の差分を求め、求められた差分に基づいて前記被写体像の差異を検出することを特徴とする請求項１又は２のいずれかに記載の撮像装置。
4. 前記検出部が、少なくとも２枚の画像の輝度ヒストグラムまたは色情報ヒストグラムの差分を求め、求められた差分に基づいて前記被写体像の差異を検出することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 前記検出部が、少なくとも２枚の画像の輝度の平均値または色情報の平均値の差分を求め、求められた差分に基づいて前記被写体像の差異を検出することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. 前記検出部が、少なくとも２枚の画像間の被写体像の位置変化、被写体像の明るさの変化、被写体像の色の変化のうち少なくともいずれか１つを、前記被写体像の差異として検出することを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 前記制御部が、被写体像の差異が生じていない画像が得られるまで、再度画像の取得を行うことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
8. 前記検出部が、前記画像処理の基とする複数の画像の全取得完了前に前記被写体像の差異を検出し、
   前記制御部が、前記被写体像の差異が検出されると、既に取得された複数の画像のうち最後に取得された画像から、再取得を実行することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
9. 前記検出部が、前記画像処理の基とする複数の画像の全取得完了後に、基準となる画像の被写体像と他の画像の被写体像の差異を検出し、
   前記制御部が、被写体像の差異が検出されると、差異が生じた画像の再取得を実行することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
10. 前記検出部が、前記画像処理の基とする複数の画像の全取得完了前もしくは前記画像処理の基とする複数の画像の全取得完了後に前記被写体像の差異を検出し、
    前記制御部が、前記被写体像の差異が検出されると、既に取得された少なくともいずれかの画像の保存と、既に取得された少なくともいずれかの画像の表示の、少なくともいずれかを実行することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
11. 前記検出部が、前記複数の画像に基づく画像処理後に前記被写体像の差異を検出し、
    前記制御部が、前記被写体像の差異が検出されると、該被写体像の差異を報知することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
12. 複数の画像の取得の開始前に、前記相対位置を変更しながら、撮像素子によって得られる複数の画像間で被写体像の差異を検出する撮影前検出部と、
    前記被写体像の差異が検出されると、該被写体像の差異を報知する撮影前制御部と
    をさらに備えることを特徴とする請求項１乃至１１のいずれかに記載の撮像装置。
13. 前記制御部が、前記被写体像の差異が発生する部分を識別化させた画像を表示することで前記被写体像の差異を報知することを特徴とする請求項１乃至１２のいずれかに記載の撮像装置。
14. 発光部をさらに有し
    前記制御部が、前記発光部を発光させることで、前記被写体像の差異を報知することを特徴とする請求項１乃至１３のいずれかに記載の撮像装置。
15. 被写体像と撮像素子との相対位置を変更しながら複数の画像の取得を実行し、
    取得された複数の画像に基づいて画像処理を実行して別の画像を生成し、
    取得された少なくとも２枚の画像間の少なくとも一部の被写体像の差異を検出し、
    取得された画像の中で被写体像の差異が検出された画像に対し、再度画像の取得を行うことを特徴とする撮像方法。
16. 撮像装置を、
    被写体像と撮像素子との相対位置を変更しながら複数の画像の取得を制御する制御手段と、
    取得された複数の画像に基づいて画像処理を実行し、別の画像を生成する画像処理手段と、
    取得された少なくとも２枚の画像間の少なくとも一部の被写体像の差異を検出する検出手段として機能させ、
    取得された画像の中で被写体像の差異が検出された画像に対し、再度画像の取得を行うように、前記制御手段として機能させることを特徴とするプログラム。
    

Images