JP2008085380A - 撮像装置 - Google Patents

Abstract

【課題】所望の出力画像を生成するために必要な入力画像が得られているかをユーザーに直感的に示すインターフェースを備えることにより、出力画像の画質を高めることを可能とする撮像装置を提供することを目的とする。
【解決手段】画像を撮像する画像入力手段と、画像入力手段により撮像された複数の画像が入力され複数の画像のうち一枚を基準画像とし、基準画像の座標系となる基準座標系を決定する基準座標系設定手段と、複数の画像をそれぞれ基準座標系の部分領域に対応付けるフレーム間対応点検出手段と、複数の画像を前記基準座標系に位置あわせして表示する撮像状況表示手段と、複数の画像を用いて、複数の画像よりも解像度が高い或いは画角が大きい画像を生成する画像生成手段とを具備する。
【選択図】図１

Description

本発明は、撮像装置に関する。

解像度が低いカメラを用いて高精細な画像を得たいというニーズがある。このためにカメラを用いて被写体の局所の画像を複数枚、高精細に撮像し、これらを合成して一枚の高精細画像を得るモザイキング技術が提案されている。

しかしながらこのモザイキング技術は、光学ズームを超える解像度の画像は得られない。光学ズームを超える解像度の画像を得るため、被写体の同一箇所を、わずかにカメラをずらして撮像して得られた複数枚の画像の画素値から、被写体の各部の本来の画素値を逆算する超解像度化技術が提案されている（非特許文献１、２）。

このような技術で所望の画像を生成するには、入力画像のいずれか一つに被写体の各部分が一回以上撮像されていること、入力画像が互いに十分な重なりを持つことの２つの条件が必要である。

しかしながら従来の撮像装置はユーザーに入力画像のみを提示するため、これら２つの条件を満たす入力画像が得られているかを撮像時に確かめることができず、結果として得られる出力画像の画質が低くなるという問題を有していた。
池谷彰彦, 中島昇, 佐藤智和, 池田聖, 神原誠之, 横矢直和, 山田敬嗣, "カメラパラメータ推定による紙面を対象とした超解像ビデオモザイキング," MIRU2004予稿集. D. Capel and A. Zisserman, "Automated Mosaicing with Super-resolution Zoom," Proc. of CVPR, pp. 885-891, 1998.

上述したように、従来技術では所望の画像を生成するために必要な入力画像が得られているかを撮像時に確認する手段がなく、出力画像の画質が低下しているという問題があった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、所望の出力画像を生成するために必要な入力画像が得られているかをユーザーに直感的に示すインターフェースを備えることにより、出力画像の画質を高めることを可能とする撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、 画像を撮像する撮像手段と、
前記撮像手段により撮像された複数の画像のうち一枚を基準画像とし、前記基準画像の座標系となる基準座標系を設定する基準座標系設定手段と、
前記複数の画像をそれぞれ前記基準座標系に対応付けるフレーム間対応点検出手段と、
前記フレーム間対応点検出手段により前記基準座標系に対応付けられた前記複数の画像を画面上に位置あわせして表示する撮像状況表示手段とを具備することを特徴とする撮像装置を提供する。

本発明によれば、所望の出力画像を得るために必要な入力画像或いは十分な枚数の入力画像が得られているかを、ユーザーが出力画像生成前に判断でき、結果として出力画像の画質を高めることが可能となる。

以下、本発明の実施形態について説明する。なお、本発明は以下に説明する実施形態に限定されるものではなく種々選択し工夫して用いることができる。

図１は、本発明の実施形態に係わる撮像装置を示すブロック図である。

この撮像装置は、画像が入力される画像入力手段１０１と、画像入力手段１０１から入力された複数の画像のうち一枚を基準画像とし、基準画像の座標系となる基準座標系を設定する基準座標系設定手段１０２と、画像入力手段１０１から複数の画像と、基準座標系設定手段１０２から基準画像がそれぞれ入力され、複数の画像をそれぞれ基準座標系に対応付けるフレーム間対応点検出手段１０３と、フレーム間対応点検出手段１０３からフレーム間対応点情報と複数の画像が入力され、基準座標系に位置あわせされた複数の画像を画面上に位置して表示する撮像状況表示手段１０４と、画像入力手段１０１から複数の画像が入力され、これらを用いて超解像度化しょりによって、これらより解像度が高い或いは画角が大きい画像を生成する画像生成手段１０５とを有している。

図２は、図１に記載した撮像装置の動作を示すフローチャートである。

先ず、基準座標系設定手段１０２は、出力画像の座標系である基準座標系を設定する（ステップ１）。基準座標系には出力画像の画素密度に応じた格子点があるものとする。基準座標系の設定方法（ステップ１）について以下の４通り説明する。

先ず、第１の基準座標系決定手法について説明する。

図3に示すような被写体（二階建ての西洋風家屋）３０１の全体を含む画像が一枚撮像され、基準座標系設定手段１０２ではこれを基準画像（低解像度）３０３とし、基準画像３０３の４隅を出力画像（高解像度）の４隅に対応させ、これを基準座標系とする。ここで３０２は撮像装置を示す。

このとき図４に示すように、撮像装置３０２に搭載された撮像状況表示手段１０４は低解像度の基準画像３０３を全画面表示する。次に、この後説明するように、ユーザーが超解像度化技術に必要な部分画像を撮像するときに、あらかじめ被写体３０１の全体を表示している基準画像３０３を基に必要な部分画像をガイドしながら撮像させることができる。こうすることによって超解像度化技術必要な入力画像の情報を取得することができる。

次に、第２の基準座標系決定手法について説明する。

図５に示すような被写体（二階建ての西洋風家屋）３０１の一部を含む画像が撮像され、基準座標系設定手段１０２ではこれを基準画像（低解像度）５０１とする。このとき撮像装置３０２に搭載された撮像状況表示手段１０４には、基準画像５０１の上下左右にユーザーが指定するだけのマージンを持たせて基準画像５０１を表示する。このとき、基準座標系の原点もユーザーの指定に合わせて変更する。

こうすることで被写体３０１のサイズが大きすぎて全体を撮像できない場合や被写体から離れることができない撮像位置で全体を撮像できず全体像を含む基準画像を撮像できない場合に対処することができる。

この際、マージンの設定は例えば以下の２ステップの作業で行うことができる。

先ず、図６に示すように基準画像５０１を撮像状況表示手段１０４にて全画面表示する。

次に、図７に示すように基準画像５０１を画面中心において縮小する(縮小ステップ)。このときの縮小率はユーザーが目視で調整し、出力画像のサイズとファインダのサイズの比が、ファインダのサイズと縮小後の画像５０１のサイズに等しくなるようにする。

最後に、図８に示すように縮小された基準画像５０１を、出力画像中で画像５０１に写された部分が占める位置と、ファインダ内で縮小後の基準画像が占める位置との相対位置が等しくなるようにユーザーが目視で調整すればよい(移動ステップ)。

次に、第３の基準座標系決定手法について説明する。

第１及び第２の基準座標系決定手法では、撮像手段１０１を通じて撮像された直後の画像を基準画像として用いている。第２の基準座標系決定手法は、撮像装置３０２の中に既に蓄積されている画像を基準画像とする。

先ず、撮像装置３０２の中に既に蓄積されている画像の中から1枚（低解像度）を選び、その４隅を出力画像（高解像度）の４隅に対応させる。

次に、第４の基準座標系決定手法について説明する。

第４の基準座標系決定手法は、撮像装置３０２の中に既に蓄積されている画像の中から1枚（低解像度）を選び、その上下左右にマージンを設定する。このようにすれば、被写体の前を移動物体が通過する等の理由でやむをえず撮像を途中で中断せざるを得なくなった場合にも、中断したときの状況から作業を再開することができる。

次に、図１、図２に示すように、フレーム間対応点検出手段１０３は、撮像手段１０１から、図９に示すような被写体（二階建ての西洋風家屋）３０１の一部を撮像した入力画像９０１を一枚取得し、入力画像９０１を基準座標系の部分領域に対応付ける（ステップ２）。対応付けは、例えば以下のように行うことができる。

先ず、入力画像９０１上で特徴的なテクスチャをもつ点(特徴点)を、Harrisのインスタントオペレーター(C. Harris et. al, “A Combined Corner and Edge Detector,” Proc. Alvey Vision Conf.pp.147-151, 1988)などを用いて検出する。

次に、得られた特徴点を、テンプレートマッチングなどを用いて、基準画像上で探索する。このとき得られた特徴点の入力画像９０１上の座標p_input = (x_input, y_input, 1)と基準画像３０３上の座標p_base = (x_base, y_base, 1)の関係は3×3の行列Hを用いてp_base = H p_input と表すことができる。

特徴点が4点以上あればこのHを算出することが可能であり、Hが分かれば入力画像の特徴点以外の点も全て基準画像上の点に対応付けることが可能である。

なお、撮像時に入力画像を基準画像３０３上に対して位置あわせした画像をユーザーに提示し、ユーザーが手作業で位置あわせを行ってもよい。例えば基準画像３０３と入力画像をファインダ上に同時に表示し、重複部分のテクスチャが目視で一致するように入力画像の四隅の点の位置をユーザーが指定すればよい。このとき基準座標系の格子点は、対応付けられた入力画像の数に応じた撮像スコアを得るものとする。

例えば、図１０に示すように被写体３０１の全体に対応する基準座標系１００１が定義され、その後に被写体３０１のそれぞれ異なる部分を撮像した入力画像が３枚入力され、各々が図１０中の部分領域１００２、１００３、１００４のように基準座標系１００１に対応付けられたとする。

このとき基準座標系１００１の点には、例えば画像が一枚対応づけられる毎に撮像スコア１を与える。すると基準座標系１００１のうち、部分領域１００２、１００３、１００４いずれにも含まれない領域の撮像スコアは０となり、部分領域１００２、１００３、１００４に同時に含まれる領域の撮像スコアは３となる。

もし基準画像１００１以外の入力画像のズーム率がそれぞれ異なる場合は、格子点に与える撮像スコアをズーム率によって変化させる。例えば、基準画像入力時より縦２倍、横２倍の倍率で撮影した場合には撮像スコアを2×2=4とすればよい。

基準座標系１００１を設定したときと同様、撮像装置の中に以前に生成された入力画像と基準画像と基準座標系とフレーム間対応点の組が蓄積されていた場合は、新たに撮像された入力画像を撮像済みの基準画像を用いて定義済みの基準座標系に対応付けても良い。このようにすれば、やむをえず撮像を途中で中断せざるを得なくなった場合にも、中断したときの状況から作業を再開することができる。また、既に撮像装置の中に画像が蓄積されていた場合、ステップ２と同様の操作を行い、蓄積済みの画像を基準座標系の部分領域に対応づけても良い。このようにすることで、ユーザーが入力すべき画像数を減らし、ユーザーの負荷を低減できる。

次に、図１、図２に示すように、撮像状況提示手段１０４を用いて、出力画像を生成するために十分な入力画像が得られているかを判定する（ステップ３）。

このとき十分な入力画像が得られていなければステップ４に移行し、得られていれば撮影終了としてステップ５に移行する。この判定方法については２つの撮像終了判定手法が考えられる。

第１の撮影終了判定手法は、もしリアルタイムの画像生成が可能であれば、撮像状況表示手段１０４に画像生成手段１０５で仮に生成した出力画像を表示し、ユーザーに十分な画質か否かを判断させる。この手法は実際の出力を確認しながら撮像できるため、画質が高まる。

次に、第２の撮影終了判定手法は、リアルタイムの画像生成が不可能な場合、各画素の撮像スコアを用い、基準座標系の全点が所定の閾値T以上の撮像スコアを持てば十分な入力画像が得られているものとする。Tは例えば基準画像をなす画素の数N_baseと出力画像の画素の数N_outputの比の定数倍、すなわちT=αN_output/N_baseとする。アルファの値は基準座標系の決定手法によって変える必要があり、例えば第１及び第２の基準座標系決定手法の場合にはαは１以上とし、第３及び第４の基準座標系決定手法の場合には、被写体の部分領域を撮像した画像７０１に対して上下左右にユーザーが指定した画素数だけのマージンを与えて生成した画像の画素数N_extendとN_baseを用いてα= N_base /N_extendとする。

基準座標系の全点の撮像スコアが０より大きいかを確認することで、被写体の部分領域の撮りこぼしを防ぐことができ、モザイキングによる画像生成を利用することが可能となる。また超解像度化を行うためには、同一被写体を複数回撮像する必要があり、さらに入力画像の画素数に対する出力画像の画素数の比が多くなるほど多くの撮像回数を必要とするが、基準座標系全点の撮像スコアに対しそれらを加味した閾値処理を行うことで、十分な数の入力画像を確保することができる。

ここで第２の撮像終了判定手法を用いる場合、撮像状況提示手段１０４は入力画像と基準座標系の各点がもつ撮像スコアを用いて生成した撮像状況提示画像をユーザーに提示する。ユーザーは撮像状況提示画像を見て、撮像すべき部分領域を判断する。新たな入力画像が得られたらステップ２に戻る。

次に、撮像状況提示画像の生成手法は、基準座標系決定手法に応じた２通りが考えられる。

図１２に示すように、第１の撮像状況提示画像の生成手法は、第１或いは第３の基準座標系決定手法を使用した場合、撮像状況提示画像の各点の画素値を基準画像の各点の画素値を用いて初期化した後、撮像状況提示画像の各点の明度を各点の撮像スコアが前記閾値T以上になるまでは、スコアに反比例させて低下させる。

ユーザーは撮像状況提示画像を見て、十分明度が下がっていない部分を撮像して新たな入力画像を得ることで、出力画像の生成に不足している画像を得ることができる。

第２の撮像状況提示画像の生成手法は、第２或いは第３の基準座標系設定手法を用いて基準座標系を設定した場合、撮像されていない部分領域については、黒で塗りつぶして表示する。そのような領域の撮像状況提示画像には対応する入力画像が得られた時点で、入力画像の画素値を与えて表示する。一度撮像された領域に関しては、第１の撮像状況提示画像の生成手法と同様の処理を行う)。

ここで撮像終了判定はユーザーが行う場合は図１に示す構成でよいが、自動で行う場合は図１１に示すように撮像状況提示手段４０１を撮像状況記憶手段１１０１、撮像状況表示画像提示手段１１０２、画像生成処理起動手段１１０３に置き換える。

撮像状況提示手段４０１と同じ動作を撮像状況記憶手段１１０１、撮像状況表示画像提示手段１１０２で実現すると同時に撮像状況記憶手段１１０１に含まれる撮像状況表示画像を生成するために用いた情報と同じ情報を用い、先に述べたような撮像スコアを用いた閾値処理を行う画像生成処理起動手段１１０３で撮像終了判定を自動で行う。

十分な入力画像が得られたら、図２に示すように、最後にステップ５において画像生成手段１０５は、ステップ１開始時から得られた全ての画像をもとにして出力画像を生成する。そのための手法としては例えば池谷らの手法(非特許文献1)を用いて行うことができる。この方法では、入力画像は全て一枚の高解像度画像(正解画像)をカメラの位置や角度を変えて撮像したものであるとするモデル化を行っており、入力画像から正解画像を復元し、復元された正解画像を出力画像とする。このとき正解画像の座標系は基準座標系と課一致している。以後、処理手順について述べる。

先ず、入力画像の点p_inputを正解画像上の点p_baseに対応付ける。この対応付けは、正解画像と低解像度画像を撮像したときのカメラの位置関係を求めることに相当する。これについては既にフレーム間対応点検出手段によって算出されているため、これを利用することができる。

次に、入力画像の各画素の画素値は、その画素が対応付けられた正解画像上の画素値の加重平均であるとする方程式を立てる。これは、正解画像上の各点を発した光が、混ざってカメラの各画素に入射することに相当する。

図１３に示すように、画像入力手段１０１は被写体を発した光を集光する光学系１３０１と集光された光をデジタルデータに変換するための撮像素子１３０２を有するが、加重平均の重みはこれらを考慮して決める。

例えば、光学系１３０１の点広がり関数がδ関数であり、撮像素子の開口部が正方形であり、入力画像上の被写体が正解画像上では縦横２倍に拡大されている場合は、p_baseを中心とした縦横2pixelのブロックBを設定し、その内部の画素についてはブロックB面積の逆数に相当する重みを与え、それ以外の画素については０とするステップ関数にすればよい。光学系１３０１の点広がり関数がガウス関数であったときは、前記のステップ関数にガウス関数を畳み込んだものを重みとすればよい。

最後に得られた連立方程式を解くことによって正解画像を算出する。非特許文献1ではBack-Projection法(M. Irani et. al, “Improving Resolution by Image Registration,” CVGIP: Graphical Models and Image Processing, Vol. 53, No. 3, pp 231-239, 1991.)を用いているが、他にも多数の手法が提案されている(S. C. Park et. al, "Super-resolution image reconstruction: A technical overview," in IEEE Signal Processing Magazine, vol. 20, 2003, pp. 21-36.)。

なお、画像生成手段１０５が用いる画像生成アルゴリズムにとって有用な情報が撮像装置中に蓄積されていれば、それらの情報を生成時に同時に画像生成手段に入力しても良い。このような情報としては、フレーム間対応点の情報や、オートフォーカス、絞り等、撮像時の条件が考えられる。

例えば、池谷らの手法でもフレーム間対応点と同様の情報を必要とするため、フレーム間対応点検出手段で得た情報を同時に画像生成手段１０５に入力することで、処理時間の短縮を図ることができる。フレーム間対応点の情報は撮像装置の情報によってさらに高精度化することが可能である。例えば撮像装置に手ぶれ補正のジャイロが搭載されていた場合は、カメラの移動方向が分かるためこれを利用してフレーム間対応点の精度を高めることができる。さらに、前述したようにユーザーが手作業でフレーム間対応点を補正していた場合はさらに精度が高まる。

また、光学系１３０１の点広がり関数や撮像素子１３０２の開口の情報は池谷らの手法が利用している超解像アルゴリズムにも有用である。さらに、池谷らの手法が利用している超解像アルゴリズムでは画像各点の明度は被写体の反射光強度を正確に反映していることを仮定しており、入力画像毎に絞りが異なる場合は、それに応じて入力画像の明度が補正されていることが望ましい。

このように、本実施形態に係わる撮像装置によれば、ユーザーが撮像状況提示手段１０４を用いて出力画像を生成するために十分な入力画像が得られているか否かを判断することが可能となる。よって、撮像手段１０１から得られた画像をもとにして得られる出力画像の画質を高めることができる。

本発明の実施形態に係わる撮像装置の構成を示すブロック図 本発明の実施形態の動作を示すフローチャート 本発明の実施形態の基準座標系設定手法1,3に用いる基準画像の概念を表す図 本発明の実施形態の基準座標系設定手法1,3に用いる基準画像が撮像状況提示手段によりユーザーに提示される様子を表す図 本発明の実施形態の基準座標系設定手法に用いる基準画像の概念を表す図 本発明の実施形態の基準座標系設定手法に用いる基準座標系設定作業の最初で基準画像が表示される形態を表す図 本発明の実施形態の基準座標系設定手法に用いる基準座標系設定作業の縮小ステップの概念を表す図 本発明の実施形態の基準座標系設定手法に用いる基準座標系設定作業の移動ステップの概念を表す図 本発明の実施形態の撮像装置が被写体の部分画像を取得する様子を表す図 本発明の実施形態における、基準座標系の各点に撮像スコアを付与する様子を表す図 本発明の実施形態に係わる、出力画像生成を自動で行う撮像装置の構成を示すブロック図 本発明の実施形態における、撮像状況提示画像の例を表す図 本発明の実施形態における、画像入力手段の構成例を表す図

符号の説明

１０１・・・入力手段
１０２・・・基準座標系設定手段
１０３・・・フレーム間対応点検出手段
１０４・・・撮像状況表示手段
１０５・・・画像合成手段

Claims (6)

1. 画像を撮像する撮像手段と、
   前記撮像手段により撮像された複数の画像のうち一枚を基準画像とし、前記基準画像の座標系となる基準座標系を設定する基準座標系設定手段と、
   前記複数の画像をそれぞれ前記基準座標系に対応付けるフレーム間対応点検出手段と、
   前記フレーム間対応点検出手段により前記基準座標系に対応付けられた前記複数の画像を画面上に位置あわせして表示する撮像状況表示手段とを具備することを特徴とする撮像装置。
2. 前記撮像手段によって、前記複数の画像が撮像された後に撮像された画像について前記フレーム間対応点検出手段により前記基準座標系に対応付けることを特徴とする請求項１記載の撮像装置。
3. 前記フレーム間対応点検出手段は、前記複数の画像を前記基準座標系に対応付けるとともに、前記基準座標系の各点に対し、その点に対応付けられた前記基準画像の数が多いほど大きくなる数値である撮像スコアを付与することを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
4. 前記基準座標上の全ての点に閾値以上の前記撮像スコアが与えられたとき、前記複数の画像を用いて、超解像度化処理によって前記複数の画像よりも解像度が高い或いは画角が大きい画像を生成する画像生成手段とを具備することを特徴とする請求項４記載の撮像装置。
5. 前記閾値は、前記基準画像と出力画像の間の画素数の比に比例することを特徴とする請求項４記載の撮像装置。
6. 前記撮像状況表示手段は、前記基準座標上の各点に与えられた前記撮像スコアを、明度や色調の変化によって表現する撮像状況表示画像を生成することを特徴とする請求項３記載の撮像装置。