[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4748230B2 - 撮像装置、撮像方法及び撮像プログラム - Google Patents

撮像装置、撮像方法及び撮像プログラム Download PDF

Info

Publication number
JP4748230B2
JP4748230B2 JP2009033913A JP2009033913A JP4748230B2 JP 4748230 B2 JP4748230 B2 JP 4748230B2 JP 2009033913 A JP2009033913 A JP 2009033913A JP 2009033913 A JP2009033913 A JP 2009033913A JP 4748230 B2 JP4748230 B2 JP 4748230B2
Authority
JP
Japan
Prior art keywords
image
camera shake
determination
images
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009033913A
Other languages
English (en)
Other versions
JP2010193058A5 (ja
JP2010193058A (ja
Inventor
和久 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009033913A priority Critical patent/JP4748230B2/ja
Priority to EP10151652.4A priority patent/EP2219366B1/en
Priority to TW099104264A priority patent/TWI420901B/zh
Priority to CN2010101716218A priority patent/CN101895679B/zh
Priority to US12/706,174 priority patent/US8310553B2/en
Priority to KR1020100014065A priority patent/KR101109532B1/ko
Publication of JP2010193058A publication Critical patent/JP2010193058A/ja
Publication of JP2010193058A5 publication Critical patent/JP2010193058A5/ja
Priority to HK11100593.8A priority patent/HK1146436A1/xx
Application granted granted Critical
Publication of JP4748230B2 publication Critical patent/JP4748230B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Description

本発明は、例えばデジタルカメラ等の撮像装置に係り、被写体を撮影して静止画で記録する撮像装置、撮像方法及び撮像プログラムに関するものである。
従来より、デジタルカメラの手ブレを補正する方法として、連続する複数枚の画像を撮影し各画像の対応する画素同士を加算する電子式手振れ補正が知られている。例えば、全画素60フレーム/秒で連写した数枚の画像を加算処理するマルチプレーン加算方式を採用すると、一枚の画像よりも数倍S/N比の良い画像を得ることができる。
かかるマルチプレーン加算方式による電子式手振れ補正に関しては、ブレ補正を行う必要がある条件下で撮影を行った場合には有効なブレ補正となる反面、ブレ補正を行う必要がない条件下で撮影を行った場合もブレ補正が行われるために無用な画質低下を招くという課題があった。この課題を解決するためブレ補正を行う必要がある条件を満たしている場合にのみブレ補正を行うための処理をする方式がある(特許文献1参照)。
特開2008−92005号公報(明細書[0032])
しかしながら、マルチプレーン加算処理をするか否かは、例えば、撮影する環境が少し暗めであるかなど、手ブレしやすい環境にあるか否かを撮影前(シャッターボタンの半押し時等)にデジタルカメラが判断して決定しているところ、決定時の状況と実際に撮影される時の状況は必ずしも一致せず、期待した手ブレ補正の結果が得られない場合があった。
本発明は、かかる従来の課題に鑑みてなされたものであり、速やかに状況が変化する場合であっても、手ブレの無い高画質な画像を得ることを目的とする。
前記課題を解決するため請求項1記載の発明に係る撮像装置にあっては、撮影指示に応答して直ちに、第1の露光時間で被写体を撮影した時間的に連続する第1の画像群と、前記第1の露光時間とは異なる第2の露光時間で被写体を撮影した時間的に連続する第2の画像群とを、予め決められている規定枚数分だけ取得する撮像手段と、前記撮像手段による第1の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定手段と、前記撮像手段による第1の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定手段と、前記手ブレ判定手段による判定結果及び前記像ブレ判定手段による判定結果に応じて、前記第1の画像群から得られる画像又は前記第2の画像群から得られる画像のいずれかを選択する選択手段と、を備えたことを特徴とする。
また、請求項2記載の発明に係る撮像装置にあっては、前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていると判定された場合に、前記第2の画像群から得られる画像を選択することを特徴とする。
また、請求項3記載の発明に係る撮像装置にあっては、前記第2の画像群の画像を合成して新たな画像を生成する画像処理手段を備え、前記第2の画像群から得られる画像は、前記新たな画像であることを特徴とする。
また、請求項4記載の発明に係る撮像装置にあっては、前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていないと判定された場合に、前記第1の画像群から得られる画像を選択することを特徴とする。
また、請求項5記載の発明に係る撮像装置にあっては、前記第1の画像群のうち時間的に隣接する画像間において射影変換行列を求めて、射影変換行列から動きベクトルの大きさを算出する算出手段を備え、前記像ブレ判定手段は、前記算出手段によって算出された各画像の動きベクトルの大きさが最小の画像について、像ブレが生じたか否かを判定することを特徴とする。
また、請求項6記載の発明に係る撮像装置にあっては、前記手ブレ判定手段は、前記動きベクトルの大きさが最小の画像について、動きベクトルの大きさが所定の閾値を超えたか否かによって、手ブレが生じたか否かを判定することを特徴とする。
また、請求項7記載の発明に係る撮像装置にあっては、前記撮像手段は、第1の画像群を撮影したときの感度及び第2の画像群を撮影したときの感度の何れよりも高い感度で被写体を撮影した第3の画像を取得し、前記選択手段は、前記第1の画像群から得られる画像、前記第2の画像群から得られる画像、前記第3の画像のいずれかを選択するものであって、前記像ブレ判定手段によって像ブレが生じていると判定された場合に、前記第3の画像を選択することを特徴とする。
また、請求項8記載の撮像方法にあっては、撮影指示に応答して直ちに、第1の露光時間で被写体を撮影した時間的に連続する第1の画像群と、前記第1の露光時間とは異なる第2の露光時間で被写体を撮影した時間的に連続する第2の画像群とを、予め決められている規定枚数分だけ取得する取得工程と、第1の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、第1の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、前記手ブレ判定工程及び前記像ブレ判定工程のそれぞれの判定結果に基づいて、前記第1の画像群から得られる画像又は前記第2の画像群から得られる画像のいずれかを選択する選択工程と、を有することを特徴とする。
また、請求項9記載の撮像プログラムにあっては、撮像装置が有するコンピュータに、撮影指示に応答して直ちに、第1の露光時間で被写体を撮影した時間的に連続する第1の画像群と、前記第1の露光時間とは異なる第2の露光時間で被写体を撮影した時間的に連続する第2の画像群とを、予め決められている規定枚数分だけ取得する取得工程と、第1の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、第1の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、前記手ブレ判定工程の判定結果と前記像ブレ判定工程の判定結果とに応じて、前記第1の画像群から得られる画像又は前記第2の画像群から得られる画像のいずれかを選択する選択工程と、を実行させることを特徴とする。
また、請求項10記載の撮像装置にあっては、前記第2の露光時間は、前記第1の露光時間よりも短い時間であることを特徴とする。
また、請求項11記載の撮像装置にあっては、撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する撮像手段と、前記撮像手段により取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定手段と、前記判定手段による判定結果に応じて、前記複数枚の画像の中から1枚の画像を抽出する抽出手段と、を備えたことを特徴とする。
また、請求項12記載の撮像方法にあっては、撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する取得工程と、取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定工程と、前記判定工程の判定結果に応じて、前記複数枚の画像の中から1枚の画像を抽出する抽出工程と、を有することを特徴とする。
さらに、請求項13記載の撮像プログラムにあっては、撮像装置が有するコンピュータに、撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する取得工程と、取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定工程と、前記判定工程の判定結果に応じて、前記複数枚の画像の中から1枚の画像を抽出する抽出工程と、を実行させることを特徴とする。
本発明によれば、画像取得後に撮影された画像自体を解析して手ブレや像ブレが生じているか否かを判断しているので、撮影前に手ブレや像ブレの補正が必要か否かを判断するような時間的乖離による状況誤認がない。
本発明の一実施の形態の撮像装置であるデジタルカメラの電気的構成を示したブロック図である。 記録モードが設定されているときのCPUコアの処理手順を示すフローチャートである。 (a)は基準画像に設定するウインドウを示す図、(b)はウインドウ内を区分したブロックを示す図である。 各フレームの射影変換行列と動きベクトルの算出を説明するための図である。 平行移動成分を表す動きベクトルの大きさの算出の詳細を説明するための図である。 出力する画像を選択する処理を説明するための図である。 マルチプレーン加算合成を説明するための図である。
3 CMOS撮像素子
5 DRAM
8 液晶表示画面
7a CPU
7b シャッタ制御部
7c 受光制御部
7d デモザイク部
7e 特徴量演算部
7f SRAM
7g ブロックマッチング部
7h 画像変形合成加算部
11 外部記憶媒体
図1は、本発明の一実施の形態の撮像装置であるデジタルカメラの電気的構成を示したブロック図である。このデジタルカメラは、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードと、を有する。
図1に示すように本実施の形態のデジタルカメラは、撮影レンズ1と、撮影レンズ1により収束された撮影光をシャッタ2を介して受光するとともに、受光面に結像された被写体の光学像を光電変換し画像信号として出力する撮像素子であるCMOS撮像素子3、CMOS撮像素子3の出力信号をデジタルの画像データへ変換するA/D変換器4、変換後の画像データを逐次記憶するDRAM5を備えている。なお、DRAM5には、複数枚の画像データが格納される。
シャッタ2の動作は、CPUコア7aの命令に従いシャッタ制御部7bにより制御され、CMOS撮像素子3及びA/D変換器4の動作はCPUコア7aの命令に従い受光制御部7cにより制御される。DRAM5に格納された1枚分の画像データ、すなわちRAWデータはデモザイク部7dにより画素毎に色情報を補間されてYUVデータに変換された後、液晶表示コントローラ6を介して液晶表示画面8に表示される。なお、変換されたYUVデータもDRAM5に一時的に記憶される。
記録モードでの撮影時にデモザイク部7dによりYUVデータに変換された画像データは、CPUコア7aによってJPEG等の所定の圧縮方式に従い圧縮された後、外部記憶媒体11に静止画ファイル又は動画ファイルとして記録される。外部記憶媒体11に記録された画像データは、再生モードにおいては、必要に応じてCPUコア7aに読み出されて伸張された後、液晶表示コントローラ6を介して液晶表示画面8において表示される。なお、外部記憶媒体11は、例えばカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。
また、CPUコア7aには、特徴量演算部7e、SRAM7f、ブロックマッチング部7g、画像変形合成加算部7hの他、シャッタボタン9、モードボタン10が接続されている。なお、CPUコア7a内のメモリには、CPUコア7aの動作に必要な種々のプログラム及びプログラムの実行に際して使用される各種のデータが記憶されているが、これらはCPUコア7aとは別のメモリに記憶されていてもよい。
CPUコア7aは、プログラムに従いシャッタボタン9の押下操作に応じてデジタルカメラの各部の動作を制御する、本発明の撮像手段、手ブレ判定手段、像ブレ判定手段、選択手段として機能する。
ブロックマッチング部7gは、SRAM7fを作業メモリとして使用し、CMOS撮像素子3により撮像された複数枚の画像同士でマッチングを行い、被写体部分の相対的なずれ量及びずれ方向を示す動きベクトルを取得してCPUコア7aに出力する、本発明の算出手段として機能する。
画像変形合成加算部7hは、CPUコア7aの指示に応じ、CMOS撮像素子3により撮像された複数枚の画像を位置合わせして合成する本発明の画像処理手段として機能する。
次に、以上の構成からなるデジタルカメラにおいて、記録モードが設定されているときの動作について説明する。図2は、記録モードが設定されているときのCPUコア7aの処理手順を示すフローチャートである。
まず、デジタルカメラのモードボタン10をユーザが操作することによって、デジタル手振れ補正モードが設定される(ステップA1)。これにより、デジタルカメラは自動的に手振れ補正を実行する。
次に、デジタルカメラのシャッタボタン9をユーザが1回押下すると、それを検出したCPUコア7aは、第1の画像群、第2の画像群及び第3の画像からなる9枚の連写撮影を実施する(ステップA2)。具体的には、CMOS撮像素子3によって時間的に連続する9枚の画像を取得する。9枚の画像のうち、第3の画像である最初の1枚の画像、被写体ブレや暗い場所での撮影に対応可能な高い撮影感度、例えば、ISO1600相当の撮影感度で第3の露光時間にて被写体ブレ抑制用撮影を行って取得される。第1の画像群である次の4枚の画像は、通常の露光時間(第1の露光時間)にて撮影を行って取得される。第2の画像群である最後の4枚の画像は、通常の露光時間よりもシャッタ時間を2段短くした時間(第2の露光時間)にて撮影を行って取得される。さらに、撮影時には、CMOS撮像素子3がシフト動作する光学手振れ補正も同時に行う。
CPUコア7aは、CMOS撮像素子3によって時間的に連続する9枚の画像について、各々のRAWデータを取得し、DRAM5に記録する(ステップA3)。また、各々のRAWデータをデモザイク部7dによってYUVデータ及び輝度成分のみからなる輝度画像データに変換し、変換後の画像データをDRAM5に記憶する(ステップA3)。ここで、YUVデータは合成用の画像データであり、輝度画像データは、複数枚の画像(YUVデータ)の合成時における位置合わせ作業に十分なサイズの縮小画像データである。
次に、度画像データのうち1枚目の画像を基準画像とし、その基準画像に、予め決められている所定サイズのウィンドウをレーム内の中央部分に設定する。さらに、このウィンドウ内を縦16画素×横16画素を単位とした複数ブロックに分割して、隣接するフレーム画像間でブロックマッチングを行う(ステップA4)。具体的には、図3に示すように、基準画像101に設定したウィンドウ102(基準画像101の中心の(1/2)*(1/2)の領域)を複数(4*4=16)のブロック103に分割する。
このようにして得られたブロック103について、ブロックマッチング部7gにおいて、被写体部分のみを追跡対象とするブロックマッチングを行う。CPUコア7aは、ブロックマッチングにより取得した各々のブロックの動きベクトルデータのうちで、所定の距離以下のずれ量を示す特定の動きベクトルを用いて、隣接フレーム画像の位置関係を表す射影変換行列を生成する(ステップA5)。つまり、本来は得られないような(明らかに誤って取得された)動きベクトルを排除した正しい動きベクトルのみに基づき射影変換行列を求める。なお、本実施の形態において射影変換行列はRANSAC法により生成する。RANSAC法は、ランダムに選択したサンプルを元に生成した仮説を全データで検証することを繰り返すことによるモデル推定アルゴリズムに従う。この場合、ランダムに位置の組を選択し、その選択した位置の組に対応する射影変換行列の候補を算出し、その式に従って、全ての位置の座標を射影変換したときに、結果がどれだけ一致するかを評価する。こうした計算と評価を繰り返し、最もよい評価値を得た時の射影変換行列を採用する。この手法に従って、図4に示すように、フレーム2を基準画像としてフレーム3との位置関係を表す射影変換行列2を求める。
引き続き、輝度画像データを順に変更しながら上述したステップ4及び5の処理を繰り返し、時間的に連続する5枚目までの画像について射影変換行列を生成する(ステップ6)。具体的には、フレーム3を基準画像としてフレーム4との位置関係を表す射影変換行列3を求め、フレーム4を基準画像としてフレーム5との位置関係を表す射影変換行列4を求め、フレーム5を基準画像としてフレーム6との位置関係を表す射影変換行列5を求める。
フレーム5までの画像(輝度画像データ)について前述した射影変換行列が生成できたら、つまり、2枚目から5枚目までの画像間における被写体の位置関係が把握できたら(ステップAでYES)、ステップAで取得した射影変換行列から、各々の隣接フレーム間における平行移動成分を算出する(ステップA7)。平行移動成分(動きベクトルの大きさ)の算出は図5に示すとおり、(s2+t21/2によって求めることができる。
ステップA7で算出された平行移動成分の大きさが最小の画像について、被写体の像ブレが発生しているか否かを判断する(ステップA8)。被写体の像ブレは、全てのブロック103について、隣接フレームの同一位置のブロックと差分二乗和をとり、その値が1ブロックでも所定の閾値より大きければ、像ブレが発生していると判断する。
ステップA8において、被写体の像ブレが発生していると判断した場合は、図6に示すように、1枚目の画像である被写体ブレ抑制用の画像(フレーム1)を選択して(ステップA9)、当該画像を外部記憶媒体11に保存する。
一方、ステップA8において、被写体の像ブレが発生していないと判断した場合は、平行移動成分の大きさが最小の画像について、平行移動成分の大きさが所定値(例えば、2画素)以下であるかどうかを判断して、手ブレが発生しているか否かを判断するステップA10)。なお、本実施の形態では、所定値を2画素として説明するが、本発明はこれに限定されない。実装に応じて最適な値を所定値として設定することができる。
ステップA10において平行移動成分の大きさが2画素以下である場合は、手ブレが十分に小さいと判断して、図6に示すように、当該平行移動成分の大きさが最小の画像を選択して(ステップA11)、当該画像を外部記憶媒体11に保存する。
一方、ステップA10において平行移動成分の大きさが2画素以下でない場合は、図6に示すように、画像変形合成加算部7hは、第2の露光時間で撮影した6枚目から9枚目までの画像をマルチプレーン加算により合成して新たな画像を生成し(ステップA12)、当該新たな画像を外部記憶媒体11に保存する。
画像変形合成加算部7hは、6枚目から9枚目までの画像についてBayer配列データでマルチプレーン加算合成処理を行うことにより、増感効果を高めた高感度処理を行うことができる。具体的には、図7に示すように、各画像のBayer配列データのうち、輝度成分や解像感をよく反映するG(緑)画像の相関度を求めて位置合せ合成を行い、またBayer配列データでは欠けている縦、横、斜め画素の補間処理を行いフル画素のGデータを生成する。R(赤)、B(青)データは、G(緑)データの位置合せ結果に準じて位置合せとカラー補間処理を行い、フルサイズのRGBデータに変換する。位置合せ処理では、さらに、回転方向も検出して、アフィン変換などにより座標回転変換して位置合せし、回転位置に応じて補間処理を行うようにしてもよい。あるいは、中央や前景の主な被写体の領域画像を抽出して、被写体や背景の輪郭形状や特徴量が重なる位置に移動して位置合せしてから加算するようにしてもよい。
以上説明したように、本実施の形態では、被写体ブレ抑制用の第3の露光時間で撮影した画像を1枚、通常の1枚撮影の露光時間(第1の露光時間)で撮影した画像を複数枚、シャッタ時間を短くしたマルチプレーン加算用の第2の露光時間で撮影した画像を複数枚、連写撮影し、時間的に連続する画像において隣接画像間の位置関係を表す射影変換行列を全ての隣接画像間において求めて、通常の露光時間で撮影した第1の画像群において手ブレの一番少ない画像を選択し、その画像に被写体の像ブレが発生しておらず、手ブレが十分小さい場合に、その画像を選択するので、撮影状況に応じてブレの少ない最適な画像を選択して出力することができる。また、通常の露光時間で撮影した第1の画像群において手ブレの一番少ない画像を選択し、その選択した画像に被写体の像ブレが発生している場合には、被写体ブレ抑制用の画像を選択するので、撮影状況に応じてブレの少ない最適な画像を選択して出力することができる。さらに、上記で選択した画像に手ブレが発生している場合は、マルチプレーン加算用に撮影した第2の画像群をマルチプレーン加算した新たな画像を生成するので、撮影状況に応じてブレの少ない最適な画像を出力することができる。
本実施の形態においては、撮影された画像自体で画像のブレの有無を判断しているので、シャッタボタンの半押し時にブレを判定するような時間的乖離による状況誤認がない。また、通常の露光時間で撮影した連写画像の中からブレの少ない程度の良いものがあるかどうかも判断するので、ブレが十分に少ない画像を選択して出力することができる。また、マルチプレーン加算が必要のない状況で不必要なマルチプレーン加算をして、被写体の像ブレを強調するだけの画像生成を回避することができる。
また、画像連写時にCMOS撮像素子を移動させることにより光学手振れ補正をジャイロセンサーにより行っている場合などは、画像撮影時にジャイロセンサー値の大小は、必ずしもその画像の手ブレの大小を反映している訳ではないことから、ジャイロセンサーによる手ブレ判定は不正確になるが、本実施の形態においては、光学手ブレ補正後の撮像画像より位置関係を求めているので、正確にブレの発生を知ることができる。

Claims (13)

  1. 撮影指示に応答して直ちに、第1の露光時間で被写体を撮影した時間的に連続する第1の画像群と、前記第1の露光時間とは異なる第2の露光時間で被写体を撮影した時間的に連続する第2の画像群とを、予め決められている規定枚数分だけ取得する撮像手段と、
    前記撮像手段による第1の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定手段と、
    前記撮像手段による第1の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定手段と、
    前記手ブレ判定手段による判定結果及び前記像ブレ判定手段による判定結果に応じて、前記第1の画像群から得られる画像又は前記第2の画像群から得られる画像のいずれかを選択する選択手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていると判定された場合に、前記第2の画像群から得られる画像を選択することを特徴とする請求項1記載の撮像装置。
  3. 前記第2の画像群の画像を合成して新たな画像を生成する画像処理手段を備え、
    前記第2の画像群から得られる画像は、前記新たな画像であることを特徴とする請求項1又は2記載の撮像装置。
  4. 前記選択手段は、前記像ブレ判定手段によって像ブレが生じていないと判定され、前記手ブレ判定手段によって手ブレが生じていないと判定された場合に、前記第1の画像群から得られる画像を選択することを特徴とする請求項1から3のいずれか記載の撮像装置。
  5. 前記第1の画像群のうち時間的に隣接する画像間において射影変換行列を求めて、射影変換行列から動きベクトルの大きさを算出する算出手段を備え、
    前記像ブレ判定手段は、前記算出手段によって算出された各画像の動きベクトルの大きさが最小の画像について、像ブレが生じたか否かを判定することを特徴とする請求項1から4のいずれか記載の撮像装置。
  6. 前記手ブレ判定手段は、前記動きベクトルの大きさが最小の画像について、動きベクトルの大きさが所定の閾値を超えたか否かによって、手ブレが生じたか否かを判定することを特徴とする請求項5記載の撮像装置。
  7. 前記撮像手段は、第1の画像群を撮影したときの感度及び第2の画像群を撮影したときの感度の何れよりも高い感度で被写体を撮影した第3の画像を取得し、
    前記選択手段は、前記第1の画像群から得られる画像、前記第2の画像群から得られる画像、前記第3の画像のいずれかを選択するものであって、前記像ブレ判定手段によって像ブレが生じていると判定された場合に、前記第3の画像を選択することを特徴とする請求項1から6のいずれか記載の撮像装置。
  8. 撮影指示に応答して直ちに、第1の露光時間で被写体を撮影した時間的に連続する第1の画像群と、前記第1の露光時間とは異なる第2の露光時間で被写体を撮影した時間的に連続する第2の画像群とを、予め決められている規定枚数分だけ取得する取得工程と、
    第1の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、
    第1の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、
    前記手ブレ判定工程及び前記像ブレ判定工程のそれぞれの判定結果に基づいて、前記第1の画像群から得られる画像又は前記第2の画像群から得られる画像のいずれかを選択する選択工程と、
    を有することを特徴とする撮像方法。
  9. 撮像装置が有するコンピュータに、
    撮影指示に応答して直ちに、第1の露光時間で被写体を撮影した時間的に連続する第1の画像群と、前記第1の露光時間とは異なる第2の露光時間で被写体を撮影した時間的に連続する第2の画像群とを、予め決められている規定枚数分だけ取得する取得工程と、
    第1の画像群の取得中に手ブレが生じたか否かを判定する手ブレ判定工程と、
    第1の画像群の取得中に被写体の像ブレが生じたか否かを判定する像ブレ判定工程と、
    前記手ブレ判定工程の判定結果と前記像ブレ判定工程の判定結果とに応じて、前記第1の画像群から得られる画像又は前記第2の画像群から得られる画像のいずれかを選択する選択工程と、
    を実行させることを特徴とする撮像プログラム。
  10. 前記第2の露光時間は、前記第1の露光時間よりも短い時間であることを特徴とする請求項1記載の撮像装置。
  11. 撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する撮像手段と、
    前記撮像手段により取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定手段と、
    前記判定手段による判定結果に応じて、前記複数枚の画像の中から1枚の画像を抽出する抽出手段と、
    を備えたことを特徴とする撮像装置。
  12. 撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する取得工程と、
    取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定工程と、
    前記判定工程の判定結果に応じて、前記複数枚の画像の中から1枚の画像を抽出する抽出工程と、
    を有することを特徴とする撮像方法。
  13. 撮像装置が有するコンピュータに、
    撮影指示に応答して直ちに、露光時間の異なる複数枚の画像を、規定枚数分だけ連写撮影して取得する取得工程と、
    取得された画像に基づいて、画像取得中に手ブレが生じたか否かを判定する判定工程と、
    前記判定工程の判定結果に応じて、前記複数枚の画像の中から1枚の画像を抽出する抽出工程と、
    を実行させることを特徴とする撮像プログラム。
JP2009033913A 2009-02-17 2009-02-17 撮像装置、撮像方法及び撮像プログラム Expired - Fee Related JP4748230B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2009033913A JP4748230B2 (ja) 2009-02-17 2009-02-17 撮像装置、撮像方法及び撮像プログラム
EP10151652.4A EP2219366B1 (en) 2009-02-17 2010-01-26 Image capturing device, image capturing method, and image capturing program
CN2010101716218A CN101895679B (zh) 2009-02-17 2010-02-11 拍摄装置和拍摄方法
TW099104264A TWI420901B (zh) 2009-02-17 2010-02-11 攝像裝置、攝像方法及攝像程式
US12/706,174 US8310553B2 (en) 2009-02-17 2010-02-16 Image capturing device, image capturing method, and storage medium having stored therein image capturing program
KR1020100014065A KR101109532B1 (ko) 2009-02-17 2010-02-17 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
HK11100593.8A HK1146436A1 (en) 2009-02-17 2011-01-20 Image capturing device, image capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009033913A JP4748230B2 (ja) 2009-02-17 2009-02-17 撮像装置、撮像方法及び撮像プログラム

Publications (3)

Publication Number Publication Date
JP2010193058A JP2010193058A (ja) 2010-09-02
JP2010193058A5 JP2010193058A5 (ja) 2010-11-18
JP4748230B2 true JP4748230B2 (ja) 2011-08-17

Family

ID=42102652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009033913A Expired - Fee Related JP4748230B2 (ja) 2009-02-17 2009-02-17 撮像装置、撮像方法及び撮像プログラム

Country Status (7)

Country Link
US (1) US8310553B2 (ja)
EP (1) EP2219366B1 (ja)
JP (1) JP4748230B2 (ja)
KR (1) KR101109532B1 (ja)
CN (1) CN101895679B (ja)
HK (1) HK1146436A1 (ja)
TW (1) TWI420901B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5868053B2 (ja) * 2011-07-23 2016-02-24 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
KR101804215B1 (ko) * 2012-03-06 2017-12-05 삼성전자주식회사 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
US8928765B2 (en) * 2012-06-08 2015-01-06 Apple Inc. Noise reduction based on motion sensors
KR101904203B1 (ko) * 2012-06-20 2018-10-05 삼성전자주식회사 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법
US9449374B2 (en) 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
JP6604831B2 (ja) * 2015-11-30 2019-11-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
WO2017173585A1 (zh) * 2016-04-05 2017-10-12 华为技术有限公司 一种拍照方法及终端
TWI693577B (zh) 2018-09-19 2020-05-11 聚晶半導體股份有限公司 影像產生方法與電子裝置
JP7110397B2 (ja) * 2019-01-09 2022-08-01 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
US11455492B2 (en) * 2020-11-06 2022-09-27 Buyaladdin.com, Inc. Vertex interpolation in one-shot learning for object classification

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4285889B2 (ja) * 2000-06-30 2009-06-24 株式会社リコー 撮像装置
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP2005136760A (ja) * 2003-10-31 2005-05-26 Nikon Corp デジタルスチルカメラ
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
US7538794B2 (en) * 2005-01-31 2009-05-26 Hewlett-Packard Development Company, L.P. Method and apparatus for motion estimation in a digital imaging device
DE602005003917T2 (de) * 2005-02-03 2008-12-04 Sony Ericsson Mobile Communications Ab Verfahren und Vorrichtung zur Erzeugung von Bildern mit hoher Dynamik aus mehreren Belichtungen
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
JP4086166B2 (ja) * 2005-03-02 2008-05-14 船井電機株式会社 電子写真装置
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP2007243774A (ja) * 2006-03-10 2007-09-20 Olympus Imaging Corp 電子的ぶれ補正装置
US20080170126A1 (en) 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
JP4867554B2 (ja) 2006-09-29 2012-02-01 カシオ計算機株式会社 電子カメラ、撮像制御プログラム及び撮像制御方法
JP4315971B2 (ja) 2006-11-09 2009-08-19 三洋電機株式会社 撮像装置
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
JP4860568B2 (ja) * 2007-03-30 2012-01-25 富士フイルム株式会社 撮影装置
JP4936222B2 (ja) * 2007-06-14 2012-05-23 カシオ計算機株式会社 動きベクトル照合装置、画像合成装置及びプログラム
KR101371775B1 (ko) * 2007-07-09 2014-03-24 삼성전자주식회사 카메라의 손떨림 보정 방법 및 장치
TWI351219B (en) * 2007-09-28 2011-10-21 Altek Corp Image capturing apparatus with image-compensating function and method for compensating image thereof
KR101442610B1 (ko) * 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체

Also Published As

Publication number Publication date
US8310553B2 (en) 2012-11-13
US20100209009A1 (en) 2010-08-19
TWI420901B (zh) 2013-12-21
KR101109532B1 (ko) 2012-01-31
HK1146436A1 (en) 2011-06-03
JP2010193058A (ja) 2010-09-02
TW201101813A (en) 2011-01-01
KR20100094397A (ko) 2010-08-26
CN101895679B (zh) 2012-09-26
EP2219366A1 (en) 2010-08-18
CN101895679A (zh) 2010-11-24
EP2219366B1 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
JP4748230B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP5574423B2 (ja) 撮像装置、表示制御方法及びプログラム
KR101303410B1 (ko) 촬상장치 및 촬상방법
JP5445363B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2007300595A (ja) 静止画像撮影の手ブレ回避方法
JP6362068B2 (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP5729237B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7516471B2 (ja) 制御装置、撮像装置、制御方法およびプログラム
JP5211589B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP4942572B2 (ja) 画像加算装置および方法並びにプログラム
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP2016111568A (ja) 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム
JP5822606B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP6218520B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6752942B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP5831492B2 (ja) 撮像装置、表示制御方法及びプログラム
JP5195973B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP5181952B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4687619B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5301690B2 (ja) 撮影装置および方法並びにプログラム
JP2007133810A (ja) 画像処理装置
JP5158167B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5012805B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP4919165B2 (ja) 画像合成装置及びプログラム
JP2009088933A (ja) 画像記録装置、画像補正装置及び撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

R150 Certificate of patent or registration of utility model

Ref document number: 4748230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees