[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6418879B2 - 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 Download PDF

Info

Publication number
JP6418879B2
JP6418879B2 JP2014205398A JP2014205398A JP6418879B2 JP 6418879 B2 JP6418879 B2 JP 6418879B2 JP 2014205398 A JP2014205398 A JP 2014205398A JP 2014205398 A JP2014205398 A JP 2014205398A JP 6418879 B2 JP6418879 B2 JP 6418879B2
Authority
JP
Japan
Prior art keywords
motion vector
images
image processing
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014205398A
Other languages
English (en)
Other versions
JP2016076805A (ja
Inventor
陽一 高橋
陽一 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014205398A priority Critical patent/JP6418879B2/ja
Priority to US14/867,352 priority patent/US9648238B2/en
Publication of JP2016076805A publication Critical patent/JP2016076805A/ja
Application granted granted Critical
Publication of JP6418879B2 publication Critical patent/JP6418879B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、複数枚の画像を合成処理するための画像処理装置に関する。
一般に、天体を撮影する際には、星の光量が微量であることを考慮して30秒又は1分などの長時間の露光を行うことが多い。そして、天体は地球の自転に合わせて日周運動をしているので、長時間の露光を行うと星(天体)が点像とならずに光跡となってしまう。
光跡を回避するため、星が光跡にならない程度の露光時間で複数枚の画像を撮影して、画像間で生じる日周運動による星のずれを補正して、複数枚の画像を1枚の画像に合成することが行われている。これによって、星を光跡とすることなく、長秒の露光を行った場合と同様にして天体を撮像することができる。
複数枚の画像において生じる星のずれを補正する際には、画像を複数のブロックに分割して、各ブロックについてその動きベクトルを算出する。その後、動きベクトルに基づいて画像の動きを算出してずれ補正を行っている。
例えば、被写体である天体の明るさに応じてトータルの露光時間を決定して、星が光跡にならない程度の露光時間でN回の分割露光を行って、画像のずれ補正を行うようにしたものがある(特許文献1参照)。
さらに、画像を複数のブロックに分割して、ブロックに孤立点があると、当該ブロックについて動きベクトルを検出して、画像のずれ補正を行うようにしたものがある(特許文献2参照)。
特開2003−259184号公報 特開2008−10958号公報
ところで、動きベクトルを求める際には、ノイズなどの外乱の影響によってブロックの各々について精度よく動きベクトルが検出できないことがある。このような場合に、特許文献1および2に記載の手法では、精度の低い動きベクトルが画像の動きを算出する際に用いられることになる。その結果、画像間のずれを精度よく補正することができず、画像がぶれて合成されてしまうことがある。
そこで、本発明の目的は、複数枚の画像を合成処理する際、ノイズなどの外乱が多い撮影シーンにおいても精度よく画像のずれ補正を行って合成処理を行うことのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。
上記の目的を達成するため、本発明による画像処理装置は、所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置であって、前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出手段と、前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別手段と、前記選別手段によって選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成手段と、を有することを特徴とする。
本発明による撮像装置は、上記の画像処理装置と、前記被写体を撮像して前記複数の画像を得る撮像手段と、前記画像処理装置で得られた合成画像をメモリに記録する記録手段と、を有することを特徴とする。
本発明による制御方法は、所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置の制御方法であって、前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出ステップと、前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別ステップと、前記選別ステップで選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成ステップと、を有することを特徴とする。
本発明による制御プログラムは、所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出ステップと、前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別ステップと、前記選別ステップで選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成ステップと、を実行させることを特徴とする。
本発明によれば、ノイズなどの外乱が多い撮影シーンにおいても精度よく画像のずれ補正を行って合成処理を行うことができる。
本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図1に示すカメラで行われる合成撮像モードによる撮像処理を説明するためのフローチャートである。 図2の示すずれ補正量算出処理の一例を説明するためのフローチャートである。 天の赤道における星の移動と撮像部(撮像素子)との関係を示す図である。 図1に示すカメラで行われる動きベクトルの検出を説明するため図であり、(a)は基準輝度画像を示す図、(b)は対象輝度画像を示す図、(c)は特徴ブロックの選択結果を示す図、(d)は動きベクトルの検出結果を示す図である。 図3に示す動きベクトル選択処理の一例を説明するためのフローチャートである。 図1に示すカメラで行われる動きベクトル選択処理を説明するための図であり、(a)は動きベクトルの検出結果を示す図、(b)は被写体最大移動量を用いた際の動きベクトルの選択結果を示す図、(c)は(b)に示す動きベクトル選択結果に対してさらに動きベクトルのスカラー量のばらつき度を用いて動きベクトルを選択した際の動きベクトルの選択結果を示す図である。 図1に示すカメラにおいて動きベクトル選択処理を行う際の動きベクトルを選択する選択範囲を説明するための図であり、(a)は被写体最大移動量による動きベクトルの選択範囲を示す図、(b)は動きベクトルのスカラー量のばらつき度による動きベクトルの選択範囲を示す図である。
以下に、本発明の実施の形態による画像処理装置を備える撮像装置の一例について図面を参照して説明する。
図1は、本発明の実施の形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
図示の撮像装置は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)100であり、撮影レンズユニット(以下単に撮影レンズと呼ぶ)103を有している。この撮影レンズ103は、ズームレンズおよびフォーカスレンズを含むレンズ群である。撮影レンズ103の後段にはシャッター101が配置され、このシャッター101には絞り機能が備えられている。
シャッター101の後段には、撮像部22が配置されている。撮像部22は光学像(被写体像)を電気信号(アナログ信号)に変換するCCD又はCMOS素子などの撮像素子を備える撮像センサーである。A/D変換器23は、撮像部22の出力であるアナログ信号をデジタル信号に変換する。
バリア102は、撮影レンズ103を含む撮像系を覆うことによって、撮影レンズ103、シャッター101、および撮像部22を含む撮像系の汚れおよび破損を防止する。
画像処理部24は、A/D変換器23の出力であるデジタル信号(画像データ)、又はメモリ制御部15からの画像データに対して所定の画素補間および縮小処理などのリサイズ処理と色変換処理とを行う。また、画像処理部24はメモリ制御部15から得た2枚の画像データに対して、その1つを基準画像とし、基準画像に対する画像のずれおよび大きさを示す動きベクトルを検出する。
さらに、画像処理部24は、撮影の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部50は、画像処理部24で得られた演算結果に基づいて露光制御および測距制御を行う。これによって、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、およびEF(フラッシュプリ発光)処理が行われる。
加えて、画像処理部24は撮影の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
A/D変換回路23の出力である画像データは、画像処理部24およびメモリ制御部15を介して、或いはメモリ制御部15を介してメモリ32に書き込まれる。メモリ32には、撮影の結果得られた画像データが格納されるとともに、表示部28に表示するための表示用画像データが格納される。なお、メモリ32は、所定枚数の静止画像、所定時間の動画像および音声を格納するための十分な記憶容量を備えている。また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。
D/A変換器13は、メモリ32に格納された表示用画像データをアナログ画像信号に変換して表示部28に送る。これによって、表示部28には表示用画像データに応じた画像が表示される。このようにして、メモリ32に格納された表示用画像データはD/A変換器13を介して表示部28に表示されることになる。なお、表示部28は、例えば、LCDである。
A/D変換器23で一度A/D変換されメモリ32に格納された画像データをD/A変換器13においてD/A変換して、表示部28に逐次転送して表示することによって、表示部28は電子ビューファインダとして機能し、スルー画像表示(ライブビュー表示)を行う。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであって、例えば、EEPROMが用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数およびプログラムなどが記憶される。このプログラムとは、後述する各種フローチャートを実行するためのプログラムである。
システム制御部50は、カメラ100全体を制御する。システム制御部50は、前述の不揮発性メモリ56に記録されたプログラムを実行して、後述する各処理を行う。システムメモリ52は、例えば、RAMであり、システムメモリ52には、システム制御部50の動作用の定数、変数、および不揮発性メモリ56から読み出したプログラムなどが展開される。なお、システム制御部はメモリ32、D/A変換器13、および表示部28など制御して表示制御を行う。
システムタイマー53は各種制御に用いる時間および内蔵された時計の時間を計測する計時部である。モード切替スイッチ60、シャッターボタン61、および操作部70の各々はシステム制御部50に各種の動作指示を入力する際に用いられる。
モード切替スイッチ60は、システム制御部50の動作モードを、例えば、静止画記録モード、動画記録モード、および再生モードなどのいずれかに切り替える。静止画記録モードに含まれるモードとして、例えば、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、およびカスタムモードがある。
モード切り替えスイッチ60を用いれば、メニューボタンに含まれるモードのいずれかに直接切り替えることができる。また、モード切り替えスイッチ60を用いてメニューボタンに一旦切り換えた後、メニューボタンに含まれるモードのいずれかに他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれるようにしてもよい。
シャッターボタン61の操作途中、つまり、シャッターボタン61が半押し(撮影準備指示)されると、第1シャッタースイッチがオンとなって、第1シャッタースイッチ信号SW1がシステム制御部50に送られる。そして、第1シャッタースイッチ信号SW1に応答して、システム制御部50の制御下でAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ自動調光発光)処理などの動作が開始される。
シャッターボタン61の操作完了、つまり、シャッターボタン61が全押し(撮影指示)されると、第2シャッタースイッチがオンとなって第2シャッタースイッチ信号SW2がシステム制御部50に送られる。システム制御部50は、第2シャッタースイッチ信号SW2に応答して、撮像部22の信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70に備えられた各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどによって場面毎に適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタンがある。例えば、メニューボタンが押されると、各種の設定を行うためのメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンおよびSETボタンとを用いて直感的に各種設定を行うことができる。
操作部70には操作部材の一つとしてコントローラホイールが備えられており、このコントローラホイールは方向ボタンとともに選択項目を指示する際などに用いられる。
コントローラホイールを回転操作すると、当該操作量に応じて電気的なパルス信号が生成され、このパルス信号に基づいて、システム制御部50はカメラ100を制御する。そして、システム制御部50は当該パルス信号によって、コントローラホイールが回転操作された角度および回転数などを判定することができる。
なお、コントローラホイールは回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサからなる操作部材であってもよく、この場合には、コントローラホイール自体は回転せず、コントローラホイール上におけるユーザの指の回転動作などを検出する(所謂タッチホイール)。
電源制御部80は、電池検出回路、DC−DCコンバータ、および通電するブロックを切り替えるスイッチ回路などによって構成され、電池の装着の有無、電池の種類、および電池残量の検出を行う。また、電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC−DCコンバータを制御して、必要な電圧を必要な期間、記録媒体200を含む各部に供給する。
電源部30は、アルカリ電池又はリチウム電池などの一次電池やNiCd電池、又はNiMH電池又はLi電池などの二次電池を有するとともに、ACアダプターなどを有している。記録媒体I/F18は、メモリカード(半導体メモリ)又はハードディスクなどの記録媒体200とのインターフェースである。記録媒体200には、撮影の結果得られた画像データが記録される。
通信部54は、無線回線又は有線ケーブルによって外部機器と接続される。そして、通信部54は、システム制御部50の制御下で画像データおよび音声データなどを外部機器と送受する。通信部54は無線LAN(Local Area Network)およびインターネットに接続可能である。
通信部54は撮影の結果得られた画像データ(スルー画像を含む)、そして、記録媒体200に記録された画像データを外部機器に送信可能である。さらに、通信部54は外部機器から画像データおよびその他の各種情報を受信することができる。
図2は、図1に示すカメラ100で行われる合成撮像モードによる撮像処理を説明するためのフローチャートである。
なお、図示のフローチャートに係る処理は、システム制御部50が不揮発性メモリ56に記憶された処理プログラムを読み出してシステムメモリ52に展開して実行することによって行われる。
図示のカメラ100においては静止画記録モードの一つとして星空合成モード(合成撮像モードともいう)が備えられている。星空合成モードにおいては、カメラ100において複数回の撮像が行われる。そして、星(天体)について、撮像の結果得られた複数枚の画像間におけるずれを補正した後、画像合成を行って1枚の合成画像を生成する。
なお、星空合成モードによる撮像処理は、例えば、カメラ100において星空合成モードに設定された後、撮影指示がなされると開始される。そして、以下の説明においては、カメラ100は三脚に固定され、被写体である星の方向に向けられているものとする。
星空合成モードが開始されると、システム制御部50は、一回の撮像に係る露光時間、必要な合成枚数(つまり、所定枚数)、およびゲインなどの撮像条件を決定する(ステップS201)。例えば、システム制御部50は、ユーザがシャッターボタン61を半押しして第1のシャッタースイッチがオンとなった場合の被写体の露光時間、必要な合成枚数、およびゲインを決定する。この際、システム制御部50は、露光時間として星が光跡とならない露光時間を決定する。
続いて、システム制御部50は、ユーザがシャッターボタン61を全押しして第2のシャッタースイッチ64がオンした場合に、前述の露光時間に応じて2枚の画像の撮像する(ステップS202:撮像処理)。
ここでは、システム制御部50は、露光によって撮像部22から出力されたアナログ信号をA/D変換機23によってA/D変換処理してデジタル信号(画像データ)を画像処理部24に出力する。そして、システム制御部50は、画像処理部24を制御して画像データをYUV形式に変換して、ノイズリダクション処理およびエッジ強調処理を行う。
その後、システム制御部50は、メモリ制御部15を介して画像処理部24で得られた2枚の出力画像データをメモリ32に格納する。さらに、システム制御部50はシステムタイマー53から露光開始時間を得て、当該露光開始時間を画像データに対応づけてメモリ32に格納する。この際には、システム制御部50は、AF制御で得られた焦点距離に係る情報をメモリ32に記録する。
次に、システム制御部50は、ずれ補正量が算出されている状態(ずれ補正量算出済み)であるか否かを判定する(ステップS203)。ずれ補正量が算出されていない状態であると(ステップS203において、NO)、システム制御部50はメモリ32に格納されている画像データのうち最も新しい画像データをずれ補正量を算出する際の基準画像に設定する。そして、システム制御部50は基準画像を用いてずれ補正量を算出する(ステップS204)。なお、ここでは、ずれ補正量として、後述するアフィン係数を用いるが、ずれ補正量として水平および垂直方向の大きさを用いるようにしてもよい。
ステップS204の処理の後、システム制御部50はずれ補正量の算出が成功したか否かを判定する(ステップS205)。ずれ補正量の算出が成功しないと(ステップS205において、NO)、システム制御部50はステップS202の処理に戻って撮像処理を行う。
ここでは、システム制御部50は1回の撮像を行って、メモリ32に格納されている2枚の画像データのうち露光開始時間が古い画像データに新たな撮像で得られた画像データを上書してメモリ32に格納する。
一方、ずれ補正量の算出に成功すると(ステップS205において、YES)、システム制御部50はずれ補正量を用いて画像処理部24によってメモリ32に格納された2枚の画像データを合成処理する(ステップS206)。なお、ずれ補正量が算出されている状態であると(ステップS203において、YES)、システム制御部50はステップS206の処理に進む。
ステップS206の処理においては、システム制御部50はずれ補正量を単位時間当たりの移動量に正規化する。そして、システム制御部50は、合成を行う2枚の画像データに関してメモリ32に格納された露光開始時間の差と上記の移動量とに応じて補正量を求める。
次に、システム制御部50はメモリ32に格納された画像データにおいて露光開始時間が最も新しい画像を基準画像とする。システム制御部50は画像処理部24によって上記の補正量を用いて基準画像に他方の画像(古い画像)の位置を合わせて合成処理を行う。合成処理が終了すると、システム制御部50はメモリ32に現在の合成枚数を格納する。
続いて、システム制御部50は、ステップS201で合成枚数が必要な合成枚数である所定枚数に達したか否かを判定する(ステップS207)。合成枚数が所定枚数に達していないと(ステップS207において、NO)、システム制御部50はステップS202の処理に戻る。
一方、合成枚数が所定枚数に達すると(ステップS207において、YES)、システム制御部50は画像処理部24で処理された合成画像(合成画像データ)を記録媒体200に記録する(ステップS208)。そして、システム制御部50は星空合成モードによる撮像処理を終了する。
図3は、図2の示すずれ補正量算出処理の一例を説明するためのフローチャートである。
なお、ずれ補正量算出処理においては、システム制御部50はメモリ32に格納された合成対象である2枚の画像データを用いてずれ補正量算出処理を行う。
ずれ補正量算出処理を開始すると。システム制御部50は合成対象である2枚の画像データに関する露光開始時間と露光開始時における焦点距離とを撮影情報としてメモリ32から読み込む(ステップS301)続いて、システム制御部50は、露光開始時間と焦点距離とに応じて、被写体の最大移動量を推定する(ステップS302)。
ここで、被写体を星とした場合において、被写体の最大移動量の推定手法について説明する。
図4は、天の赤道における星の移動と撮像部22(撮像素子)との関係を示す図である。
天の赤道は地球の赤道面を天空に延長した際に天球上に交わる点を結んだ線である。星は日周運動によって移動するが、天の赤道上の星(天体)が最も速く移動する。天の赤道上においては、24時間当たり360度回転するので、1秒当たりの回転量θs(度/秒)は、次の式(1)で得られる。
θs=360/(24×60×60) (1)
合成対象である2枚の画像データに関する露光開始時間を、露光開始時間が早い順にそれぞれT1および T2(秒)とすると、2枚の画像データにおける露光間隔T(秒)は、次の式(2)で得られる。
T=T2−T1 (2)
そして、2枚の画像データにおける露光間隔当たりの星の回転量θ(度)は、次の式(3)で与えられる。
θ=θs×T (3)
いま、前述の焦点距離をf(mm)とすると、撮像素子上における星の移動量Dist(mm)は、次の式(4)で与えられる。
Dist=f×tanθ (4)
撮像素子のピクセル数(画素数)に移動量Distを換算すると、2枚の画像データの間において星がとりうる移動量の最大値Distmax(ピクセル)を求めることができる。
システム制御部50は、不揮発性メモリ56に格納された式(1)〜式(4)を用いて最大値Distmaxを算出して、当該最大値Distmaxを被写体最大移動量(被写体の移動量の最大量)としてメモリ32に格納する。
ここでは、天の赤道における星の最大移動量を推定する手法について説明したが、GPS又は方位センサーなどを用いて、天の北極周りなど異なる方角における星の最大移動量を求めるようにしてもよい。さらに、こでは、星を被写体とした場合の被写体最大移動量の推定手法について説明したが、飛行機など一定の速度で移動する被写体についても、被写体の移動速度を通信部54から取得して最大移動量を求めるなど他の被写体の最大移動量を推定する際にも適用することができる。
再び図3を参照して、システム制御部50は、M×N画素(MおよびNの各々は1以上の整数)で構成されるブロック枠をメモリ32に格納する(ステップS303:ブロック分割)。次に、システム制御部50はメモリ32に格納された画像データのうち露光開始時間が最新の画像データを基準画像として設定する。そして、システム制御部50は当該基準画像における輝度信号を示す輝度画像(以下基準輝度画像と呼ぶ)を画像処理部24に出力して、画像処理部24においてエッジ抽出を行う。
例えば、システム制御部50は、基準輝度画像のエッジ抽出を行うため、画像処理部24によって基準輝度画像に対して高域通過フィルタ処理を行う。そして、システム制御部50はメモリ32に格納されたブロック枠を基準輝度画像に対して適用して基準輝度画像を複数のブロックに分割する。
その後、システム制御部50は、ブロックの各々において抽出されたエッジの信号レベルの総和が動きベクトル検出のための予め設定された第1の閾値ITHを超えるか否かを判定する。エッジの信号レベルの総和が第1の閾値ITH以下であると、システム制御部50は画像間のずれ検出の基準となる画像特徴が少なく、動きベクトルの検出が困難であるとする。そして、システム制御部50は、ブロックの各々において抽出されたエッジの信号レベルの総和を求めて、当該総和が第1の閾値ITHを超える場合に当該ブロックを特徴ブロックとして選択する(ステップS304)。
なお、特徴ブロックの選択の際には、ブロック毎に抽出されたエッジの信号レベルの総和に応じて特徴ブロックの選択を行うようにしたが、輝度のコントラストが大きいブロックを特徴ブロックとして選択するようにしてもよい。
続いて、システム制御部50は、選択された特徴ブロックの数を数える。そして、システム制御部50は特徴ブロックの数が予め設定された第2の閾値NBTHを超えているか否かを判定する(ステップS305)。
特徴ブロックの数が第2の閾値NBTH以下であると(ステップS305において、NO)、システム制御部50はずれ補正量の算出に失敗したとしてずれ補正量算出処理を終了する。一方、特徴ブロックの数が第2の閾値NBTHを超えていると(ステップS305において、YES)、システム制御部50は基準輝度画像を画像処理部24に送る。
続いて、システム制御部50はメモリ32に格納された2枚の画像データにおいて基準画像ではない他方の画像データを対象画像として、対象画像における輝度画像(以下対象輝度画像と呼ぶ)を画像処理部24に送り、画像処理部24によって動きベクトルを検出する(ステップS306)。
図5は、図1に示すカメラ100で行われる動きベクトルの検出を説明するため図である。そして、図5(a)は基準輝度画像を示す図であり、図5(b)は対象輝度画像を示す図である。また、図5(c)は特徴ブロックの選択結果を示す図であり、図5(d)は動きベクトルの検出結果を示す図である。
前述のようにして、図5(a)に示す基準輝度画像について、特徴ブロックの選択処理を行った際、図5(c)に示す特徴ブロックの選択結果が得られたものとする。図5(c)にはおいては、白地で示すブロックが特徴ブロックである。
システム制御部50は、画像処理部24によって特徴ブロックの各々について、図5(b)に示す対象輝度画像とのパターンマッチングを行う。そして、システム制御部50は画像処理部24によって特徴ブロック毎にその動きベクトルを検出する(図5(d)参照)。この際、システム制御部50はパターンマッチングで用いる探索範囲を特徴ブロックの中心から水平および垂直方向に、例えば、被写体最大移動量の2倍となるように画像処理部24に設定する。
なお、動きベクトル検出の際には、被写体最大移動量よりも探索範囲を広く設定すればよいので、例えば、システム制御部50は不揮発メモリ56から探索範囲の補正量を固定値で得て、当該固定値を被写体最大移動量に加えて探索範囲を設定するようにしてもよい。
次に、システム制御部50は、検出した動きベクトルから、メモリ32に格納された被写体最大移動量に応じて補正量の算出に用いる動きベクトルを選択する(ステップS307)。
図6は、図3に示す動きベクトル選択処理の一例を説明するためのフローチャートである。
動きベクトル選択処理を開始すると、システム制御部50は、ステップS306の処理で検出した動きベクトルの一つについてそのスカラー量を算出する。そして、システム制御部50は、メモリ32に格納された被写体最大移動量Distmaxと当該動きベクトルのスカラー量とを比較して、スカラー量が推定値である被写体最大移動量Distmaxよりも小さいか否かを判定する(ステップS401)。
スカラー量が被写体最大移動量Distmaxよりも小さいと(ステップS401において、YES)、システム制御部50は当該動きベクトルを選択する(ステップS402)。一方、スカラー量が被写体最大移動量Distmax以上であると(ステップS401において、NO)、システム制御部50は当該動きベクトルを除外する(ステップS403)。
ステップS402又はS403の処理の後、システム制御部50は、ステップS306の処理で検出した全ての動きベクトルついて選択処理を終了したか判定する(ステップS404)。全ての動きベクトルついて選択処理を終了していないと(ステップS404において、NO)、システム制御部50は、ステップS401の処理に戻って、次の動きベクトルのスカラー量と被写体最大移動量Distmaxとを比較する。
一方、全ての動きベクトルついて選択処理を終了すると(ステップS404において、YES)、システム制御部50は、選択した動きベクトルの全てについてスカラー量のばらつき度を算出する(ステップS405)。例えば、システム制御部50は選択した動きベクトルのスカラー量の平均値を求めるとともに、標準偏差を求めて、これら平均値および標準偏差をばらつき度としてメモリ32に格納する。
図7は、図1に示すカメラ100で行われる動きベクトル選択処理を説明するための図である。そして、図7(a)は動きベクトルの検出結果を示す図であり、図7(b)は被写体最大移動量を用いた際の動きベクトルの選択結果を示す図である。また、図7(c)は、図7(b)に示す動きベクトル選択結果に対してさらに動きベクトルのスカラー量のばらつき度を用いて動きベクトルを選択した際の動きベクトルの選択結果を示す図である。
いま、図3に示すステップS306の処理によって、図7(a)に示す動きベクトル検出結果が得られたとする。そして、図6に示すステップS401〜S404の処理によって、図7(b)に示す動きベクトル選択結果が得られたものとする。
図8は、図1に示すカメラ100において動きベクトル選択処理を行う際の動きベクトルを選択する選択範囲を説明するための図である。そして、図8(a)は被写体最大移動量による動きベクトルの選択範囲を示す図であり、図8(b)は動きベクトルのスカラー量のばらつき度による動きベクトルの選択範囲を示す図である。
ステップS401〜S404の処理においては、被写体最大移動量に応じて動きベクトルの選択を行っており、ここでは、動きベクトルのスカラー量が被写体最大移動量よりも小さいと、当該動きベクトルが選択される。つまり、ここでは、図8(a)に示すように、動きベクトルの選択範囲(選別範囲)が設定されて、スカラー量が被写体最大移動量よりも小さい動きベクトルが選択されることになる。この結果、ノイズおよび雲などの外乱の影響を受ける動きベクトルが除外することが容易となる。
再び図6を参照して、ステップS405の処理の後、システム制御部50は前述のスカラー量の平均値および標準偏差に基づいて、利用する動きベクトルのスカラー量の上限値および下限値を設定する(ステップS406)。そして、システム制御部50はこれら上限値および下限値をメモリ32に記録する。
ここでは、図8(b)に示すように、システム制御部50はスカラー量の平均値から標準偏差を減算して得られた第1の演算値を下限値とし、スカラー量の平均値と標準偏差とを加算した第2の演算値を上限値とする。そして、システム制御部50は上限値および下限値で規定される範囲を動きベクトルの選択範囲とする。
続いて、システム制御部50はメモリ32に格納されているスカラー量の上限値と下限値とに応じて動きベクトルの選択範囲を設定する。そして、システム制御部50は動きベクトルのスカラー量が当該選択範囲にあるか否かを判定する(ステップS407)。
動きベクトルのスカラー量が選択範囲にあると(ステップS407において、YES)、システム制御部50は当該動きベクトルを選択する(ステップS408)。一方、動きベクトルのスカラー量が選択範囲にないと(ステップS407において、NO)、システム制御部50は当該動きベクトルを除外する(ステップS409)。
ステップS407〜S409の処理においては、図8(b)に示すように、ばらつき度に応じて被写体の動きに近い動きベクトルを選択することができる。この結果、ノイズおよび雲などの外乱の影響を受ける動きベクトルを除外することが容易となる。
ステップS408又はS409の処理の後、システム制御部50は、ステップS401〜S404の処理で選択した全ての動きベクトルついて選択処理を終了したか判定する(ステップS410)。全ての動きベクトルついて選択処理を終了していないと(ステップS410において、NO)、システム制御部50は、ステップS407の処理に戻って、次の動きベクトルについてそのスカラー量が上限値と下限値とによって規定される選択範囲にあるか否かを判定する。
一方、全ての動きベクトルついて選択処理を終了すると(ステップS410において、YES)、システム制御部50は、最終的に選択された動きベクトルをメモリ32に記録して動きベクトル選択処理を終了する。
上述のようにして、動きベクトル選択処理を行うと、例えば、図7(c)に示す動きベクトル選択結果が得られる。
再び図3を参照して、ステップS307の処理において動きベクトルを選択した後、システム制御部50は選択した動きベクトルの個数を数える。そして、システム制御部50は選択した動きベクトルの個数が予め設定された第3の閾値NVTHを超えているか否かを判定する(ステップS308)。動きベクトルの個数が第3の閾値NVTH以下であると(ステップS308において、NO)、システム制御部50はずれ補正量算出処理に失敗したとしてずれ補正量算出処理を終了する。
一方、動きベクトルの個数が第3の閾値NVTHを超えていると(ステップS308において、YES)、システム制御部50は、動きベクトルの統合を行う(ステップS309)。ここでは、システム制御部50は選択した動きベクトルに応じて、基準画像に対する対象画像の動きを算出する。例えば、システム制御部50は対象画像の動きをアフィン係数によって表すものとする。
いま、基準画像における注目画素の座標を(x,y)とし、当該注目画素が対応する対象画像の座標を(x’,y’)とすると、座標は(x’,y’)はアフィン変換におけるアフィン係数(a,b,c,d)を用いて、式(5)で表される。
システム制御部50は、複数の動きベクトルのうち少なくとも3つの動きベクトルを用いてアフィン係数を算出する。そして、システム制御部50は、算出したアフィン係数を用いて、次の式(6)によって動きベクトルの誤差Eを求める。
続いて、システム制御部50は所定の回数、動きベクトルの選び方のパターンを変更して上述の処理を行って、誤差E以下になる動きベクトルの個数が最も多いアフィン係数を求める。そして、システム制御部50は当該アフィン係数をずれ補正量として決定して、アフィン係数をメモリ32に格納しずれ補正量算出処理を終了する。
このように、本発明の実施の形態では、検出した動きベクトルを露光間隔および焦点距離に応じて被写体が取りうる動きベクトルの大きさで限定し、ずれ補正の際に用いる動きベクトルを選択する。この結果、複数枚の画像を合成処理する際、ノイズなどの外乱が多い撮影シーンにおいても精度よく画像のずれ補正を行って合成処理を行うことができる。
なお、上述の実施の形態では、デジタルカメラを例に挙げて説明したが、複数の画像について画像間のずれを補正して合成処理を行うPCなどの機器にも適用することができる。
上述の説明から明らかなように、図1に示す例では、少なくとも画像処理部24およびシステム制御部50が画像処理装置を構成する。また、システム制御部50および画像処理部24は、検出手段、選別手段、および合成手段として機能する。さらに、撮影レンズ103、シャッター101、撮像部22、およびA/D変換器24は撮像手段として機能し、システム制御部50は記録手段として機能する。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。
22 撮像部
24 画像処理部
28 表示部
50 システム制御部
54 通信部
60 モード切替スイッチ
61 シャッターボタン
70 操作部
80 電源制御部
200 記録媒体

Claims (12)

  1. 所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置であって、
    前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出手段と、
    前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別手段と、
    前記選別手段によって選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成手段と、
    を有することを特徴とする画像処理装置。
  2. 前記検出手段は、前記ブロックの各々において抽出したエッジの信号レベルの総和が予め設定された第1の閾値を超えるブロックを特徴ブロックとして選択し、前記特徴ブロックについて前記動きベクトルを検出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記検出手段は、前記特徴ブロックの数が予め設定された第2の閾値を超えた場合に、前記特徴ブロックについて前記動きベクトルを検出することを特徴とする請求項2に記載の画像処理装置。
  4. 前記選別手段は、前記焦点距離および露光間隔に応じて前記複数の画像における前記被写体の移動量の最大量を示す被写体最大移動量を推定して、前記被写体最大移動量よりも小さいスカラー量を有する動きベクトルを選別することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記選別手段は、前記動きベクトルの全てにおいてそのスカラー量のばらつき度を算出し、前記焦点距離および露光間隔に加えて、当該ばらつき度に応じて前記動きベクトルを選別することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  6. 前記選別手段は、前記被写体最大移動量に応じて選別された動きベクトルの全てにおいてそのスカラー量のばらつき度を算出し、当該ばらつき度に応じて前記動きベクトルをさらに選別することを特徴とする請求項4に記載の画像処理装置。
  7. 前記ばらつき度は前記スカラー量の平均値および標準偏差であることを特徴とする請求項5又は6に記載の画像処理装置。
  8. 前記選別手段は前記平均値および前記標準偏差に基づいて前記動きベクトルを選別するための選別範囲を設定し、当該選別範囲にそのスカラー量がある動きベクトルを選別することを特徴とする請求項7に記載の画像処理装置。
  9. 前記被写体は天空に位置する星であることを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。
  10. 請求項1〜9のいずれか1項に記載の画像処理装置と、
    前記被写体を撮像して、前記複数の画像を得る撮像手段と、
    前記画像処理装置で得られた合成画像をメモリに記録する記録手段と、
    を有することを特徴とする撮像装置。
  11. 所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置の制御方法であって、
    前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出ステップと、
    前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別ステップと、
    前記選別ステップで選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成ステップと、
    を有することを特徴とする制御方法。
  12. 所定の速度で移動する被写体を撮像して得られた複数の画像を合成処理して合成画像を得る画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記複数の画像の各々を複数のブロックに分割して、前記ブロックの各々についてその動きベクトルを検出する検出ステップと、
    前記複数の画像を得た際の焦点距離および露光間隔に応じて前記動きベクトルを選別する選別ステップと、
    前記選別ステップで選別された動きベクトルに基づいて前記複数の画像におけるずれを補正して前記複数の画像を合成処理して前記合成画像を得る合成ステップと、
    を実行させることを特徴とする制御プログラム。
JP2014205398A 2014-10-06 2014-10-06 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 Active JP6418879B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014205398A JP6418879B2 (ja) 2014-10-06 2014-10-06 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
US14/867,352 US9648238B2 (en) 2014-10-06 2015-09-28 Image processing device that synthesizes a plurality of images, method of controlling the same, storage medium, and image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014205398A JP6418879B2 (ja) 2014-10-06 2014-10-06 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置

Publications (2)

Publication Number Publication Date
JP2016076805A JP2016076805A (ja) 2016-05-12
JP6418879B2 true JP6418879B2 (ja) 2018-11-07

Family

ID=55633718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014205398A Active JP6418879B2 (ja) 2014-10-06 2014-10-06 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置

Country Status (2)

Country Link
US (1) US9648238B2 (ja)
JP (1) JP6418879B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
US10051263B2 (en) * 2015-11-23 2018-08-14 Center For Integrated Smart Sensors Foundation Multi-aperture camera system using scan line processing
CN107465865A (zh) * 2016-06-03 2017-12-12 北京小米移动软件有限公司 拍摄方法及装置
JP6679424B2 (ja) * 2016-06-17 2020-04-15 キヤノン株式会社 撮像装置、その制御方法、プログラム
JP6799411B2 (ja) * 2016-07-29 2020-12-16 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
WO2018030386A1 (ja) * 2016-08-09 2018-02-15 シャープ株式会社 位置指定装置および位置指定方法
EP4246995A3 (en) 2018-03-27 2023-10-04 Huawei Technologies Co., Ltd. Photographic method, photographic apparatus, and mobile terminal
JP7277321B2 (ja) * 2019-09-11 2023-05-18 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
US11533439B2 (en) * 2020-05-29 2022-12-20 Sanjeev Kumar Singh Multi capture settings of multi light parameters for automatically capturing multiple exposures in digital camera and method
CN111770285B (zh) * 2020-07-13 2022-02-18 浙江大华技术股份有限公司 一种曝光亮度控制方法、装置、电子设备和存储介质
CN115272088A (zh) * 2021-04-29 2022-11-01 Oppo广东移动通信有限公司 图像处理方法、图像处理器、电子设备及存储介质
US12100123B2 (en) 2021-10-26 2024-09-24 Canon Kabushiki Kaisha Image processing apparatus and image processing method for combining images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09303992A (ja) * 1996-05-16 1997-11-28 Toshiba Corp 飛翔体の遠方識別装置
JPH10341366A (ja) * 1997-06-05 1998-12-22 Sanyo Electric Co Ltd 観測装置
JP2003259184A (ja) 2002-03-06 2003-09-12 Olympus Optical Co Ltd 撮像装置
JP2006287375A (ja) * 2005-03-31 2006-10-19 Casio Comput Co Ltd 撮影装置、及びプログラム
JP2008010958A (ja) 2006-06-27 2008-01-17 Canon Inc 撮像装置及び撮像方法
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
JP5790188B2 (ja) * 2011-06-16 2015-10-07 リコーイメージング株式会社 天体自動追尾撮影方法及び天体自動追尾撮影装置
JP2013165488A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置、およびプログラム

Also Published As

Publication number Publication date
JP2016076805A (ja) 2016-05-12
US9648238B2 (en) 2017-05-09
US20160100103A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
JP6418879B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
US10694104B2 (en) Image processing apparatus, image capturing apparatus, and image processing method
JP6460721B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10445909B2 (en) Image processing apparatus that generates a wide angle image using a plurality of images, and related control method and storage medium
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2015154409A (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP6647246B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
CN110505394B (zh) 图像处理装置、图像处理方法、摄像装置及存储介质
JP6590894B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6700937B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP6429497B2 (ja) 撮像装置、制御方法、及びプログラム
JP2019121981A (ja) 画像処理装置、画像処理方法、およびプログラム
US11109034B2 (en) Image processing apparatus for alignment of images, control method for image processing apparatus, and storage medium
JP7051586B2 (ja) 撮像装置、撮像方法およびプログラム
JP5743729B2 (ja) 画像合成装置
JP7030565B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018056701A (ja) 画像処理装置、撮像装置および画像処理方法
JP2017011657A (ja) 撮像装置
JP6039410B2 (ja) 画像処理装置及び画像処理方法
JP2019186831A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6729583B2 (ja) 画像処理装置および方法
JP6525692B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6616668B2 (ja) 画像処理装置および画像処理方法
JP2017055268A (ja) 撮像装置、撮像装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181009

R151 Written notification of patent or utility model registration

Ref document number: 6418879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151