JP2019008706A - 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】 画像が撮像されたときの撮像部のジャイロ情報などを用いて画像間の位置合わせを行う場合、ジャイロ情報の誤差が位置合わせの精度に影響を与えることがある。【解決手段】 画像処理装置は、撮像手段が第１の画像と第２の画像とを撮像する間の撮像手段の動き情報を、検出器を用いて検出するとともに、第１の画像と第２の画像の間の複数の動きベクトルを検出する。さらに、画像処理装置は、検出した動き情報の信頼度を判断し、動き情報とその信頼度とに基づいて、複数の動きベクトルの中から、第１の画像と第２の画像の位置合わせに用いる動きベクトルを決める。【選択図】 図５

Description

本発明は、画像処理装置に関するものであり、特に複数の画像に対して位置合わせを行う画像処理装置に関するものである。

デジタルカメラなどを移動させながら複数の画像を撮像し、撮像した複数の画像を繋ぎ合わせることによるパノラマ合成の技術が知られている。パノラマ合成では、違和感のない合成画像を取得するために、画像の位置合わせが不可欠である。特許文献１では、動きベクトルを用いて、位置合わせを行うという方法が提示されている。

ただし、動きベクトルを誤検出してしまうと、正しく位置合わせを行うことができない。

そこで、特許文献２では、ジャイロセンサなどでデジタルカメラの動き情報を検出し、これに基づいて誤った動きベクトルを判断し、誤った動きベクトルを位置合わせから除外することによって、位置合わせの精度を改善する技術が開示されている。

特開２００４−１３４９９３号公報 特表２０１４−５１９７３９号公報

しかし、ジャイロセンサなどのデジタルカメラの動き情報を検出するセンサの場合、検出したデジタルカメラの動き情報は、撮像条件など複数の要因で信頼度がばらつくことがある。それに対して特許文献２に開示された技術では、ジャイロセンサなどが検出した動き情報の信頼度を考慮せずに、本来正しい動きベクトルを除外してしまう可能性がある。

本発明は、上記の課題を鑑みてなされたものであり、動き情報と動きベクトルとを用いて画像間の位置合わせを行うとき、動き情報の信頼度を参照し、誤った動きベクトルの判断を行う。

本発明は、撮像手段が第１の画像と第２の画像とを撮像する間の前記撮像手段の動き情報を、前記撮像手段とは別のセンサの出力に基づいて検出する第１の検出手段と、前記第１の画像と第２の画像の間の複数の動きベクトルを検出する第２の検出手段と、前記第１の検出手段が検出した前記動き情報の信頼度を判断する判断手段と、前記複数の動きベクトルの少なくとも一部に基づいて、前記第１の画像と前記第２の画像とに対して位置合わせを行う位置合わせ手段と、を有し、前記位置合わせ手段は、前記動き情報と前記信頼度とに基づいて、前記位置合わせに用いる前記動きベクトルを決めることを特徴とする画像処理装置を提供する。

本発明によれば、画像を撮像するときの撮像装置の動き情報の信頼度を判断し、動き情報の信頼度に基づいて動きベクトルを選択し、画像の位置合わせの精度を高めることができる。

本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。 本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。 本発明の実施形態に係るパノラマ撮像中のデジタルカメラの動く方向と画像データの切り出し領域との関係を説明するための図である。 本発明の実施形態に係るパノラマ画像の合成処理の流れを説明する図である。 本発明の実施形態を説明するためのフローチャートである。 本発明の実施形態における検出部が検出した動き情報の誤差を説明するための図である。 本発明の実施形態における動き情報の信頼度の判断を説明するための図である。 本発明の実施形態における動きベクトルの選択について説明するためのフローチャートである。 本発明の実施形態における動きベクトルの選択を説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。

デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。

デジタルカメラ１００は、接続ケーブル１１１及びコネクタ１１２を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記憶媒体スロット（不図示）が設けられており、記憶媒体スロットに対してメモリカード等の記憶媒体１３０を挿抜することができるようになっている。

記憶媒体スロットに格納された記憶媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記憶媒体１３０は、記憶媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。

または、撮像部２０４を、ステレオ画像が取得できる、１つ画素に複数の光電変換部に設けられる構造にすれば、後述する自動焦点検出（ＡＦ）処理がより素早くできる。

デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。

画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部２０６は、複数の画像からパノラマ画像を合成し、またその合成結果の判断を行う画像合成処理回路を有する。画像合成処理回路は、単純な加算平均合成だけでなく、合成対象の画像データの各領域において最も明るい値または暗い値を持つ画素を選択して１枚の画像データを生成する比較明合成や比較暗合成等の処理を行うことができる。また、合成結果を特定の基準に基づいて評価し、判定する。なお、画像処理部２０６が画像合成処理回路を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理回路の機能を実現する構成としてもよい。

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロやセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。

図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。

操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。

回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記憶媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。

モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードは、オート撮像モード等の他に、パノラマ撮像によりパノラマ画像を合成するパノラマ画像撮像モードを含む。

デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記憶媒体１３０を含む各部へ供給する。

デジタルカメラ１００は、記憶媒体１３０が記憶媒体スロット（不図示）に装着された際に、記憶媒体１３０とシステム制御部２１０との間の通信を可能にするための記憶媒体Ｉ／Ｆ２１６を備える。記憶媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

次に、パノラマ撮像の方法と、複数の撮像画像からパノラマ画像を合成する方法について説明する。最初に、パノラマ画像を合成するために撮像画像の画像データから所定の領域を切り出す処理について説明する。

図３は、パノラマ撮像中のデジタルカメラ１００の動く方向と画像データの切り出し領域との関係を説明するための図である。

図３（ａ）は、撮像部２０４が有する撮像素子の有効画像領域を示しており、“Ｗｖ”は水平方向の有効画素数であり、“Ｈｖ”は垂直方向の有効画素数である。図３（ｂ）は、撮像画像の画像データから切り出した切り出し領域を示しており、“Ｗｃｒｏｐ”は水平方向の切り出し画素数であり、“Ｈｃｒｏｐ”は垂直方向の切り出し画素数である。

図３（ｃ）は、矢印で示す水平方向にデジタルカメラ１００を移動させながらパノラマ撮像を行った場合の画像データに対する切り出し領域を示す図である。図３（ｃ）においてハッチングにて示した領域Ｓ１が画像データからの切り出し領域を示しており、下記の（式１）および（式２）を満たす。
Ｗｖ＞Ｗｃｒｏｐ ・・・・・・（式１）
Ｈｖ＝Ｈｃｒｏｐ ・・・・・・（式２）

同様に、図３（ｄ）は、矢印で示す鉛直方向にデジタルカメラ１００を移動させながらパノラマ撮像を行った場合の画像データに対する切り出し領域を示す図である。図３（ｄ）においてハッチングにて示した領域Ｓ２が画像データの切り出し領域を示しており、下記の（式３）および（式４）を満たす。
Ｗｖ＝Ｗｃｒｏｐ ・・・・・・（式３）
Ｈｖ＞Ｈｃｒｏｐ ・・・・・・（式４）

撮像画像の画像データの切り出し領域は、画像データ毎に異なるようにしてもよい。また、パノラマ撮像の開始時とパノラマ撮像の終了時の画像データについては、画角を広くするために切り出し領域を広くしてもよい。画像データの切り出し領域の決定方法は、例えば、撮像直後のデジタルカメラ１００の角度と１フレーム前のデジタルカメラ１００の角度との差等により決定することができる。パノラマ画像の合成処理に必要な画像データのみを切り出して保存することにより、メモリ２０９の記憶容量を節約することができる。

なお、前述した切り出し領域は、できるだけ撮像画像の中央に設定するとよい。これは、撮像画像の中央は、一般的に歪が少なく、切り出し領域を画像の中央に設定すれば、より自然な合成画像が生成できるからである。

次に、パノラマ画像の合成方法について説明する。システム制御部２１０は、パノラマ撮像時に保存された切り出し領域をメモリ２０９から読み出し、読み出した画像データにパノラマ合成を行う。

図４は、パノラマ画像の合成処理の流れを説明する図である。図４では、ドットハッチングされた領域は、被写界にある並木を模式的に表した領域であり、斜線ハッチングされた領域は、画像データの切り出し領域を表している。図４（ａ）は、ユーザがシャッタボタン１２１を押下し、第１スイッチＳＷ１がオンにされた状態を示し、ユーザは、主被写体に対してピント合わせを行うことを示している。図４（ｂ）は、シャッタボタン１２１の第２スイッチＳＷ２がオンにされた位置を示しており、ユーザが合成しようとしているパノラマ画像の一方の端に合わせて画角を設定している。図４（ｂ）では、撮像部２０４は画像４１０を撮像する。図４（ｃ）乃至図４（ｅ）では、ユーザが合成しようとしているパノラマ画像の他方の端に向けてデジタルカメラ１００を移動させながら、パノラマ撮像を行っている状態を模式的に示している。図４（ｅ）は、ユーザがシャッタボタン１２１の押下をやめ、パノラマ撮像が終了した状態を示している。図４（ｂ）乃至図４（ｅ）では、撮像部２０４が画像４１０乃至４７０計７枚の画像を撮像したが、画像４３０、４５０および４６０は不図示である。画像処理部２０６は、撮像部２０４が撮像した画像４１０乃至４７０に対して切り出し処理を行い、切り出し領域４１１乃至４７１を生成する。システム制御部２１０において、切り出し領域の幅は、予め定めてもよいが、パノラマ撮像中のデジタルカメラ１００の移動速度などに応じて変化させてもよい。

図４（ｆ）は、画像処理部２０６が、撮像部２０４が撮像した複数の画像を合成してできたパノラマ画像を示している。ここで、システム制御部２１０は、合成を行う前に、画像に対して位置合わせを行う。また、手振れなどのため、切り出し領域４１１乃至４７１の上辺と下辺とは合っていないため、画像処理部２０６は、縦方向に対しても切り出し処理を行う。その結果、画像処理部２０６は、領域４００が示したようなパノラマ画像を生成する。

従来の位置合わせにおいては、画像処理部２０６は、複数の動きベクトルを検出し、システム制御部２１０は、複数の動きベクトルに基づいて、位置合わせを行うのは一般的である。一例としては、画像処理部２０６は、切り出し領域を任意のサイズの小ブロックに分割し、小ブロック毎に輝度のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる対応点を算出する。システム制御部２１０は、算出したＳＡＤが最小となる対応点より、動きベクトルを算出することができる。

図４では、説明を容易にするため、切り出し領域４１１乃至４７１の互いに重畳する領域がなく、かつ、互いに隣接している例を示している。もし、重畳する領域が存在していれば、重畳する領域の中央を境目として、画像処理部２０６は、その左側に片方の切り出し領域、右側にもう片方の切り出し領域の画素情報を合成画像に出力する。もしくは、画像処理部２０６は、境目上に両方の切り出し領域の画素情報を５０％ずつ合成した値を出力し、境目からの距離が離れるに従って境目の左側では片方の切り出し領域を、境目の右側ではもう片方の切り出し領域の割合を大きくしながら合成を行う。

本実施形態では、従来の位置合わせと異なり、検出部２１５が検出した角速度情報などを用いて、前述した画像処理部２０６が検出した複数の動きベクトルの選択を行う。以下では、フローチャートを用いて本実施形態のフローについて説明する。

図５は、本実施形態を説明するためのフローチャートである。ユーザが、モード切替スイッチ１０４で、パノラマ画像合成モードを選択した場合に、デジタルカメラ１００が図５の処理を実行する。

ステップＳ５０１で、ユーザがパノラマ撮像のための設定を行う。たとえば、ユーザがパノラマ合成画像の画角や撮像方向などの設定を行う。もし、ステップＳ５０１で、ユーザが設定をしなかった場合は、デジタルカメラ１００は、パノラマ撮像において、初期の設定を用いるか、前回のパノラマ撮像のときの設定を用いる。

続いて、ステップＳ５０２で、システム制御部２１０は、第１スイッチＳＷ１が押されたか否かの判定を行い、第１スイッチＳＷ１が押されたと判定された場合、ステップＳ５０３の処理に移る。第１スイッチＳＷ１が押されなかったと判定された場合、ステップＳ５０１の処理に戻る。

ステップＳ５０３で、検出部２１５は、姿勢検知処理を行う。姿勢検知処理では検出部２１５は、デジタルカメラ１００の向きを判断する。もし、ユーザがステップＳ５０１での設定で、デジタルカメラ１００の向きを予め設定したのであれば、ここで、システム制御部２１０は、デジタルカメラ１００の設定された向きと実際の向きとを比較し、異なる場合では適宜に警告を出す。

ステップＳ５０４で、デジタルカメラ１００は、自動露出処理制御（ＡＥ）処理と自動焦点検出（ＡＦ）処理とを行う。

ステップＳ５０５で、システム制御部２１０は、ステップＳ５０４のＡＥ処理結果に基づいて撮像感度などの撮像条件を決定する。

ステップＳ５０６で、デジタルカメラ１００は、被写体の距離を検出する。システム制御部２１０は、被写体の距離を、ステップＳ５０４のＡＦ処理で撮像部２０４が焦点を合わせた焦点距離により検出する。

次に、ステップＳ５０７で、システム制御部２１０は、第２スイッチＳＷ２が押されたか否かの判定を行う。ステップＳ５０７において、第２スイッチＳＷ２が押されなかったと判定された場合、システム制御部２１０は、ステップＳ５０２に戻り、第１スイッチＳＷ１が押されたままか否か（いわゆる半押しのままか否か）判定する。ステップＳ５０７において、システム制御部２１０は、第１スイッチＳＷ１が押されたと判定された場合、ステップＳ５０８に進み、ステップＳ５０５で決定した撮像条件で撮像部２０４が撮像する。

ステップＳ５０９で、検出部２１５は、角速度などの動き情報の検出を行う。検出部２１５が検出した動き情報は、のちのステップＳ５１４での位置合わせの係数の算出に用いられる。

ステップＳ５１０で、システム制御部２１０は、ステップＳ５０８で撮像部２０４が撮像した画像は、１枚目の画像かどうかについて判断する。ステップＳ５０８で撮像部２０４が撮像した画像が１枚目の画像の場合、メモリ２０９にこの１枚の画像しかなく、画像処理部２０６が位置合わせを行うことができない。そのため、ステップＳ５１０でシステム制御部２１０が１枚目の画像と判断した場合、フローをステップＳ５０８に戻す必要がある。一方、ステップＳ５１０でシステム制御部２１０が１枚目の画像でないと判断した場合、ステップＳ５１１に進む。

ステップＳ５１１で、システム制御部２１０が、動きベクトルの検出を行う。画像処理部２０６は、２枚の画像の一方に対して、複数の小ブロックを設定する。各々の小ブロックを同じサイズに設定することが好ましい。また、画像処理部２０６は、画像の全部でなく画像の一部に小ブロックを設定するようにしてもよい。システム制御部２１０は、一方の画像に設定された複数の小ブロックのいずれかを選択し、他方の画像において、この選択した小ブロックと同じ位置であって、かつ、この小ブロックより広い探索ブロックを設定する。システム制御部２１０は、他方の画像の探索ブロックの中で、一方の画像の選択した小ブロックと最も相関が高くなる（ＳＡＤの値が最小となる）領域を抽出する。システム制御部２１０は、抽出した領域の中心である対応点の座標と、選択した小ブロックの中心位置の座標から、その小ブロックに対応する動きベクトルを算出することができる。システム制御部２１０は、これを全ての小ブロックに対して行い、全ての小ブロックに対応する動きベクトルを算出する。

ステップＳ５１２で、システム制御部２１０は、動き情報の信頼度を判断する。詳細について後述する。

ステップＳ５１３で、システム制御部２１０は、動きベクトルの選択を行う。詳細について後述する。

ステップＳ５１４で、システム制御部２１０は、ステップＳ５１３で選択した動きベクトルを用いて、位置合わせの係数の算出を行う。並進移動のみでよい場合、システム制御部２１０は、ステップＳ５１３で選択した動きベクトルの平均値を用いることができる。または、システム制御部２１０は、ステップＳ５１３で選択した動きベクトルのうち、同じ方向を示す動きベクトルを数え、最も多い個数の動きベクトルを用いる。画像に対して拡大縮小・回転の処理をする必要があれば、システム制御部２１０は、位置合わせの係数として、例えば射影変換係数を用いる。ただし、位置合わせの係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した位置合わせの係数を用いてもよい。

ステップＳ５１５で、システム制御部２１０は、位置合わせを行う。たとえば、システム制御部２１０は、（式５）に示した式を用いて位置合わせを行うことができる。

（式５）では、（ｘ´、ｙ´）は位置合わせを行った後の座標を示し、（ｘ、ｙ）は位置合わせを行う前の座標を示す。行列ＡはステップＳ５１５でシステム制御部２１０が算出した位置合わせの係数を示す。

ステップＳ５１６でシステム制御部２１０は撮像が継続中かを判定し、継続している場合はステップＳ５０８に処理を戻し、撮像が終了したと判定した場合はステップＳ５１７に進む。システム制御部２１０は、ステップＳ５０１のユーザ設定に基づいて、撮像が継続か終了かを判断する。たとえば、ステップＳ５０１で設定した画角に達したら、システム制御部２１０は撮像が終了したと判断する。

ステップＳ５１７で、画像処理部２０６は、パノラマ合成を行う。画像処理部２０６は、隣り合う２つの画像に対して、まず、切り出し領域を切り出す。歪などを考慮して、一般的に、画像処理部２０６は切り出し領域をそれぞれの画像の中央に設定するほうが好ましい。次に、画像処理部２０６は、２つの切り出し領域に対して合成処理を行う。合成処理の詳細は、前述した図４の説明の通りで、ここで省略する。

＜動き情報の信頼度の判断および動きベクトルの選択＞
次では、上述したステップＳ５１２での動き情報の信頼度の判断について説明する。

前述したように、システム制御部２１０は、ステップ５１１で、画像間の比較を行うことによって、動きベクトルの検出を行う。しかしながら、画像により、一部の動きベクトルを誤検出してしまう可能性がある。たとえば、空や芝生など、同じような模様が続く風景や波や滝など常に模様が変化する風景に対して、動きベクトルの検出を誤ってしまう可能性が高い。

上述したような課題を解決するために、システム制御部２１０は、検出部２１５がステップＳ５０９で検出した動き情報を利用して、動きベクトルの信頼度を判断する。動き情報と動きベクトルとの違いが大きければ、システム制御部２１０は、その動きベクトルが誤って検出された可能性が高いと判断し、ステップＳ５１５での位置合わせの係数の算出に用いないようにする。

しかし、検出部２１５がステップＳ５０９で検出した動き情報が正しいとは限らず、大きな誤差を含む可能性もある。検出部２１５が検出した動き情報の誤差が大きいと、正しい動きベクトルがステップＳ５１３で選択されない可能性があり、動き情報を利用することによって逆に位置合わせの精度が低下してしまう。

したがって、ステップＳ５１２で、システム制御部２１０は、動き情報の信頼度を判断し、動き情報の信頼度を考慮して、ステップＳ５１３での動きベクトルの選択を行う。

動き情報の信頼度は、検出部２１５の性質によって決まるものであり、撮像中に様々な影響を受けて変わってしまう可能性がある。システム制御部２１０は、こうした信頼度が影響を受ける場面を検知したら、信頼度を調整し、調整した信頼度に基づく閾値を設定する。具体的には、システム制御部２１０は、動き情報と動きベクトルとの違いを閾値と比較し、動き情報と動きベクトルとの違いが閾値を超えたら、この動きベクトルを選択しないとともに、前述した信頼度に基づいて閾値を定める。

動き情報の誤差の変化の一例としては、撮像中に検出部２１５が検出した各時刻における速度の分散が大きいと、ステップＳ５０９で検出した動き情報の誤差も大きい可能性がある。

図６は、本実施形態における検出部２１５が検出した動き情報の誤差を説明するための図である。説明を簡単にするため、撮像部２０４が二次元で単一方向に動くと仮定し、検出部２１５が撮像部２０４の動きの速さを検出するとする。撮像部２０４が時刻Ｔ１と時刻Ｔ２とで、画像を撮像するための露光を行い、時刻Ｔ１と時刻Ｔ２との間のいずれの時刻でも画像を撮像するための露光を行っていないとする。検出部２１５が、時刻Ｔ１、および時刻Ｔ１と時刻Ｔ２の間で等間隔の６つの時刻で（ｔ１乃至ｔ６）で撮像部２０４の速さを検出したとする。システム制御部２１０は、図６（ａ）における市松図案の縦棒６０１のすべての面積を動き情報として検出する。同様に、システム制御部２１０は、図６（ｂ）における縦棒６１１のすべての面積を動き情報として検出する。ただし、図６（ａ）と図６（ｂ）とでは、曲線６０３および曲線６１３は、実際の連続的な撮像部２０４の動きの速さを示し、空白部分６０２と６１２とは、検出部２１５の検出の誤差を意味する。図６（ａ）と図６（ｂ）とを比較すると、分散の大きい図６（ｂ）では、誤差を意味する空白部分６１２の面積が大きいとわかる。

前述したように、検出部２１５が検出した速度の分散が大きいと、動き情報の誤差が大きい可能性がある。システム制御部２１０は、誤差の大きい動き情報と動きベクトルとを比較すると、誤ってもともと正しい動きベクトルを捨ててしまうことを防ぐため、前述した違いの閾値を大きくする。

また、動き情報の誤差の変化のもう１つの例としては、シャッタ２０３がメカシャッタである場合のその動作による影響が挙げられる。メカシャッタであるシャッタ２０３が動作すると、デジタルカメラ１００が振動してしまい、検出部２１５に設けられるジャイロセンサの検出精度に影響を与える可能性がある。ただし、こうした影響は、主にメカシャッタが動作する方向で起き、それと直交する方向で起きる影響が少ない。

また、動き情報の誤差に影響を与えるもう１つの要因としては、デジタルカメラ１００の起動直後であることが挙げられる。デジタルカメラ１００の起動直後では、ノイズののり方は通常と比べ変わってしまい、検出部２１５が検出した動き情報の誤差が大きくなる可能性がある。

また、動き情報の誤差に影響を与えるもう１つの要因としては、被写体距離と挙げられる。システム制御部２１０は、近距離被写体に対して画像間の動きベクトルを検出するとき、検出部２１５が検出した動き情報との乖離が大きくなることがある。これは、検出部２１５は、基準となる被写体距離に基づいて、ジャイロから得られた角速度情報を動き情報に換算しているが、被写体距離が近い場合には、この基準となる被写体距離との乖離が大きくなってしまうことが一因である。

前述したような動き情報の検出、動きベクトルの検出や位置合わせ係数の算出は、二次元座標系（一般的には直交系）を用いて、ＸＹ方向のそれぞれにおいて行われてもよい。システム制御部２１０は、Ｘ方向をデジタルカメラ１００の移動方向と平行する方向とし、Ｙ方向をＸ方向と直交する方向としてよい。つまり、デジタルカメラ１００は、Ｘ方向、Ｙ方向のそれぞれにおいて、動き情報の検出、動きベクトルの検出、動き情報の信頼度の判断、動きベクトルの選択を行う。すなわち、ステップＳ５０９とステップＳ５１１で得られた動き情報と動きベクトルのそれぞれをＸ方向の成分とＹ方向の成分に分離し、それぞれの方向において動きベクトルを選択するための判断を行うようにすればよい。以下では、２次元座標系を用いるステップＳ５１２とステップＳ５１３の詳細について説明する。

図７は、本実施形態における動き情報の信頼度の判断を説明するための図である。前述したように、このフローでは、ＸＹ方向を有する二次元座標系に基づいて説明する。

ステップＳ７０１で、システム制御部２１０は、検出部２１５が検出したＸ方向でのｊ速度の分散が所定値より大きいかどうかについて判断し、大きい場合はステップＳ７０２に進み、そうでない場合ステップＳ７０３に進む。ステップＳ７０２では、システム制御部２１０は、Ｘ方向での速度の分散に応じてＸ方向の動き情報の信頼度を下げるか、予め定められた量でＸ方向の動き情報の信頼度を下げる。ステップＳ７０３とステップＳ７０４での処理はステップＳ７０１とステップＳ７０２と類似する。

ステップＳ７０５で、システム制御部２１０は、シャッタ２０３がメカシャッタかどうかについて判断する。シャッタ２０３がメカシャッタであれば、ステップＳ７０６に進み、システム制御部２１０は、シャッタ２０３が動作した方向の信頼度を下げる。たとえば、水平方向をＸ方向、鉛直方向をＹ方向とすると、デジタルカメラ１００を横向きに置き、シャッタ２０３が動作する方向がＹ方向であることが多く、システム制御部２１０は、Ｙ方向の動き情報の信頼度を下げる。ユーザがデジタルカメラ１００を斜めに持つとすると、シャッタ２０３が動作する方向が鉛直でなくなる。このような場合でも水平方向をＸ方向、鉛直方向をＹ方向とすれば、システム制御部２１０は、ステップＳ５０３で検出部２１５が検出した姿勢情報に応じて、Ｘ方向とＹ方向との動き情報の信頼度を下げる。

一方、シャッタ２０３が電子シャッタの場合、機械的な動作をせず、デジタルカメラ１００に対して振動を与えることがないため、動き情報の信頼度が変わらない。

ステップＳ７０７で、システム制御部２１０は、デジタルカメラ１００が起動されてから所定の時間以内かどうかについて判断し、時間内であれば、ステップＳ７０８に進み、Ｘ方向およびＹ方向の動き情報の信頼度を下げ、ステップＳ７０９に進む。一方、ステップＳ７０７で、システム制御部２１０は、起動直後でないと判断すると、直接ステップＳ７０９に進む。

ステップＳ７０９で、システム制御部２１０は、被写体距離が所定量より近いかどうかについて判断し、近ければ、ステップＳ７１０に進み、Ｘ方向およびＹ方向の動き情報の信頼度を下げる。一方、ステップＳ７０９で、システム制御部２１０は、被写体距離が所定量ほど近くないと判断する場合、動き情報の信頼度を下げずに終了する。

図８は、本実施形態における動きベクトルの選択について説明するためのフローチャートである。

システム制御部２１０は、ステップＳ８０１とステップＳ８０２とのそれぞれで、ステップＳ５１２で判断したＸ方向の動き情報の信頼度に基づいて、Ｙ方向の閾値を決定し、Ｙ方向の動き情報の信頼度に基づいて、Ｘ方向の閾値を決定する。システム制御部２１０は、小さい信頼度に対して大きい閾値を決定するようにする。

ステップＳ８０３で、システム制御部２１０は、後述するステップＳ８０４とステップＳ８０５での比較を済んでいない動きベクトルから任意のものを決定し、処理対象とする。

ステップＳ８０４で、システム制御部２１０は、処理対象の動きベクトルのＸ方向の成分と動き情報のＸ方向の成分とを比較し、その違いがＸ方向の閾値よりも小さければ、ステップＳ８０５に進む。一方、その違いがＸ方向の閾値ほど小さくなければ、ステップＳ８０７に進む。

ステップＳ８０５で、システム制御部２１０は、処理対象の動きベクトルのＹ方向の成分と動き情報のＹ方向の成分とを比較し、その違いがＹ方向の閾値よりも小さければ、ステップＳ８０６に進む。一方、その違いがＸ方向の閾値ほど小さくなければ、ステップＳ８０７に進む。

ステップＳ８０６で、システム制御部２１０は、ステップＳ８０３で決定した処理対象の動きベクトルを選択対象とする。つまり、システム制御部２１０は、ステップＳ８０３で決定した処理対象の動きベクトルをステップＳ５１４での位置合わせの係数の算出に用いる。

ステップＳ８０７で、システム制御部２１０は、すべての動きベクトルを比較したかどうかについて判断する。全部比較した場合、動きベクトルの選択の処理が終了し、まだ全部比較していない場合、フローがステップＳ８０３に戻る。

図９は、本実施形態における動きベクトルの選択を説明するための図である。

画像９００と画像９０１は撮像部２０４が撮像した２枚の画像であり、検出部２１５は、撮像部２０４が撮像している間にデジタルカメラ１００の速度などの動き情報を検出したとする。システム制御部２１０は、動きベクトルをブロックごとに検出した。図９（ｂ）の（１）、図９（ｃ）の（１）、図９（ｄ）の（１）の矢印はＸ、Ｙ方向ともに信頼度が高い場合、Ｘ方向の信頼度が低い場合、Ｙ方向の信頼度が低い場合それぞれにおける動き情報を表す。図９（ｂ）の（２）、図９（ｃ）の（２）、図９（ｄ）の（２）はＸ、Ｙ方向ともに信頼度が高い場合、Ｘ方向の信頼度が低い場合、Ｙ方向の信頼度が低い場合それぞれにおいてブロックごとの動きベクトルと動きベクトルの選択結果を示す。検出部２１５から得られるデジタルカメラ１００の動き情報の信頼度が高い場合には、動き情報との違いが小さい動きベクトルのみが選ばれるので高精度に動きベクトルを選択できる。Ｘ方向の信頼度が低い場合は領域９０２、Ｙ方向の信頼度が低い場合は領域９０３の動きベクトルを誤って選択してしまうが、誤検出した動きベクトルの大半は除外できるし、正しい動きベクトルが除外されていない。

本実施形態によれば、検出部２１５が検出したデジタルカメラ１００の動き情報の信頼度を考慮しながら、動き情報を利用して動きベクトルの選択を行い、より精度の高い位置合わせの処理を行うことができる。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、パノラマ撮像および合成機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０２ 操作部
１０４ モード切替スイッチ
１３０ 記録媒体
２０４ 撮像部
２０６ 画像処理部
２０７ メモリ制御部
２０９ メモリ
２１０ システム制御部
２１５ 検出部
２１６ Ｉ／Ｆ

Claims (19)

1. 撮像手段が第１の画像と第２の画像とを撮像する間の前記撮像手段の動き情報を、前記撮像手段とは別のセンサの出力に基づいて検出する第１の検出手段と、
   前記第１の画像と第２の画像の間の複数の動きベクトルを検出する第２の検出手段と、
   前記第１の検出手段が検出した前記動き情報の信頼度を判断する判断手段と、
   前記複数の動きベクトルの少なくとも一部に基づいて、前記第１の画像と前記第２の画像とに対して位置合わせを行う位置合わせ手段と、を有し、
   前記位置合わせ手段は、前記動き情報と前記信頼度とに基づいて、前記位置合わせに用いる前記動きベクトルを決めることを特徴とする画像処理装置。
2. 前記第２の検出手段は、前記第１の画像に複数の領域を設定し、該複数の領域を用いて前記複数の動きベクトルを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の領域は、同じサイズを有することを特徴とする請求項２に記載の画像処理装置。
4. 閾値を設定する設定手段を有し、
   前記位置合わせ手段は、前記複数の動きベクトルのうち、前記動き情報との違いが、前記閾値よりも小さいものを、前記位置合わせに用い、
   前記設定手段は、前記信頼度に基づいて前記閾値を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記設定手段は、前記信頼度が第１の値である場合に、前記信頼度が前記第１の値より大きな第２の値である場合よりも、前記閾値を大きく設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記設定手段は、前記閾値を第１の方向における閾値と第２の方向における閾値として設定し、
   前記位置合わせ手段は、前記第１の方向における前記複数の動きベクトルのそれぞれの成分と前記動き情報の成分との違いが、前記第１の方向における閾値よりも小さく、かつ、前記第２の方向における前記複数の動きベクトルのそれぞれの成分と前記動き情報の成分との違いが、前記第２の方向における閾値よりも小さい動きベクトルを、前記位置合わせに用いることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記第１の方向は、前記第１の画像と第２の画像とを撮像する間の前記撮像手段の移動方向と平行な方向であることを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の方向は、予め設定された方向であることを特徴とする請求項６に記載の画像処理装置。
9. 前記判断手段は、前記動き情報の前記第１の方向における信頼度と前記第２の方向における信頼度とを判断し、
   前記設定手段は、前記第１の方向および前記第２の方向において、前記信頼度が第１の値である場合に、前記信頼度が前記第１の値より大きな第２の値である場合よりも、前記閾値を大きく設定することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
10. 前記判断手段は、前記第１の方向における前記動き情報の成分の分散が大きいほど、前記第１の方向における信頼度が低いと判断し、前記第２の方向における前記動き情報の成分の分散が大きいほど、前記第２の方向における信頼度が低いと判断することを特徴とする請求項９に記載の画像処理装置。
11. 前記判断手段は、前記第１の検出手段が起動されてから所定の時間以内の場合は、起動されてから所定の時間以内でない場合よりも、前記第１の方向における信頼度と前記第２の方向における信頼度が低いと判断することを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記判断手段は、前記第１の画像または前記第２の画像の被写体距離が所定の被写体距離よりも近い場合には、該所定の被写体距離よりも近くない場合よりも、前記第１の方向における信頼度と前記第２の方向における信頼度が低いと判断することを特徴とする請求項９乃至１１のいずれか１項に記載の画像処理装置。
13. 前記判断手段は、前記撮像手段が撮像するとき、メカシャッタの動作があり、かつ、前記メカシャッタの動作の方向が前記第２の方向である場合に、前記メカシャッタの動作の方向が前記第１の方向である場合よりも、前記第２の方向における信頼度が低いと判断することを特徴とする請求項９乃至１２のいずれか１項に記載の画像処理装置。
14. 前記判断手段は、前記動き情報の分散が大きいほど、前記信頼度が低いと判断することを特徴とする請求項５に記載の画像処理装置。
15. 前記判断手段は、前記第１の検出手段が起動されてから所定の時間以内の場合は、該所定の時間以内でない場合よりも、前記信頼度が低いと判断することを特徴とする請求項５または１４に記載の画像処理装置。
16. 前記判断手段は、前記第１の画像または前記第２の画像の被写体距離が所定の被写体距離よりも近い場合には、該所定の被写体距離よりも近くない場合よりも、前記信頼度が低いと判断することを特徴とする請求項５、１４および１５のいずれか１項に記載の画像処理装置。
17. 画像を撮像する撮像手段と、
    前記撮像手段が第１の画像と第２の画像とを撮像する間の前記撮像手段の動き情報を、前記撮像手段とは別のセンサの出力に基づいて検出する第１の検出手段と、
    前記第１の画像と第２の画像の間の複数の動きベクトルを検出する第２の検出手段と、
    前記第１の検出手段が検出した前記動き情報の信頼度を判断する判断手段と、
    前記複数の動きベクトルの少なくとも一部に基づいて、前記第１の画像と前記第２の画像とに対して位置合わせを行う位置合わせ手段と、を有し、
    前記位置合わせ手段は、前記動き情報と前記信頼度とに基づいて、前記位置合わせに用いる前記動きベクトルを決めることを特徴とする撮像装置。
18. 撮像手段が第１の画像と第２の画像とを撮像する間の前記撮像手段の動き情報を、前記撮像手段とは別のセンサの出力に基づいて検出する第１の検出ステップと、
    前記第１の画像と第２の画像の間の複数の動きベクトルを検出する第２の検出ステップと、
    前記第１の検出手段が検出した前記動き情報の信頼度を判断する判断ステップと、
    前記複数の動きベクトルの少なくとも一部に基づいて、前記第１の画像と前記第２の画像とに対して位置合わせを行う位置合わせステップと、を有し、
    前記位置合わせステップにおいては、前記動き情報と前記信頼度とに基づいて、前記位置合わせに用いる前記動きベクトルを決めることを特徴とする画像処理装置の制御方法。
19. 画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
    撮像手段が第１の画像と第２の画像とを撮像する間の前記撮像手段の動き情報を、前記撮像手段とは別のセンサの出力に基づいて検出する第１の検出ステップと、
    前記第１の画像と第２の画像の間の複数の動きベクトルを検出する第２の検出ステップと、
    前記第１の検出手段が検出した前記動き情報の信頼度を判断する判断ステップと、
    前記複数の動きベクトルの少なくとも一部に基づいて、前記第１の画像と前記第２の画像とに対して位置合わせを行う位置合わせステップと、を行わせ、
    前記位置合わせステップにおいては、前記動き情報と前記信頼度とに基づいて、前記位置合わせに用いる前記動きベクトルを決めることを特徴とするプログラム。

Images