JP2003134385A

JP2003134385A - 画像合成装置

Info

Publication number: JP2003134385A
Application number: JP2001324972A
Authority: JP
Inventors: Keisuke Nakazono; 啓介中薗
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 2001-10-23
Filing date: 2001-10-23
Publication date: 2003-05-09
Anticipated expiration: 2021-10-23
Also published as: JP3866957B2

Abstract

(57)【要約】【課題】画像が手ぶれ、被写体ぶれのいずれを生じて
いるかを検出し、ぶれの種類に応じて画像合成の手法を
適応的に切り換え、良好な画質の広ダイナミックレンジ
の画像が得られるようにした画像合成装置を提供する。【解決手段】動きベクトル検出部11で、メモリ３から
読み出した画像ａ，ｂを用いて、二値画像を生成すると
共に画像全体として一つの動きベクトルを検出し、ぶれ
判定手段12で前記動きベクトル及び二値画像ａ，ｂを用
いて、手ぶれが発生しているのか否かを判定して出力
し、この手ぶれ判定の結果に基づいて、切換手段13でス
イッチ16，17を切り換えて、手ぶれ補正処理部14若しく
は被写体ぶれ補正処理部15のいずれかの補正処理を行っ
て、合成画像を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、露光量の異なる
複数の画像を合成し、画像信号のダイナミックレンジを
拡大して出力する画像合成装置に関する。

【０００２】

【従来の技術】固体撮像素子を有する撮像装置において
は、銀塩フィルムに比べて固体撮像素子のダイナミック
レンジが狭いため、例えば明るい背景のもとで被写体を
撮影する場合、被写体の黒つぶれや、背景の白とびが生
じる。このような現象を防ぐために、被写体、背景それ
ぞれに対し適正露出の画像を撮影し、それら露光量の異
なる複数の画像を合成する方法が提案されている。

【０００３】図20に、露光量の異なる２つの画像を合成
してダイナミックレンジの広い画像を得る方法の概念図
を示す。図20において、図20の（Ａ）に示す長時間露光
画像は人物や木に露出があっており背景が白とびしてい
るとする。また、図20の（Ｂ）に示す短時間露光画像は
背景に露出があっており人物が黒つぶれしているとす
る。これらの画像の合成は、例えば以下の方法で行うこ
とができる。まず、長時間露光画像に対して適当な閾値
を設定し画素値が閾値以上の領域が白とびの領域と一致
するようにする。次いで、前記閾値以上の領域について
は、短時間露光画像の対応する（同位置の) 画像を貼り
付けて合成する。このようにして合成することで、図20
の（Ｃ）に示すように、背景、人物共に露出のあったダ
イナミックレンジの広い画像を得ることができる。

【０００４】しかしながら、一つの撮像素子で露光量の
異なる画像を複数枚撮影する場合、各画像の撮影タイミ
ングはずれているため、例えば被写体が移動していた
り、手ぶれが発生した場合に、画像間に位置ずれが生じ
る。このように位置ずれを生じている複数の画像を合成
すると、図21に示すように、被写体が２重になるなど不
自然な画像になってしまう。

【０００５】従来、このような画像の位置ずれを補正す
る方法として、特許３１１０７９７号に提案がなされて
いる。次に、上記特許３１１０７９７号に開示されてい
る従来の補正方法について説明する。図22は従来の補正
方法を示す概念図である。図22に示すように、画像ａと
画像ｂとは手ぶれにより画面全体がずれている場合、従
来の補正方法では、これらの画像をずらして、図22中の
共通エリアの部分が得られるように合成している。

【０００６】図23は、従来の補正方法を実施するための
画像合成装置の構成例を示すブロック図である。入力画
像を用いて動き検出206 で検出された画面ぶれ情報によ
り、メモリ制御部205 がフィールドメモリ204aを制御し
て、図22中の共通エリアに相当する画像を読み出す。こ
の共通エリア画像は、拡大補間部202aで入力画像と同等
のサイズに拡大された後、フィールドメモリ204bに格納
される。続いて同様に処理され、拡大補間部202aから出
力される画像と、フィールドメモリ204bから読み出され
る前フレームの画像とが加算器202bにて合成され、ぶれ
を補正した画像が得られる様に構成されている。なお、
図23において、201 はＡ／Ｄ変換器、203 はＤ／Ａ変換
器である。

【０００７】

【発明が解決しようとする課題】上記のように、従来提
案の補正技術においては、画像全体をずらして共通エリ
アを得て画像のぶれ補正を行っており、画像全体がぶれ
る手ぶれを補正するには適した方法である。しかしなが
ら、画像のぶれには一部の被写体が動く被写体ぶれも存
在する。図24の左側に示す２枚の画像は、画像全体が手
ぶれをしており、且つ飛行機が手ぶれ方向とは別方向に
被写体ぶれを起こしているものとする。したがって、図
24に示すような画像について、飛行機の動いた方向に画
面全体をずらして補正すると、人物や木など他の被写体
がずれた画像として合成される。このように、被写体ぶ
れした画像全体をずらして合成すると適切に合成されな
い場合があるが、従来提案の補正技術ではかかる観点に
ついて考慮がなされていない。

【０００８】本発明は、上記事情に鑑みてなされたもの
であり、画像が手ぶれ、被写体ぶれのいずれを生じてい
るかを簡易な処理により検出し、ぶれの種類に応じて画
像合成の手法を適応的に切り換え、画質の良好なダイナ
ミックレンジの広い画像を得ることが可能な画像合成装
置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に係る発明は、露光量の異なる複数の画像
を合成し、ダイナミックレンジの広い画像を得る撮像装
置において、合成する画像間の差異が被写体ぶれによる
ものか手ぶれによるものかを判定するぶれ種類判定手段
と、該ぶれ種類判定手段からのぶれ判定信号に応じて画
像合成方法を切り換える切換手段とを備え、前記ぶれ種
類判定手段は、前記複数の画像のうち一方の画像と他方
の画像との間で画像全体としての１つの動きベクトルを
検出して出力する動きベクトル検出部と、該動きベクト
ル検出部で検出された前記動きベクトルより画像が被写
体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信
号として出力するぶれ判定手段とで、画像合成装置を構
成するものである。

【００１０】上記請求項１に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項１における構成要件の動きベクトル検出部、ぶれ判
定手段には、それぞれ実施の形態（図２）における動き
ベクトル検出部11，ぶれ判定手段12が対応し、これら２
つを合わせたものがぶれ種類判定手段に対応し、切換手
段には切換手段13，13ａが対応する。

【００１１】このように構成された画像合成装置におい
ては、動きベクトル検出部は画像全体として一つの動き
ベクトルを検出し、その動きベクトルをもとに、ぶれ判
定手段により画像が被写体ぶれか手ぶれかを判定する。
そして、その判定結果に応じて画像の合成方法を適応的
に切り換えるように構成されているので、画質が良好で
ダイナミックレンジの広い画像を得ることができる。

【００１２】請求項２に係る発明は、請求項１に係る画
像合成装置において、前記ぶれ種類判定手段は、動きベ
クトルを検出する領域を特定する動きベクトル検出領域
特定手段をさらに備え、前記動きベクトル検出部は、前
記動きベクトルを検出する領域内で動きベクトルを検出
することを特徴とするものである。

【００１３】この請求項２に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項２における構成要件の動きベクトル検出領域特定手
段には、実施の形態（図３）における動きベクトル検出
領域特定手段21が対応する。

【００１４】このように構成された画像合成装置におい
ては、動きベクトル検出領域特定手段により、動きベク
トルを検出する領域を特定して狭め、なるべく少ない演
算で動きベクトルを検出することが可能となる。

【００１５】請求項３に係る発明は、請求項２に係る画
像合成装置において、前記動きベクトル検出領域特定手
段は、前記一方の画像と前記他方の画像を各々所定の閾
値で二値化し二値画像を出力する二値化部と、前記一方
の二値画像と前記他方の二値画像との比較を行い不一致
領域を前記動きベクトルを検出する領域として出力する
比較部とを有することを特徴とするものである。

【００１６】この請求項３に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項３における構成要件の二値化部には、実施の形態
（図６）における二値化部31，32が対応し、比較部には
比較部33が対応する。そして、比較部においては、図７
に示すように、排他的論理和回路41で二値画像ａ，ｂの
排他的論理和を取ることで二値画像の比較を行い、不一
致領域が「１」となるような二値画像不一致領域情報
を、動きベクトルを検出する領域として出力する。動き
ベクトル検出領域は、図４で横線で表示した部分に相当
する。

【００１７】このように構成された画像合成装置におい
ては、二値化した画像同士を比較することにより不一致
領域を特定するように構成しているため、単純な処理に
より動きベクトルの検出領域を特定することができる。

【００１８】請求項４に係る発明は、請求項３に係る画
像合成装置において、前記二値化部は、前記一方の画像
を二値化する閾値と前記他方の画像を二値化する閾値
を、それぞれの画像の露光量に比例した値とすることを
特徴とするものである。

【００１９】この請求項４に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項４における構成要件の二値化部の閾値には、実施の
形態（図６）における二値化部31に入力される閾値ａ，
及び二値化部32に入力される閾値ｂ＝閾値ａ×（露光量
ｂ／露光量ａ）が対応する。なお、実施の形態の説明中
の式（１）における閾値ｂと前記二値化部32に入力され
る閾値とは同一である。

【００２０】このように構成された画像合成装置におい
ては、二値化閾値を露光量に比例させることで、露光量
の異なる画像間でも同一被写体（若しくは背景) を同じ
値で二値化できる。そのため、前記被写体（若しくは背
景) の存在する座標がずれていれば、二値画像上では値
が異なるため、二値画像の不一致領域を画像間でぶれの
発生している領域として検出することができる。

【００２１】請求項５に係る発明は、請求項３に係る画
像合成装置において、前記比較部は、前記一方の二値画
像と前記他方の二値画像とを所定の方向に走査して両画
像間の比較を行い、その比較結果が一定数連続して不一
致となった場合に限り前記動きベクトルを検出する領域
を示す信号を出力するように構成されていることを特徴
とするものである。

【００２２】この請求項５に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項５における構成要件の比較部には、図７に示す比較
部33が対応し、二値画像比較結果には図７における二値
画像不一致領域情報が対応する。また比較結果が一定数
連続して不一致となる場合は、二値画像不一致領域情報
をカウンタ42で計数したものを比較器43で連続検出量閾
値と比較して求めている。そして、セレクタ44の切り換
えを、前記比較器43の出力を用いて行うことにより、
「比較結果が一定数連続して不一致となる場合に限り」
動きベクトル検出領域を出力することを、実現してい
る。

【００２３】このように構成された画像合成装置におい
ては、ノイズ等により発生する不一致を除外し、画像ぶ
れに起因する不一致領域の検出をより妥当性の高いもの
にすることができる。

【００２４】請求項６に係る発明は、請求項２に係る画
像合成装置において、前記動きベクトル検出部は、前記
動きベクトル検出領域に対応する前記一方の画像内の領
域内に特定の一ブロックを設定するブロック設定手段
と、この特定の一ブロックに対してのみ前記他方の画像
内の複数のブロックとの類似度を演算し、最も類似度が
高いブロックへのベクトルを上記動きベクトルとして出
力する動きベクトル算出部とを有することを特徴とする
ものである。

【００２５】この請求項６に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項６における構成要件のブロック設定手段には、実施
の形態（図３）におけるブロック設定手段22が対応し、
動きベクトル算出部には動きベクトル算出部23が対応す
る。

【００２６】このように構成された画像合成装置におい
ては、ブロック設定手段は、一方の画像に動きベクトル
検出における基準となるブロックを一つだけ設定する。
そして、動きベクトル算出部では、この一ブロックと他
方の画像内の複数のブロックとの類似度を計算し、最も
類似度の高いブロックへのベクトルを動きベクトルとし
て出力する。このように、動きベクトルの算出において
基準となるブロックを一つに限定することにより、少な
い演算量で動きベクトルの検出を行うことができる。

【００２７】請求項７に係る発明は、請求項６に係る画
像合成装置において、前記動きベクトル算出部は、ブロ
ックマッチング法を用いて前記動きベクトルを検出して
出力するように構成されていることを特徴とするもので
ある。

【００２８】この請求項７に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。このように
構成した画像合成装置においては、容易な手法で動きベ
クトルを検出することができる。

【００２９】請求項８に係る発明は、請求項６に係る画
像合成装置において、前記動きベクトル検出部は、前記
動きベクトルを前記ぶれ判定手段に出力するか否かを判
定する有効判定部を有することを特徴とするものであ
る。

【００３０】この請求項８に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項８における構成要件の有効判定部には、実施の形態
（図３）における有効判定部24が対応する。

【００３１】このように構成された画像合成装置におい
ては、有効判定部は、算出した動きベクトルの妥当性を
チェックし、妥当性が低い場合には、動きベクトルをぶ
れ判定手段に対して出力しない様にする。これにより、
無意味な動きベクトルが出力されるのを防ぎ、ぶれ判定
の精度を上げることができる。

【００３２】請求項９に係る発明は、請求項８に係る画
像合成装置において、前記有効判定部は、入力画像の前
記動きベクトル検出領域の輝度値が所定の値より小さく
黒に近いことを検出する黒レベル検出部と、入力画像の
前記動きベクトル検出領域の輝度値が所定の値より大き
く白に近いことを検出する白レベル検出部と、入力画像
の前記動きベクトル検出領域の各画素間の輝度値差が所
定の値より小さいことを検出する輝度差検出部とを有
し、黒レベル検出又は白レベル検出又は輝度差検出がい
ずれも検出されなかった場合に、前記ぶれ判定手段に前
記動きベクトルを出力させるように構成されていること
を特徴とするものである。

【００３３】この請求項９に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項９における構成要件の黒レベル検出部には、実施の
形態（図９）における黒つぶれ判定部52が対応し、白レ
ベル検出部には白とび判定部51が対応する。また輝度差
検出部には、最大値抽出部53，最小値抽出部55，減算器
57，比較器59からなる構成が対応する。輝度差検出部に
おける所定の値には、図９における輝度差閾値が対応す
る。そして、画像ｂの最大、最小値をそれぞれ最大値抽
出部53，最小値抽出部55とから求め、減算器57により差
分をとって輝度差を求める。また比較器59により前記輝
度差が輝度差閾値以下かどうかを調べることで、輝度値
差が所定の値より小さいことを検出する。

【００３４】このように構成された画像合成装置におい
ては、動きベクトル検出領域内の画像が、黒つぶれ、白
とび、グレー一色といった輝度変化のない画像であるか
を調べ、それらに該当する場合は動きベクトル検出に適
さない画像として動きベクトルを出力しない。これによ
り、動きベクトル検出の精度を上げることが可能とな
る。

【００３５】請求項10に係る発明は、請求項８に係る画
像合成装置において、前記有効判定部は、前記類似度の
最大値と最小値の差が所定の範囲以上であった場合に前
記ぶれ判定手段に前記動きベクトルを出力させるように
構成されていることを特徴とするものである。

【００３６】この請求項10に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項10における構成には、図９における最大値抽出部5
4，最小値抽出部56，減算器58，比較器60からなる構成
が対応する。また請求項10における所定の範囲には、図
９における類似度差閾値が対応する。

【００３７】このように構成された画像合成装置におい
ては、一方の画像の特定の一ブロックと他方の画像の複
数ブロックとの類似度を各々比較し、それらに差がない
場合には、いずれのブロックとも同程度に類似している
とみなし、この場合、類似度の最も高いブロックへのベ
クトルは動きベクトルとして妥当性が低いと判断して出
力しない。これにより、動きベクトル検出の精度を上げ
ることが可能となる。

【００３８】請求項11に係る発明は、請求項３に係る画
像合成装置において、前記ぶれ判定手段は、前記動きベ
クトルをもとに前記一方の画像に係る二値画像の座標を
水平及び垂直方向にずらす座標変換手段と、前記座標変
換手段により座標変換された画像と、前記他方の画像に
係る二値画像を入力し、画像間の不一致領域を差分情報
として出力する差分算出手段と、前記差分情報より画像
が被写体ぶれ、手ぶれのいずれかを判定し、その判定信
号を出力するぶれ判定信号生成手段とを有することを特
徴とするものである。

【００３９】この請求項11に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項11における構成要件の座標変換手段には、実施の形
態（図10）における座標変換手段61が対応し、差分算出
手段には差分算出手段62が対応し、ぶれ判定信号生成手
段にはぶれ判定信号生成手段63が対応する。

【００４０】このように構成された画像合成装置におい
ては、座標変換手段は、画像全体が動きベクトルの方向
に手ぶれを起こしていると仮定して、一方の二値画像を
座標をずらして変換する。差分算出部ではこの座標変換
された二値画像と他方の二値画像間の不一致領域を求
め、この結果から画像が手ぶれであったかを判定する。
これにより、画像が手ぶれを起こしているかを判定する
ことができる。

【００４１】請求項12に係る発明は、請求項11に係る画
像合成装置において、前記差分算出手段は、前記比較部
により得られる二つの二値画像間の不一致画素の総数を
出力するように構成されていることを特徴とするもので
ある。

【００４２】この請求項12に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項12における構成には、図11に示す構成が対応する。
二つの二値画像間の不一致画素は図11における排他的論
理和回路71により求まり、不一致画素の総数は図11にお
けるカウンタ72により計数される。このように構成され
た画像合成装置においては、二つの二値画像間の不一致
画素数の総数を出力するように構成しているので、それ
を画像ぶれの領域の大きさ（ぶれ度合）として、ぶれ判
定を行うことができる。

【００４３】請求項13に係る発明は、請求項11に係る画
像合成装置において、前記ぶれ判定信号生成手段は、前
記差分情報が所定の閾値以下であれば手ぶれと判定し、
前記差分情報が前記閾値以上であれば被写体ぶれと判定
するように構成されていることを特徴とするものであ
る。

【００４４】この請求項13に係る発明の実施の形態にて
は、第１及び第２の実施の形態が対応する。そして、請
求項13における構成には、図13に示す構成が対応する。
図13においては、ぶれ判定信号が「１」の場合手ぶれ、
「０」の場合被写体ぶれを示す。差分情報が所定の閾値
以下かどうかは、図13における比較器82により求まる。
比較器82は差分情報が差分閾値以上で「０」、差分閾値
以下で「１」を出力する。差分情報が差分閾値以下
（「１」) の場合、ぶれ判定信号は「１」になり手ぶれ
と判定される。但し、このとき動きベクトル有無判定部
81の出力は「１」(動きベクトルが検出されたことを意
味する) であるとする。このように構成することによ
り、画像として一つの動きベクトルから、画像が手ぶれ
しているかを判定することができる。

【００４５】請求項14に係る発明は、請求項11に係る画
像合成装置において、前記ぶれ判定信号生成手段は、前
記動きベクトルが検出されないときには被写体ぶれと判
定するするように構成されていることを特徴とするもの
である。

【００４６】この請求項14に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項14における構成には、図13に示す構成が対応する。
図13においては、ぶれ判定信号が「１」の場合手ぶれ、
「０」の場合被写体ぶれを示す。動きベクトルが検出さ
れたかどうかは、図13における動きベクトル有無判定部
81により判定する。動きベクトル有無判定部81の出力が
「０」の場合は、動きベクトルが検出されなかったこと
を意味し、出力が「１」の場合は動きベクトルが検出さ
れたことを意味する。動きベクトル有無判定部81の出力
が「０」の場合、ぶれ判定信号は「０」になり被写体ぶ
れと判定される。このように構成することにより、動き
ベクトルが検出ができない画像に関しては、一律に被写
体ぶれと判定することができる。

【００４７】請求項15に係る発明は、請求項１に係る画
像合成装置において、前記切換手段は、前記ぶれ判定信
号が被写体ぶれを示す場合、前記一方の画像と前記他方
の画像を合成して得られる画像に対して、前記動きベク
トル検出領域に対応する画像信号にローパスフィルタを
かけるように構成されていることを特徴とするものであ
る。

【００４８】この請求項15に係る発明の実施の形態に
は、第１及び第２の実施の形態が対応する。そして、請
求項15における構成には、図14及び図18に示す構成が対
応する。前記一方の画像と前記他方の画像との合成は、
合成手段92により行われる。この請求項におけるローパ
スフィルタにはローパスフィルタ93が対応する。ぶれ判
定信号が被写体ぶれを示す場合、スイッチ94，95がｓ２
に接続される。したがって、画像ａ，ｂを合成した後、
動きベクトル検出領域に対応する画像領域にローパスフ
ィルタがかけられる。

【００４９】このように構成された画像合成装置におい
ては、被写体ぶれの部分にローパスフィルタをかけるよ
うに構成されているため、ぶれの部分をぼかすことがで
き、画質の良好でダイナミックレンジの広い画像が得ら
れる。

【００５０】請求項16に係る発明は、請求項１に係る画
像合成装置において、前記切換手段は、前記ぶれ判定信
号が手ぶれを示す場合、前記動きベクトルをもとに前記
一方の画像を水平及び垂直方向に座標をずらした画像
と、前記他方の画像とを合成するように構成されている
ことを特徴とするものである。

【００５１】この請求項16に係る発明の実施の形態に
は、第１の実施の形態が対応する。そして、請求項16に
おける構成には、図14に示す構成が対応する。前記動き
ベクトルをもとに前記一方の画像を水平及び垂直方向に
座標をずらす処理は、図14における座標変換手段91によ
り行われる。ぶれ判定信号が手ぶれを示す場合、スイッ
チ94，95が共にｓ１に接続される。したがって、画像ｂ
を座標変換し、前記座標変換された画像と画像ａとが合
成される。

【００５２】このように構成された画像合成装置におい
ては、手ぶれを補正する方向に一方の画像をずらして合
成するように構成されているため、画質が良好でダイナ
ミックレンジの広い画像が得られる。

【００５３】請求項17に係る発明は、請求項１に係る画
像合成装置において、前記複数の画像を各々所定の閾値
で二値化して二値画像を得て、前記他方の画像に係る二
値画像と、前記動きベクトルをもとに前記一方の画像に
係る二値画像の座標を水平及び垂直方向にずらした画像
とから、画像間の不一致領域を求め、前記切換手段は、
前記ぶれ判定信号が手ぶれを示す場合、前記動きベクト
ルをもとに前記一方の画像を水平及び垂直方向に座標を
ずらした画像と、前記他方の画像とを合成して得られる
手ぶれ補正画像に対して、前記不一致領域に対応する画
像信号にローパスフィルタをかけるように構成されてい
ることを特徴とするものである。

【００５４】この請求項17に係る発明の実施の形態に
は、第２の実施の形態が対応する。そして、請求項17に
おける構成は、図６，図10，図16及び図18の構成が対応
する。この請求項における二値画像を得る方法とは、図
６における二値化部31，32によるものであり、二値化し
た画像は図18におけるメモリ3 に格納される。また、他
方の二値画像と、動きベクトルをもとに一方の二値画像
の座標を水平及び垂直方向にずらした画像とから、画像
間の不一致領域を求める方法とは、図10における座標変
換手段61，差分算出手段62からなる構成によるものであ
り、画像間の不一致領域とは図10における差分画像の
「１」の領域に相当する。上記、図６の構成により生成
した二値画像をメモリ３から読み出して、図10の構成に
より差分画像を生成して、メモリ３に格納する。図18に
おける差分画像は前述の方法によりメモリ３に格納され
ているものを読み出したものである。ぶれ判定信号が手
ぶれを示す場合、スイッチ94，95，96がそれぞれｓ１，
ｓ２，ｓ１に接続される。したがって、画像ｂを座標変
換し、前記座標変換された画像と画像ａとが合成され、
次いで、前記差分画像の「１」の領域に対応する画像領
域にローパスフィルタがかけられる。

【００５５】このように構成された画像合成装置におい
ては、画像全体が動きベクトルの方向に手ぶれを起こし
ていると仮定して、一方の二値画像を座標をずらして変
換し、不一致領域を手ぶれを補正してなお画像ぶれが残
る領域として検出する。画像ぶれが手ぶれであったと判
定された場合は、一方の画像を動きベクトルをもとに座
標をずらして合成し、更に、前記不一致領域に対応する
領域（ぶれの残る領域) にはローパスフィルタをかけて
ぼかすことにより、手ぶれと被写体ぶれを同時に補正し
て、画質が良好でダイナミックレンジの広い画像を得る
ことができる。

【００５６】

【発明の実施の形態】（第１の実施の形態）次に、本発
明に係る画像合成装置の第１の実施の形態について説明
する。図１は、第１の実施の形態に係る画像合成装置を
含む撮像装置の基本構成を示すブロック図である。１は
被写体像を光電変換して電気信号として出力するＣＣＤ
撮像素子、２は画像の色補正やエッジ強調などを行う画
像処理装置、３は画像データを格納するためのメモリ、
４は複数の画像を合成する画像合成装置、５はこれらの
各装置を制御するＣＰＵ、６はメモリと他の装置（画像
処理装置、画像合成装置、ＣＰＵ）を接続するためのバ
スである。

【００５７】ＣＣＤ１により撮像された画像は、バス６
を介してメモリ３に格納される。メモリ３には露光量の
異なる複数の画像をあらかじめ撮影して格納しておく。
画像合成装置４はメモリ３に格納されている前記露光量
の異なる複数の画像を入力して、ぶれの種類を判定し、
その判定結果に応じた合成処理を施して、ぶれ補正画像
としてメモリ３に格納する。補正された画像は必要に応
じてメモリ３から読み出されて画像処理装置２において
処理される。

【００５８】次に、画像合成装置について詳細に説明す
る。なお、以下の説明において、前記露光量の異なる複
数の画像のうち一方を画像ａ，他方を画像ｂと称する。
図２は図１における画像合成装置４の構成例を示すブロ
ック構成図である。図２において、11は動きベクトル検
出部で、該動きベクトル検出部11では、メモリ３から読
み出した画像ａ，ｂを用いて、画像全体として一つの動
きベクトルを検出する。また、動きベクトル検出の際
に、画像ａ，ｂを二値化した二値画像ａ，ｂが生成さ
れ、メモリ３に格納される。ぶれ判定部12では、前記動
きベクトル及び二値画像ａ，ｂを用いて、手ぶれが発生
しているのか否かを判定し出力する。切換手段13では前
記手ぶれ判定の結果をもとに、スイッチ16，17を適宜切
り換えて手ぶれ補正処理部14，若しくは、被写体ぶれ補
正処理部15のいずれかの処理を行って合成画像を出力す
る。

【００５９】次に、図２に示した画像合成装置の各構成
部材の詳細について説明する。図３は図２における動き
ベクトル検出部11の構成例を示すブロック構成図であ
る。動きベクトル検出領域特定手段21では、動きベクト
ルを検出する領域を特定する。図４に示すように、画像
ａ，ｂ間で被写体のずれている部分を動きベクトル検出
領域として特定する。特定した動きベクトル検出領域の
情報は、一旦メモリ３に格納される。また、動きベクト
ル検出領域を特定する際に生成する二値画像ａ，ｂ（後
述）についても、メモリ３に格納する。ブロック設定手
段22では、前記動きベクトル検出領域の情報をメモリ３
から読み出し、特定の一ブロックを動きベクトル検出に
おける基準ブロックとして設定する。図５に示すよう
に、ブロック設定手段22により設定するブロックを基準
ブロックとし、その周囲に探索範囲を設け、動きベクト
ル算出部23で動きベクトルを検出する。基準ブロックと
探索範囲は異なる画像内に設定する。例えば、基準ブロ
ックを画像ｂに設定する場合は、探索範囲は画像ａに設
定する。

【００６０】動きベクトルは、ブロック設定手段22で設
定した基準ブロックに対してのみ算出し、その結果を画
像全体として一つの動きベクトルとする。動きベクトル
を算出する方法としては、例えばブロックマッチング法
を用いる。ブロック設定手段22により設定する基準ブロ
ックに対して、動きベクトルの探索範囲内の各ブロック
との類似度を求め、最も類似度の高いブロックへのベク
トルを動きベクトルとする。有効判定部24では、ブロッ
ク設定手段22により設定したブロックが動きベクトル検
出の基準ブロックとして適切かどうかや、動きベクトル
算出部により算出した動きベクトルの妥当性を判定す
る。もしこれらが妥当でない場合は、算出した動きベク
トルを出力しないように動きベクトル算出部23を制御す
る。

【００６１】上記説明では、動きベクトル検出領域の情
報をメモリ３に格納するようにしたものを示したが、動
きベクトル検出領域特定手段21とブロック設定手段22と
の間に専用のメモリを設けてもよい。

【００６２】図６は、図３における動きベクトル検出領
域特定手段21の構成例を示すブロック図である。画像
ａ，ｂはそれぞれ二値化部31，32で二値化され、二値画
像ａ，ｂが生成される。このとき、画像ａ，ｂの二値化
閾値が次式（１）の関係を満足するように設定する。閾値ｂ＝閾値ａ×（露光量ｂ／露光量ａ）・・・・・・・・・・（１）式（１）のように各閾値を設定することで、画像ａ，ｂ
間にずれがなければ、全く同一の二値画像を得ることが
できる。したがって、逆にずれの発生している部分は、
二値画像ａ，ｂで値が異なることになる。

【００６３】前記二値画像ａ，ｂは比較部33で比較さ
れ、値の異なる領域が「１」である二値画像として動き
ベクトル検出領域が出力される。図７は、比較部33の更
に詳細な構成例を示すブロック構成図である。排他的論
理和回路41で二値画像ａ，ｂの排他的論理和をとること
により、不一致領域が「１」となるような二値画像不一
致領域情報が生成される。この二値画像不一致領域情報
は、それをイネーブルとするカウンタ42により、「１」
の連続した回数がカウントされ、そのカウント値が比較
器43により、あらかじめ設定される連続検出量閾値を超
えた場合にのみ、セレクタ44を経て「１」が出力され
る。この構成をとることで、ノイズ等の影響によって生
じる不一致が取り除かれる。

【００６４】図８は、図３におけるブロック設定手段22
でのブロック設定方法についての説明図である。ブロッ
ク設定手段22では、メモリ３に格納されている動きベク
トル検出領域内の特定の一ブロックを、動きベクトル検
出の基準ブロックとして設定する。図８に示す図示例で
は、画像をブロック状に区切り、画面の中央のブロック
から外縁に向かって螺旋状に動きベクトル検出領域の情
報をサーチしていく。最初に「１」（不一致領域）が含
まれるブロックを発見したら、そのブロックの位置に対
応する画像ｂのブロックをメモリ３から読み出し、基準
ブロックとして出力する。このような方法によれば、な
るべく画像中央に近いブロックを基準ブロックとして設
定できることになり、画面の端に基準ブロックをとる場
合に比べて、動きベクトルを発見できる可能性を高くで
きる。

【００６５】当然、ブロック設定方法は上記手法に限定
されるものではない。例えば、動きベクトル検出領域を
画面左上から順にサーチして、最初に不一致領域が含ま
れるブロックを基準ブロックとして設定してもよい。こ
のような方法によれば、動きベクトル検出領域の情報
を、メモリ３から読み出す際のアドレシングを簡易な方
法で行うことができる。また、画面横方向への不一致連
続数が最大の領域に含まれるブロックを基準ブロックと
して設定してもよい。このような画面横方向に長い不一
致領域は、画面縦方向に発生した手ぶれによるずれの可
能性が高く、手ぶれによる動きベクトルを検出できる可
能性を高くできる。当然、画面縦方向への不一致連続数
が最大の領域に含まれるブロックを基準ブロックとして
設定してもよい。上記の方法を複数組み合わせて、ブロ
ックを設定することも可能である。

【００６６】図９は、図３における有効判定部24の構成
例を示すブロック図である。画像ｂに対して白とび、黒
つぶれ、グレーの判定を行う。白とび判定部51は、画像
ｂの任意領域の全画素値が白閾値以上であれば、前記領
域を白とびと判定する。黒つぶれ判定部52は、画像ｂの
任意領域の全画素値が黒閾値以下であれば、前記領域を
黒つぶれと判定する。更に、画像ｂの任意領域の画素値
最大値と最小値を、それぞれ最大値抽出部53，最小値抽
出部55から求め、その差分値を減算器57にて算出する。
差分値は比較器59により輝度差閾値と比較され、閾値以
下であれば領域内で輝度差がなくグレーであると判定す
る。

【００６７】また、類似度から動きベクトルの妥当性を
判定する。動きベクトル算出部23から出力される類似度
の集合に対して、最大値抽出部54，最小値抽出部56によ
り最大値と最小値を求める。その差分値を減算器58にて
算出し、その結果を比較器60により類似度差閾値と比較
し、閾値以下であれば前記類似度の集合の最大値へのベ
クトルを、動きベクトルとする事に妥当性が無いと判定
する。

【００６８】上記画像ｂの任意領域をブロック設定手段
22により設定された基準ブロックとすれば、白とび、黒
つぶれ、グレーのいずれかが判定された場合、設定した
基準ブロックは動きベクトル検出に適さないと判断する
ことができる。また、基準ブロックからの動きベクトル
算出における探索範囲（画像ａ）を、これらの判定部に
入力すれば、前記探索範囲が動きベクトル検出に適する
かどうかを判定できる。

【００６９】図９における白とび判定、黒つぶれ判定、
グレー判定、動きベクトル無効判定の各結果を組み合わ
せて有効信号を生成し、ブロック設定手段22及び動きベ
クトル算出部23に出力する。どのような組み合わせも可
能だが、例えば、白とび、黒つぶれ、グレーがいずれも
判定されない場合に、ブロック設定手段22に対して有効
信号を出力し、動きベクトル無効と判定された場合は、
動きベクトル算出部23に対して有効信号を出力する。

【００７０】図10は、図２におけるぶれ判定手段12の構
成例を示すブロック図である。座標変換手段61は、メモ
リ３から読み出した二値画像ｂを動きベクトルをもとに
水平及び垂直方向にずらし、二値画像ｂ′として出力す
る。差分算出手段62では二値画像ａ，ｂ′を比較して差
分画像及び差分情報を出力する。図11は差分算出手段62
の更に詳細な構成例を示すブロック図である。排他的論
理和回路71で二値画像ａ，ｂ′の排他的論理和をとって
二値画像ａ，ｂ′間の不一致領域を求め、それを差分画
像として出力する。また、差分画像の「１」の個数をカ
ウンタ72により計数して、二値画像ａ，ｂ′間の不一致
領域の画素数を差分情報として出力する。差分画像は、
図12に示すように、画像全体が動きベクトルの方向に手
ぶれを生じていると仮定して二つの画像を合成した場合
に不一致となる領域を示し、差分情報はその不一致領域
の大きさを示すものである。ぶれ判定信号生成手段63で
は、前記差分情報と動きベクトルから、手ぶれか被写体
ぶれかを判定し、結果をぶれ判定信号として出力する。

【００７１】図13は、ぶれ判定信号生成手段63の更に詳
細な構成例を示すブロック図である。ここでは、ぶれ判
定信号が「１」の場合を手ぶれ、「０」の場合を被写体
ぶれとする。動きベクトル有無判定部81は、動きベクト
ル算出部23から動きベクトルが出力された場合は「１」
を、動きベクトルが出力されない場合、すなわち動きベ
クトルが検出されない場合は「０」を出力する。一方、
差分情報は比較器82により差分閾値と比較され、差分閾
値以下の場合は「１」、以上の場合は「０」を出力す
る。上記二つの二値信号は、ＡＮＤ83にて論理積をとっ
てぶれ判定信号として出力される。このような構成によ
れば、動きベクトルが検出され且つ差分情報が閾値以下
の場合は、ぶれ判定信号が「１」となり、手ぶれと判定
される。差分情報が閾値以上であった場合や、動きベク
トルが検出されなかった場合は、ぶれ判定信号が「０」
となり、被写体ぶれと判定される。

【００７２】ここで、差分閾値は任意に設定することが
可能である。例えば、ある特定の値を設定すれば、手ぶ
れとみなして補正した場合の不一致領域の大きさがある
特定の値以下になる場合を、手ぶれとみなすことができ
る。また、二値画像ａ，ｂの不一致領域の画素数を差分
閾値としてもよい。この場合、図３に示す動きベクトル
検出領域特定手段21に、二値画像ａ，ｂの不一致領域の
画素数を計数する手段を付加して出力した結果を、差分
閾値とすればよい。このように差分閾値を設定すれば、
手ぶれとみなして補正した結果、補正の前後で不一致領
域が減少する場合を、手ぶれとみなすことができる。

【００７３】図14は、図２における切換手段13の具体的
な構成例を示すブロック図である。座標変換手段91は、
動きベクトルをもとに画像ｂを水平及び垂直方向にずら
した画像を生成する。合成手段92は、二つの画像を合成
する合成手段である。二値画像ａの値が「１」（若しく
は「０」) の領域に対応する画素は画像ａを、「０」
（若しくは「１」) の領域に対応する画素は、もう一方
の画像ｂを用いて合成される。ローパスフィルタ93は、
動きベクトル検出領域に対応する入力画像内の領域にの
みローパスフィルタ処理を施す。スイッチ94、95はぶれ
判定信号に応じて接続の切り換わるスイッチである。

【００７４】次に、ぶれ判定信号が被写体ぶれと手ぶれ
の各々の場合についての画像合成動作について説明す
る。ぶれ判定信号が被写体ぶれの場合、合成した画像の
ぶれ領域にローパスフィルタをかけて補正する。まず、
スイッチ94をs2側に接続し、画像ａ，ｂを合成手段92で
合成する。ここで得られる画像は、図15に示すように、
動きベクトル検出領域に対応する領域の画像がぶれて合
成されたものになっている。前記合成された画像に対
し、動きベクトル検出領域に対応する領域にローパスフ
ィルタ処理を行う。スイッチ95はｓ２側に接続し、前記
ローパスフィルタをかけた画像を合成画像としてメモリ
３に格納する。これにより、画像がぶれている部分を目
立たなくし、画質の良好でダイナミックレンジの広い画
像を得ることができる。

【００７５】ぶれ判定信号が手ぶれの場合、動きベクト
ルの方向に画像全体をずらして合成する。まず、座標変
換手段91により画像ｂを動きベクトルの方向にずらした
画像を生成する。スイッチ94をｓ１側に接続し、合成手
段92では、画像ａと、前記画像ｂを動きベクトルの方向
にずらした画像とを合成する。スイッチ95はｓ１に接続
して、ローパスフィルタはかけずにメモリ３に格納す
る。この処理で得られる画像は図16に示すように、手ぶ
れによる画像ぶれの補正された画像になっており、画質
の良好でダイナミックの広い画像を得ることができる。

【００７６】以上、本実施の形態によると、画像が手ぶ
れを生じているか被写体ぶれを生じているかを、画像と
して一つの動きベクトル及び二値画像間の演算のみを用
いて判定し、ぶれの種類に応じて画像合成の方法を適切
に切り換えるため、簡易な処理でぶれ判定が可能であ
り、且つ、画質の良好でダイナミックレンジの広い画像
を得ることができる。

【００７７】（第２の実施の形態）次に、本発明の第２
の実施の形態について説明する。図17は、本実施の形態
に係る画像合成装置の構成を示すブロック図である。切
換手段13ａ以外の構成は、第１の実施の形態と同一であ
るので説明を割愛する。本実施の形態における切換手段
13ａでは、スイッチ16〜18を適宜切り換えて、手ぶれ補
正処理部14，若しくは、被写体ぶれ補正処理部15のいず
れか、若しくは両方の処理を行って合成画像を出力す
る。

【００７８】図18は、本実施の形態における切換手段13
ａの具体的な構成例を示すブロック図である。座標変換
手段91，合成手段92，ローパスフィルタ93，スイッチ9
4，95は、図14に示した第１の実施の形態における切換
手段13と同一であるので説明を割愛する。スイッチ96
は、ぶれ判定信号に応じて、ローパスフィルタをかける
領域を、動きベクトル検出領域と差分画像とで切り換え
るスイッチである。

【００７９】次に、ぶれ判定信号が被写体ぶれと手ぶれ
の各々の場合についての画像合成動作について説明す
る。ぶれ判定信号が被写体ぶれの場合、スイッチ96はｓ
２側に接続し、ローパスフィルタをかける領域として動
きベクトル検出領域が選択されるので、第１の実施の形
態と同様の処理が行われる。ぶれ判定信号が手ぶれの場
合、動きベクトルの方向に画像全体をずらして合成する
までは第１の実施の形態と同様である。すなわち、座標
変換手段91により画像ｂを動きベクトルの方向にずらし
た画像を生成し、スイッチ94をｓ１側に接続して、画像
ａと、前記画像ｂを動きベクトルの方向にずらした画像
とを合成手段92にて合成する。

【００８０】次いで、スイッチ96をｓ１側に接続し、差
分画像に対応する領域にローパスフィルタ処理を行う。
図12で示したように、差分画像とは、二値画像ａと、二
値画像ｂを動きベクトルの方向にずらした画像との不一
致領域であり、手ぶれによる補正画像のぶれ発生領域と
一致する。したがって、手ぶれによる補正後に残ったぶ
れ領域のみにローパスフィルタがかかることになる。最
後にスイッチ95をｓ２側に接続し、前記ローパスフィル
タをかけた画像を合成画像としてメモリ３に格納する。

【００８１】図19は、手ぶれと被写体ぶれが共に発生し
ている画像を合成した例を示したものである。手ぶれの
補正後も飛行機の部分にはぶれが残るが、上記方法によ
りローパスフィルタをかける事で、飛行機のぶれ部分が
目立たなくなり、更に画質の良好でダイナミックレンジ
の広い画像を得ることができる。

【００８２】以上、本実施の形態によると、画像が手ぶ
れを起こしている場合は、画像をずらして合成する事に
より手ぶれを補正し、更に、補正後に残ったぶれ部分に
はローパスフィルタをかけてぶれを目立たなくできる。
したがって、手ぶれと被写体ぶれの混在した画像に対し
ても、画質の良好でダイナミックレンジの広い画像を得
ることができる。

【００８３】

【発明の効果】以上実施の形態に基づいて説明したよう
に、請求項１に係る発明によれば、画像全体として一つ
の動きベクトルを検出し、その動きベクトルをもとに画
像が被写体ぶれか手ぶれかを判定し、その判定結果に応
じて画像の合成方法を適応的に切り換えるようにしてい
るので、画質が良好でダイナミックレンジの広い画像を
得ることができる。また請求項２に係る発明によれば、
動きベクトルを検出する領域を特定して狭めているの
で、少ない演算で動きベクトルを検出することができ
る。また請求項３に係る発明によれば、二値化した画像
同士を比較することにより不一致領域を特定し、単純な
処理により動きベクトルの検出領域を特定することがで
きる。また請求項４に係る発明によれば、二値画像の不
一致領域を画像間でぶれの発生している領域として検出
することが可能となる。また請求項５に係る発明によれ
ば、ノイズ等の発生する不一致領域を除外することがで
き、画像ぶれに起因する不一致領域の検出をより妥当性
の高いものにすることができる。また請求項６に係る発
明によれば、動きベクトルの算出において基準となるブ
ロックを一つに限定するようにしているので、少ない演
算量で動きベクトルの検出を行うことができる。また請
求項７に係る発明によれば、ブロックマッチング法を用
いることにより容易に動きベクトルを検出することがで
きる。また請求項８に係る発明によれば、無意味な動き
ベクトルが出力されるのを防止でき、ぶれ判定の精度を
向上させることができる。

【００８４】また請求項９に係る発明によれば、動きベ
クトル検出領域内の画像が輝度変化のない画像であるか
を調べ、該当する場合は動きベクトルの検出に適さない
画像として動きベクトルを出力しないようにしているの
で、動きベクトルの検出精度を向上させることができ
る。また請求項10に係る発明によれば、複数ブロックと
の類似度の間に差がない場合、算出した動きベクトルの
妥当性が低いと判断して出力しないようにしているの
で、動きベクトルの検出精度を向上させることができ
る。また請求項11に係る発明によれば、座標変換された
一方の二値画像と他方の二値画像間の不一致領域を求め
て画像の手ぶれを判定するようにしているので、画像が
手ぶれを起こしているかを正確に判定することができ
る。また請求項12に係る発明によれば、二つの二値画像
間の不一致画素数の総数を出力するようにしているの
で、それを画像ぶれの領域の大きさとしてぶれ判定を行
うことができる。また請求項13に係る発明によれば、画
像として一つの動きベクトルから画像が手ぶれしている
かを判定することができる。また請求項14に係る発明に
よれば、動きベクトルが検出できない画像に関しては、
一律に被写体ぶれと判定することができる。また請求項
15に係る発明によれば、被写体ぶれの部分にローパスフ
ィルタをかけるようにしているので、ぶれ部分をぼかす
ことができ、画質が良好でダイナミックレンジの広い画
像が得られる。また請求項16に係る発明によれば、手ぶ
れを補正する方向に一方の画像をずらして合成するよう
にしているので、画質の良好なダイナミックレンジの広
い画像が得られる。また請求項17に係る発明によれば、
一方の画像を動きベクトルをもとに座標をずらして合成
し、更に不一致領域に対応するぶれの残る領域にはロー
パスフィルタをかけてぼかすようにしているので、手ぶ
れと被写体ぶれを同時に補正して画質の良好なダイナミ
ックレンジの広い画像を得ることができる。

【図面の簡単な説明】

【図１】本発明に係る画像合成装置を含む撮像装置の基
本構成を示すブロック図である。

【図２】本発明の第１の実施の形態に係る画像合成装置
の構成を示すブロック図である。

【図３】図２に示した画像合成装置における動きベクト
ル検出部の構成を示すブロック図である。

【図４】画像ａ．ｂ間で被写体のずれている動きベクト
ル検出領域を示す図である。

【図５】ブロック設定手段で設定される基準ブロック
と、その周囲の探索範囲を示す説明図である。

【図６】図３に示した動きベクトル検出部における動き
ベクトル検出領域特定手段の構成を示すブロック図であ
る。

【図７】図６に示した動きベクトル検出領域特定手段に
おける比較部の構成を示すブロック図である。

【図８】図３におけるブロック設定手段のブロック設定
手法を示す説明図である。

【図９】図３における有効判定部の構成を示すブロック
図である。

【図10】図２におけるぶれ判定手段の構成を示すブロッ
ク図である。

【図11】図10に示したぶれ判定手段における差分算出手
段の構成を示すブロック図である。

【図12】画像全体が動きベクトルの方向に手ぶれを生じ
ていると仮定して二つの画像を合成した場合に生じる不
一致領域を示す図である。

【図13】図10に示したぶれ判定手段におけるぶれ判定信
号生成手段の構成を示すブロック図である。

【図14】図２における切換手段の構成を示すブロック図
である。

【図15】合成画像のローパスフィルタ処理領域を示す説
明図てある。

【図16】手ぶれによる画像ぶれの補正された画像を示す
説明図である。

【図17】本発明に係る画像合成装置の第２の実施の形態
を示すブロック図である。

【図18】図17における切換手段の構成を示すブロック図
である。

【図19】手ぶれと被写体ぶれが共に発生している画像を
合成した場合におけるローパスフィルタ処理領域を示す
説明図てある。

【図20】露光量の異なる画像を合成してダイナミックレ
ンジの広い画像を得る方法を示す概念図である。

【図21】被写体が移動したり手ぶれが発生している場合
の合成画像を示す図である。

【図22】従来の合成画像における手ぶれ補正手法を示す
説明図である。

【図23】従来の手ぶれ補正手法を適用した画像合成装置
の構成例を示すブロック図である。

【図24】従来の画像合成装置による合成画像を示す図で
ある。

【符号の説明】

１ＣＣＤ２画像処理装置３メモリ４画像合成装置５ＣＰＵ６バス 11 動きベクトル検出部 12 ぶれ判定手段 13，13ａ切換手段 14 手ぶれ補正処理部 15 被写体ぶれ補正処理部 16，17，18 スイッチ 21 動きベクトル検出領域特定手段 22 ブロック設定手段 23 動きベクトル算出部 24 有効判定部 31，32 二値化部 33 比較部 41 排他的論理和回路 42 カウンタ 43 比較器 44 セレクタ 51 白とび判定部 52 黒つぶれ判定部 53，54 最大値抽出部 55，56 最小値抽出部 57，58 減算器 59，60 比較器 61 座標変換手段 62 差分算出手段 63 ぶれ判定信号生成手段 71 排他的論理和回路 72 カウンタ 81 動きベクトル有無判定部 82 比較器 83 ＡＮＤ回路 91 座標変換手段 92 合成手段 93 ローパスフィルタ 94，95，96 スイッチ

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA20 BA02 BA26 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE08 CE12 CH18 DA07 DA17 DB02 DB08 DC32 DC36 5C022 AB12 AB17 AB55 AC42 AC69 5C024 CX43 CY21 HX05 HX29 HX50 HX57 5L096 AA02 AA06 CA04 DA01 EA43 GA08 HA04 MA03

Claims

【特許請求の範囲】

【請求項１】露光量の異なる複数の画像を合成し、ダ
イナミックレンジの広い画像を得る撮像装置において、
合成する画像間の差異が被写体ぶれによるものか手ぶれ
によるものかを判定するぶれ種類判定手段と、該ぶれ種
類判定手段からのぶれ判定信号に応じて画像合成方法を
切り換える切換手段とを備え、前記ぶれ種類判定手段
は、前記複数の画像のうち一方の画像と他方の画像との
間で画像全体としての１つの動きベクトルを検出して出
力する動きベクトル検出部と、該動きベクトル検出部で
検出された前記動きベクトルより画像が被写体ぶれ、手
ぶれのいずれであるかを判定し、ぶれ判定信号として出
力するぶれ判定手段とを有することを特徴とする画像合
成装置。
【請求項２】前記ぶれ種類判定手段は、動きベクトル
を検出する領域を特定する動きベクトル検出領域特定手
段をさらに備え、前記動きベクトル検出部は、前記動き
ベクトルを検出する領域内で動きベクトルを検出するこ
とを特徴とする請求項１に係る画像合成装置。
【請求項３】前記動きベクトル検出領域特定手段は、
前記一方の画像と前記他方の画像を各々所定の閾値で二
値化し二値画像を出力する二値化部と、前記一方の二値
画像と前記他方の二値画像との比較を行い不一致領域を
前記動きベクトルを検出する領域として出力する比較部
とを有することを特徴とする請求項２に係る画像合成装
置。
【請求項４】前記二値化部は、前記一方の画像を二値
化する閾値と前記他方の画像を二値化する閾値を、それ
ぞれの画像の露光量に比例した値とすることを特徴とす
る請求項３に係る画像合成装置。
【請求項５】前記比較部は、前記一方の二値画像と前
記他方の二値画像とを所定の方向に走査して両画像間の
比較を行い、その比較結果が一定数連続して不一致とな
った場合に限り前記動きベクトルを検出する領域を示す
信号を出力するように構成されていることを特徴とする
請求項３に係る画像合成装置。
【請求項６】前記動きベクトル検出部は、前記動きベ
クトル検出領域に対応する前記一方の画像内の領域内に
特定の一ブロックを設定するブロック設定手段と、この
特定の一ブロックに対してのみ前記他方の画像内の複数
のブロックとの類似度を演算し、最も類似度が高いブロ
ックへのベクトルを上記動きベクトルとして出力する動
きベクトル算出部とを有することを特徴とする請求項２
に係る画像合成装置。
【請求項７】前記動きベクトル算出部は、ブロックマ
ッチング法を用いて前記動きベクトルを検出して出力す
るように構成されていることを特徴とする請求項６に係
る画像合成装置。
【請求項８】前記動きベクトル検出部は、前記動きベ
クトルを前記ぶれ判定手段に出力するか否かを判定する
有効判定部を有することを特徴とする請求項６に係る画
像合成装置。
【請求項９】前記有効判定部は、入力画像の前記動き
ベクトル検出領域の輝度値が所定の値より小さく黒に近
いことを検出する黒レベル検出部と、入力画像の前記動
きベクトル検出領域の輝度値が所定の値より大きく白に
近いことを検出する白レベル検出部と、入力画像の前記
動きベクトル検出領域の各画素間の輝度値差が所定の値
より小さいことを検出する輝度差検出部とを有し、黒レ
ベル検出又は白レベル検出又は輝度差検出がいずれも検
出されなかった場合に、前記ぶれ判定手段に前記動きベ
クトルを出力させるように構成されていることを特徴と
する請求項８に係る画像合成装置。
【請求項10】前記有効判定部は、前記類似度の最大値
と最小値の差が所定の範囲以上であった場合に前記ぶれ
判定手段に前記動きベクトルを出力させるように構成さ
れていることを特徴とする請求項８に係る画像合成装
置。
【請求項11】前記ぶれ判定手段は、前記動きベクトル
をもとに前記一方の画像に係る二値画像の座標を水平及
び垂直方向にずらす座標変換手段と、前記座標変換手段
により座標変換された画像と、前記他方の画像に係る二
値画像を入力し、画像間の不一致領域を差分情報として
出力する差分算出手段と、前記差分情報より画像が被写
体ぶれ、手ぶれのいずれかを判定し、その判定信号を出
力するぶれ判定信号生成手段とを有することを特徴とす
る請求項３に係る画像合成装置。
【請求項12】前記差分算出手段は、前記比較部により
得られる二つの二値画像間の不一致画素の総数を出力す
るように構成されていることを特徴とする請求項11に係
る画像合成装置。
【請求項13】前記ぶれ判定信号生成手段は、前記差分
情報が所定の閾値以下であれば手ぶれと判定し、前記差
分情報が前記閾値以上であれば被写体ぶれと判定するよ
うに構成されていることを特徴とする請求項11に係る画
像合成装置。
【請求項14】前記ぶれ判定信号生成手段は、前記動き
ベクトルが検出されないときには被写体ぶれと判定する
するように構成されていることを特徴とする請求項11に
係る画像合成装置。
【請求項15】前記切換手段は、前記ぶれ判定信号が被
写体ぶれを示す場合、前記一方の画像と前記他方の画像
を合成して得られる画像に対して、前記動きベクトル検
出領域に対応する画像信号にローパスフィルタをかける
ように構成されていることを特徴とする請求項１に係る
画像合成装置。
【請求項16】前記切換手段は、前記ぶれ判定信号が手
ぶれを示す場合、前記動きベクトルをもとに前記一方の
画像を水平及び垂直方向に座標をずらした画像と、前記
他方の画像とを合成するように構成されていることを特
徴とする請求項１に係る画像合成装置。
【請求項17】前記複数の画像を各々所定の閾値で二値
化して二値画像を得て、前記他方の画像に係る二値画像
と、前記動きベクトルをもとに前記一方の画像に係る二
値画像の座標を水平及び垂直方向にずらした画像とか
ら、画像間の不一致領域を求め、前記切換手段は、前記
ぶれ判定信号が手ぶれを示す場合、前記動きベクトルを
もとに前記一方の画像を水平及び垂直方向に座標をずら
した画像と、前記他方の画像とを合成して得られる手ぶ
れ補正画像に対して、前記不一致領域に対応する画像信
号にローパスフィルタをかけるように構成されているこ
とを特徴とする請求項１に係る画像合成装置。