JPH10191136A

JPH10191136A - 撮像装置及び画像合成装置

Info

Publication number: JPH10191136A
Application number: JP8349311A
Authority: JP
Inventors: Ichiro Onuki; 一朗大貫
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-12-27
Filing date: 1996-12-27
Publication date: 1998-07-21

Abstract

(57)【要約】【課題】画素ずらしにより得られた複数の画像を合成
する場合に、被写体振れや手振れの影響を除去する。【解決手段】レンズ群Ｌ２を移動させて画素ずらしを
行いながら撮像素子ＩＭＳで撮像し、得られた複数の画
像を合成して一枚の高精細画像を得る。その際、撮像領
域を小領域に分割し、各画像について小領域毎に被写体
振れによる振れ量を調べる。画像合成の際に、被写体振
れが大きいときは、その被写体振れが生じている領域は
画像合成を行わず、被写体振れの生じていない領域につ
いて高精細化のための画像合成を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、結像光学系により
形成された被写体像と、この被写体像を光電変換する撮
像素子との相対位置を微少変化させて高精細な画像を得
るように構成された撮像装置及びこの撮像装置に用いて
好適な画像合成装置に関するものである。

【０００２】

【従来の技術】従来より、結像光学系により形成された
被写体像と、この被写体像を光電変換する撮像素子との
相対位置を微少変化させながら複数回の撮影を行って複
数組の画像信号を得、この複数組の画像信号を所定の方
法で合成することにより一枚の高精細な画像を得る、い
わゆる画素ずらし技術を用いた撮像装置が提案されてい
る。しかし、この画素ずらし技術はスチルカメラの多重
露光と同様に、最初の画像信号と最後の画像信号の取得
時刻の間隔が長くなり、その間に手振れや被写体振れが
生ずると画質の低下を来たし、画素ずらしによる高精細
化が望めない。そこでこの欠点を解消するための先行技
術文献として、例えば以下に示すような特許公開公報が
ある。

【０００３】特開平７−２４０９３２号公報では、撮影
光学系前方の可変頂角プリズム或いは撮影光学系後方の
移動レンズ群により、手振れによる像振れの解消と画素
ずらしによる画像の高精細化とを同時に達成している。
また特開平７−２８７２６８号公報でも、撮影光学系前
方の可変頂角プリズムを手振れ信号と画素ずらし信号と
に基づいて駆動し、撮像素子上の光学像を平行偏心させ
て、手振れによる像振れの解消と画素ずらしによる画像
の高精細化とを同時に達成している。また、撮影光学系
の焦点距離が所定値以上の時は画素ずらし駆動精度が低
下するため、画素ずらし制御を禁止する旨の開示もなさ
れている。

【０００４】一方、撮像素子を有する撮像装置では、撮
像素子の時系列的出力から画像の動きベクトルを求め、
撮影に先立って画像振れを判断することが可能である。
そこでこの分野の先行技術として、特開平２−５７０７
８号公報におていは、画素の動きベクトルを連続的に検
出し、この動きベクトルが最小になった時点での画像を
最終的な記録画像とすることにより、露光中の手振れの
影響を抑える旨の開示がある。また特開平８−１７２５
６８号公報では、画素ずらし用の複数の画像間の動きベ
クトルを求め、手振れや被写体振れによる像振れ成分を
補間によって取り除いてから画像合成を行い、画像の高
精細化を図る開示がなされている。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来例では以下のような欠点があった。上記特開平７−２
４０９３２号公報及び特開平７−２８７２６８号公報で
は、手振れ補正機構を用いて画素ずらしの際の手振れに
よる画質低下を低減するのみで、取得された画像の良否
を判定するものではない。また、被写体の動きによる像
振れは排除できない。

【０００６】また、特開平２−５７０７８号公報では、
画素ずらしの記載が無いため、通常の撮影画像に対する
手振れの影響を低減するという効果のみで、画素ずらし
による画像の高精細化は望めない。また、被写体の動き
による像振れは排除できない。

【０００７】さらに特開平８−１７２５６８号公報で
は、手振れ及び被写体振れによる撮影画面の一様な像振
れはある程度解消できるが、被写体の動きによる部分的
な像振れは解消できない。また、被写体の動きを動的に
表現する特殊効果を施した画像を得ることも不可能であ
る。

【０００８】本発明の第１の目的は、画素ずらし制御の
際に被写体振れの影響を排除し、高精細画像を得る撮像
装置を提供することである。本発明の第２の目的は、画
素ずらし実行過程での被写体振れ領域を正確に検出し、
画素ずらしの際の被写体振れによる画質低下を防止する
撮像装置を提供することである。本発明の第３の目的
は、画素ずらし実行過程での被写体振れ領域及び被写体
振れ量を正確に検出し、画素ずらしの際の被写体振れに
よる画質低下を防止する撮像装置を提供することであ
る。

【０００９】本発明の第４の目的は、被写体振れに応じ
た画像合成を行い、被写体振れが生じた時に、画素ずら
し制御によって画質がかえって低下してしまうのを防止
する撮像装置を提供することである。本発明の第５の目
的は、被写体振れが生じた領域に発生する画像の違和感
を防止する撮像装置を提供することである。本発明の第
６の目的は、被写体振れが生じた領域に発生する画像の
違和感を防止すると共に、被写体振れが生じない領域は
高精細画像を得る撮像装置を提供することである。

【００１０】本発明の第７の目的は、被写体振れが生じ
た領域に特殊効果を施し、画像の違和感を低減する撮像
装置を提供することである。本発明の第８の目的は、被
写体振れに応じて実行される画像合成形態を表示し、所
望の画像が得られるか否かを撮影者に報知する撮像装置
を提供することである。本発明の第９の目的は、異なる
時刻に取得された複数画像を合成して高品質の画像を得
る際、被写体振れの影響を排除し、高品質画像が得られ
る撮像装置を提供することである。

【００１１】本発明の第１０の目的は、異なる時刻に取
得された複数画像を合成して高品質の画像を得る際、手
振れ及び被写体振れの影響を排除し、高品質画像が得ら
れる撮像装置を提供することである。本発明の第１１の
目的は、異なる時刻に取得された複数画像を合成して高
品質の画像を得る際、手振れによる像振れを効果的に抑
制し、かつ被写体振れの影響を排除し、高品質画像が得
られる撮像装置を提供することである。

【００１２】本発明の第１２の目的は、複数画像を合成
して高品質の画像を得る際、被写体振れによる違和感の
発生を排除し、高品質画像が得られる画像合成装置を提
供することである。本発明の第１３の目的は、複数画像
を合成して高品質の画像を得る際、誤った合成による画
像の部分的な画質低下を排除し、全画面にわたって高品
質画像が得られる画像合成装置を提供することである。

【００１３】

【課題を解決するための手段】請求項１の発明において
は、被写体像を形成する撮影光学手段と、上記被写体像
を光電変換する撮像手段と、上記被写体像と上記撮像手
段との相対位置をその結像平面内で変化させる像移動手
段と、上記像移動手段を移動させながら上記撮像手段で
複数組の画像を得る画素ずらし手段と、上記複数組の画
像を合成して高精細画像を得る画像合成手段と、被写体
の動きによる上記複数組の画像間に生じた部分的な像振
れを検出する像振れ検出手段と、上記像振れ検出手段の
検出結果に基づいて上記画像合成手段の動作を制御する
動作制御手段とを設けている。

【００１４】また、請求項２の発明においては、上記像
振れ検出手段は、上記複数組の各画像を所定の複数領域
に分割し、この分割された領域毎の像振れを検出するよ
うにしている。請求項３の発明においては、上記像振れ
検出手段は、上記複数組の画像の相関演算手段を有し、
この相関演算手段の出力から被写体像の部分的な動き領
域を検出し、かつその動き領域の動きベクトルを検出す
るようにしている。請求項４の発明においては、上記画
像合成手段は複数の画像合成モードを有し、上記動作制
御手段は、上記像振れの大きさの判定結果に基づいて上
記画像合成モードを選択するようにしている。

【００１５】請求項５の発明においては、上記動作制御
手段は、上記部分的な像振れが所定値より大きい時は、
像振れを検出した所定の領域の画像合成を禁止するよう
にしている。請求項６の発明においては、上記動作制御
手段は、上記部分的な像振れが所定値より大きい時は、
像振れを検出した領域と像振れを検出しない領域とで、
異なる画像合成を行うようしている。

【００１６】請求項７の発明においては、上記動作制御
手段は、像振れを検出した領域において、取得画像の掃
引処理による画像生成を行うようにしている。請求項８
の発明においては、表示手段を設け、上記動作制御手段
は、画像合成手段の動作制御形態に応じて上記表示手段
を制御するようにしている。

【００１７】請求項９の発明においては、被写体像を形
成する撮影光学手段と、上記被写体像を光電変換する撮
像手段と、上記撮像手段によって所定時間間隔で複数組
の画像を得る複数画像取得手段と、上記複数組の画像を
合成して１組の画像を得る画像合成手段と、上記撮像手
段の撮像領域を複数領域に分割する領域分割手段と、上
記複数領域毎に上記複数組の画像間の相対関係を検出す
る相対関係検出手段と、上記複数領域毎の相対関係検出
結果を比較する比較手段と、上記比較手段の比較結果に
基づいて上記画像合成手段の動作を制御する動作制御手
段とを設けている。

【００１８】請求項１０の発明においては、被写体像を
形成する撮影光学手段と、上記被写体像を光電変換する
撮像手段と、上記撮像手段によって所定時間間隔で複数
組の画像を得る複数画像取得手段と、上記複数組の画像
を合成して１組の画像を得る画像合成手段と、上記撮影
光学手段に生じた手振れによる上記複数画像間の撮影画
面全体に渡る一様な像振れを検出する手振れ検出手段
と、被写体の動きによる上記複数画像間の撮影画面の一
部領域に生じた像振れを検出する被写体振れ検出手段
と、上記手振れ検出手段と被写体振れ検出手段の検出結
果に基づいて上記画像合成手段の動作を制御する動作制
御手段とを設けている。

【００１９】請求項１１の発明においては、被写体像を
形成する撮影光学手段と、上記被写体像を光電変換する
撮像手段と、上記撮像手段によって所定時間間隔で複数
組の画像を得る複数画像取得手段と、上記複数組の画像
を合成して１組の画像を得る画像合成手段と、上記撮影
光学手段に生じた手振れによる上記複数画像間の撮影画
面全体に渡る一様な像振れを光学的あるいは機械的に補
正する手振れ補正手段と、被写体の動きによる上記複数
画像間の撮影画面の一部領域に生じた像振れを検出する
被写体振れ検出手段と、上記被写体振れ検出手段の検出
結果に基づいて上記画像合成手段の動作を制御する動作
制御手段とを設けている。

【００２０】請求項１２の発明においては、複数組の画
像を合成して１組の画像を得る画像合成手段と、上記複
数組の画像間に生じた部分的な像振れ領域を検出する像
振れ領域検出手段と、上記像振れ領域における上記複数
組の画像間の動きベクトルを検出する動きベクトル検出
手段とを設け、上記画像合成手段は上記像振れ領域を上
記動きベクトルを用いた第１の方法で合成するととも
に、上記像振れ領域以外の領域は上記動きベクトルを用
いない第２の方法で合成するようにしている。

【００２１】請求項１３の発明においては、複数組の画
像を合成して１組の画像を得る画像合成手段と、上記複
数組の画像の相対関係が第１の関係になる第１画像領域
と、上記第１の関係とは異なる第２の関係になる第２画
像領域とに分割する画像領域分割手段とを設け、上記画
像合成手段は上記第１画像領域と上記第２画像領域とで
異なる画像合成を行うようにしている。

【００２２】

【作用】請求項１の発明によれば、複数組の画像間に生
じた部分的な像振れの検出結果に基づいて画像合成の動
作を制御することにより、被写体振れの影響を排除し、
かつ画素ずらしによる画像の高精細化を図る。

【００２３】請求項２の発明によれば、被写体振れの発
生した領域を抽出し、被写体振れに応じた画像合成を行
う。請求項３の発明によれば、複数画像間の相関演算か
ら被写体振れの発生した領域及び被写体振れ量を抽出
し、被写体振れに応じた画像合成を行う。請求項４の発
明によれば、所定値以上の被写体振れが発生した領域に
ついて、被写体振れを補正した画像合成を行う。

【００２４】請求項５の発明によれば、所定値以上の被
写体振れが発生した領域については、画素ずらしによる
複数画像の合成を禁止し、単一画像信号から最終画像信
号を生成する。請求項６の発明によれば、像振れを検出
した領域については被写体振れによる違和感の発生を防
ぐ画像合成を行い、像振れを検出しない領域については
高精細化の画像合成を行う。

【００２５】請求項７の発明によれば、像振れを検出し
た領域については、被写体の動きに応じて被写体像に動
感効果を与える画像合成を行う。請求項８の発明によれ
ば、画像合成手段の動作形態を表示し、撮影者に報知す
る。

【００２６】請求項９の発明によれば、複数領域毎に複
数組の画像間の相対関係の検出結果を比較し、その比較
結果に基づいて画像合成の動作を制御することにより、
被写体振れの影響を排除し、かつ画像合成による画像の
高品質化を図る。

【００２７】請求項１０の発明によれば、複数画像間の
撮影画面の一部領域に生じた像振れの検出結果に基づい
て画像合成の動作を制御することにより、手振れによる
像振れと被写体振れによる像振れを独立に検出し、この
検出結果に基づいて画像合成の動作を切り替えたり禁止
する。

【００２８】請求項１１の発明によれば、複数画像間の
撮影画面の一部領域に生じた像振れの検出結果に基づい
て画像合成の動作を制御することにより、手振れによる
像振れを光学的に補正した後、被写体振れによる像振れ
を補正した画像合成を行う。

【００２９】請求項１２の発明によれば、上記複数組の
画像間の動きベクトルを検出し、画像合成の際に、像振
れ領域を動きベクトルを用いた第１の方法で合成すると
ともに、像振れ領域以外の領域は動きベクトルを用いな
い第２の方法で合成することにより、被写体振れ発生領
域は被写体像の動きベクトルを用いた画像合成を行い、
被写体振れが発生しない領域は前記合成とは異なる合成
を行う。

【００３０】請求項１３の発明によれば、複数組の画像
の相対関係が第１の関係になる第１画像領域と、第１の
関係とは異なる第２の関係になる第２画像領域とに分割
し、上記第１画像領域と第２画像領域とで異なる画像合
成を行うことにより、通常の画像合成を行うと画質の低
下を来す領域については、通常とは異なる画像合成を行
う。

【００３１】

【発明の実施の形態】以下、本発明の第１〜４の実施の
形態について説明する。（第１の実施の形態）図１ないし図２５は本発明の第１
の実施の形態に係わる図である。図２は結像光学系の一
例を示したもので、焦点距離は１０ｍｍ〜３０ｍｍの３
倍ズームであり、同図（ａ）はワイド端（ｆ＝１０ｍ
ｍ）、同図（ｂ）はテレ端（ｆ＝３０ｍｍ）におけるレ
ンズの配置を示す。尚、この図２及び図３、図４は第１
〜４の実施の形態で共通に用いられる。

【００３２】この結像光学系は４つの群より成り、変倍
に当たっては第４群が固定で第１、第２、第３群が移動
し、焦点調節の際には第１群が移動する。そして第２群
を光軸に対して垂直方向に変位させることにより、結像
面上の像を変位させて画素ずらし及び手振れ補正を行
う。

【００３３】次に図３を用いて第２レンズ群の光束偏向
効果について説明する。図３は図２の各レンズ群を簡略
化して示したもので、同図（ａ）は第２群が所定量ｄ_L
だけ下方向にシフトした時の像側での光束偏向効果を、
同図（ｂ）は同じく第２群が所定量ｄ_Lだけ下方向にシ
フトした時の物体側での光束偏向効果を示している。ま
ず図３（ａ）について説明する。物体側より第１群の光
軸上に入射した光線は、下方向にシフトした負の第２群
により、上方向に偏向され、第３群、第４群を通過して
像面上の像高ｄ_IMの位置に到達する。この時の第２群シ
フト量ｄ_Lと像変位量高ｄ_IMの比を偏心敏感度Ｓ_dと称
することにすると、これら３つの値は、ｄ_IM＝Ｓ_d×ｄ_L ………（１）で関係づけられる。

【００３４】そして偏心敏感度Ｓ_dは第２群以降のレン
ズ群の配置によって変わるため、本実施の形態ではズー
ミングに応じて変化する。一方、本実施の形態は第１群
によるフロントフォーカスを採用しているため、偏心敏
感度Ｓ_dはフォーカシングによっては変動しない。ただ
し第４群等でフォーカシングするリアフォーカス方式を
採用すれば、フォーカシングによっても偏心敏感度Ｓ_d
は変動する。そこで一般的に偏心敏感度Ｓ_dは焦点距離
ｆと被写体距離Ｒの関数Ｓ_d（ｆ，Ｒ）と表わされるた
め、式（１）も、ｄ_IM＝Ｓ_d（ｆ，Ｒ）×ｄ_L ………（２）と置き換えられる。

【００３５】次に画素ずらし実行時の第２群のシフト駆
動量について説明する。図４は画素ずらしの原理を説明
するための図で、撮像素子の受光部拡大図を示してい
る。図４において、受光面上には画素としての正方形の
受光部が横方向Ｗ_Y、縦方向Ｗ _Pの間隔にて規則的に配
置される。この受光面上に結像された像の分解能は上記
画素間隔Ｗ_Y、Ｗ_Pで規定されてしまうが、画素と像と
の相対位置を変えながら複数の像信号を取り込み、これ
を所定の法則に従って合成・復元することで像の分解能
を向上できる。例えば像のある点が、受光面中央の受光
部の中心ＩＭ１に位置する時、第１組目の像信号（２次
元センサのすべての画素信号）を取り込み、記憶する。
次に該像の点がＩＭ２に位置するように像を右方向Ｘ_Y
＝Ｗ_Y／２だけ変位させ、第２組目の像信号を取り込
み、記憶する。同様に像点をＩＭ３、ＩＭ４に移動して
第３、第４組目の像信号を取り込み、合計４組の像信号
を合成することで像に関する情報量が４倍になり、画像
の空間分解能を水平、垂直方向とも２倍に高められる。

【００３６】ここで画素ずらしのために像をＸ_Y（＝Ｗ
_Y／２）或いはＸ_P（＝Ｗ_P／２）だけ移動させるため
には前記図３（ａ）で示した第２群の像移動作用を利用
する。すなわち、像を上方向にＸ_Pだけ変位させるため
には、式（２）に従って、ｄ_L＝Ｘ_P／Ｓ_d（ｆ，Ｒ） ………（３）で求まるｄ_Lだけ第２群を下方向にシフトさせればよ
い。そして画素ずらしのための像変位量Ｘ_Pはいつも一
定値だが、偏心敏感度Ｓ_d（ｆ，Ｒ）はズーミング、フ
ォーカシングによって変わるため、第２群シフト量ｄ_L
も光学系の状態に応じて変える必要がある。そこで本発
明では後述するように、ズーミング、フォーカシングの
状態に応じた偏心敏感度Ｓ_d（ｆ，Ｒ）に関するデータ
を第１の係数として、マイクロプロセッサ（ＣＰＵ）内
のＲＯＭ（Read Only Memory）に記憶させている。

【００３７】次に図３（ｂ）について説明する。像面の
中央より光学系の光軸ｃに沿って左に射出した光線は第
４群、第３群を通過し、下方向にシフトした負の第２群
により、上方向に偏向される。そして第１群を通過した
光線は結像系の光軸ｃと平行な軸ｃ′に対しθ_OB の角
度だけ偏向して物体側に投射される。この時の第２群シ
フト量ｄ_Lと光軸偏向角θ_OBとの比を角度敏感度Ｓθと
称することにすると、これら３つの値は、 θ_OB＝Ｓθ×ｄ_L ………（４）で関係づけられる。そして角度敏感度Ｓθは第２群以前
のレンズ群の配置によって変わるため、本実施の形態で
はズーミング及びフォーカシングに応じて変化する。そ
こで一般的に角度敏感度Ｓθも前述の偏心敏感度Ｓ_dと
同様に、焦点距離ｆと被写体距離Ｒの関数Ｓθ（ｆ，
Ｒ）と表わされるため、式（４）も、 θ_OB＝Ｓθ（ｆ，Ｒ）×ｄ_L ………（５）と置き換えられる。

【００３８】次に手振れ補正時の第２群のシフト駆動量
について説明する。結像光学系と撮像素子を有するカメ
ラ本体が手振れによって下方向に、すなわち、結像光学
系の先端が下を向く方向に角度θ_CAMERAだけ回転振れを
生じたとする。この時の手振れによる像振れはカメラに
対して被写体が上方向に角度θ_OB（＝θ_CAMERA）だけ移
動した時の像変位と等価である。そこで図３（ｂ）を参
照すると、被写体が上方向に角度θ_OBだけ移動した時に
は第２群を下方向にｄ_Lだけシフト駆動させれば、被写
体像の移動を解消させることができる。すなわち、手振
れ検知センサが検知した手振れ角度θ_CAMERAと、式
（５）に基づき、次式、ｄ_L＝θ_CAMERA／Ｓθ（ｆ，Ｒ） ………（６）で求まるｄ_Lだけ第２群を下方向にシフトさせれば手振
れによる像振れを解消できる。

【００３９】そして手振れ角度θ_CAMERAは時々刻々変わ
るとともに、角度敏感度Ｓθ（ｆ，Ｒ）もズーミング、
フォーカシングによって変わるため、第２群シフト量ｄ
_Lも光学系の状態に応じて変える必要がある。そこで本
発明では前述の偏心敏感度Ｓ _d（ｆ，Ｒ）と同様に、ズ
ーミング、フォーカシングの状態に応じた角度敏感度Ｓ
θ（ｆ，Ｒ）に関するデータを第２の係数として、マイ
クロプロセッサ内のＲＯＭに記憶させている。

【００４０】図１は本発明の第１の実施の形態による撮
像装置の構成図である。図１において、ＣＭＲはカメラ
本体、ＬＮＳはレンズで、カメラ本体ＣＭＲに対して着
脱可能な交換レンズとして構成されている。まずカメラ
本体ＣＭＲについて説明する。ＣＣＰＵはカメラ内マイ
クロコンピュータ（以下マイコンと略す）で、ＲＯＭ、
ＲＡＭ、Ａ／Ｄ、Ｄ／Ａ変換機能を有する１チップマイ
コンである。カメラ内マイコンＣＣＰＵはＲＯＭに格納
されたカメラのシーケンスプログラムに従って、自動露
出制御（ＡＥ）、自動焦点調節（ＡＦ）、画素ずらし制
御等のカメラの一連の動作を行う。そのためにカメラ内
マイコンＣＣＰＵは、カメラ本体ＣＭＲ内の周辺回路及
びレンズＬＮＳと通信して各々の回路やレンズの動作を
制御する。

【００４１】カメラ本体ＣＭＲとレンズＬＮＳとを結合
するマウント部には４組の接続端子が設けられる。カメ
ラ内電源ＢＡＴはカメラ内各回路やアクチュエータへ電
源を供給するとともに、ラインＶＣＣを介してレンズＬ
ＮＳにも電源供給する。ＤＣＬはカメラ内マイコンＣＣ
ＰＵから後述するレンズ内マイコンＬＣＰＵへ信号を送
信するライン、ＤＬＣはレンズ内マイコンＬＣＰＵから
カメラ内マイコンＣＣＰＵへ信号を送信するラインで、
この２つのラインを通じてカメラ本体ＣＭＲはレンズＬ
ＮＳを制御する。またカメラ、レンズのグラウンドもラ
インＧＮＤを介して接続される。

【００４２】ＩＭＳはＣＣＤ等の撮像素子、ＩＭＤＲは
撮像素子ＩＭＳの電荷蓄積、電荷転送等を制御するドラ
イバである。ＭＥＭは撮影した画像の画像信号データを
記録・保存するためのメモリで、半導体メモリ、磁気デ
ィスク、光ディスク等が用いられる。ＤＩＳＰは液晶デ
ィスプレイ等で構成された表示部で、撮像素子ＩＭＳで
得た画像を表示するとともにカメラの動作状態等も表示
する。ＢＳはハーフミラーで構成されたビームスプリッ
タで、撮影光束の一部をセンサＳＮＳへ導く。センサＳ
ＮＳは結像光学系の焦点状態を検出する焦点検出センサ
と、被写体輝度を検出する測光センサとからなる。ＣＮ
Ｃはデスクトップコンピュータ等の外部装置と接続する
ためのコネクタで、前記メモリＭＥＭの内容を外部に送
信したり、外部装置からの信号でカメラ本体ＣＭＲを制
御するのに用いられる。

【００４３】ＳＷＭＮはメインスイッチで、このスイッ
チがオンされるとカメラ内マイコンＣＣＰＵは撮影に関
する所定のプログラムの実効を許可する。ＳＷ１、ＳＷ
２はカメラのレリーズボタンに連動したスイッチで、そ
れぞれレリーズボタンの第１ストローク、第２ストロー
クの押下でオンとなる。ＳＷＳＦは画素ずらしモード選
択スイッチで、画素ずらしの許可／不許可や、複数の画
素ずらしのモードから所定のモードを選択するのに用い
られる。ＳＷＩＳは手振れ補正（Image Stabilization
、以下図面ではＩＳと略す）選択スイッチで、手振れ
補正の許可／不許可を選択するスイッチである。ＳＷＭ
ＯＤは撮影モード選択スイッチで、撮影者が所定のモー
ドを選択すると、撮影者の意図するＡＥモード、ＡＦモ
ードが設定されるほか、前記画素ずらしモードと手振れ
補正モードも自動設定される。

【００４４】次にレンズＬＮＳ側について説明する。Ｌ
ＣＰＵはレンズ内マイコンで、カメラ内マイコンＣＣＰ
Ｕと同じくＲＯＭ、ＲＡＭ、Ａ／Ｄ、Ｄ／Ａ変換機能を
有する１チップマイコンである。レンズ内マイコンＬＣ
ＰＵはカメラ内マイコンＣＣＰＵから信号ラインＤＣＬ
を介して送られてくる命令に従い、後述するフォーカシ
ングアクチュエータ、ズーミングアクチュエータ、絞り
アクチュエータ及び像振れ補正アクチュエータの駆動制
御を行う。またレンズの各種動作状況やレンズ固有のパ
ラメータを信号ラインＤＬＣを介してカメラ内マイコン
ＣＣＰＵへ送信する。Ｌ１ないしＬ４は、図２で説明し
た第１ないし第４のレンズ群に相当するレンズ群であ
り、ズーム光学系を構成し、この光学系により被写体像
が撮像素子ＩＭＳ上に形成される。

【００４５】ＦＡＣＴはフォーカシングアクチュエータ
で、第１レンズ群Ｌ１を光軸方向に進退させて焦点調節
を行い、Ｌ１の位置すなわち被写体距離に相当する情報
をフォーカスエンコーダＦＥＮＣが検知し、レンズ内マ
イコンＬＣＰＵに送出する。ＺＡＣＴはズーミングアク
チュエータで、不図示のズーム機構により第１レンズ群
Ｌ１ないし第３レンズ群Ｌ３を光軸方向に進退させてズ
ーミングを行い、該ズーム情報をズームエンコーダＺＥ
ＮＣが検知し、レンズ内マイコンＬＣＰＵに送出する。
ＤＦＭは光量調節用の絞り、ＤＡＣＴは絞りＤＦＭを駆
動する絞りアクチュエータである。

【００４６】ＧＲＰ、ＧＲＹは振動ジャイロ等の手振れ
センサで、カメラの上下（ピッチ）方向及び左右（ヨ
ー）方向の角度振れを検知するため、同一のセンサＧＲ
Ｐ、ＧＲＹが設置される。そして手振れ検知結果はレン
ズ内マイコンＬＣＰＵに送信される。第２レンズ群Ｌ２
は光軸に対して垂直な平面内で２次元方向に独立にシフ
ト可能に構成される。そして、光軸に対して上下方向す
なわちピッチ振れ補正方向にはピッチアクチュエータＩ
ＡＣＴＰで駆動され、左右方向（当図では紙面に垂直方
向）すなわちヨー振れ補正方向にはヨーアクチュエータ
ＩＡＣＴＹで駆動される。なおこのシフト機構について
は本出願人による特開平６−３７２７号公報等に記載さ
れ公知となっている。

【００４７】図５は本発明の画素ずらしと手振れ補正の
主要動作を説明するためのブロック図であり、２点鎖線
で囲まれたＣＣＰＵブロックがカメラ内マイコンＣＣＰ
Ｕで実行された部分、同じくＬＣＰＵブロックがレンズ
内マイコンＬＣＰＵで実行される部分である。１１は撮
影条件設定回路で、ＡＥ、ＡＦ、画素ずらし、手振れ補
正の各機能の動作モードが設定される。１２はタイミン
グパルス発生回路で、画素ずらしのための像移動光学系
駆動及び撮像素子の画像信号取り込みタイミングを制御
するトリガ信号を発生する。１３は撮像素子駆動回路
で、撮影条件設定回路１１及びタイミングパルス発生回
路１２の制御信号に従い、所定のタイミング、所定の電
荷蓄積条件で画像信号を取り込む。１４は一時記憶回路
で、取り込んだ画像信号を画素ずらし処理するために一
時的に記憶する。１５は画像合成回路で、画素ずらし操
作で得た複数組の画像信号を合成し、高精細な画像を得
る。１６は記録部で、図１のメモリＭＥＭに相当し、合
成された高精細画像信号を記録する。

【００４８】２１は画素ずらし信号発生回路で、画素ず
らし用に像を変位させるための指令信号を発生する。２
２は第１係数発生回路で、結像光学系のフォーカス及び
ズーム情報に応じて前述の偏心敏感度Ｓ_d（ｆ，Ｒ）に
相当するデータをレンズ内マイコンＬＣＰＵのＲＯＭか
ら読み出し、前記画素ずらし信号の大きさに補正して像
移動量がＸ_Y、或いはＸ_Pとなるような第２群のシフト
量指令値を算出する。

【００４９】３１は手振れセンサで、前述の振動ジャイ
ロＧＲＰ、ＧＲＹに相当する。３２は手振れ信号演算回
路で、手振れ検知センサ３１が検出した手振れの角速度
信号のフィルタリング及び積分演算を行い。手振れ角度
を算出する。３３は第２係数発生回路で、結像光学系の
フォーカス及びズーム情報に応じて前述の角度敏感度Ｓ
θ（ｆ，Ｒ）に相当するデータをレンズ内マイコンＬＣ
ＰＵのＲＯＭから読み出し、前記手振れ角度信号の大き
さを補正して、像振れ防止制御のための第２群シフト量
指令値を算出する。

【００５０】４１は合成回路で、２２で求めた画素ずら
しのための第２群シフト量指令値と、３３で求めた手振
れ補正のための第２群シフト量指令値を加算する。４２
は手振れ補正アクチュエータで、図１のＩＡＣＴＰ、Ｉ
ＡＣＴＹに相当し、第２レンズ群が合成回路４１で求め
た駆動指令値に従って駆動するよう、アクチュエータを
制御する。４３は第２レンズ群が実際にシフト駆動され
ていることを示すブロックで、該駆動により撮像素子１
３上に像が移動制御される。以上の各ブロックにより画
素ずらし及び手振れ補正が同時に実行される。

【００５１】図６及び図７は本発明の第１の実施の形態
におけるカメラ本体及び交換レンズ内の各マイコンＣＣ
ＰＵ、ＬＣＰＵの制御フローを示すフローチャートであ
る。まず、図１を参照しながら図６を用いて、カメラ内
マイコンＣＣＰＵの制御フローを説明する。カメラ本体
ＣＭＲ側の電源スイッチ（メインスイッチ）ＳＷＭＮが
オンされると、カメラ内マイコンＣＣＰＵへの給電が開
始され、ステップ（１０１）を経てステップ（１０２）
からの動作を開始する。ステップ（１０２）において
は、レリーズボタンの第１段階押下によりオンとなるＳ
Ｗ１の状態検知を行い、このスイッチＳＷ１がオフの時
にはステップ（１０３）へ移行する。そして、このステ
ップ（１０３）において、レンズＬＮＳ側へ像振れ補正
動作（以下ＩＳ（Image Stabilization の略）と称す）
を停止する命令を送信する。上記ステップ（１０２）及
び（１０３）はスイッチＳＷ１がオンとなるか、或いは
電源スイッチＳＷＭＮがオフとなるまで繰り返し実効さ
れる。

【００５２】上記フローを実行中にスイッチＳＷ１がオ
ンされると、ステップ（１０２）からステップ（１１
１）へ移行する。ステップ（１１１）においては、カメ
ラ内マイコンＣＣＰＵはラインＤＣＬを介してレンズ内
マイコンＬＣＰＵに対し、像振れ補正開始命令を送信す
る。次のステップ（１１２）においては、レンズの開放
Ｆナンバー、焦点距離等のレンズ固有のパラメータをレ
ンズ内マイコンＬＣＰＵから取得するパラメータ通信を
行う。ステップ（１１３）ではセンサＳＮＳによって被
写体輝度を測定し、所定の露出制御プログラム線図に従
って撮像素子の像信号蓄積時間や絞り制御値を演算する
とともに、その結果をレンズ内マイコンＬＣＰＵにも送
信する。ステップ（１１４）ではセンサＳＮＳによって
焦点状態を検出するとともに、フォーカシングレンズの
駆動命令をレンズ内マイコンＬＣＰＵに送信する。

【００５３】ステップ（１１５）では前述の画素ずらし
モード選択スイッチＳＷＳＦの状態検知を行うととも
に、前記測光結果等を基に、画素ずらし実行の可否や画
素ずらし回数等の画素ずらし条件を設定する。ステップ
（１１６）では、レリーズボタンの第２段階押下により
オンとなるＳＷ２の状態検知を行い、このスイッチＳＷ
２がオフの時にはステップ（１１１）へ戻り、ステップ
（１１１）ないしステップ（１１５）を繰り返し実行す
る。ステップ（１１６）でＳＷ２がオンと判定されたら
ステップ（１１７）へ移行する。

【００５４】ステップ（１１７）では画素ずらし回数を
カウントするカウンタＣＮＴをゼロに初期化する。ステ
ップ（１１８）では画素ずらし制御のトリガ信号となる
タイミングパルスを発生し、レンズ内マイコンＬＣＰＵ
にも送信する。ステップ（１１９）ではドライバＩＭＤ
Ｒを介して、撮像素子ＩＭＳの電荷蓄積、及び蓄積した
電荷の転送・読み出し制御を行う。ステップ（１２０）
では、前記ステップ（１１９）で読み出した画像信号を
カメラ内マイコンＣＣＰＵ内のＲＡＭに一時記憶する。
ステップ（１２１）では、画素ずらし回数カウンタＣＮ
Ｔに１を加え、更新する。ステップ（１２２）ではカウ
ンタＣＮＴが所定値Ｎ_SFに達したか否かを判定する。そ
してカウンタＣＮＴが所定値Ｎ_SFに達していない場合に
はステップ（１１８）に戻って次のタイミングパルス発
生を待ち、画素ずらし制御を続行する。ステップ（１２
２）でカウンタＣＮＴが所定値Ｎ_SFに達したら、ステッ
プ（１２３）へ移行する。

【００５５】ステップ（１２３）ではレンズ内マイコン
ＬＣＰＵに対し、画素ずらしが完了したことを送信す
る。ステップ（１２４）は画素ずらしによって得た複数
の画像信号から手振れによる像振れを判定するサブルー
チンである。詳しい動作内容は図２３等で説明する。ス
テップ（１２５）は画素ずらしによって得た複数の画像
信号から被写体振れによる像振れを判定するサブルーチ
ンである。詳しい動作内容は図２４等で説明する。ステ
ップ（１２６）は前記ステップ（１２４）及び（１２
５）で得た手振れ、被写体振れの結果に基づいて、所定
の方法で複数組画像を合成し、１組の画像を得るサブル
ーチンである。詳しい動作内容は図２５等で説明する。
ステップ（１２７）では上記ステップ（１２６）で得た
画像をメモリＭＥＭに記録する。

【００５６】以上で撮影動作が終了し、ステップ（１０
２）へ戻る。そして当ステップ（１０２）でスイッチＳ
Ｗ１がオンの状態であればステップ（１１１）以降の動
作を繰り返し、スイッチＳＷ１がオフであれば、ステッ
プ（１０３）でレンズ内マイコンＬＣＰＵに対し、像振
れ補正動作の停止を命令する。

【００５７】図７はレンズ内マイコンＬＣＰＵの制御を
示すフローチャートである。図７において、カメラ側の
電源スイッチＳＷＭＮのオンにより、交換レンズ側にも
電源が供給されると、ステップ（１３１）よりステップ
（１３２）へ進む。ステップ（１３２）においてはＩＳ
開始命令の判別を行い、カメラ本体ＣＭＲからＩＳ開始
命令が来ていない時はステップ（１３３）へ進む。ステ
ップ（１３３）においてはＩＳ停止命令の判別を行い、
カメラ本体ＣＭＲからＩＳ停止命令が来ていない時はス
テップ（１３２）へ戻る。ＩＳ停止命令が来ている時は
ステップ（１３４）へ進み、ピッチ及びヨー方向の像振
れ補正アクチュエータＩＡＣＴを停止する。ステップ
（１３２）ないしステップ（１３４）を実行中にカメラ
内マイコンＣＣＰＵよりＩＳ開始命令が送信されると、
ステップ（１３２）よりステップ（１４１）へ移る。

【００５８】ステップ（１４１）では振れ検知センサＧ
ＲＰ、ＧＲＹを起動し、ピッチ、ヨー方向の手振れ信号
を入力する。ステップ（１４２）は図６のステップ（１
１２）に相当し、カメラ内マイコンＣＣＰＵの要求に従
ってレンズ固有のパラメータをカメラ側に送信する。ス
テップ（１４３）では光学系のズーム状態、フォーカス
状態を検出するために、ズームエンコーダＺＥＮＣ、フ
ォーカスエンコーダＦＥＮＣを検知する。ステップ（１
４４）では上記ステップ（１４３）の検知結果に基づい
て、画素ずらしのための第１係数及び手振れ補正のため
の第２係数をＲＯＭテーブル内から読み出す。ステップ
（１４５）ではステップ（１４１）で得た手振れ信号と
ステップ（１４４）で得た第２係数に基づいて像振れ補
正アクチュエータＩＡＣＴを駆動制御し、手振れによる
像振れを解消させる。

【００５９】ステップ（１４６）ではカメラ内マイコン
ＣＣＰＵから入手した測光情報を基に、アクチュエータ
ＤＡＣＴを介して絞りＤＦＭを駆動し、光量調節する。
ステップ（１４７）ではカメラ内マイコンＣＣＰＵから
入手した焦点検出情報を基に、フォーカシングアクチュ
エータＦＡＣＴを駆動し、焦点調節する。ステップ（１
４８）では画素ずらしのためのタイミングパルスの受信
有無を判断する。そしてタイミングパルスを受信してい
なければ、ステップ（１４１）に戻り、手振れ補正、絞
り制御、焦点調節動作を繰り返し実行する。ステップ
（１４８）でタイミングパルスの受信を確認すると、ス
テップ（１４９）へ進む。

【００６０】ステップ（１４９）では画素ずらしのため
に第２レンズ群をピッチ或いはヨー方向に駆動するため
の基準波形を生成する。ステップ（１５０）では上記ス
テップ（１４９）で生成した画素ずらし基準波形に、ス
テップ（１４４）で読み出した第１係数を乗じた画素ず
らし駆動波形を生成し、これと手振れ補正用の信号とを
合成する。そしてこの合成信号に従って像振れ補正アク
チュエータＩＡＣＴを駆動制御することで、手振れ補正
と画素ずらしのため像駆動が同時にかつ正確に実行され
る。

【００６１】ステップ（１５１）ではカメラ内マイコン
ＣＣＰＵから画素ずらし完了信号が送信されているか否
かの判定を行い、未送信であれば画素ずらしは完了して
いないのでステップ（１４８）へ戻り、次のタイミング
パルスの受信を待つ、そしてステップ（１４８）ないし
ステップ（１５０）を所定回数実施し、画素ずらし動作
終了後に送信される画素ずらし完了信号を受信したら、
ステップ（１５１）よりステップ（１３２）へ戻る。そ
してステップ（１３２）でＩＳ開始命令を受信せず、ス
テップ（１３３）でＩＳ停止命令を確認したら、ステッ
プ（１３４）で像振れ補正アクチュエータＩＡＣＴを停
止し、撮影に伴う一連のレンズ制御動作が終了する。

【００６２】図８は上記図６及び図７のフローによるカ
メラ及びレンズの動作を説明するタイミングチャートで
ある。（ａ）、（ｂ）はそれぞれカメラのレリースボタ
ンに連動したスイッチＳＷ１、ＳＷ２の状態を示す。
（ｃ）は画素ずらしのタイミング制御用トリガ信号であ
る。（ｄ）は撮像素子ＩＭＳの電荷蓄積タイミングを示
す。（ｅ）、（ｆ）はピッチ及びヨー方向の画素ずらし
基準波形を示す。（ｇ）、（ｈ）は手振れセンサＧＲ
Ｐ、ＧＲＹが検知した手振れ波形で、ここでは検知信号
を適宜積分等の処理を行った後の振れ変位波形が示され
ている。（ｉ）、（ｊ）は像振れ補正用第２レンズ群の
ピッチ、ヨー方向の駆動変位を示す。

【００６３】以下、図８を用いて図６及び図７のフロー
をまとめて概説する。時刻ｔ₁においてスイッチＳＷ１
がオンされると、手振れ信号（ｇ）、（ｈ）が出力され
る。すると、この信号に第２係数を乗じた値に従って第
２レンズ群Ｌ２が波形（ｉ）、（ｊ）のごとく駆動制御
され、手振れ補正がなされる。

【００６４】時刻ｔ₂においてスイッチＳＷ２がオンさ
れると、所定時間後の時刻ｔ₁₁に第１のタイミングパル
スＴＰ１が発生される。するとこれを受けて、撮像素子
ＩＭＳは測光結果から演算された蓄積時間に従い、時刻
ｔ₁₂から時刻ｔ₁₃の期間中に受光部の電荷蓄積を行う。
時刻ｔ₁₃で電荷蓄積が終了すると、蓄積電荷の転送・読
み出しと共に、ヨー方向の画素ずらし基準波形（ｆ）が
発生される。するとヨー方向のレンズ変位（ｊ）は、上
記基準波形（ｆ）に第１係数を乗じた値と前記手振れ補
正波形とを加算した指令値にて駆動される。

【００６５】時刻ｔ₁₁から所定時間経過後の時刻ｔ₂₁に
は第２のタイミングパルスＴＰ２が発生される。すると
同様に撮像素子ＩＭＳは、時刻ｔ₂₂から時刻ｔ₂₃の期間
中に受光部の電荷蓄積を行う。そして時刻ｔ₂₃で電荷蓄
積が終了すると、蓄積電荷の転送・読み出しと共に、ピ
ッチ方向の画素ずらし基準波形（ｅ）が発生される。す
るとピッチ方向のレンズ変位（ｉ）も、上記基準波形
（ｅ）に第１係数を乗じた値と前記手振れ補正波形とを
加算した指令値にて駆動される。

【００６６】時刻ｔ₂₁から所定時間経過後の時刻ｔ₃₁に
は第３のタイミングパルスＴＰ３が発生される。すると
同様に撮像素子ＩＭＳは、時刻ｔ₃₂から時刻ｔ₃₃の期間
中に受光部の電荷蓄積を行う。そして時刻ｔ₃₃で電荷蓄
積が終了すると、蓄積電荷の転送・読み出しと共に、ヨ
ー方向の画素ずらし基準波形（ｆ）は元の値に戻され
る。するとヨー方向のレンズ変位（ｊ）は、手振れ補正
波形のみに応答した指令値にて駆動される。

【００６７】時刻ｔ₃₁から所定時間経過後の時刻ｔ₄₁に
は最後のタイミングパルスＴＰ４が発生される。すると
同様に撮像素子ＩＭＳは、時刻ｔ₄₂から時刻ｔ₄₃の期間
中に受光部の電荷蓄積を行う。そして時刻ｔ₄₃で電荷蓄
積が終了すると、蓄積電荷の転送・読み出しと共に、ピ
ッチ方向の画素ずらし基準波形（ｅ）も元の値に戻され
る。するとピッチ方向のレンズ変位（ｉ）も、手振れ補
正波形のみに応答した指令値にて駆動される。そして時
刻ｔ₅でスイッチＳＷ１がオフされると、手振れ検知及
び第２レンズ群の駆動が停止される。

【００６８】上記手振れ補正及び画素ずらし制御中の時
刻ｔ₁₁、ｔ₂₁、ｔ₃₁、ｔ₄₁、ｔ₅における像の位置は前
述の図４において、それぞれＩＭ１、ＩＭ２、ＩＭ３、
ＩＭ４、ＩＭ１となり、各像の上下、左右の位置が画素
間隔の半分だけずれた画素ずらしが実現される。なお画
素ずらし基準波形が矩形波ではなく台形波となっている
のは、第２レンズ群の急激な位置変化による衝撃を緩和
するためである。

【００６９】次に図９ないし図１５を用いて画素ずらし
により得られた複数画像から、手振れによる像振れ判定
を行う方法について説明する。図９及び図１０は２組の
１次元画像信号の相関度から両画像の相対位置ずれ量を
算出する原理を示す。両図において、横軸は撮像素子の
画素座標、縦軸は各画素の出力信号値である。

【００７０】図９（ａ）のＩＭ１はある時刻に取得され
た第１の画像信号組の出力、ＩＭ２はそれから所定時間
後に取得された第２の画像信号組の出力で、両画像は画
素ずらし動作或いは手振れによる像振れのために、画素
間隔の整数倍だけ位置ずれしているものとする。図９
（ｂ）は第２の画像信号ＩＭ２を左方向に２画素分シフ
トしたもので、両画像信号は完全に一致する。

【００７１】ここで２画像の相関度（Correlation ）Ｃ
Ｒを、ＣＲ＝１−Σ｛ＡＢＳ（ＩＭ２（ｉ）−ＩＭ１（ｉ））／（ＩＭ１（ｉ）＋ＩＭ２（ｉ））｝ ………（７）ただしＡＢＳは絶対値、ｉは画素番号、Σはｉ＝１から
所定画素番号までの和演算子と定義すると、図９の例で
は画素シフト量ＳＴが−２の時、相関度ＣＲが最大値１
となる。この状態をＳＴ_max＝−２、ＣＲ_max＝１と表
わす。

【００７２】図１０（ａ）は２組の画像間隔が画素間隔
の整数倍とは異なる場合（同図では１．５画素）の説明
図である。図１０（ｂ）は第２の画像信号ＩＭ２を左方
向に１画素分シフトしたもので、相関度ＣＲは０．８と
なる。そしてさらにもう１画素分シフトしても相関度Ｃ
Ｒは１にはならない。

【００７３】この時の画素シフト量ＳＴと相関度ＣＲの
関係を表わしたものが図１１である。図１１によると、
画素シフト量ＳＴを＋２から−３まで変化させながら相
関度ＣＲを計算すると、画素シフト量ＳＴが−１と−２
で相関度ＣＲが最大値０．８となる。そこで相関度ＣＲ
を直線回帰で補間すると、画素シフト量ＳＴが−１．５
の時、相関度ＣＲが真の最大値０．９になることが判
る。すなわち、ＳＴ_max＝−１．５、ＣＲ_max＝０．９
となる。

【００７４】上記の説明は２組の１次元画像における像
ずれ量の算出方法だが、これを拡張することにより、２
組の２次元画像における上下、左右方向の像ずれ量も算
出できる。具体的には特開昭６４−１０７８７号公報に
開示されているように、２次元の画像信号を上下、左右
方向の１次元信号に射影圧縮し、それぞれの相関演算に
より像の動きベクトルすなわち上下、左右方向の像ずれ
量を検出できる。或いは、２次元画像を２方向に順次ず
らしながら相関演算し、２次元の動きベクトルを直接求
めることも可能である。

【００７５】図１２は、手振れの影響を受けずに正確な
画素ずらし制御が実行された場合の、像移動状況を示す
図であり、図４でも説明した像と撮像素子の相対位置関
係を示している。図１２において、像のある点が左下の
画素上の点ＩＭ１に位置する状態で第１の画像信号の取
得（撮像素子の電荷蓄積及び読み出し）を行う。続いて
水平方向（手振れ補正のヨー方向に対応）に０．５画素
間隔分の画素ずらしを行って像位置をＩＭ２に移動さ
せ、第２の画像信号を取得する。

【００７６】図１３は上記図１２で取得した第１及び第
２の画像信号の相関度ＣＲを示す図である。横軸は２組
の画像信号の相関演算を行う際の画素の相対シフト量
で、水平方向のシフト量をＳＴＨ、垂直方向のシフト量
をＳＴＶとしてある。縦軸は相関度ＣＲである。図中の
ＣＲＨは、２組の２次元画像を水平方向に相対的にＳＴ
Ｈ画素（±３画素）だけシフトして演算した相関度を、
ＣＲＶは同じく垂直方向にＳＴＶ画素（±３画素）だけ
シフトして演算した相関度を示す。

【００７７】ここで図１２の画素ずらしは水平方向のみ
に０．５画素ずらし、垂直方向（手振れ補正のピッチ方
向）にはずらしていないため、相関度ＣＲが最大となる
画素シフト量（これを最大相関シフト量と称す）は、Ｓ
ＴＨ_max＝−０．５、ＳＴＶ _max＝０となる。またこの
時の相関度最大値ＣＲＨ_max、ＣＲＶ_maxは１を若干下
回る値となる。これは、第１及び第２の画像が画素間隔
の整数倍とは異なるずれ量で取得されたため、各画素の
信号が完全には一致していないからである。そしてこの
現象は画素ずらしを行っていない上下方向についても当
てはまるため、ＣＲＶ_maxも１とはならない。

【００７８】図１４は、画素ずらし制御中に大きな手振
れが発生し、手振れ補正を行っても像振れが発生した場
合の像移動状況を示す。図１４において、像のある点が
左下の画素上の点ＩＭ１に位置する状態で第１の画像信
号の取得を行う。続いて破線矢印のごとく水平方向に
０．５画素間隔分の画素ずらしを行ったが、手振れによ
る像振れが上乗せされ、像位置がＩＭ２に移動した時
に、第２の画像信号を取得している。

【００７９】図１５は上記図１４で取得した第１及び第
２の画像信号の相関度ＣＲを示す図で、図中の各記号は
前記図１３と同一の意味を表わす。図１５によると、最
大相関シフト量はＳＴＨ_max＝−０．７、ＳＴＶ_max＝
−０．３となる。そこで図１３における手振れが無い場
合の最大相関シフト量との差（計算式上は和）をδ_H、
δ_Vとすると、 δ_H＝−０．７＋（−０．５）＝０．２ ………（８） δ_V＝−０．３＋０＝０．３ ………（９）となり、上記δ_H、δ_Vがそれぞれ画素ずらし中の水
平、垂直方向の手振れによる像振れ量（単位は画素間
隔）となる。この像振れ量δ_H、δ_Vが所定値、例えば
δ_MAX＝±０．１画素間隔を超えると、画素ずらしによ
る高精細化の効果が打ち消されてしまうため、その時に
は画素ずらしモードの変更等の対処を行う。

【００８０】ここで、本実施の形態では手振れ補正機構
が動作しているため、理想的には手振れによる像振れは
発生しないはずだか、現実には振れ検知センサの出力エ
ラー、手振れ補正能力以上の大きな振れの発生等で像振
れが発生する可能性がある。そして上記原因による像振
れは撮影画面の全面に渡って一様に生じる。従って、以
上の様な相関演算を撮影画面のほぼ全面に渡って行うこ
とにより、手振れによる像振れの有無を判定できる。

【００８１】次に図１６ないし図１７を用いて被写体の
動きによる像振れ、すなわち被写体振れの検出方法につ
いて説明する。図１６は撮像素子ＩＭＳの撮像領域上に
結像された被写体像を示す図で、画面中央に主被写体Ｏ
ＢＭに相当する人物が、その後方には従被写体ＯＢＳ
が、更に後方には背景ＢＫＧが投影されている。そして
人物の一部すなわち腕が矢印方向に動いているものとす
る。

【００８２】図１７は図１６の被写体を画素ずらししな
がら４回撮像し、被写体振れ補正を施さずに合成したも
のである。画素ずらし撮影は多重露光と同様の操作を行
うため、手振れ補正による画面全体の像振れを補正して
も、複数回露光時の被写体の動きは解消できない。従っ
て図１７のごとく、人物の腕は４本のずれた像となり、
かつその後方の従被写体ＯＢＳが透けて見えるという特
殊な画像になってしまい、通常の撮影意図とは大きく異
なる写真が得られてしまう。

【００８３】図１８は上述の様な被写体の動きによる部
分的な像振れを検出するための、撮像領域の分割方法を
説明する図である。同図において、撮像領域は複数、例
えば水平１８×垂直１２＝２１６の小領域ＡＲ（ｋ）に
分割される。（ｋ＝１〜Ｋ、Ｋ＝２１６）そして各領域
ＡＲ（ｋ）には同図のごとく、複数の画素が含まれる。
そこで各領域ＡＲ（ｋ）について、前述の図９ないし図
１５で説明した方法に基づいて相関演算及び像振れ計算
を行う。そして、すべての領域の像振れがほぼゼロであ
れば手振れ、被写体振れとも生じておらず、すべての領
域の像振れがほぼ等しくて所定値以上なら手振れが生じ
ており、特定領域で像振れが大きい時は、部分的な被写
体振れが生じていると判断できる。

【００８４】図１９は図１６の被写体を画素ずらししな
がら撮影し、各領域ＡＲ（ｋ）について像振れ判定した
もので、動いた腕を含む実線で囲まれた領域ＡＲＭＶの
像振れが大きいことを示している。

【００８５】図２０は上記像振れ検出結果に基づき、画
素ずらしで得た複数画像組を合成した結果を示す図であ
る。同図において、図１９と同一の実線で囲まれた領域
以外の領域は、画素ずらしで得られた４組の画像信号を
合成して高精細画像を得ている。一方、実線で囲まれた
領域ＡＲＭＶは、画素ずらしで得られた４組の画像信号
のうち、所定の１組、例えば第１組目の画像信号のみを
用いて画像合成を行う。その結果、領域ＡＲＭＶ内の像
は画素ずらしによる高精細化は達成できないが、振れに
よる多重露光効果が防止され、かつ領域ＡＲＭＶ以外の
静止被写体領域は画素ずらしによる高精細化が達成でき
る。

【００８６】次に図２１及び図２２を用いて画素ずらし
により得た複数組の画像信号を合成し、１組の高精細画
像信号を生成する原理について説明する。図２１は画素
ずらしにおける像と撮像素子の相対位置関係を説明する
図である。図２１の（ａ）は図４でも説明したもので、
カメラ内に固定された撮像素子の画素に対して像がＩＭ
１→ＩＭ２→ＩＭ３→ＩＭ４→ＩＭ１の順に移動するこ
とを示している。これはその下の（ｂ）のごとく、不動
の像に対して撮像素子の位置がＩＧ１→ＩＧ２→ＩＧ３
→ＩＧ４→ＩＧ１の順に移動するのと全く等価である。
そこで撮像素子がＩＧ１に位置する時の各画素の出力信
号をＩＧ１（ｉ，ｊ）とする。ここで撮像素子は（ｍ×
ｎ）画素のエリアセンサである。同様にＩＧ２、ＩＧ
３、ＩＧ４に位置する時の出力信号をＩＧ２（ｉ，
ｊ）、ＩＧ３（ｉ，ｊ）、ＩＧ４（ｉ，ｊ）とする。

【００８７】これら４組の画像信号の合成方法を説明し
たものが図２２である。４組の（ｍ×ｎ）画素の信号を
合成した（２ｍ×２ｎ）画素の新たな画素信号組をＩＭ
Ｇ（ｕ，ｖ）とする。そして画素信号ＩＭＧ（ｕ，ｖ）
の左上の４画素は、４組の元の画素を図のごとく組み立
てたものである。そこでこの図を基に画像復元方法を考
えると、ＩＭＧ（ｕ＝２ｉ−１，ｖ＝２ｊ） ←ＩＧ１（ｉ，ｊ）………（１０）ＩＭＧ（ｕ＝２ｉ−１，ｖ＝２ｊ−１）←ＩＧ２（ｉ，ｊ）………（１１）ＩＭＧ（ｕ＝２ｉ，ｖ＝２ｊ−１） ←ＩＧ３（ｉ，ｊ）………（１２）ＩＭＧ（ｕ＝２ｉ，ｖ＝２ｊ） ←ＩＧ４（ｉ，ｊ）………（１３）の式に従えば、４組の画像信号から１組の高精細画像信
号を生成できる。

【００８８】上記の方法は、手振れ、被写体振れがな
く、全画面が画素ずらしにより高精細化可能な場合の画
像合成方法であるが、本発明では撮影画面を小領域に分
割し、各領域毎に像振れ検知と画像合成を行うため、上
式（１０）ないし（１３）による画像合成もこの小領域
毎に実行される。そして被写体振れによる像振れの発生
している領域では、４組の画像の合成の代わりに１組の
画像のみを用いた画像形成を行う。この時は上式（１
０）ないし（１３）の代わりに次式、ＩＭＧ（ｕ＝２ｉ−１，ｖ＝２ｊ） ←ＩＧ１（ｉ，ｊ）………（１４）ＩＭＧ（ｕ＝２ｉ−１，ｖ＝２ｊ−１）←ＩＧ１（ｉ，ｊ）………（１５）ＩＭＧ（ｕ＝２ｉ，ｖ＝２ｊ−１） ←ＩＧ１（ｉ，ｊ）………（１６）ＩＭＧ（ｕ＝２ｉ，Ｖ＝２ｊ） ←ＩＧ１（ｉ、ｊ）………（１７）に基づいて画像形成を行う。

【００８９】すなわち、被写体振れがなく、式（１０）
ないし（１３）に従った画像合成を行う領域は、所定の
被写体像に対する情報量すなわち被写体像を構成する画
素数が４倍に増加している。一方、被写体振れが生じた
ため、式（１４）ないし（１７）に従った画像合成を行
う領域は、被写体像を構成する画素数は同じく４倍に増
加しているが、情報量は増加していない、すなわち像の
精細度は画素ずらしを行う前のオリジナル画像と同一に
なる。

【００９０】なお、以上の合成方法は、白黒撮像素子或
いは色分解プリズムを用いた多板式カラー撮像素子に適
用されるもので、モザイク型色フィルターを用いた単板
式カラー撮像素子では画素ずらし量や画像合成方法の点
で多少の違いはあるが、基本的な考えは同一である。

【００９１】図２３は上記図９ないし図１５で説明した
画素ずらし中の手振れによる像振れ判定の作用を示すフ
ロー図で、図６のステップ（１２４）の手振れ判定サブ
ルーチンに相当する。まずステップ（１６１）では、画
素ずらし回数カウンタＣＮＴを０に初期化する。ステッ
プ（１６２）では、前述の式（７）に従って第１及び第
２の画像信号組の相関度を演算する。ステップ（１６
３）では、上記相関演算結果から、最大相関シフト量Ｓ
ＴＨ_ma _x、ＳＴＶ_maxを計算する。

【００９２】ステップ（１６４）では、相関度最大値Ｃ
ＲＨ_max、ＣＲＶ_maxを計算する。ステップ（１６５）
では、像振れ量δ_H、δ_Vを計算する。ステップ（１６
６）では、カウンタＣＮＴに１を加えて更新する。ステ
ップ（１６７）では、カウンタＣＮＴと画素ずらし回数
を表わす所定値Ｎ _SFとの比較を行う。例えばＮ_SF＝４の
場合、ステップ（１６２）ないしステップ（１６５）の
演算は、第１と第２の画像信号組、第２と第３の画像信
号組、第３と第４の画像信号組の間で合計３回行う事に
なる。従ってＣＮＴがＮ_SF−１に達していなければステ
ップ（１６２）に戻って次の画像信号組に対するステッ
プ（１６２）ないしステップ（１６６）の演算を繰り返
し実行する。ＣＮＴがＮ_SF−１に達したら、ステップ
（１６８）に進む。

【００９３】ステップ（１６８）では、前記ステップ
（１６５）で計算したすべての像振れ量について、所定
値δ₁との比較を行う。そしてすべての像振れ量が所定
値δ₁より小さければ、手振れによる像振れはほぼゼロ
であると判断し、ステップ（１６９）にて手振れの発生
を表わすフラグＦＬＨＤをゼロにセットする。一方、ス
テップ（１６８）において、計算した像振れ量のうち、
１つでも所定値δ₁より大きいものがあればステップ
（１７０）に進んで手振れフラグＦＬＨＤに１を格納す
る。ステップ（１６９）或いはステップ（１７０）実行
後はステップ（１７１）に進み、図６のメインフローに
リターンする。以上のフローにより、手振れによる像振
れを判定する。

【００９４】図２４は前記図１８及び図１９で説明した
画素ずらし中の被写体振れによる像振れ判定の作用を示
すフロー図で、図６のステップ（１２５）の被写体振れ
判定サブルーチンに相当する。まずステップ（１７６）
では、撮像領域を図１８のごとくＫ個の小領域ＡＲ
（ｋ）に分割する。ステップ（１７７）では、分割した
所定領域ＡＲ（ｋ）について、像振れ計算を行う。具体
的には図２３のステップ（１６１）ないし（１６７）の
演算を該当する小領域ＡＲ（ｋ）について行い、その領
域での水平及び垂直方向の像振れを計算する。

【００９５】ステップ（１７８）では、前記ステップ
（１７７）で計算した像振れ量について、所定値δ₂と
の比較を行う。そして像振れ量が所定値δ₂より小さけ
れば、その小領域内の被写体振れによる像振れはほぼゼ
ロであると判断し、ステップ（１７９）にて被写体振れ
の発生を表わすフラグＦＬＯＢ（ｋ）をゼロにセットす
る。一方ステップ（１７８）において、計算した像振れ
量のうち、１つでも所定値δ₂より大きいものがあれば
ステップ（１８０）に進んで被写体振れフラグＦＬＯＢ
（ｋ）に１を格納する。ステップ（１８１）では上記ス
テップ（１７７）ないし（１８０）が分割したすべての
領域について実行されたか否かの判定を行う。そして実
行未完であればステップ（１７７）に戻って未実行の領
域の計算を行う。一方すべての領域の像振れ判定が終了
したら、ステップ（１８１）よりステップ（１８２）に
進んで、図６のメインフローにリターンする。以上のフ
ローにより、各領域の被写体振れによる像振れを判定す
る。

【００９６】図２５は前記図２０ないし図２２で説明し
た画像合成の作用を示すフロー図で、図６のステップ
（１２６）の画像合成サブルーチンに相当する。まずス
テップ（１８６）では、画素ずらし用に取得した複数画
像間に手振れによる像振れが発生しているか否かの判定
を行う。具体的には、図２３のステップ（１６９）或い
はステップ（１７０）で設定された手振れフラグＦＬＨ
Ｄの内容判定を行う。そして手振れフラグＦＬＨＤが１
で手振れが大きい時は、ステップ（１９４）にジャンプ
して手振れ警告を行い、ステップ（１９５）にてメイン
ルーチンにリターンする。ステップ（１８６）で手振れ
フラグＦＬＨＤがゼロ、すなわち手振れが小さいと判定
された時は、ステップ（１８７）に進む。

【００９７】ステップ（１８７）では、図１８において
分割された小領域ＡＲ（ｋ）毎の被写体振れ判定を行う
ための引数ｋをゼロにリセットする。ステップ（１８
８）では、小領域ＡＲ（ｋ）の被写体振れの大きさ判定
を行う。具体的には、図２４のステップ（１７９）或い
はステップ（１８０）で設定された被写体振れフラグＦ
ＬＯＢ（ｋ）の内容判定を行う。そして被写体振れフラ
グＦＬＯＢ（ｋ）が１で被写体振れが大きい時はステッ
プ（１８９）に進み、式（１４）ないし（１７）を用い
た１画像のみによる画像合成を行う。

【００９８】一方ステップ（１８８）で被写体振れフラ
グＦＬＯＢ（ｋ）がゼロ、すなわち被写体振れが小さい
と判定された時はステップ（１９０）に進み、式（１
０）ないし（１３）を用いた４画像による画像合成を行
う。ステップ（１８９）或いは（１９０）実行後はステ
ップ（１９１）に進み、引数ｋに１を加えて更新する。
ステップ（１９２）では引数ｋが小領域ＡＲ（ｋ）の分
割数Ｋに一致したか否かの判定を行う。そしてｋとＫが
一致していなけれはステップ（１８８）に戻って小領域
ＡＲ（ｋ）の被写体振れ判定を繰り返し行い、ｋとＫが
一致したらステップ（１９３）に進む。ステップ（１９
３）では、前記ステップ（１８９）或いは（１９０）で
実行した画像合成モードの内容を表示部ＤＩＳＰに表示
し、どのような画像合成がなされたかを撮影者に報知す
る。そしてステップ（１９５）にてメインルーチンにリ
ターンする。

【００９９】以上のフローにより、手振れが大きい時は
画素ずらしによって複数画像を取得しても画像の合成は
行わない。また被写体振れが大きい時は被写体振れの生
じている領域は画像合成を行わず、被写体振れの生じて
いない領域について高精細化のための画像合成を行う。
そして手振れ、被写体振れのいずれもが生じていない時
は、全画面にわたって高精細化のための画像合成を行
う。

【０１００】上記第１の実施の形態によれば、（１）画素ずらし操作で得た複数の画像信号同士の相関
演算結果から被写体振れによる像振れを抽出し、像振れ
の大小に応じて画素ずらしによる画像合成の方法を変え
るため、被写体振れによって違和感のある画像が得られ
てしまうのを防止するとともに、画素ずらしによる高精
細な画像を得ることができる。（２）被写体振れの生じた領域のみ画素ずらしによる正
規の画像合成の代わりに単一の画像による画像生成を行
うため、動いた被写体に対しては高精細化は図れない
が、ストップモーション的な表現を与えるとともに、静
止被写体に対しては高精細な画像を得ることができる。

【０１０１】（３）画素ずらし後の画像合成の実行結果
を表示手段に用いて撮影者に報知するため、撮影者は得
られた画像の精細度を確認できるとともに、動く被写体
がどのように撮影されたかを把握でき、所望の画像が得
られない時には撮影をやり直す等の対策を講じることが
できる。（４）光学的手振れ補正手段を有するため、画素ずらし
時の手振れによる画質低下を防止できる。という効果が
ある。

【０１０２】（第２の実施の形態）前記第１の実施の形
態は、被写体振れが生じた領域は複数組の画像による合
成の代わりに単一の画像による画像形成を行い、いわゆ
るストップモーション表現を与える実施の形態であっ
た。以下に示す第２の実施の形態は、被写体振れが生じ
た領域には複数画像のつなぎ処理を施し、動感表現を与
える実施の形態を示す。

【０１０３】図２６ないし図２８は第２の実施の形態の
画像信号生成方法と効果を示す図、図２９はカメラの制
御フローである。以下、図面を用いて第２実施の形態の
動作を説明する。図１６で説明したように、部分的に動
く被写体を画素ずらし撮影すると、図１７のごとく動き
のある被写体部分は複数画像間の像が大きくずれ、動き
のない被写体部分は画素ずらし制御量に相当する微少ず
れのある画像が得られる。そこでまず、第１組目と第２
組目の画像の相関演算を行い、像振れのある領域を抽出
したものが図２６の実線で囲まれた領域ＡＲＭＶであ
る。

【０１０４】次に領域ＡＲＭＶ内の画像について再び相
関演算を行い、動いた被写体領域を抽出する。その結
果、第１組目の動き画像はＯＢＭＶ₁、第２組目の動き
画像はＯＢＭＶ₂の領域であると判断される。続いて両
動き画像間の動きベクトル検知を行う。この場合、２像
の相関演算の際には２画像の平行移動方向の画像シフト
だけでなく、回転移動方向の画像シフトも行いながら相
関演算を行い、角度成分も含んだ第１組目と第２組目の
画像の動きを検出する。図２６では上記動き画像がＧ_MV
を中心とし、角度θ_MVだけ回転したと判定される。

【０１０５】図２７は上記方法で検出した２組の画像に
おける動き画像領域とその動きベクトルから、画像のつ
なぎ処理を施す方法を説明したものである。まず図２６
の第１の動き画像ＯＢＭＶ₁において、動きベクトルの
始点側の境界線を抽出する。これが図２７の線ＳＨ₁で
ある。続いて同じく第２の動き画像ＯＢＭＶ₂におい
て、動きベクトルの始点側の境界線を抽出しこれを線Ｓ
Ｈ₂で表わす。そして境界線ＳＨ₁を動きベクトルにし
たがって掃引しながら、掃引領域の画像信号を生成し、
境界線ＳＨ₂に到達したところで掃引操作を終了する。

【０１０６】以上の掃引操作を第２組目と第３組目の画
像間、及び第３組目と第４組目の画像間で行い、かつ第
４組目の画像における動き領域の像はそのまま用いる。
一方被写体振れのない領域は、画素ずらしに適した正規
の画像合成を行う。

【０１０７】図２８は以上の画像合成操作により得られ
た最終画像を示したものである。被写体振れの生じた部
分は掃引領域ＡＲＳＰと第４組目の動き画像ＯＢＭＶ₄
とで構成され、被写体の動きを動感表現しながら最終画
像でストップモーション的な表現もしている。また上記
掃引処理により、背景の画像が透けて見えることも阻止
できる。

【０１０８】図２９は第２の実施の形態のカメラのサブ
ルーチンフローである。本実施の形態のカメラのメイン
フロー、手振れ判定サブルーチン、被写体振れ判定サブ
ルーチン、及びレンズ制御フローはそれぞれ第１の実施
の形態の図６、図２３、図２４及び図７と同一である。
そして本実施の形態で新規の部分は、図６のカメラのメ
インフローにおけるステップ（１２６）の画像合成サブ
ルーチンであるため、この部分を図２９に示す。

【０１０９】まずステップ（２８６）では、画素ずらし
用に取得した複数画像間に手振れによる像振れが発生し
ているか否かの判定を行う。具体的には第１の実施の形
態と同様、図２３のステップ（１６９）或いはステップ
（１７０）で設定された手振れフラグＦＬＨＤの内容判
定を行う。そして手振れフラグＦＬＨＤが１で手振れが
大きい時は、画素ずらしによる画像合成は行わずにステ
ップ（２９４）にジャンプし、表示装置ＤＩＳＰに画像
合成非実行の表示を行ってから、ステップ（２９７）に
てメインルーチンにリターンする。

【０１１０】ステップ（２８６）で手振れフラグＦＬＨ
Ｄがゼロ、すなわち手振れが小さいと判定された時は、
ステップ（２８７）に進む。ステップ（２８７）では、
被写体振れ有無の判定を行う。具体的には、図２４のス
テップ（１７９）或いはステップ（１８０）で設定され
た被写体振れフラグＦＬＯＢ（ｋ）の内容判定を行い、
被写体振れ発生領域の有無を判定する。そして被写体振
れ発生領域が１つもないと判定されたら、ステップ（２
９５）にジャンプする。ステップ（２９５）では画素ず
らし制御で取得された４組の画像を、式（１０）ないし
（１３）を用いて合成し、撮影画像の全領域にわたって
高精細画像を得る。続いてステップ（２９６）にて、全
画像領域にわたって画素ずらしにより高精細化が図られ
たことを表示部ＤＩＳＰに表示する。そしてステップ
（２９７）にてメインルーチンにリターンする。

【０１１１】一方ステップ（２８７）で１つでも被写体
振れのある領域が確認されたら、ステップ（２８８）に
進む。ステップ（２８８）では図２６で説明したよう
に、動きのある被写体部分の抽出を行う。ステップ（２
８９）では上記抽出した動き画像の動きベクトルを演算
する。ステップ（２９０）では図２７で説明したよう
に、動き画像の境界線を抽出する。ステップ（２９１）
では抽出した動き画像と動きベクトルから、被写体振れ
が発生する領域の掃引処理を行う。また掃引処理の終了
位置には第４組目の画像を設定する。ステップ（２９
２）では被写体振れのない領域について、式（１０）な
いし（１３）を用いた画像合成を行う。ステップ（２９
３）では被写体振れ発生領域について、動感合成処理を
施した事を表示部ＤＩＳＰに表示する。そしてステップ
（２９７）にてメインルーチンにリターンする。

【０１１２】以上フローにより、被写体振れが大きい領
域を検出し、これに掃引処理を施すことによって部分的
な動きを示す被写体に対して動感を与え、かつ被写体振
れの生じていない領域については高精細化のための画像
合成を行う。

【０１１３】上記第２の実施の形態によれば、前記第１
の実施の形態の効果（１）（３）（４）を有すると共
に、（５）動いた画像間をつなぎ（掃引）処理で補間して動
感を与え、かつ動きの最終画像も併せて用いるため、動
いている人物や自動車等も違和感なく表現できるととも
に、動きのない静止被写体像は画素ずらしによって高精
細化が図れる。という効果がある。

【０１１４】（第３の実施の形態）上記第２の実施の形
態は動きのある被写体の動き過程を掃引処理でつなぎ、
かつ動き終了時の画像を組み込むことによって、動き被
写体の静止画情報を残しながら動感表現を与える実施の
形態であった。以下に示す第３の実施の形態は、動きの
ある全領域を掃引処理でつなぎ、流し撮り等に適した画
像を再生する実施の形態を示す。

【０１１５】図３０及び図３１は第３の実施の形態の画
像信号生成方法と効果を示す図、図３２はカメラの制御
フローである。以下、図面を用いて第３の実施の形態の
作用を説明する。図３０は、第２の実施の形態の図２７
に対応するもので、図２６で抽出した動き画像の境界線
抽出結果を示している。ここで、第２の実施の形態では
抽出した動き画像において、動きベクトルの始点側の境
界線のみを抽出しているが、本実施の形態では動きベク
トルの始点側と終点側の両方の境界線を抽出している。
すなわち図３０において、第１組目と第２組目の画像信
号から動いた被写体に対する動感処理を施す場合、第１
組目の動き画像の始点側境界線ＳＨ₁₁と終点側境界線Ｓ
Ｈ₁₂、及び第２組目の動き画像の始点側境界線ＳＨ₂₁と
終点側境界線ＳＨ₂₂の４つの境界線を抽出する。

【０１１６】続いて２つの始点側境界線ＳＨ₁₁とＳＨ₂₁
との間を実線で示した矢印のごとく掃引処理によって画
像を生成する。ついで終点側境界線ＳＨ₁₂とＳＨ₂₂との
間を破線で示した矢印のごとく掃引処理によって画像生
成する。以上の掃引操作を第２組目と第３組目の画像
間、及び第３組目と第４組目の画像間で行う。そして、
最期に始点側境界線の掃引画像と終点側境界線の掃引画
像との平均化による重ねあわせを行うことにより、被写
体振れの生じた領域全域に渡って、動きベクトル方向に
被写体が連続的に流れる。一方被写体振れのない領域
は、第２の実施の形態と同様に画素ずらしに適した正規
の画像合成を行う。

【０１１７】図３１は以上の画像合成操作により得られ
た最終画像を示したものである。被写体振れの生じた部
分は全領域が掃引領域ＡＲＳＰとなり、この領域内では
被写体が連続的に流れて撮影され、より動感を強調した
映像となっている。また上記掃引処理により、第２の実
施の形態と同様に背景の画像が透けて見えることも阻止
できる。

【０１１８】図３２は第３の実施の形態のカメラのサブ
ルーチンフローである。本実施の形態のカメラの制御フ
ローは図２９に示した第２の実施の形態の画像合成サブ
ルーチンの一部を変更したものなので、変更点のみを説
明する。図２９に示した第２の実施の形態の画像合成サ
ブルーチンにおいて、ステップ（２９０）の境界線抽出
とステップ（２９１）の掃引処理が、図３２の第３の実
施の形態ではステップ（３９０）の境界線抽出と、ステ
ップ（３９１）の掃引処理に代わり、更にステップ（３
９２）の平均化処理が追加された点が異なる。以下上記
変更点の説明をする。

【０１１９】ステップ（３９０）の境界線抽出では、図
３０に示したように、動き画像の始点側及び終点側境界
線の抽出を行う。ステップ（３９１）では上記抽出した
始点側及び終点側境界線の掃引処理を行う。ステップ
（３９２）では上記始点側及び終点側の掃引画像の平均
化を行う。

【０１２０】以上のフローにより、被写体振れが大きい
領域を検出し、この領域全体に掃引処理を施すことによ
って部分的な動きを示す被写体に対して大きな動感を与
え、かつ被写体振れの生じていない領域については高精
細化のための画像合成を行う。

【０１２１】上記第３の実施の形態によれば、第１の実
施の形態の効果（１）（３）（４）を有すると共に、（６）動いた画像領域全体をつなぎ（掃引）処理で補間
して動感を与えるため、動いている人物や自動車等も違
和感なく表現できるとともに、動きのない背景画像は画
素ずらしによって高精細化が図れる。特に本実施の形態
では動いている被写体を追いながら撮影し、動きのある
被写体を止めて背景を流す、いわゆる流し撮りに適す
る。という効果がある。

【０１２２】（第４の実施の形態）前記第１ないし第３
の実施の形態は、手振れ及び被写体振れの状況に応じ
て、カメラが画像合成方法を自動で選択し、実行する実
施の形態であった。以下に示す第４の実施の形態は、カ
メラが画素ずらしのための複数画像を取得した後、撮影
者が所望の画像合成方式を選択できる実施の形態を示
す。

【０１２３】本実施の形態では、図１に示したカメラの
画像合成モード選択スイッチＳＷＣＭＰと画像合成開始
スイッチＳＷＳＴを用いて所定のプログラムを実行す
る。図１の画像合成モード選択スイッチＳＷＣＭＰはカ
メラ内マイコンＣＣＰＵに接続された複数ポジション、
例えば４ポジションを有するスイッチで、撮影者は所望
の画像合成方式を得るために、このスイッチＳＷＣＭＰ
を所定の位置にセットする。画像合成開始スイッチＳＷ
ＳＴは同じくカメラ内マイコンＣＣＰＵに接続されたプ
ッシュスイッチで、このスイッチが撮影者によってオン
されると、画像合成モード選択スイッチＳＷＣＭＰによ
って選択された画像合成モードに従って画像合成を開始
する。

【０１２４】図３３は第４の実施の形態の制御フロー図
である。以下に図３３を用いて第４の実施の形態の作用
を説明する。前記第１ないし第３のいずれかの実施の形
態に従って被写体の撮影を行った後、撮影者によって画
像合成開始スイッチＳＷＳＴがオンされると、ステップ
（４０１）より合成フローの実行を開始する。

【０１２５】ステップ（４０２）では、上記画像合成モ
ード選択スイッチＳＷＣＭＰの状態判別を行い、選択さ
れた画像合成モードの認識を行う。ステップ（４０３）
では、上記選択された画像合成モードを表示部ＤＩＳＰ
に表示する。ステップ（４０４）では、上記選択された
画像合成モードに応じた分岐処理を行う。当ステップに
おいて、画素ずらし制御によって得られた複数画像の合
成を行わないモード（これを番号ゼロで表わす）が選択
されたと判定したら、画像合成は行わずにステップ（４
０８）にジャンプして、原画像をそのままメモリＭＥＭ
に記録する。ステップ（４０４）において、ストップモ
ーションモード（番号１で表わす）が選択されていた
ら、ステップ（４０５）に進む。ステップ（４０５）で
は、第１の実施の形態の図２４及び図２５と同等のフロ
ーを実行し、図２０に示した合成画像を得る。その後ス
テップ（４０８）において、合成された画像をメモリＭ
ＥＭに記録する。

【０１２６】ステップ（４０４）において、動感モード
（番号２で表わす）が選択されていたら、ステップ（４
０６）に進む。ステップ（４０６）では、第２の実施の
形態の図２９と同等のフローを実行し、図２８に示した
合成画像を得る。その後ステップ（４０８）において、
合成された画像をメモリＭＥＭに記録する。ステップ
（４０４）において、流し撮りモード（番号３で表わ
す）が選択されていたら、ステップ（４０７）に進む。
ステップ（４０７）では、第３の実施の形態の図３２と
同等のフローを実行し、図３１に示した合成画像を得
る。その後ステップ（４０８）において、合成された画
像をメモリＭＥＭに記録する。

【０１２７】以上のステップで各モードに応じた画像合
成を行い、合成画像を記録した後に、ステップ（４０
９）で合成画像信号をコネクタＣＮＣを介して外部のデ
スクトップコンピュータ或いはプリンタ等に送信する。
そしてステップ（４１０）で画像合成及び出力の制御を
終了する。

【０１２８】上記第４の実施の形態によれば、（７）１回の撮影動作で画素ずらし用の複数組の画像を
取得した後、撮影動作とは無関係の独立した画像合成命
令操作によって、異なる合成方法による合成画像を得ら
れる。従って撮影時の画像合成モード選択の必要がな
く、シャッターチャンスを逃がすことなく撮影でき、撮
影後に所望の画像タイプを選択できる。（８）画像合成モードを切り替えて画像合成動作を繰り
返すことにより、１回の撮影で異なる映像効果の画像を
得ることができ、カメラ内のメモリ領域を節約できると
ともに、取得画像の応用範囲が広がる。という効果があ
る。

【０１２９】（他の変形例）本発明は画素ずらし以外の
目的で所定時間内に複数の画像信号を取得し、これを合
成する撮像装置についても利用できる。例えば、撮像素
子に異なる露光量を与えて複数の画像信号を得、これを
合成して広ダイナミックレンジ画像を得る撮像装置に適
用すれば、被写体振れによる違和感の発生を防止しなが
ら、広いダイナミックレンジ画像を得ることができる。
或いは、撮像素子に動画撮影用に開発されたインターラ
イン読み出しＣＣＤを用いる場合、異なる時刻において
取得された２フィールド画像を合成して高精細な１フレ
ーム画像を完成させるが、この装置に適用すれば、２フ
ィールド間で発生した被写体振れによる違和感の発生を
防止しながら、高精細なフレーム画像を得ることができ
る。

【０１３０】

【発明の効果】以上説明したように、請求項１の発明に
よれば、画素ずらし用複数画像間の被写体振れに応じて
画素ずらしの画像合成動作を制御するため、被写体振れ
が大きく画像合成を行うとかえって画質を低下させた
り、違和感のある画像が得られてしまう場合には、画素
ずらしによる画像合成方法を変更したり禁止する等し
て、被写体振れがないときは高精細画像を得、被写体振
れがある時は被写体振れによる画素ずらしの弊害を防止
する撮像装置を提供できる。

【０１３１】また、請求項２の発明によれば、撮影領域
を複数領域に分割し、各領域毎の被写体振れ検知結果か
ら画像合成動作を制御するため、被写体振れ領域に発生
する違和感を防止し、かつ被写体振れのない領域は画素
ずらしによる高精細化が実現できる撮像装置を提供でき
る。請求項３の発明によれば、複数画像間の相関演算か
ら被写体振れの発生した領域及び被写体振れ量を抽出
し、被写体振れに応じた画像合成を行うため、正確な被
写体振れ検知及び補正が可能で、被写体振れによる画素
ずらしの失敗を確実に排除できる撮像装置を提供でき
る。請求項４の発明によれば、所定値以上の被写体振れ
が発生した領域について、被写体振れを補正した画像合
成を行うため、被写体振れ領域に発生する違和感を防止
した撮像装置を提供できる。

【０１３２】請求項５の発明によれば、所定値以上の被
写体振れが発生した領域については、画素ずらしによる
複数画像の合成を禁止し、単一画像信号から最終画像信
号を生成するため、被写体振れ領域に発生する違和感を
防止できる。請求項６の発明によれば、被写体振れが発
生した領域については被写体振れによる違和感を防ぎ、
被写体振れを検出しない領域については高精細画像を得
ることができる。

【０１３３】請求項７の発明によれば、被写体振れによ
る違和感を防止するだけでなく、被写体の動きを表現す
る動感効果を与える撮像装置を提供できる。請求項８の
発明によれば、どのような画像が得られるかを撮影者が
把握でき、所望の画像が得られない時は再撮影等の対策
を施すことができる。

【０１３４】また、請求項９の発明によれば、互いに異
なる画像情報を有した複数画像を合成して多量の情報を
有した高品質画像を得る場合、被写体振れによる違和感
の発生を防止しながら高品質な画像を得る撮像装置を提
供できる。

【０１３５】また、請求項１０の発明によれば、互いに
異なる画像情報を有した複数画像を合成して多量の情報
を有した高品質画像を得る場合、手振れにより画質低下
と被写体振れによる違和感の双方を防止しながら高品質
な画像を得る撮像装置を提供できる。

【０１３６】また、請求項１１の発明によれば、互いに
異なる画像情報を有した複数画像を合成して多量の情報
を有した高品質画像を得る場合、手振れによる像振れを
光学的に補正しながら被写体振れによる違和感の発生を
防止し、高品質な画像を得る撮像装置を提供できる。

【０１３７】また、請求項１２の発明によれば、互いに
異なる画像情報を有した複数画像を合成して多量の情報
を有した高品質画像を得る場合、複数画像間の被写体の
動きによる動きベクトル検知結果から被写体振れを補正
した画像合成を行うため、被写体振れによる違和感が発
生することなく、高品質画像を得る画像合成装置を実現
できる。

【０１３８】さらに、請求項１３の発明によれば、互い
に異なる画像情報を有した複数画像を合成して多量の情
報を有した高品質画像を得る場合、複数画像間の相関演
算結果に基づいた画像合成を行うため、誤った画像合成
による画質低下を防止し、高品質画像得る画像合成装置
を実現できる。

【図面の簡単な説明】

【図１】本発明に係る撮像装置の構成図である。

【図２】本発明に用いられる結像光学系の構成図であ
る。

【図３】本発明に用いられる結像光学系の光束偏向作用
を説明する構成図である。

【図４】本発明の画素ずらし原理を説明する構成図であ
る。

【図５】本発明の主要部の制御ブロック図である。

【図６】本発明の第１の実施の形態のカメラのメイン制
御フローチャートである。

【図７】本発明の第１の実施の形態のレンズの制御フロ
ーチャートである。

【図８】本発明の第１の実施の形態の制御のタイミング
チャートである。

【図９】本発明の相関演算を説明する構成図である。

【図１０】本発明の相関演算を説明する構成図である。

【図１１】本発明の相関度を説明する構成図である。

【図１２】本発明の振れがない時の画像軌跡を説明する
構成図である。

【図１３】本発明の振れがない時の相関度を説明する構
成図である。

【図１４】本発明の振れがある時の画像軌跡を説明する
構成図である。

【図１５】本発明の振れがある時の相関度を説明する構
成図である。

【図１６】動く被写体の例を示す構成図である。

【図１７】画素ずらしにおける通常の画像合成による合
成画像を説明する構成図である。

【図１８】本発明の第１の実施の形態における撮像領域
分割を示す構成図である。

【図１９】本発明の第１の実施の形態における像振れ領
域検出結果を説明する構成図である。

【図２０】本発明の第１の実施の形態における合成後の
画像を説明する構成図である。

【図２１】本発明の第１の実施の形態の画素ずらし方法
を説明する構成図である。

【図２２】本発明の第１の実施の形態の画素合成方法を
説明する構成図である。

【図２３】本発明の第１の実施の形態の手振れ判定サブ
ルーチンフローチャートである。

【図２４】本発明の第１の実施の形態の被写体振れ判定
サブルーチンフローチャートである。

【図２５】本発明の第１の実施の形態の画像合成サブル
ーチンフローチャートである。。

【図２６】本発明の第２の実施の形態における動きベク
トル検出結果を説明する構成図である。

【図２７】本発明の第２の実施の形態における動き画像
の掃引処理を説明する構成図である。

【図２８】本発明の第２の実施の形態における合成後の
画像を説明する構成図である。

【図２９】本発明の第２の実施の形態の画像合成サブル
ーチンフローチャートである。

【図３０】本発明の第３の実施の形態における動き画像
の掃引処理を説明する構成図である。

【図３１】本発明の第３の実施の形態における合成後の
画像を説明する構成図である。

【図３２】本発明の第３の実施の形態の画像合成サブル
ーチンフローチャートである。

【図３３】本発明の第４の実施の形態の画像合成サブル
ーチンフローチャートである。

【符号の説明】

ＣＭＲカメラ本体ＣＣＰＵカメラ内マイコンＩＭＳ撮像素子ＭＥＭメモリＤＩＳＰ表示部ＣＮＣコネクタＳＷＭＯＤ撮影モード選択スイッチＳＷＣＭＰ画像合成モード選択スイッチＳＷＳＴ画像合成開始スイッチＬＮＳ交換レンズＬＣＰＵレンズ内マイコンＬ２第２レンズ群（振れ補正レンズ群）ＺＥＮＣズームエンコーダＦＥＮＣフォーカスエンコーダＧＲＰ、ＧＲＹ手振れセンサＩＡＣＴＰ、ＩＡＣＴＹ振れ補正アクチュエータ

Claims

【特許請求の範囲】

【請求項１】被写体像を形成する撮影光学手段と、上記被写体像を光電変換する撮像手段と、上記被写体像と上記撮像手段との相対位置をその結像平
面内で変化させる像移動手段と、上記像移動手段を移動させながら上記撮像手段で複数組
の画像を得る画素ずらし手段と、上記複数組の画像を合成して高精細画像を得る画像合成
手段と、被写体の動きによる上記複数組の画像間に生じた部分的
な像振れを検出する像振れ検出手段と、上記像振れ検出手段の検出結果に基づいて上記画像合成
手段の動作を制御する動作制御手段とを設けたことを特
徴とする撮像装置。
【請求項２】上記像振れ検出手段は、上記複数組の各
画像を所定の複数領域に分割し、分割された領域毎の像
振れを検出することを特徴とする請求項１記載の撮像装
置。
【請求項３】上記像振れ検出手段は、上記複数組の画
像の相関演算手段を有し、この相関演算手段の出力から
被写体像の部分的な動き領域を検出し、かつその動き領
域の動きベクトルを検出することを特徴とする請求項１
記載の撮像装置。
【請求項４】上記画像合成手段は複数の画像合成モー
ドを有し、上記動作制御手段は、上記像振れの大きさの
判定結果に基づいて上記画像合成モードを選択すること
を特徴とする請求項１記載の撮像装置。
【請求項５】上記動作制御手段は、上記部分的な像振
れが所定値より大きい時は、像振れを検出した所定の領
域の画像合成を禁止することを特徴とする請求項１記載
の撮像装置。
【請求項６】上記動作制御手段は、上記部分的な像振
れが所定値より大きい時は、像振れを検出した領域と像
振れを検出しない領域とで、異なる画像合成を行うこと
を特徴とする請求項１記載の撮像装置。
【請求項７】上記動作制御手段は、像振れを検出した
領域において、取得画像の掃引処理による画像生成を行
うことを特徴とする請求項６記載の撮像装置。
【請求項８】表示手段を設け、上記動作制御手段は、
画像合成手段の動作制御形態に応じて上記表示手段を制
御することを特徴とする請求項１記載の撮像装置。
【請求項９】被写体像を形成する撮影光学手段と、上記被写体像を光電変換する撮像手段と、上記撮像手段によって所定時間間隔で複数組の画像を得
る複数画像取得手段と、上記複数組の画像を合成して１組の画像を得る画像合成
手段と、上記撮像手段の撮像領域を複数領域に分割する領域分割
手段と、上記複数領域毎に上記複数組の画像間の相対関係を検出
する相対関係検出手段と、上記複数領域毎の相対関係検出結果を比較する比較手段
と、上記比較手段の比較結果に基づいて上記画像合成手段の
動作を制御する動作制御手段とを設けたことを特徴とす
る撮像装置。
【請求項１０】被写体像を形成する撮影光学手段と、上記被写体像を光電変換する撮像手段と、上記撮像手段によって所定時間間隔で複数組の画像を得
る複数画像取得手段と、上記複数組の画像を合成して１組の画像を得る画像合成
手段と、上記撮影光学手段に生じた手振れによる上記複数画像間
の撮影画面全体に渡る一様な像振れを検出する手振れ検
出手段と、被写体の動きによる上記複数画像間の撮影画面の一部領
域に生じた像振れを検出する被写体振れ検出手段と、上記手振れ検出手段と被写体振れ検出手段の検出結果に
基づいて上記画像合成手段の動作を制御する動作制御手
段とを設けたことを特徴とする撮像装置。
【請求項１１】被写体像を形成する撮影光学手段と、上記被写体像を光電変換する撮像手段と、上記撮像手段によって所定時間間隔で複数組の画像を得
る複数画像取得手段と、上記複数組の画像を合成して１組の画像を得る画像合成
手段と、上記撮影光学手段に生じた手振れによる上記複数画像間
の撮影画面全体に渡る一様な像振れを光学的あるいは機
械的に補正する手振れ補正手段と、上記被写体の動きによる上記複数画像間の撮影画面の一
部領域に生じた像振れを検出する被写体振れ検出手段
と、上記被写体振れ検出手段の検出結果に基づいて上記画像
合成手段の動作を制御する動作制御手段とを設けたこと
を特徴とする撮像装置。
【請求項１２】複数組の画像を合成して１組の画像を
得る画像合成手段と、上記複数組の画像間に生じた部分的な像振れ領域を検出
する像振れ領域検出手段と、上記像振れ領域における上記複数組の画像間の動きベク
トルを検出する動きベクトル検出手段とを有し、上記画像合成手段は上記像振れ領域を上記動きベクトル
を用いた第１の方法で合成するとともに、上記像振れ領
域以外の領域は上記動きベクトルを用いない第２の方法
で合成することを特徴とする画像合成装置。
【請求項１３】複数組の画像を合成して１組の画像を
得る画像合成手段と、上記複数組の画像の相対関係が第１の関係になる第１画
像領域と、上記第１の関係とは異なる第２の関係になる
第２画像領域とに分割する画像領域分割手段とを有し、上記画像合成手段は上記第１画像領域と上記第２画像領
域とで異なる画像合成を行うことを特徴とする画像合成
装置。