JP4496883B2 - 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体 - Google Patents

Description

本発明は、画像処理方法および画像処理装置、並びにプログラムおよび記録媒体に関し、特に、例えば、カメラにおいて、より鮮明な画像を得ることができるようにする画像処理方法および装置、並びにプログラムおよび記録媒体に関する。

近年、カメラとしてはディジタルカメラが一般的となっている。ディジタルカメラにおいて、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等の撮像素子により撮像された画像（以下、撮像画像と称する）は、ディジタルカメラに設けられたLCD(Liquid Crystal Display)などのモニタに表示され、ユーザにより確認される。さらに、撮像画像の画像信号がディジタル化され、フラッシュメモリなどの記録媒体を介して、あるいは、ケーブル接続や赤外線通信などの有線または無線通信により、例えば、パーソナルコンピュータ（PC）などの画像処理装置に転送される。そして、転送先であるパーソナルコンピュータでは、ディジタルカメラの撮像画像をCRT（Cathode Ray Tube）や液晶ディスプレイ（LCD）などのモニタに表示し、ユーザは撮像画像を確認したり、編集することができる。

さて、ディジタルカメラにおいて、例えば、日陰などの十分に太陽光線が当たらない場所や薄暗い部屋などで、十分な明るさが得られない被写体を撮像する場合、ディジタルカメラでは、適正な露出を得るためにシャッタ速度を遅くする必要がある（シャッタ時間が長くなる）。

このようなシャッタ時間の長い撮像では、例えば、ディジタルカメラを三脚などに固定し、ディジタルカメラがぶれない（揺れない）ようにすることで、ぶれがなく、かつ適正露出の撮像画像を得ることができる。しかしながら、例えば、ディジタルカメラを手で持って撮像する場合には、いわゆる手ぶれが発生し、ディジタルカメラがぶれる。そして、シャッタが開いている間（露光が行われている間）のディジタルカメラのぶれ（揺れ）により、撮像画像は、被写体がボケた画像となってしまう。このボケた画像は、「手ぶれ」した画像、または、「カメラぶれ」した画像などと呼ばれる。

シャッタ速度を遅くする（シャッタ時間を長くする）他に、十分な露出を得るための方法として、複数枚の撮像画像を単に累積加算することにより、長時間露出と同等の露出を得られるようにする方法が提案されている（例えば、特許文献１参照）。

しかしながら、特許文献１に示される方法では、単純に複数枚の撮像画像を累積加算するため、上述の手ぶれが発生した場合には、シャッタ時間を長くする場合と同様に、ボケた画像となる。

手ぶれが発生した場合においても画像がボケないようにする（「手ぶれ」した画像を回避する）方法として、例えば、キャノン株式会社製のディジタルカメラで採用されている「イメージスタビライザー（略称IS）」と称する方法がある。

イメージスタビライザーでは、光学系レンズ内にプレセンサを設け、そのプレセンサによりディジタルカメラの揺れや振動を検知し、検知したディジタルカメラの揺れや振動を表すディジタル信号に従って、レンズ群の一部（補正光学系）を光軸に対し垂直方向に移動させ、像ぶれを打ち消す方向に光線を屈折させる。

イメージスタビライザーによれば、長焦点やシャッタ速度が遅い場合において影響が大となる、手持ち撮影や、風などによる撮影台の微妙な振動の揺れに起因する画像のぶれを抑え、シャープな（鮮明な）画像をユーザに提供することができる。

しかしながら、イメージスタビライザーでは、ぶれを検知する専用のセンサや、レンズ群の一部（補正光学系）を高速に動かす機構が必要となるため、構造が複雑になり、製造コストが高くなるという問題がある。

その他の「カメラぶれ」した画像を回避する方法としては、高速シャッタにより連続で複数枚の撮像画像を高速撮像し、その複数枚の撮像画像のうち、２枚目以降の撮像画像について１枚目の撮像画像とのズレ量を検出し、そのズレ量だけ２枚目以降の撮像画像を位置補正して１枚目の画像に順次加算する方法がある（例えば、特許文献２，３，４，５，６，７，８参照）。特許文献２乃至８に記載の方法では、位置補正後の２枚目以降の撮像画像のそれぞれから、補間により、1枚目の撮像画像と同様のデータ配列を持つ補間画像が形成され、その補間画像が1枚目の撮像画像に、画素単位で、単純加算される。

特許文献２乃至８に記載の方法では、高速（連続）撮像された撮像画像の一枚一枚は、シャッタ時間（露出時間）が短いため、ぶれは少ないが、暗い画像となる。そこで、１枚目の撮像画像に２枚目以降の撮像画像から形成された補間画像が加算され、最終的に得られる画像は、適正露出の場合と同様の明るさの画像となる。

ここで、特許文献２乃至８に記載の方法において２枚目以降の撮像画像からの補間画像の形成では、１画素のR(Red)信号（赤色データ）、G(Green)信号（緑色データ）、B(Blue)信号（青色データ）のそれぞれの色信号（データ）が、線形補間、バイキュービック補間などの各種の補間関数を用いた補間方法により補間される。

ところで、撮像素子として単板センサが採用されている撮像装置では、１画素からR信号、G信号、B信号のうちのいずれか１つの色信号しか出力されない。即ち、単板センサを採用する撮像装置で得られる撮像画像は、１画素につきR信号、G信号、B信号のうちのいずれか１つの色信号（１個の画素値）を画素値として有する画像となる。

従って、単板センサを採用する撮像装置において、上述したような従来の方法を適用した場合、２枚目以降の撮像画像のそれぞれから形成される、1枚目の撮像画像と同様のデータ配列を持つ補間画像も、１画素につきR信号、G信号、B信号のうちのいずれか１つの色信号を画素値として有する画像となる。

そして、従来の方法では、補間画像における、例えば、R信号の画素の画素値は、撮像画像のR信号の画素の画素値を用いた補間によって求められるから、その補間に用いられる撮像画像のR信号の画素が、補間によって画素値を求めようとする補間画像のR信号の画素の近傍に存在しない場合には、補間によって求められる補間画像のR信号の画素の画素値は、精度の悪いものとなる。G信号およびB信号についても同様である。

特開平０５−２３６４２２号公報 特開２０００−２１７０３２号公報 特開２０００−２２４４６０号公報 特開２０００−２４４８０３号公報 特開２０００−２４４７９７号公報 特開２０００−０６９３５２号公報 特開平１０−３４１３６７号公報 特開平０９−２６１５２６号公報

ところで、従来の方法では、上述のように、２枚目以降の撮像画像について１枚目の撮像画像とのズレ量を検出し、そのズレ量だけ撮像画像の位置を補正して、その補正後の位置における撮像画像の画素値を用いて、１枚目の撮像画像の画素の位置における画素値を補間により求めることにより、そのような画素値で構成される補間画像が形成される。そして、２枚目以降の撮像画像それぞれから得られる補間画像が、1枚目の撮像画像に、画素単位で加算され、最終的な画像が求められる。

２枚目以降の撮像画像それぞれから得られる補間画像は、２枚目以降の撮像画像それぞれを手ぶれ量に応じて移動することにより、1枚目の撮像画像に投影されている被写体に、いわば位置あわせした画像であるので、２枚目以降の撮像画像それぞれから得られる補間画像と、1枚目の撮像画像とを重ね合わせた場合、２枚目以降の補間画像それぞれと1枚目の撮像画像に投影されている被写体の位置は一致した状態となる。

その一方、１枚目の撮像画像においては、２枚目以降の補間画像（２枚目以降の撮像画像それぞれから得られる補間画像）のすべての枚数と重なる第１の部分、一部の枚数とだけ重なる第２の部分、および２枚目以降の補間画像と重ならない第３の部分が生じる。

従って、２枚目以降の補間画像を、1枚目の撮像画像に画素単位で加算することにより、最終的な画像を求める場合には、その加算の対象となる画素値の数が、第１の部分、第２の部分、第３の部分の順で減少する。その結果、最終的に得られる画像において、第２の部分の画質は、第１の部分より劣化し、第３の部分の画質は、第２の部分よりも劣化する。

本発明は、このような状況に鑑みてなされたものであり、画質が（なるべく）均一で、より鮮明な画像を得ることができるようにするものである。

本発明の画像処理方法は、画像を撮像する撮像手段が撮像した複数の入力画像どうしの位置関係を検出する検出ステップと、検出ステップの処理により検出された位置関係に基づき、複数の入力画像の各画素の位置を出力画像上の位置に変換したときの変換位置を求め、変換位置が、出力画像において注目している注目画素の近傍にある入力画像の画素を、注目画素の画素値の推定に用いる画素として特定する特定ステップと、特定ステップの処理により特定された複数の入力画像の画素の画素値、およびその画素の変換位置と注目画素の位置との距離に応じた重みによって、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算を行うことにより、注目画素の画素値を推定することにより、出力画像を生成する画像生成ステップとを含み、出力画像は、複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準とし、該基準となった入力画像に投影されている被写体の範囲の所定の割合の範囲の画像であり、かつ、画素の間隔が、入力画像の画素の間隔の所定の割合の間隔の画像であり、画像生成ステップでは、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上である場合に、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算を行い、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上でない場合には、特定ステップの処理により特定された複数の入力画像の画素の画素値と、変換位置が注目画素の周辺の出力画像の画素の位置の近傍にある複数の入力画像の画素の画素値とを用いた重み付け加算を行うことにより、注目画素の画素値を推定することを特徴とする。

本発明の画像処理装置は、画像を撮像する撮像手段が撮像した複数の入力画像どうしの位置関係を検出する検出手段と、検出手段により検出された位置関係に基づき、複数の入力画像の各画素の位置を出力画像上の位置に変換したときの変換位置を求め、変換位置が、出力画像において注目している注目画素の近傍にある入力画像の画素を、注目画素の画素値の推定に用いる画素として特定する特定手段と、特定手段により特定された複数の入力画像の画素の画素値、およびその画素の変換位置と注目画素の位置との距離に応じた重みによって、特定手段により特定された複数の入力画像の画素の画素値を用いた重み付け加算を行うことにより、注目画素の画素値を推定することにより、出力画像を生成する画像生成手段とを備え、出力画像は、複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準とし、該基準となった入力画像に投影されている被写体の範囲の所定の割合の範囲の画像であり、かつ、画素の間隔が、入力画像の画素の間隔の所定の割合の間隔の画像であり、画像生成手段は、特定手段により特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上である場合に、特定手段により特定された複数の入力画像の画素の画素値を用いた重み付け加算を行い、特定手段により特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上でない場合には、特定手段により特定された複数の入力画像の画素の画素値と、変換位置が注目画素の周辺の出力画像の画素の位置の近傍にある複数の入力画像の画素の画素値とを用いた重み付け加算を行うことにより、注目画素の画素値を推定することを特徴とする。

本発明のプログラムは、画像を撮像する撮像手段が撮像した複数の入力画像どうしの位置関係を検出する検出ステップと、検出ステップの処理により検出された位置関係に基づき、複数の入力画像の各画素の位置を出力画像上の位置に変換したときの変換位置を求め、変換位置が、出力画像において注目している注目画素の近傍にある入力画像の画素を、注目画素の画素値の推定に用いる画素として特定する特定ステップと、特定ステップの処理により特定された複数の入力画像の画素の画素値、およびその画素の変換位置と注目画素の位置との距離に応じた重みによって、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算を行うことにより、注目画素の画素値を推定することにより、出力画像を生成する画像生成ステップとを含む画像処理を、コンピュータに実行させ、出力画像は、複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準とし、該基準となった入力画像に投影されている被写体の範囲の所定の割合の範囲の画像であり、かつ、画素の間隔が、入力画像の画素の間隔の所定の割合の間隔の画像であり、画像生成ステップでは、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上である場合に、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算を行い、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上でない場合には、特定ステップの処理により特定された複数の入力画像の画素の画素値と、変換位置が注目画素の周辺の出力画像の画素の位置の近傍にある複数の入力画像の画素の画素値とを用いた重み付け加算を行うことにより、注目画素の画素値を推定することを特徴とする。

本発明の記録媒体に記録されているプログラムは、画像を撮像する撮像手段が撮像した複数の入力画像どうしの位置関係を検出する検出ステップと、検出ステップの処理により検出された位置関係に基づき、複数の入力画像の各画素の位置を出力画像上の位置に変換したときの変換位置を求め、変換位置が、出力画像において注目している注目画素の近傍にある入力画像の画素を、注目画素の画素値の推定に用いる画素として特定する特定ステップと、特定ステップの処理により特定された複数の入力画像の画素の画素値、およびその画素の変換位置と注目画素の位置との距離に応じた重みによって、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算を行うことにより、注目画素の画素値を推定することにより、出力画像を生成する画像生成ステップとを含む画像処理を、コンピュータに実行させ、出力画像は、複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準とし、該基準となった入力画像に投影されている被写体の範囲の所定の割合の範囲の画像であり、かつ、画素の間隔が、入力画像の画素の間隔の所定の割合の間隔の画像であり、画像生成ステップでは、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上である場合に、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算を行い、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上でない場合には、特定ステップの処理により特定された複数の入力画像の画素の画素値と、変換位置が注目画素の周辺の出力画像の画素の位置の近傍にある複数の入力画像の画素の画素値とを用いた重み付け加算を行うことにより、注目画素の画素値を推定することを特徴とする。

本発明においては、画像を撮像する撮像手段が撮像した複数の入力画像どうしの位置関
係が検出され、その位置関係に基づき、複数の入力画像の各画素の位置を出力画像上の位置に変換したときの変換位置を求め、変換位置が、出力画像において注目している注目画素の近傍にある入力画像の画素が、注目画素の画素値の推定に用いる画素として特定される。そして、その特定された複数の入力画像の画素の画素値、およびその画素の変換位置と注目画素の位置との距離に応じた重みによって、特定ステップの処理により特定された複数の入力画像の画素の画素値を用いた重み付け加算を行うことにより、注目画素の画素値を推定することにより、出力画像が生成される。この場合において、出力画像は、複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準とし、該基準となった入力画像に投影されている被写体の範囲の所定の割合の範囲の画像であり、かつ、画素の間隔が、入力画像の画素の間隔の所定の割合の間隔の画像になっている。さらに、特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上である場合に、その特定された複数の入力画像の画素の画素値を用いた重み付け加算が行われ、特定された複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上でない場合には、その特定された複数の入力画像の画素の画素値と、変換位置が注目画素の周辺の出力画像の画素の位置の近傍にある複数の入力画像の画素の画素値とを用いた重み付け加算が行われることにより、注目画素の画素値が推定される。

本発明によれば、画質が均一で、より鮮明な画像を得ることが可能となる。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用したディジタル（スチル）カメラ１の一実施の形態の構成例を示すブロック図である。

図１のディジタルカメラ１は、レンズ２、絞り３、撮像素子４、相関２重サンプリング回路５、A/D(Analog/Digital)コンバータ６、信号処理回路７、タイミングジェネレータ８、D/A(Digital/Analog)コンバータ９、ビデオエンコーダ１０、モニタ１１、コーデック（CODEC）１２、メモリ１３、バス１４、CPU（Central Processing Unit）１５、および入力デバイス１６で構成される。また、A/Dコンバータ６は、シフト回路２１を、信号処理回路７は、フレームメモリ２２をそれぞれ有している。

図示せぬ被写体からの光は、レンズ２、絞り３等の光学系を通過して、撮像素子４に入射される。撮像素子４は、例えば、CCDやCMOS等でなる単板センサから構成され、所定の数の画素（受光素子）を有している。

そして、撮像素子４は、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔で、所定の時間（シャッタ時間）だけ、入射される被写体の光を受光する。そして、撮像素子４は、撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号に変換された画像信号を相関２重サンプリング回路５に供給する。撮像素子４は、単板センサとなっているので、相関２重サンプリング回路５に供給される電気信号は、１画素につきR信号、G信号、B信号のうちのいずれか１個の色信号（データ）である。

ここで、カメラぶれが発生していても、より鮮明な画像を出力するために、撮像素子４は、１回の撮影（１回のレリーズボタンの操作）で、適正露出におけるシャッタ速度（シャッタ時間（露出時間））よりも高速に（短いシャッタ時間で）複数枚（以下では、N枚とする）の撮像画像を撮像する。従って、撮像素子４で撮像されたN枚の撮像画像（入力画像）は、適正露出で撮像された画像より暗く、適正露出で撮像された画像のM_k分の１（＝１／M_k）（k＝１乃至N）の明るさになる。なお、M_kの値は、例えば、シャッタ速度などにより決定される。

相関２重サンプリング回路５は、撮像素子４から供給される画像信号（電気信号）のノイズ成分を、相関２重サンプリングにより除去し、A/Dコンバータ６に供給する。A/Dコンバータ６は、相関２重サンプリング回路５から供給される、ノイズ除去された画像信号をA/D変換、即ち、サンプリングして量子化する。その後、A/Dコンバータ６が内蔵するシフト回路２１が、適正露出未満の暗い画像であるA/D変換後のディジタル信号の撮像画像を、例えば、n'ビットシフトすることなどによってM_k倍することにより、適正露出と同様の明るさ（値）の画像信号の撮像画像に変換し（ゲインアップし）、信号処理回路７に供給する。

相関２重サンプリング回路５では、画像信号のノイズ成分が除去されるが、ノイズ成分のすべてが完全に除去されるわけではない。従って、相関２重サンプリング回路５で除去されないノイズ成分も存在する。この場合、相関２重サンプリング回路５で除去されないノイズ成分は、画像信号の真値に対する誤差となり、シフト回路２１において、画像信号とともにM_k倍されることになる。従って、信号処理回路７に供給される撮像画像に含まれる誤差は、シフト回路２１におけるゲインアップの量に依存する。ここで、相関２重サンプリング回路５で除去されないノイズ成分のノイズ量をEとすると、A/Dコンバータ６（のシフト回路２１）から信号処理回路７に供給される画像信号には、ノイズ量EのM_k倍（E×M_k）程度のノイズが含まれる。このノイズ量Eとしては、撮像素子４の特性に応じて、例えば、想定される最大値を採用することができる。また、例えば、M_k＝８とすると、シフト回路２１では、n'＝３として、撮像画像が３ビットシフトされることにより、撮像画像が適正露出の場合と同様の明るさにされる。

A/Dコンバータ６（のシフト回路２１）においてM_k倍されることにより、適正露出と同様の明るさにゲインアップされたN枚の撮像画像の画像信号は、信号処理回路７のフレームメモリ２２に供給されて一時的に格納（記憶）される。

信号処理回路７は、フレームメモリ２２に記憶されているN枚の撮像画像の画像信号に所定の画像処理を施す。

即ち、信号処理回路７は、N枚の撮像画像のうちの、例えば、１枚目の撮像画像を基準画像とするとともに、２乃至N枚目の撮像画像それぞれをターゲット画像とし、ターゲット画像が基準画像に対して、どのような位置ズレを起こしているか、基準画像とターゲット画像との位置ズレのズレ量（位置関係）を検出する。そして、信号処理回路７は、そのズレ量に基づいて、カメラぶれが補正された１枚の鮮明な画像（出力画像）としての、１画素につきG信号、R信号、B信号のすべてを有する出力画像を求め、その求めた出力画像の画像信号を、D/Aコンバータ９またはコーデック１２、あるいは、その両方に供給する。信号処理回路７は、DSP（Digial Signal Processor）等で構成することができる。

タイミングジェネレータ８は、１回の撮影において、所定の間隔でN枚の撮像画像の高速撮像が行われるように、露光（露出）タイミング信号を、撮像素子４、相関２重サンプリング回路５、A/Dコンバータ６、および信号処理回路７に供給する。この高速撮像の間隔（あるいは、高速撮像により撮像する撮像画像の枚数N）は、例えば、被写体の明るさなどに合わせて、ユーザが変更することができるようになっている。ユーザが高速撮像の間隔を変更する場合、入力デバイス１６をユーザが操作することによりCPU１５で決定される間隔の変更値が、CPU１５よりバス１４を介して、タイミングジェネレータ８に供給される。

D/Aコンバータ９は、信号処理回路７から供給された出力画像の画像信号をD/A変換し、ビデオエンコーダ１０に供給する。ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号（アナログ信号）を、モニタ１１で表示することができるビデオ信号に変換し、モニタ１１に供給する。モニタ１１は、ディジタルカメラ１のファインダ等の役割を果たすもので、LCDなどで構成され、ビデオエンコーダ１０から供給されるビデオ信号を表示する。これにより、モニタ１１では、出力画像が表示される。

コーデック１２は、信号処理回路７から供給された出力画像の画像信号を、JPEG(Joint Photographic Experts Group)方式、MPEG(Moving Picture Experts Group)方式や、DV（Digital Video）方式などの所定の方式に従って符号化し、メモリ１３に供給する。

メモリ１３は、フラッシュメモリなどの半導体メモリで構成され、コーデック１２から供給される符号化された画像信号を一時的または永久的に記憶（記録）する。なお、メモリ１３の代わりに、磁気ディスク、光（磁気）ディスク等の記録媒体を用いることができる。メモリ１３またはメモリ１３の代わりに用いる記録媒体は、ディジタルカメラ１に対して着脱可能とすることができる。なお、ディジタルカメラ１に内蔵される記録媒体と、ディジタルカメラ１に着脱可能な記録媒体の両方を設けるようにすることも可能である。

CPU１５は、バス１４を介して各部に制御信号を供給し、各種の処理を制御する。例えば、ユーザの操作に応じて入力デバイス１６から供給される撮像開始の信号に従い、被写体を撮像し、その撮像によって最終的に得られる出力画像をメモリ１３に記憶するように、各部に制御信号を供給する。

入力デバイス１６は、ディジタルカメラ１本体にあるレリーズボタンなどの操作ボタン類を有している。ユーザが操作ボタンを操作することにより発生する各種の信号が、入力デバイス１６からバス１４を介してCPU１５に供給され、CPU１５は、入力デバイス１６からバス１４を介して供給される各種の信号に従う処理を実行するように各部を制御する。なお、入力デバイス１６の１以上の操作ボタンは、モニタ１１に表示することが可能である。モニタ１１に表示された操作ボタンに対する操作は、例えば、モニタ１１上に透明なタブレットを設け、そのタブレットにより検出するようにすることができる。

次に、図２のフローチャートを参照して、ディジタルカメラ１の撮像処理について説明する。

初めに、ステップＳ１において、撮像素子４は、被写体を撮像する。即ち、撮像素子４は、１回のレリーズボタン（シャッタボタン）押下による撮影において、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔でN回連続して、入射される被写体の光を受光し、光電変換することにより、N回の高速撮像を行う。従って、１回の撮影において、N枚の撮像画像が得られ、各撮像画像は、適正露出以下（未満）の暗い画像となる。撮像素子４での光電変換により得られた画像信号は、相関２重サンプリング回路５に供給され、ノイズ成分が除去された後、A/Dコンバータ６に供給される。そして、ステップＳ２に進む。

ステップＳ２において、A/Dコンバータ６は、相関２重サンプリング回路５から供給されるN枚の撮像画像それぞれの画像信号をディジタル変換する。その後、シフト回路２１が、適正露出以下の暗い撮像画像を、n'ビットシフトして適正露出と同様の明るさ（値）の画像信号に変換し（ゲインアップし）、信号処理回路７に供給して、ステップＳ３に進む。

ステップＳ３において、信号処理回路７は、A/Dコンバータ６（のシフト回路２１）からのN枚の撮像画像のうちの、例えば、１枚目の撮像画像を基準画像とするとともに、２枚目以降の各画像をターゲット画像として、ターゲット画像（２乃至N枚目の画像）が基準画像に対して、どのような位置ずれを起こしているか、即ち、基準画像に対するターゲット画像の位置ズレのズレ量（を表す情報（例えば、後述する変換パラメータ））を検出して、ステップＳ４に進む。

ステップＳ４において、信号処理回路７は、N枚の撮像画像と、ステップＳ３で検出された基準画像に対するターゲット画像の位置ズレのズレ量に基づいて、画像生成処理を行い、ステップＳ５に進む。画像生成処理の詳細は後述するが、この画像生成処理により、信号処理回路７は、カメラぶれが（ほとんど）なく、適正露出の１枚の鮮明な画像（出力画像）としての１画素がG信号、R信号、B信号のすべてを有する出力画像が生成される。画像生成処理により得られた出力画像の画像信号は、信号処理回路７からD/Aコンバータ９またはコーデック１２、あるいは、その両方に供給される。

ステップＳ５では、モニタ１１が出力画像を表示し、フラッシュメモリ等のメモリ１３に出力画像を記録して、処理を終了する。即ち、ステップＳ５では、ステップＳ４で信号処理回路７からD/Aコンバータ９に供給された画像信号がアナログ信号に変換され、ビデオエンコーダ１０に供給される。さらに、ステップＳ５では、ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号のアナログ信号を、モニタ１１に表示することができるビデオ信号に変換し、モニタ１１に供給する。そして、ステップＳ５において、モニタ１１は、ビデオエンコーダ１０から供給されたビデオ信号に基づいて、出力画像を表示して、処理を終了する。また、ステップＳ５では、ステップＳ４で信号処理回路７からコーデック１２に供給された画像信号に対し、JPEGやMPEG等の所定の符号化が施され、フラッシュメモリ等のメモリ１３に記録され、処理を終了する。

次に、図３は、図１の撮像素子４の画素の配列を示している。なお、図３では、撮像素子４のうちの左上の一部分の画素（横方向６画素、縦方向４画素の計２４画素）を示しているが、それ以外の部分の画素も同様に配置されているものとする。

ここで、図３において、撮像素子４の左上の画素の中心（重心）を原点として、横（右）方向をX方向、縦（下）方向をY方向とするXY座標系を設定する。また、１画素の縦および横方向の長さ（幅）をそれぞれ１とする。この場合、左からi番目で、上からj番目の画素の位置（中心位置）は、(i-1,j-1)と表すことができる。

図３において、撮像素子４の画素の配列は、いわゆる、ベイヤー配列となっている。なお、撮像素子４の画素の配列は、ベイヤー配列に限定されるものではなく、その他の配列でもよい。

ベイヤー配列の撮像素子４からは、画素の位置に応じた色の画素値を有する画像が出力される。

即ち、ベイヤー配列では、G信号を取り出すことのできる画素として、原点からX方向に１番目で、Y方向に１番目の画素である画素G00、原点からX方向に３番目で、Y方向に１番目の画素である画素G02、原点からX方向に５番目で、Y方向に１番目の画素である画素G04、原点からX方向に２番目で、Y方向に２番目の画素である画素G11、以下、同様に、画素G13、画素G15、画素G20、画素G22、画素G24、画素G31、画素G33、画素G35が配置されている。

また、R信号を取り出すことのできる画素として、原点からX方向に２番目で、Y方向に１番目の画素である画素R01、原点からX方向に４番目で、Y方向に１番目の画素である画素R03、原点からX方向に６番目で、Y方向に１番目の画素である画素R05、原点からX方向に２番目で、Y方向に３番目の画素である画素R21、以下、同様に、画素R23、画素R25が配置されている。

さらに、B信号を取り出すことのできる画素として、原点からX方向に１番目で、Y方向に２番目の画素である画素B10、原点からX方向に３番目で、Y方向に２番目の画素である画素B12、原点からX方向に５番目で、Y方向に２番目の画素である画素B14、原点からX方向に１番目で、Y方向に４番目の画素である画素B30、以下、同様に、画素B32、画素B34が配置されている。

ここで、撮像素子４を基準としたXY座標系上の位置（x，y）（x，yは実数）を用いて、撮像素子４上に投影されている被写体（像）のG信号、R信号、B信号（G，R，Bの光量）を、それぞれLg（x，y），Lr（x，y），Lb（x，y）と表すこととする。この場合、カメラぶれがない１枚の鮮明な画像としての出力画像において、左からi番目で、上からj番目である「i番目、j番目の画素」のG信号、R信号、B信号は、それぞれLg（i，j），Lr（i，j），Lb（i，j）と表すことができる。但し、x=i-1，y=j-1である。

なお、Lg（x，y），Lr（x，y），Lb（x，y）（Lg（i-1，j-1），Lr（i-1，j-1），Lb（i-1，j-1））それぞれは、位置（x，y）（「i番目、j番目の画素」）における被写体の緑色、赤色、青色の光量（画素値）を表すので、以下においては、Lg（x，y），Lr（x，y），Lb（x，y）それぞれを、緑色の光量Lg（x，y）、赤色の光量Lr（x，y）、青色の光量Lb（x，y）ともいう。

次に、G信号、R信号、B信号それぞれの画素について使用する変数ig，jg，ir，jr，ib，jbを定義する。

変数ig，jgそれぞれは、G信号を取り出すことのできる画素についてのi，jを表す。即ち、変数ig，jgの組み合わせは、G信号を取り出すことのできる、変数i，jの組み合わせと等しい。ベイヤー配列では、その性質から、変数ig，jgは、変数iとjとの差（i−j）が偶数であるという条件を満たす変数に、それぞれ等しい。なお、当然ながら、変数igとjgとの差（ig−jg）も偶数となる。従って、「ig番目，jg番目の画素」とは、G信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列では、その配列の性質に応じて、変数ig，jgとなる変数i，jの条件は異なる。

変数ir，jrそれぞれは、R信号を取り出すことのできる画素についてのi，jを表す。即ち、変数ir，jrの組み合わせは、R信号を取り出すことのできる、変数i，jの組み合わせと等しい。ベイヤー配列では、その性質から、変数ir，jrは、変数iが偶数、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数に、それぞれ等しい。なお、当然ながら、変数irとjrとの差（ir−jr）も奇数となる。従って、「ir番目，jr番目の画素」とは、R信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列では、その配列の性質に応じて、変数ir，jrとなる変数i，jの条件とは異なる。

変数ib，jbそれぞれは、B信号を取り出すことのできる画素についてのi，jを表す。即ち、変数ib，jbの組み合わせは、B信号を取り出すことのできる、変数i，jの組み合わせと等しい。ベイヤー配列では、その性質から、変数ib，jbは、変数iが奇数、かつ変数iとjとの差（i−j）が奇数であるという条件を満たす変数i，jに、それぞれ等しい。なお、当然ながら、変数ibとjbとの差（ib−jb）も奇数となる。従って、「ib番目，jb番目の画素」とは、B信号を取り出すことのできる画素である。なお、ベイヤー配列以外の配列では、その配列の性質に応じて、変数ib，jbとなる変数i,jの条件は異なる。

次に、図３に示した撮像素子４の各画素で受光して得られる色信号（G信号、R信号、B信号）の値（画素値）について定義する。

上述したように、撮像素子４では、N枚の撮像画像が撮像される。従って、撮像素子４の１つの画素についてN個の画素値が得られる。そこで、k枚目（k＝１乃至N）の撮像画像の撮像において「ig番目，jg番目の画素」で得られる画素値をGobs（k，ig，jg）と、「ir番目，jr番目の画素」で得られる画素値をRobs（k，ir，jr）と、「ib番目，jb番目の画素」で得られる画素値をBobs（k，ib，jb）と、それぞれ表す。例えば、１枚目の撮像画像の撮像において画素G00で得られる画素値は、Gobs(1,1,1)で表され、２枚目の撮像画像の撮像においてG04で得られる画素値は、Gobs(2,5,1)で表される。なお、以下において、特に断りがない場合、kは、１乃至Nの整数を表すものとする。

以上のような画素値の定義によれば、画素値Gobs（k，ig，jg）、Robs（k，ir，jr）、Bobs（k，ib，jb）が得られる画素は、それぞれ、画素G(jg-1)(ig-1)，R(jr-1)(ir-1)，B(jb-1)(ib-1)である。

また、画素値Gobs（k，ig，jg）は、k枚目の撮像画像の「ig番目，jg番目」の画素の画素値でもある。同様に、画素値Robs（k，ir，jr）は、k枚目の撮像画像の「ir番目，jr番目」の画素の画素値でもあり、画素値Bobs（k，ib，jb）は、k枚目の撮像画像の「ib番目，jb番目」の画素の画素値でもある。

次に、図４は、図１の信号処理回路７の一部分についての詳細な構成例を示している。

信号処理回路７は、フレームメモリ２２、動き検出回路２３、演算回路２４、コントローラ２５で構成されている。また、フレームメモリ２２は、N個のフレームメモリ２２₁乃至２２_Nで構成され、動き検出回路２３は、N-1個の動き検出回路２３₁乃至２３_N-1で構成されている。

上述したように、A/Dコンバータ６からN枚の撮像画像がフレームメモリ２２に供給される。フレームメモリ２２₁は、A/Dコンバータ６から供給される１枚目の撮像画像を記憶（格納）する。フレームメモリ２２₂は、A/Dコンバータ６から供給される２枚目の撮像画像を記憶する。以下同様にして、フレームメモリ２２_kは、A/Dコンバータ６から供給されるk枚目の撮像画像を記憶する（k＝３乃至N）。

フレームメモリ２２₁は、所定のタイミングにおいて、記憶している１枚目の撮像画像を演算回路２４と動き検出回路２３₁乃至２３_N-1に供給する。フレームメモリ２２₂は、所定のタイミングにおいて、記憶している２枚目の撮像画像を演算回路２４と動き検出回路２３₁に供給する。以下、同様にして、フレームメモリ２２_kは、所定のタイミングにおいて、記憶しているk枚目の撮像画像を演算回路２４と動き検出回路２３_k-1に供給する。

動き検出回路２３は、２枚の撮像画像どうしの位置関係を検出する。即ち、動き検出回路２３は、１枚目の撮像画像を、位置関係の検出の基準となる基準画像とするとともに、２枚目以降の各撮像画像をターゲット画像として、ターゲット画像（２乃至N枚目の画像）が基準画像に対して、どのような位置ずれを起こしているか、基準画像に対するターゲット画像の位置ズレのズレ量（動き量）を検出する。なお、このズレ量は、例えば、手ぶれにより生じるものである。

動き検出回路２３₁には、基準画像としての１枚目の撮像画像がフレームメモリ２２₁から、ターゲット画像としての２枚目の撮像画像がフレームメモリ２２₂から、それぞれ供給される。

動き検出回路２３₁は、２枚目の撮像画像の各画素（あるいは、画像全体を複数のブロックに分割したときの各ブロック）が、１枚目の撮像画像のどの位置に対応しているかを検出し、即ち、２枚目の撮像画像のある位置に投影されている被写体の部分と同一の部分が投影されている１枚目の撮像画像上の位置を検出し、その検出結果に基づき、１枚目の撮像画像と２枚目の撮像画像との位置関係（ズレ量）を表す式（１）を定義する変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)を求めて、演算回路２４に供給する。

・・・（１）

式（１）は、いわゆるアフィン変換の式である。ここで、画像の座標系として、図３の撮像素子４における場合と同様に、その画像の左上の画素の中心を原点として、水平方向（右方向）をX方向とするとともに、垂直方向（下方向）をY方向とするXY座標系を定義すると、式（１）において、（X₂，Y₂）は、２枚目の撮像画像の画素の、その２枚目の撮像画像の座標系上の位置を表し、（X₁₍₂₎，Y₁₍₂₎）は、２枚目の撮像画像の画素の位置（X₂，Y₂）を、１枚目の撮像画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（X₁₍₂₎，Y₁₍₂₎）における下付きの（２）は、２枚目の撮像画像の座標系上の位置（X₂，Y₂）が、１枚目の撮像画像の座標系上の位置に変換されたことを表す。１枚目の撮像画像の座標系上の位置（X₁₍₂₎，Y₁₍₂₎）には、（理想的には）２枚目の撮像画像の画素の位置（X₂，Y₂）に投影されている被写体の部分と同一の部分が投影されている。

ここで、変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)のうちの、a₂,b₂,c₂,d₂を、a₂=d₂=L₂cosθ₂，-b₂=c₂=L₂sinθ₂と定義すると、式（１）のアフィン変換は、回転角度θ₂、スケールL₂、平行移動量(s₂,t₂)で定義される。この場合、式（１）は、１枚目の撮像画像の位置（X₁₍₂₎，Y₁₍₂₎）に投影されている被写体の部分が、その位置（X₁₍₂₎，Y₁₍₂₎）に対応する２枚目の撮像画像の画素の位置（位置（X₁₍₂₎，Y₁₍₂₎）に投影されている被写体の部分と同一の部分が投影されている２枚目の撮像画像の位置）（X₂，Y₂）に投影されている被写体の部分に対して、角度θ₂だけ回転し、L₂倍だけ拡大（L₂＜１のときは、縮小）され、(s₂,t₂)だけ平行移動していることを表す。

なお、手ぶれでは、通常、撮像素子４の受光面と平行な方向のぶれ（揺れ）が大きく、撮像素子４の受光面と垂直な方向のぶれ（揺れ）は少ないので、撮像素子４の受光面と垂直な方向のぶれはないとみなしても良い。この場合、L₂=1となる。

動き検出回路２３₂には、基準画像としての１枚目の撮像画像がフレームメモリ２２₁から、ターゲット画像としての３枚目の撮像画像がフレームメモリ２２₃から、それぞれ供給される。

動き検出回路２３₂は、３枚目の撮像画像の各画素が、１枚目の撮像画像のどの位置に対応しているかを検出し、その検出結果に基づき、１枚目の撮像画像と３枚目の撮像画像との位置関係を表す式（２）のアフィン変換を定義する変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)を求めて、演算回路２４に供給する。

・・・（２）

式（２）において、（X₃，Y₃）は、３枚目の撮像画像の画素の、その３枚目の撮像画像の座標系上の位置を表し、（X₁₍₃₎，Y₁₍₃₎）は、３枚目の撮像画像の画素の位置（X₃，Y₃）を、１枚目の撮像画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（X₁₍₃₎，Y₁₍₃₎）における下付きの（３）は、式（１）における場合と同様に、３枚目の撮像画像の座標系上の位置（X₃，Y₃）が、１枚目の撮像画像の座標系上の位置に変換されたことを表す。また、式（２）は、a₃=d₃=L₃cosθ₃，-b₃=c₃=L₃sinθ₃と定義すると、式（１）における場合と同様にして、回転角度θ₃、スケールL₃、平行移動量(s₃,t₃)で定義することができる。

以下同様に、動き検出回路２３_k-1には、基準画像としての１枚目の撮像画像がフレームメモリ２２₁から、ターゲット画像としてのk枚目の撮像画像がフレームメモリ２２_kから、それぞれ供給される。

動き検出回路２３_k-1は、k枚目の撮像画像の各画素が、１枚目の撮像画像のどの位置に対応しているかを検出し、その検出結果に基づき、１枚目の撮像画像とk枚目の撮像画像との位置関係を表す式（３）のアフィン変換を定義する変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)を求めて、演算回路２４に供給する。

・・・（３）

式（３）において、（X_k，Y_k）は、k枚目の撮像画像の画素の、そのk枚目の撮像画像の座標系上の位置を表し、（X_1(k)，Y_1(k)）は、k枚目の撮像画像の画素の位置（X_k，Y_k）を、１枚目の撮像画像の座標系上の同一の被写体の部分が投影されている位置に変換したときの、その位置を表す。位置（X_1(k)，Y_1(k)）における下付きの（k）は、式（１）における場合と同様に、k枚目の撮像画像の座標系上の位置（X_k，Y_k）が、１枚目の撮像画像の座標系上の位置に変換されたことを表す。また、式（３）は、a_k=d_k=L_kcosθ_k，-b_k=c_k=L_ksinθ_kと定義すると、式（１）における場合と同様にして、回転角度θ_k、スケールL_k、平行移動量(s_k,t_k)で定義することができる。

変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)は、上述のように、k枚目の撮像画像の各画素の位置に投影されている被写体の部分と同一の部分が投影されている１枚目の撮像画像の位置の検出結果から求める他、ディジタルカメラ１に加速度センサや角速度センサを設け、その加速度センサ等の出力から、いわば、メカニカル的に求めるようにすることもできる。

演算回路２４には、フレームメモリ２２₁乃至２２_NからN枚の撮像画像が供給される。また、演算回路２４には、動き検出回路２３₁乃至２３_N-1から１枚目の撮像画像とk枚目の撮像画像との位置関係を表す変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)が供給される。

演算回路２４は、動き検出回路２３₁乃至２３_N-1から供給される２乃至N枚目の撮像画像それぞれと、１枚目の撮像画像との位置関係を表す変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)に基づき、後述する画像生成処理における画素値の推定に用いる１乃至N枚目の撮像画像の画素を特定し、さらに、その特定した画素の画素地に基づき、カメラぶれを補正した１枚の鮮明な出力画像の画素値（G信号、R信号、B信号）を推定することにより、出力画像を生成する画像生成処理を行い、その結果得られる出力画像を、D/Aコンバータ９またはコーデック１２に供給する。

ここで、A/Dコンバータ６から信号処理回路７に供給されるN枚の撮像画像それぞれは、１画素がG信号、R信号、B信号のうちのいずれか１つの画素値を有する画像であるのに対して、演算回路２４で生成される出力画像は、１画素につきG信号、R信号、B信号の３個の画素値（色信号）を有する画像である。

コントローラ２５は、CPU１５の制御に従い、信号処理回路７内のフレームメモリ２２₁乃至２２_N、動き検出回路２３₁乃至２３_N-1、演算回路２４等の制御を行う。なお、CPU１５（図１）が、コントローラ２５に代わって、信号処理回路７内のフレームメモリ２２₁乃至２２_N、動き検出回路２３₁乃至２３_N-1、演算回路２４等の制御を行うようにすることができ、この場合には、コントローラ２５を省略することができる。

なお、ベイヤー配列を採用する単板センサでは、G信号の画素数に対して、R信号やB信号の画素数が少なくなっている。そのため、信号処理回路７で得られる出力画像におけるR信号やB信号は、G信号に較べて誤差（ノイズ）が大となる場合がある。そのような場合には、演算回路２４の後段に、輝度信号はそのままで、色差信号に対してのみ高周波成分の帯域を制限するローパスフィルタを配置することにより、ノイズを除去（制限）することができる。

次に、図１の信号処理回路７（の演算回路２４（図４））における画像生成処理について説明する。

なお、撮像素子４の各画素で得られる画素値、即ち、撮像画像の画素値は、その画素の、ある１点（例えば、画素の重心（中心））に入射される被写体の光の光量に対応する信号、即ち、画素の重心位置でポイントサンプリングされたデータであるとする。

また、以下では、k枚目の撮像画像のことをk枚目画像とも記述し、さらに、k枚目画像を基準とするXY座標系（k枚目画像の左上の画素の中心を原点として、横（右）方向をX方向とするとともに、縦（下）方向をY方向とするXY座標系）を、k枚目画像の座標系という。

上述のように、撮像素子４の各画素で得られる画素値を、画素の重心位置でポイントサンプリングされたデータであるとした場合、図３の撮像素子４の各画素のうち、「i番目、j番目の画素」の画素値は、例えば、「i番目、j番目の画素」の重心の位置（座標）(i-1,j-1)に投影された被写体の光の光量に対応する。

例えば、いま、撮像素子４の「i番目、j番目の画素」の画素値が、「i番目、j番目の画素」の重心の位置（座標）(i-1,j-1)に投影された被写体の光の光量に等しいとすると、例えば、１枚目画像の「ig番目、jg番目の画素」の画素値Gobs（１，ig，jg）は、１枚目画像の座標系（１枚目画像を基準とする座標系）の位置(ig-1,jg-1)の緑色の光量Lg(ig-1,jg-1)である。同様に、１枚目画像の「ir番目、jr番目の画素」の画素値Robs（１，ir，jr）は、１枚目画像の座標系の位置(ir-1,jr-1)の赤色の光量Lr(ir-1,jr-1)であり、１枚目画像の「ib番目、jb番目の画素」の画素値Bobs（１，ib，jb）は、１枚目画像の座標系の位置(ib-1,jb-1)の青色の光量Lb(ib-1,jb-1)である。

ここで、図５は、１枚目画像を示している。

図５において、撮像画像の画素を、図３で説明した撮像素子４の画素と同様に表すこととすると、１枚目画像の画素G(jg-1)(ig-1)については、黒丸で示される画素の重心位置に、G信号の画素値Gobs（１，ig，jg）が観測される。また、画素R(jr-1)(ir-1)については、黒四角で示される画素の重心位置に、R信号の画素値Robs（１，ir，jr）が観測され、画素B(jb-1)(ib-1)については、黒三角で示される画素の重心位置に、B信号の画素値Bobs（１，ib，jb）が観測される。

以上のように、１枚目画像の画素値は、１枚目画像の座標系上の各画素の重心位置、即ち、i番目、j番目の画素では、位置(i-1,j-1)において観測される。

図６は、２枚目画像を示している。

図６において、２枚目画像の画素G(jg-1)(ig-1)については、黒丸で示される画素の重心位置に、G信号の画素値Gobs（２，ig，jg）が観測される。また、画素R(jr-1)(ir-1)については、黒四角で示される画素の重心位置に、R信号の画素値Robs（２，ir，jr）が観測され、画素B(jb-1)(ib-1)については、黒三角で示される画素の重心位置に、B信号の画素値Bobs（２，ib，jb）が観測される。

以上のように、２枚目画像においても、１枚目画像と同様に、画素値は、２枚目画像の座標系上の各画素の重心位置、即ち、i番目、j番目の画素では、位置(i-1,j-1)において観測される。

演算回路２４（図４）は、画像生成処理において、N枚の撮像画像から、そのN枚の撮像画像どうしの位置関係を検出するときの基準となった撮像画像、即ち、ここでは、１枚目画像に投影されている被写体の範囲の画像を、出力画像として生成する。即ち、演算回路２４は、N枚の撮像画像の位置関係に基づき、出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いるN枚の撮像画像の画素を特定し、その特定したN枚の撮像画像の画素の画素値に基づき、出力画像の各画素の位置の画素値を推定することにより、出力画像を生成する。

演算回路２４は、このように、出力画像の画素の位置ごとに、その画素（の位置）の画素値の推定に用いるN枚の撮像画像の画素を特定するため、N枚の撮像画像それぞれに投影されている被写体の各部が一致（対応）するように、そのN枚の撮像画像の画素（の位置）を、出力画像上の位置、即ち、基準画像である１枚目画像上の位置に変換する。

この変換は、動き検出回路２３_k-1（図４）で求められた、N枚の撮像画像の位置関係を表す式（１）乃至（３）の変換パラメータ(a,b,c,d,s,t)（以下、適宜、変換パラメータを表す変数のサフィックスは省略する）のアフィン変換によって行われる。

即ち、例えば、２枚目画像上の画素（点）は、動き検出回路２３₁により求められた変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)を用いた式（１）のアフィン変換によって、１枚目画像の座標系上の点に変換することができる。

図６には、１枚目画像の座標系上の点に変換された２枚目画像の、画素値がGobs（２，ig，jg），Robs（２，ir，jr），Bobs（２，ib，jb）それぞれの画素（の重心位置）も示されている。

即ち、２枚目画像の座標系の画素G(jg-1)(ig-1)のG信号の画素値Gobs（２，ig，jg）は、２枚目画像の座標系上の位置(ig-1,jg-1)を動き検出回路２３₁により求められた変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)によりアフィン変換した１枚目画像の座標系上の位置((ig-1)₍₂₎,(jg-1)₍₂₎)で観測される（はずの）緑色の光量Lg（x，y）でもある。図６では、G信号の画素値Gobs（２，ig，jg）が観測される１枚目画像の座標系上の位置((ig-1)₍₂₎,(jg-1)₍₂₎)が、白丸で示されている。

また、２枚目画像の座標系の画素R(jr-1)(ir-1)のR信号の画素値Robs（２，ir，jr）は、２枚目画像の座標系上の位置(ir-1,jr-1)を動き検出回路２３₁により求められた変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)により変換した１枚目画像の座標系上の位置((ir-1)₍₂₎,(jr-1)₍₂₎)で観測される（はずの）赤色の光量Lr（x，y）でもある。図６では、R信号の画素値Robs（２，ir，jr）が観測される１枚目画像の座標系上の位置((ir-1)₍₂₎,(jr-1)₍₂₎)が、白四角で示されている。

さらに、２枚目画像の座標系の画素B(jb-1)(ib-1)のB信号の画素値Bobs（２，ib，jb）は、２枚目画像の座標系上の位置(ib-1,jb-1)を動き検出回路２３₁により求められた変換パラメータ(a₂,b₂,c₂,d₂,s₂,t₂)により変換した１枚目画像の座標系上の位置((ib-1)₍₂₎,(jb-1)₍₂₎)で観測される（はずの）青色の光量Lb（x，y）でもある。図６では、B信号の画素値Bobs（２，ib，jb）が観測される１枚目画像の座標系上の位置((ib-1)₍₂₎,(jb-1)₍₂₎)が、白三角で示されている。

次に、図７は、３枚目画像を示している。

図７において、３枚目画像の画素G(jg-1)(ig-1)については、黒丸で示される画素の重心位置に、G信号の画素値Gobs（３，ig，jg）が観測される。また、画素R(jr-1)(ir-1)については、黒四角で示される画素の重心位置に、R信号の画素値Robs（３，ir，jr）が観測され、画素B(jb-1)(ib-1)については、黒三角で示される位置に、B信号の画素値Bobs（３，ib，jb）が観測される。

以上のように、３枚目画像の画素値も、３枚目画像の座標系上の各画素の重心位置、即ち、i番目、j番目の画素では、位置(i-1,j-1)において観測される。

３枚目画像上の画素（点）も、２枚目画像と同様に、動き検出回路２３₂により求められた変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)を用いた式（２）のアフィン変換によって、１枚目画像の座標系上の点に変換することができる。

図７には、その１枚目画像の座標系に変換された３枚目画像上の、画素値がGobs（３，ig，jg），Robs（３，ir，jr），Bobs（３，ib，jb）それぞれの画素（の重心位置）も示されている。

即ち、３枚目画像の座標系の画素G(jg-1)(ig-1)のG信号の画素値Gobs（３，ig，jg）は、３枚目画像の座標系上の位置(ig-1,jg-1)を動き検出回路２３₂により求められた変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)によりアフィン変換した１枚目画像の座標系上の位置((ig-1)₍₃₎,(jg-1)₍₃₎)で観測される（はずの）緑色の光量Lg（x，y）でもある。図７では、G信号の画素値Gobs（３，ig，jg）が観測される１枚目画像の座標系上の位置((ig-1)₍₃₎,(jg-1)₍₃₎)が、白丸で示されている。

また、３枚目画像の座標系の画素R(jr-1)(ir-1)のR信号の画素値Robs（３，ir，jr）は、３枚目画像の座標系上の位置(ir-1,jr-1)を動き検出回路２３₂により求められた変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)によりアフィン変換した１枚目画像の座標系上の位置((ir-1)₍₃₎,(jr-1)₍₃₎)で観測される（はずの）赤色の光量Lr（x，y）でもある。図７では、R信号の画素値Robs（３，ir，jr）が観測される１枚目画像の座標系上の位置((ir-1)₍₃₎,(jr-1)₍₃₎)が、白四角で示されている。

さらに、３枚目画像の座標系の画素B(jb-1)(ib-1)のB信号の画素値Bobs（３，ib，jb）は、３枚目画像の座標系上の位置(ib-1,jb-1)を動き検出回路２３₂により求められた変換パラメータ(a₃,b₃,c₃,d₃,s₃,t₃)によりアフィン変換した１枚目画像の座標系上の位置((ib-1)₍₃₎,(jb-1)₍₃₎)で観測される（はずの）青色の光量Lb（x，y）でもある。図７では、B信号の画素値Bobs（３，ib，jb）が観測される１枚目画像の座標系上の位置((ib-1)₍₃₎,(jb-1)₍₃₎)が、白三角で示されている。

次に、図８は、基準画像である１枚目の撮像画像を基準として、１乃至N枚目の撮像画像に投影されている被写体の各部が一致するように、１乃至N枚目の撮像画像を位置合わせするアフィン変換を行った場合に、１乃至N枚目の撮像画像それぞれにおける緑色の画素（緑色の光を受光した画素）G(jg-1)(ig-1)の画素値Gobs（１，ig，jg）乃至Gobs（N，ig，jg）が観測される１枚目画像の座標系上の位置を示している。

図８では、１枚目画像の座標系上の(I',J')に着目した場合の、その周辺の位置における１乃至Ｎ枚目画像の緑色の画素（緑色の光を受光した画素）の一例を示している。ig番目、jg番目の画素G(jg-1)(ig-1)の重心位置（画素中心）において１枚目画像の画素値Gobs（１，ig，jg）が観測されている。但し、I'=ig-1，J'=jg-1の場合である。また、画素G(jg-1)(ig-1)の画素中心の左上側に、位置が１枚目画像の座標系上にアフィン変換された２枚目画像の画素値Gobs（２，ig，jg）が観測されている。さらに、画素G(jg-1)(ig-1)の画素中心の左下側に、位置が１枚目画像の座標系上にアフィン変換された３枚目画像の画素値Gobs（３，ig，jg）が観測されている。また、画素G(jg-1)(ig-1)の画素中心の右上側に、位置が１枚目画像の座標系上にアフィン変換された４枚目画像の画素値Gobs（４，ig，jg）が観測されている。なお、５乃至N枚目画像の画素値Gobs（k，ig₎，jg）（k＝５乃至N）の図示は、省略されている。

演算回路２４は、１乃至N枚目画像の画素（の位置）を、基準画像である１枚目画像の座標系上の位置にアフィン変換し、そのアフィン変換後の位置における画素の画素値Gobs（k，ig，jg）（k＝１乃至N）に基づいて、１枚目画像の座標系上の位置(i-1,j-1)の緑色の光量Lg(i-1,j-1)を、出力画像の、その位置(i-1,j-1)におけるG信号の画素値として推定する。

ここで、基準画像である１枚目画像の座標系上において、i番目、j番目の画素の中心位置(i-1,j-1)を（I'，J'）と表すことにする。即ち、I'=i-1，J'=j-1とする。なお、I',J'は、０以上の整数である。

図９は、演算回路２４が、真の緑の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）それぞれを、出力画像の画素値として推定すべき、１枚目画像の座標系上の位置を示している。

図９では、出力画像の各画素の中心位置（I'，J'）、即ち、１枚目画像の座標系上の撮像素子４の各画素の中心位置（I'，J'）が、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）を推定すべき位置として黒丸で示されている。即ち、黒丸で示された各画素の中心位置（I'，J'）においては、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）のすべてが推定される。

ここで、以下、適宜、基準画像の座標系を、基準座標系という。ここでは、１枚目画像を基準画像としているので、１枚目画像の座標系が基準座標系である。

演算回路２４は、１乃至N枚目画像の画素（の位置）を、基準座標系上の位置にアフィン変換し、そのアフィン変換後の位置における画素のG信号の画素値Gobs（k，ig，jg）（k＝１乃至N）を用いて、基準座標系上の位置（I'，J'）の緑色の光量Lg（I'，J'）を、出力画像の、その位置（I'，J'）におけるG信号の画素値として推定する。

但し、１乃至N枚目画像の画素の、基準座標系上へのアフィン変換後の位置における画素のG信号の画素値Gobs（k，ig，jg）のすべてを用いて、基準座標系上の位置（I'，J'）の緑色の光量Lg（I'，J'）を、出力画像の位置（I'，J'）におけるG信号の画素値として推定したのでは、その推定精度が劣化する。

そこで、演算回路２４は、１乃至N枚目画像の画素の、基準座標系上へのアフィン変換後の位置が、緑色の光量Lg（I'，J'）を推定しようとする位置（I'，J'）の近傍にある１乃至N枚目画像の画素を、緑色の光量Lg（I'，J'）、即ち、出力画像の画素値の推定に用いる画素として特定し、その特定した１乃至N枚目画像の画素のG信号の画素値Gobs（k，ig，jg）を用いて、緑色の光量Lg（I'，J'）を推定する。

図１０は、演算回路２４が緑色の光量Lg（I'，J'）の推定に用いる１乃至N枚目画像の画素の位置をプロットした基準座標系を示している。

演算回路２４は、基準座標系上の位置（I'，J'）について、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１の範囲を、位置（I'，J'）の近傍の範囲（近傍範囲）として設定し、基準座標系上へのアフィン変換後の位置が、近傍範囲内にある１乃至N枚目画像の画素を、緑色の光量Lg（I'，J'）の推定に用いる画素して特定する。即ち、演算回路２４では、位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす整数k，ig，jgの組がすべて求められ、この(k，ig，jg)で表される画素が、緑色の光量Lg（I'，J'）の推定に用いる画素して特定される。

図１０では、基準座標系上へのアフィン変換後の位置として、５つの点A，B，C，D，Eが存在し、従って、演算回路２４では、その点A乃至点Eにアフィン変換される１乃至N枚目画像の画素が、緑色の光量Lg（I'，J'）の推定に用いる画素して特定される。

そして、演算回路２４では、点A乃至点Eそれぞれで観測される画素値Gobs（k，ig，jg）、即ち、位置が点A乃至点Eにアフィン変換される１乃至N枚目画像の画素のG信号の画素値Gobs（k，ig，jg）を用いて、位置（I'，J'）の緑色の光量Lg（I'，J'）が推定される。

図１１は、点A乃至点Eそれぞれで観測される画素値Gobs（k，ig，jg）を用いて、位置（I'，J'）の緑色の光量Lg（I'，J'）が推定される様子を模式的に示している。

演算回路２４は、例えば、次式にしたがって緑色の光量Lg（I'，J'）を推定する。

・・・（４）

ここで、式（４）におけるΣは、位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ig，jg）の組についての総和を表す。例えば、図１０および図１１の例では、点A乃至点Eの５個の（k，ig，jg）の組についての総和となる。

また、式（４）において、w((x,y),(I',J'))は、位置(ig-1,jg-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y）と、緑色の光量Lg（I'，J'）を推定しようとする位置（画素）（I'，J'）とを引数とする重みを表す。

従って、式（４）によれば、緑色の光量Lg（I'，J'）が、実際に観測されている画素値Gobs（k，ig，jg）を用いた重み付け加算（重み付け平均）によって推定される。そこで、以下、適宜、式（４）を緑色の光量の重み加算式と称する。

重みw((x,y),(I',J'))としては、例えば、位置（x，y）と（I'，J'）との距離に対して単調減少する関数などを用いることができる。位置（x，y）と（I'，J'）との距離を、F((x,y),(I',J'))＝√｛（x-I'）²＋（y-J'）²｝と表すこととすると、位置（x，y）と（I'，J'）との距離に対して単調減少する関数としては、例えば、√２-F((x,y),(I',J'))などを採用することができる。ここで、√２-F((x,y),(I',J'))における√２は、図１０および図１１に示した、位置（I'，J'）の緑色の光量Lg（I'，J'）の推定に用いられる画素値Gobs（k，ig，jg）が存在する（I'±１，J'±１）で囲まれる領域内の中心(I',J')からの最大の距離であり、従って、√２-F((x,y),(I',J'))は、位置（x，y）と（I'，J'）との距離に対して単調減少する非負の関数となる。

重みw((x,y),(I',J'))として、√２-F((x,y),(I',J'))を用いた場合、位置（I'，J'）に対してより近い位置の画素値Gobs（k，ig，jg）の影響をより強く受けるように、緑色の光量Lg（I'，J'）が推定される。

なお、図１で説明したように、相関２重サンプリング回路５が出力する画像信号に含まれるノイズ量をEとすると、その画像信号には、シフト回路２１において、n'ビットシフトによるM_k倍のゲインアップの処理が施されるため、画素値Gobs（k，ig，jg）には、ノイズ量E×M_kのノイズが含まれる。

緑色の光量Lg（I'，J'）の推定にあたっては、画素値Gobs（k，ig，jg）に含まれるノイズの影響を排除すべきであり、かかる観点からは、重みw((x,y),(I',J'))は、画素値Gobs（k，ig，jg）に含まれるノイズのノイズ量E×M_kに対して減少するようにするのが望ましい。そこで、重みw((x,y),(I',J'))としては、位置（x，y）と（I'，J'）との距離に対して減少し、かつノイズ量E×M_kに対しても減少する、例えば、｛√２-F((x,y),(I',J'))｝／（E×M_k）などを採用することができる。

ここで、重みw((x,y),(I',J'))としては、その他、例えば、位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有する関数などを採用することもできるが、この点については、後述する。

演算回路２４は、位置（I'，J'）における赤色の光量Lr（I'，J'）と、青色の光量Lb（I'，J'）も、緑色の光量Lg（I'，J'）における場合と同様に推定する。即ち、演算回路２４は、赤色の光量Lr（I'，J'）と、青色の光量Lb（I'，J'）を、式（４）と同様の式（５）と式（６）にしたがってそれぞれ推定する。

・・・（５）

・・・（６）

なお、式（５）におけるΣは、位置（I'，J'）に対して、位置(ir-1,jr-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)で変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ir，jr）の組についての総和を表す。また、式（６）におけるΣは、位置（I'，J'）に対して、位置(ib-1,jb-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)で変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ib，jb）の組についての総和を表す。

ここで、以下、適宜、式（５）を赤色の光量の重み加算式と、式（６）を青色の光量の重み加算式と、それぞれ称することとする。

以上のように、演算回路２４では、位置（I'，J'）に対して、位置(i-1,j-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，i，j）で表される画素を、位置（I'，J'）の画素値の推定に用いる画素（以下、適宜、特定画素という）として特定し、その特定画素の画素値に基づいて、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）が求められる（推定される）。

次に、図１２のフローチャートを参照して、以上のようにして画素値（緑色、赤色、青色の光量）を推定することにより、出力画像を生成する図２のステップＳ４における画像生成処理について説明する。

初めに、ステップＳ７１において、演算回路２４は、基準座標系上のある位置（I'，J'）に注目する（以下、注目位置（I'，J'）と称する）。ここで、注目位置（I'，J'）は、基準画像である１枚目の撮像画像の「i番目、j番目の画素」の画素中心(i-1,j-1)を表している。

そして、ステップＳ７１からS７２に進み、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の緑色の画素（緑色の画素値Gobs(k,ig,jg)の画素）の中心位置(ig-1,jg-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ig，jg）の組を、１乃至N枚目画像についてすべて求め、その（k，ig，jg）で表される画素を特定画素として特定し、ステップＳ７３に進む。

なお、k枚目画像の画素（の位置）を、基準座標系上の位置（x，y）にアフィン変換するときの変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)は、動き検出回路２３_k-1から演算回路２４に供給される。また、基準画像である１枚目画像については、即ち、ｋ＝１の場合については、変換パラメータ(a₁,b₁,c₁,d₁,s₁,t₁)として、（１，０，０，１，０，０）が用いられる。従って、基準画像は、実質的にアフィン変換されない。

ここで、k枚目画像の画素（の位置）の、基準座標系上へのアフィン変換後の位置（x，y）を、以下、適宜、変換位置（x，y）ともいう。

ステップＳ７３において、演算回路２４は、ステップＳ７２で求めたすべての（k，ig，jg）の組を用いて、式（４）で表される緑色の光量の重み加算式を生成して、ステップＳ７４に進む。即ち、演算回路２４は、ステップＳ７２で求めたすべての（k，ig，jg）で表される特定画素の画素値Gobs（k，ig，jg）と変換位置(x,y)を用いて、式（４）の緑色の光量の重み加算式の分母Σw((x,y),(I',J'))、および分子Σ{w((x,y),(I',J'))×Gobs（k，ig，jg）}を演算する。

ステップＳ７４において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の赤色の画素（赤色の画素値Robs（k，ir，jr）の画素）の中心位置(ir-1,jr-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の変換位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ir，jr）の組を、１乃至N枚目画像についてすべて求め、その（k，ir，jr）で表される画素を特定画素として特定し、ステップＳ７５に進む。

ステップＳ７５において、演算回路２４は、ステップＳ７４で求めたすべての（k，ir，jr）の組を用いて、式（５）で表される赤色の光量の重み加算式を生成して、ステップＳ７６に進む。即ち、演算回路２４は、ステップＳ７４で求めたすべての（k，ir，jr）で表される特定画素の画素値Robs（k，ir，jr）と変換位置(x,y)を用いて、式（５）の赤色の光量の重み加算式の分母Σw((x,y),(I',J'))、および分子Σ{w((x,y),(I',J'))×Robs（k，ir，jr）}を演算する。

ステップＳ７６において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の青色の画素（青色の画素値Bobs（k，ib，jb）の画素）の中心位置(ib-1,jb-1)を変換パラメータ(a_k,b_k,c_k,d_k,s_k,t_k)でアフィン変換した基準座標系上の変換位置（x，y）が、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１を満たす（k，ib，jb）の組を、１乃至N枚目画像についてすべて求め、その（k，ib，jb）で表される画素を特定画素として特定し、ステップＳ７７に進む。

ステップＳ７７において、演算回路２４は、ステップＳ７６で求めたすべての（k，ib，jb）の組を用いて、式（６）で表される青色の光量の重み加算式を生成して、ステップＳ７８に進む。即ち、演算回路２４は、ステップＳ７６で求めたすべての（k，ib，jb）で表される特定画素の画素値Bobs（k，ib，jb）と変換位置(x,y)を用いて、式（６）の青色の光量の重み加算式の分母Σw((x,y),(I',J'))、および分子Σ{w((x,y),(I',J'))×Bobs（k，ib，jb）}を演算する。

ステップＳ７８において、演算回路２４は、ステップＳ７３で求めた式（４）の緑色の光量の重み加算式の分子Σ{w((x,y),(I',J'))×Gobs（k，ig，jg）}を、その分母Σw((x,y),(I',J'))で除算することにより、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を求める（推定する）。さらに、演算回路２４は、ステップＳ７５で求めた式（５）の赤色の光量の重み加算式の分子Σ{w((x,y),(I',J'))×Robs（k，ir，jr）}を、その分母Σw((x,y),(I',J'))で除算することにより、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を求めるとともに、ステップＳ７７で求めた式（６）の青色の光量の重み加算式の分子Σ{w((x,y),(I',J'))×Bobs（k，ib，jb）}を、その分母Σw((x,y),(I',J'))で除算することにより、注目位置（I'，J'）における青色の光量Lb（I'，J'）を求め、ステップＳ７９に進む。

即ち、ステップＳ７８では、出力画像の位置（I'，J'）の画素について、G信号、R信号、B信号の３個の画素値が求められる。

ステップＳ７９において、演算回路２４は、すべての位置（I'，J'）を注目位置としたか、即ち、基準画像である１枚目の撮像画像の画素、つまり、出力画像の画素の中心位置のすべてを注目位置（I'，J'）として、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）を求めたか否かを判定する。

ステップＳ７９で、すべての位置（I'，J'）をまだ注目位置としていないと判定された場合、ステップＳ７１に戻り、ステップＳ７１乃至S７９の処理が繰り返される。即ち、演算回路２４は、まだ注目していない位置（I'，J'）を新たな注目位置（I'，J'）として、その新たな注目位置（I'，J'）における緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）をそれぞれ求める。

一方、ステップＳ７９で、すべての位置（I'，J'）を注目位置としたと判定された場合、ステップＳ８０に進み、演算回路２４は、ステップＳ７８で求めた緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）を、それぞれ、位置（I'，J'）の画素におけるG信号、R信号、B信号の画素値とする出力画像を生成し（得て）、D/Aコンバータ９またはコーデック１２に供給して、処理を戻る。

以上のように、高速撮像により得られた複数の撮像画像どうしの位置関係を検出し、その位置関係に基づき、出力画像の画素の位置ごとに、その画素の位置の画素値の推定に用いる複数の撮像画像の画素を、特定画素として特定し、その特定画素の画素値に基づき、出力画像の各画素の位置の画素値を推定することにより、出力画像を生成するので、カメラぶれのない鮮明な出力画像を得ることができる。

次に、上述の場合には、出力画像の画素値（緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'））を推定する式（４）乃至式（６）の重みw((x,y),(I',J'))として、位置（x，y）と（I'，J'）との距離に対して減少する、例えば、√２-F((x,y),(I',J'))などを採用することとしたが、重みw((x,y),(I',J'))としては、その他、例えば、位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有する関数を採用することができる。

位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有する関数としては、例えば、キュービック（Cubic）関数を用いたCubic（I'−x）×Cubic（J'−y）がある。

ここで、キュービック関数Cubic(z)は、次式（７）で表される。

・・・（７）

なお、式（７）のaは、予め決められた定数であり、例えば、−１などとされる。

図１３は、キュービック関数Cubic(z)を示している。

キュービック関数Cubic(z)は、変数zが、２≦｜z｜、および｜z｜＝１の場合には、０となり、１＜｜z｜＜２の場合には、負の値となる。また、｜z｜＜１の場合には、Cubic(z)は、正の値となり、かつ、｜z｜の値が大きくなるに従い、小さくなる。換言すれば、キュービック関数Cubic（z）は、周波数軸で考えた場合（フーリエ変換した場合）にローパスフィルタの特性を有する関数である。

重みw((x,y),(I',J'))として、キュービック関数Cubic（z）を用いる場合、演算回路２４（図４）は、次のようにして、出力画像の画素値（緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'））を推定する。

即ち、図１４は、位置（I'，J'）に対して、N枚の撮像画像の位置(ig-1,jg-1)を基準座標系（ここでは、１枚目の座標系）上にアフィン変換した変換位置（x，y）としての点G11乃至G19を示している。

図１４において、変換位置（x，y）としての点G11乃至G19は、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲内の点であり、演算回路２４は、このI'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲を、位置（I'，J'）の近傍範囲として、変換位置（x，y）が近傍範囲内にある１乃至N枚目画像の画素を、特定画素として特定する。

即ち、重みw((x,y),(I',J'))として、位置（x，y）と（I'，J'）との距離に対して減少する√２-F((x,y),(I',J'))を採用した場合には、図１０および図１１に示したように、I'−１≦x＜I'＋１，J'−１≦y＜J'＋１の範囲を、位置（I'，J'）の近傍範囲としたが、重みw((x,y),(I',J'))として、キュービック関数を用いたCubic（I'−x）×Cubic（J'−y）を採用する場合には、図１４に示すように、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲を、位置（I'，J'）の近傍範囲とする。

これは、上述したように、式（７）で表されるキュービック関数Cubic(z)が、−２≦z≦２の範囲で、引数zに応じた値をとるので（｜z｜＞２の範囲では、引数zにかかわらず０であるので）、その範囲と対応する範囲、即ち、I'−２≦x＜I'＋２、およびJ'−２≦y＜J'＋２の範囲に、変換位置（x，y）が存在する画素の画素値を用いて、出力画像における位置（I'，J'）の画素値を推定するためである。

ここで、重みw((x,y),(I',J'))としては、位置（x，y）と（I'，J'）との距離に対してローパスフィルタの特性を有し、かつ、さらに、式（４）で説明したように、ノイズ量E×M_kに対して減少する関数を採用することができる。この場合、w((x,y),(I',J'))は、例えば、｛Cubic（I'−x）×Cubic（J'−y）｝／（E×M_k）で表される。

なお、シフト回路２１（図１）において、N枚の撮像画像に対して、すべて同一のM倍のゲインアップを行うこととする場合、w((x,y),(I',J'))は、｛Cubic（I'−x）×Cubic（J'−y）｝／（E×M）で表される。この場合、式（４）乃至式（６）では、w((x,y),(I',J'))における１／（E×M）は、式（４）乃至式（６）の分母と分子で相殺（約分）されるので、式（４）乃至式（６）を計算するにあたって、w((x,y),(I',J'))として、｛Cubic（I'−x）×Cubic（J'−y）｝／（E×M）を用いることは、w((x,y),(I',J'))として、Cubic（I'−x）×Cubic（J'−y）を用いることと等価である。

式（４）における重みw((x,y),(I',J'))を、Cubic（I'−x）×Cubic（J'−y）に代えて、式（４）を書き直すと、式（８）になる。

・・・（８）

ここで、式（８）におけるΣは、位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ig，jg）の組についての総和を表す。例えば、図１４に示した例では、点G11乃至点G19の９個の（k，ig，jg）の組についての総和となる。

なお、式（８）も、式（４）と同様に、緑色の光量の重み加算式と称する。また、式（８）の緑色の光量の重み加算式の分子と分母を、次のように、式（９）と式（１０）とする。

・・・（９）

・・・（１０）

同様に、式（５）と式（６）における重みw((x,y),(I',J'))を、Cubic（I'−x）×Cubic（J'−y）に代えて、式（５）と式（６）を書き直すと、それぞれ、式（１１）と式（１２）になる。

・・・（１１）

・・・（１２）

なお、式（１１）におけるΣは、位置（I'，J'）に対して、位置(ir-1,jr-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ir，jr）の組についての総和を表す。また、式（１２）におけるΣも、式（６）における場合と同様に、位置（I'，J'）に対して、位置(ib-1,jb-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ib，jb）の組についての総和を表す。

ここで、式（１１）を、式（５）と同様に、赤色の光量の重み加算式と称し、式（１２）を、式（６）と同様に、青色の光量の重み加算式と称する。

また、式（１１）の赤色の光量の重み加算式の分子と分母を、それぞれ、式（１３）と式（１４）とする。

・・・（１３）

・・・（１４）

同様に、式（１２）の青色の光量の重み加算式の分子と分母を、それぞれ、式（１５）と式（１６）とする。

・・・（１５）

・・・（１６）

演算回路２４では、以上の式（８）で表される緑色の光量の重み加算式、式（１１）で表される赤色の光量の重み加算式、および式（１２）で表される青色の光量の重み加算式を用いて、出力画像の画素値、即ち、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）を求めることができる。

ところで、演算回路２４において、式（８）、式（１１）、および式（１２）によって、出力画像の画素値（緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'））を求める場合、出力画像の画素値として、信頼性の低い値が得られることがある。

即ち、式（８）の緑色の光量の重み加算式によれば、変換位置（x，y）における画素値Gobs（k，ig，jg）と重みCubic（I'−x）×Cubic（J'−y）との積和である式（９）で表される式（８）の分子を、重みCubic（I'−x）×Cubic（J'−y）の総和である式（１０）で表される式（８）の分母で除算することにより、位置（I'，J'）の緑色の光量Lg（I'，J'）が求められる。

従って、式（８）の分母である式（１０）が０（ほぼ０も含む）となる場合、式（８）で求められる緑色の光量Lg（I'，J'）は、不安定（不定）な、信頼性の低い値となる。換言すれば、式（８）の分母である式（１０）が０となる位置（I'，J'）では、式（８）の分子における画素値Gobs（k，ig，jg）に含まれる僅かなノイズ（誤差）が、０である分母で除算されることにより、大きな値に増幅され、その結果、式（８）で求められる緑色の光量Lg（I'，J'）は、大きなノイズを含む信頼性のない値となる。

式（８）の分母である式（１０）が０となる場合は、例えば、キュービック関数Cubic（I'−x）またはCubic（J'−y）のうちの少なくとも一方が、式（１０）のサメーションの全範囲にわたって０となる場合である。そして、キュービック関数Cubic（I'−x）またはCubic（J'−y）が０となる場合は、図１３で示したキュービック関数の特性から、I'−x＝±１またはJ'−y＝±１、即ち、x＝I'±１またはy＝J'±１となる場合である。

従って、ある位置（I'，J'）に対して、位置(ig-1,jg-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）で基準座標系上にアフィン変換した場合に、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する、すべての（k，ig，jg）の画素値Gobs（k，ig，jg）の変換位置（x，y）が、位置（I'，J'）とx＝I'±１またはy＝J'±１の関係があるとき、式（８）で求められる緑色の光量Lg（I'，J'）は、その分母が０（またはほぼ０）となるから、不安定（不定）な、信頼性のない値となる。但し、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する画素値Gobs（k，ig，jg）の変換位置（x，y）すべてが、位置（I'，J'）と、x＝I'±１またはy＝J'±１の関係となる状態は、極めて特別な、例外的な状態であり、以下、この状態を例外状態と称する。

図１５は、ある位置（I'，J'）が例外状態となっている場合を示している。

図１５では、位置(ig-1,jg-1)が変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換された変換位置G11'およびG15'が、x＝I'−１の関係となる位置に出現し、変換位置G12'およびG16'が、x＝I'＋１の関係となる位置に出現している。

また、位置(ig-1,jg-1)が変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）で変換された変換位置G13'およびG14'が、y＝J'−１の関係となる位置に出現し、変換位置G17'，G18'、およびG19'が、y＝J'＋１の関係となる位置に出現している。

図１５に示す状態においては、基準座標系上のI'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に変換された（k，ig，jg）の組のすべての変換位置（x，y）が、位置（I'，J'）とx＝I'±１またはy＝J'±１の関係がある。この状態では、位置（I'，J'）を中心とした、およそ（I'±１，J'±１）内の領域（位置（I'，J'）を中心とする横×縦が２×２の正方形の領域）には、重みw((x,y),(I',J'))が０でないG信号のデータ（画素値Gobs（k，ig，jg））が１つも存在していない。

このような状態（例外状態）において、位置（I'，J'）における緑色の光量Lg（I'，J'）を、式（８）によって求めた場合、上述したように、信頼性の低い（不安定な）緑色の光量Lg（I'，J'）が得られることとなる。

そこで、位置（I'，J'）の画素が、このような例外状態にある場合には、演算回路２４は、式（８）により、位置（I'，J'）における緑色の光量Lg（I'，J'）を求める処理を行うのではなく、次のような例外処理を行うことによって、位置（I'，J'）における緑色の光量Lg（I'，J'）を求める。ここで、式（８）、式（１１）または式（１２）により、それぞれ、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、または青色の光量Lb（I'，J'）を求める処理を、以下、適宜、通常処理という。

即ち、例えば、いま、位置（I'，J'）を注目位置とし、その注目位置（I'，J'）の出力画像の画素（以下、適宜、注目画素という）における緑色の光量Lg（I'，J'）を推定するとして、注目画素（の注目位置（I'，J'））が例外状態となっている場合、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における緑色の光量Lg（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍にあるk枚目の撮像画像の画素の画素値Gobs（k，ig，jg）の他に、変換位置（x，y）が注目画素の周辺の出力画像の画素の位置の近傍にあるk枚目の撮像画像の画素の画素値Gobs（k，ig，jg）をも用いて求める。

ここで、例外処理において、緑色の光量Lg（I'，J'）を求める場合には、注目位置（I'，J'）の注目画素の周辺の画素（以下、適宜、周辺画素という）としては、例えば、図１６に示すような、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１），（I'，J'＋１）それぞれの画素を採用することができる。

即ち、ディジタルカメラ１の撮像素子４は、図３を参照して説明したように、ベイヤー配列となっている。ベイヤー配列では、緑色の成分を受光する画素は、X方向およびY方向ともに、１画素おきに配列されている。

ベイヤー配列の撮像素子４において得られるN枚の撮像画像を、基準座標系上にアフィン変換した場合に、注目位置（I'，J'）の近傍にG信号の観測値（である画素値）Gobs（k，ig，jg）が存在していないときは、その注目位置（I'，J'）の基準画像の画素は、緑色の画素ではない。

即ち、図１７は、ベイヤー配列の撮像素子４において得られる基準画像を示している。なお、図１７において、基準画像は、横方向（X方向）にW個の画素を、縦方向（Y方向）にH個の画素を、それぞれ有しており、W×Hの画素から構成されている。従って、撮像素子４も、W×Hの画素数を有している。

例えば、注目位置（I'，J'）の基準画像の画素が、図１７に示すように、ベイヤー配列の画素のうちの、青色の画素（撮像素子４の画素のうちの青色の成分を受光する画素に対応する基準画像の画素）であり、丸で囲まれている画素B12である場合、画素B12の上下左右のいずれかには、緑色の画素が存在する。同様に、赤色または青色のうちのいずれかの画素については、その画素の上下左右のいずれかに、緑色の画素が存在する。

従って、基準座標系の注目位置（I'，J'）の近傍にG信号の観測値Gobs（k，ig，jg）が存在していない場合（変換位置（x，y）が注目位置（I'，J'）の近傍になる撮像画像の緑色の画素が存在していない場合）、その注目位置（I'，J'）の注目画素の上、下、左、または右に隣接する画素（周辺画素）の位置（I'，J'−１），（I'，J'＋１），（I'−１，J'）、または（I'＋１，J'）のうちのいずれかの近傍には、G信号の観測値Gobs（k，ig，jg）が存在する。そして、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）のうちのいずれかの周辺画素においては、G信号の観測値Gobs（k，ig，jg）が存在するので、例外状態が発生していない。即ち、位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）のうちのいずれかの周辺画素については、式（８）により、信頼性のある緑色の光量Lg（I'，J'）を求めることができる。

以上から、演算回路２４は、注目画素が例外状態である場合は、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍になる画素の画素値Gobs（k，ig，jg）の他に、変換位置（x，y）が注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、または（I'，J'＋１）の近傍になる画素の画素値Gobs（k，ig，jg）をも用いて求める例外処理を行う。

具体的には、演算回路２４は、例外処理として、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を、次式（１７）で求める。

・・・（１７）

式（１７）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）との５点それぞれにおいて通常処理のときに演算される式（８）の分子の総和、即ち、式（９）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）との５点それぞれにおいて通常処理のときに演算される式（８）の分母の総和、即ち、式（１０）の総和で除算することにより、緑色の光量Lg（I'，J'）が求められる。周辺画素の位置（I'−１，J'），（I'＋１，J'），（I'，J'−１）、および（I'，J'＋１）のうちの少なくとも１つでは、例外状態が生じておらず、従って、式（１７）の分母は、ある程度大きな値になるので（０に近い値にはならないので）、信頼性のある緑色の光量Lg（I'，J'）を求めることができる。

式（１１）の赤色の光量の重み加算式で求められる赤色の光量Lr（I'，J'）についても、式（８）の緑色の光量の重み加算式で求められる緑色の光量Lg（I'，J'）と同様に、値が不安定となる場合、即ち、注目画素が例外状態となる場合がある。

具体的には、注目画素の注目位置（I'，J'）に対して、位置(ir-1,jr-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）で基準座標系上にアフィン変換した場合に、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する、すべての（k，ir，jr）の画素値Robs（k，ir，jr）の変換位置（x，y）が、図１５で説明した場合と同様に、位置（I'，J'）とx＝I'±１またはy＝J'±１の関係となることがある。このような状態（例外状態）においては、位置（I'，J'）を中心とした、およそ（I'±１，J'±１）内の領域（位置（I'，J'）を中心とする横×縦が２×２の正方形の領域）には、重みw((x,y),(I',J'))が０でないR信号のデータ（画素値Robs（k，ir，jr））が１つも存在していない。

この場合、演算回路２４は、次の例外処理を行う。

即ち、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における赤色の光量Lr（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍になるk枚目の撮像画像の画素の画素値Robs（k，ir，jr）の他に、変換位置（x，y）が注目画素の周辺の出力画像の画素（周辺画素）の位置の近傍になるk枚目の撮像画像の画素の画素値Robs（k，ir，jr）をも用いて求める。

ここで、例外処理において、赤色の光量Lr（I'，J'）を求める場合においては、注目位置（I'，J'）の注目画素の周辺画素としては、例えば、図１８に示すような、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１），（I'＋１，J'＋１）それぞれの画素を採用することができる。

注目位置（I'，J'）の近傍にR信号の観測値（である画素値）Robs（k，ir，jr）が存在していない場合、その注目位置（I'，J'）の基準画像の画素は、ベイヤー配列の画素のうちの、赤色の画素ではない。

例えば、注目位置（I'，J'）の基準画像の画素が、図１９に示すように、ベイヤー配列の画素のうちの、緑色の画素であり、丸で囲まれている画素G11である場合、画素G11の上下のいずれかには、赤色の画素が存在する。

また、例えば、注目位置（I'，J'）の基準画像の画素が、図１９に示すように、ベイヤー配列の画素のうちの、緑色の画素であり、丸で囲まれている画素G22である場合、画素G22の左右のいずれかには、赤色の画素が存在する。

さらに、例えば、注目位置（I'，J'）の基準画像の画素が、図１９に示すように、ベイヤー配列の画素のうちの、青色の画素であり、丸で囲まれている画素B14である場合、画素B14の右斜め上、右斜め下、左斜め上、および左斜め下のいずれかには、赤色の画素が存在する。

同様に、基準画像において赤色の画素ではない画素については、その画素の上下、左右、右斜め上、右斜め下、左斜め上、および左斜め下のいずれかに、赤色の画素が存在する。

従って、基準座標系上において、注目位置（I'，J'）の近傍にR信号の観測値Robs（k，ir，jr）が存在していない場合（変換位置（x，y）が注目位置（I'，J'）の近傍になる撮像画像の赤色の画素が存在していない場合）、その注目位置（I'，J'）の注目画素の左斜め上、上、右斜め上、左、右、左斜め下、下、または右斜め下に隣接する画素（周辺画素）の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの近傍には、R信号の観測値Robs（k，ir，jr）が存在する。そして、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの周辺画素においては、R信号の観測値Robs（k，ir，jr）が存在するので、例外状態が発生していない。即ち、位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）のうちのいずれかの周辺画素については、式（１１）により、信頼性のある赤色の光量Lr（I'，J'）を求めることができる。

以上から、演算回路２４は、注目画素が例外状態である場合は、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を、変換位置（x，y）が注目位置（I'，J'）の近傍になる画素の画素値Robs（k，ir，jr）の他に、変換位置(x,y)が注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、または（I'＋１，J'＋１）の近傍になる画素の画素値Robs（k，ir，jr）をも用いて求める。

具体的には、演算回路２４は、例外処理として、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を、次式（１８）で求める。

・・・（１８）

式（１８）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１１）の分子の総和、即ち、式（１３）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１１）の分母の総和、即ち、式（１４）の総和で除算することにより、赤色の光量Lr（I'，J'）が求められる。周辺画素の位置のうちの少なくとも１つでは、例外状態が生じておらず、従って、式（１８）の分母は、ある程度大きな値になるので、信頼性のある赤色の光量Lr（I'，J'）を求めることができる。

式（１２）の青色の光量の重み加算式で求められる青色の光量Lb（I'，J'）についても、式（８）の緑色の光量の重み加算式で求められる緑色の光量Lg（I'，J'）や、式（１１）の赤色の光量の重み加算式で求められる赤色の光量Lr（I'，J'）と同様に、値が不安定となる場合、即ち、注目位置（I'，J'）の注目画素が例外状態となる場合がある。

この場合、演算回路２４は、次の例外処理を行う。

即ち、ベイヤー配列では、青色の画素は、上述の赤色の画素と同様の位置関係で配列されている。そこで、演算回路２４は、例外状態の注目画素の注目位置（I'，J'）における青色の光量Lb（I'，J'）を、式（１８）と同様の、式（１９）で求める例外処理を行う。

・・・（１９）

式（１９）によれば、注目画素の注目位置（I'，J'）と、その注目画素の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１２）の分子の総和、即ち、式（１５）の総和を、注目画素の注目位置（I'，J'）と、その注目画素の周辺画素の位置（I'−１，J'−１），（I'，J'−１），（I'＋１，J'−１），（I'−１，J'），（I'＋１，J'），（I'−１，J'＋１），（I'，J'＋１）、および（I'＋１，J'＋１）との９点それぞれにおいて通常処理のときに演算される式（１２）の分母の総和、即ち、式（１６）の総和で除算することにより、青色の光量Lb（I'，J'）が求められる。従って、式（１７）および式（１８）における場合と同様に、信頼性のある青色の光量Lb（I'，J'）を求めることができる。

次に、図２０と図２１のフローチャートを参照して、重みw((x,y),(I',J'))として、キュービック関数によるCubic（I'−x）×Cubic（J'−y）を用いる場合の、図２のステップＳ４における画像生成処理について説明する。

なお、以下においては、撮像画像は、図１７で説明したように、W×H画素を有し、従って、撮像素子４も、W×H画素を有するものとする。

初めに、ステップＳ２０１において、演算回路２４は、基準座標系上の画素がある位置（I'，J'）のうちのY方向の位置を表す変数J'に０をセットして、ステップＳ２０２に進む。

ステップＳ２０２において、演算回路２４は、基準座標系上の画素がある位置（I'，J'）のうちのX方向の位置を表す変数I'に０をセットして、ステップＳ２０３に進む。ここで、変数I'とJ'は、それぞれ、出力画像の画素のX方向とY方向の位置を表す変数でもある。

ステップＳ２０３において、演算回路２４は、位置（I'，J'）を注目位置として、その注目位置（I'，J'）に対して、k枚目画像の緑色の画素の中心位置(ig-1,jg-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ig，jg）の組を、１乃至N枚目画像についてすべて求め、即ち、緑色の光量Lg（I'，J'）の推定に用いる画素を特定し、ステップＳ２０４に進む。

ステップＳ２０４において、演算回路２４は、ステップＳ２０３で求めたすべての（k，ig，jg）の組を用いて、式（１０）で表される、緑色の光量の重み加算式の分母と、式（９）で表される、緑色の光量の重み加算式の分子を、それぞれ演算する。また、演算回路２４は、その演算の結果それぞれを図示せぬメモリに記憶させて、ステップＳ２０５に進む。

ステップＳ２０５において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の赤色の画素の中心位置(ir-1,jr-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ir，jr）の組を、１乃至N枚目画像についてすべて求め、即ち、赤色の光量Lr（I'，J'）の推定に用いる画素を特定し、ステップＳ２０６に進む。

ステップＳ２０６において、演算回路２４は、ステップＳ２０５で求めたすべての（k，ir，jr）の組を用いて、式（１４）で表される、赤色の光量の重み加算式の分母と、式（１３）で表される、赤色の光量の重み加算式の分子を、それぞれ演算する。また、演算回路２４は、その演算の結果それぞれをメモリに記憶させて、ステップＳ２０７に進む。

ステップＳ２０７において、演算回路２４は、注目位置（I'，J'）に対して、k枚目画像の青色の画素の中心位置(ib-1,jb-1)を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）でアフィン変換した基準座標系上の変換位置（x，y）が、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２を満たす（k，ib，jb）の組を、１乃至N枚目画像についてすべて求め、即ち、青色の光量Lb（I'，J'）の推定に用いる画素を特定し、ステップＳ２０８に進む。

ステップＳ２０８において、演算回路２４は、ステップＳ２０７で求めたすべての（k，ib，jb）の組を用いて、式（１６）で表される、青色の光量の重み加算式の分母と、式（１５）で表される、青色の光量の重み加算式の分子を、それぞれ演算する。また、演算回路２４は、その演算の結果それぞれをメモリに記憶させて、ステップＳ２０９に進む。

ステップＳ２０９において、演算回路２４は、変数I'がX方向の画素数W−１と等しいか否かを判定する。ステップＳ２０９で、変数I'が画素数W−１と等しくないと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２０３乃至S２０８の処理が行われていない場合、ステップＳ２１０に進み、変数I'を１だけインクリメントして、ステップＳ２０３に戻る。

一方、ステップＳ２０９で、変数I'が画素数W−１と等しいと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２０３乃至S２０８の処理が行われた場合、ステップＳ２１１に進む。

ステップＳ２１１において、演算回路２４は、変数J'がY方向の画素数H−１と等しいか否かを判定する。ステップＳ２１１で、変数J'が画素数H−１と等しくないと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２０３乃至S２０８の処理が行われていない場合、ステップＳ２１２に進み、変数J'を１だけインクリメントして、ステップＳ２０２に戻る。

一方、ステップＳ２１１で、変数J'が画素数H−１と等しいと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２０３乃至S２０８の処理が行われた場合、図２１のステップＳ２１３に進む。

ステップＳ２１３において、演算回路２４は、ステップＳ２０１における場合と同様に、変数J'に０をセットして、ステップＳ２１４に進む。

ステップＳ２１４において、演算回路２４は、ステップＳ２０２における場合と同様に、変数I'に０をセットして、ステップＳ２１５に進む。

ステップＳ２１５において、演算回路２４は、位置（I'，J'）を注目位置（I'，J'）として、その注目位置（I'，J'）に対して、緑色の光量Lg（I'，J'）を求める演算処理を行って、ステップＳ２１６に進む。即ち、ステップＳ２１５では、後述するように、式（８）の緑色の光量の重み加算式を用いた通常処理、または、式（１７）を用いた例外処理により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）が求められる。

ステップＳ２１６において、演算回路２４は、位置（I'，J'）を注目位置（I'，J'）として、その注目位置（I'，J'）に対して、赤色の光量Lr（I'，J'）を求める演算処理を行って、ステップＳ２１７に進む。即ち、ステップＳ２１６では、後述するように、式（１１）の赤色の光量の重み加算式を用いた通常処理、または、式（１８）を用いた例外処理により、注目位置（I'，J'）の赤色の光量Lr（I'，J'）が求められる。

ステップＳ２１７において、演算回路２４は、位置（I'，J'）を注目位置（I'，J'）として、その注目位置（I'，J'）に対して、青色の光量Lb（I'，J'）を求める演算処理を行って、ステップＳ２１８に進む。即ち、ステップＳ２１７では、後述するように、式（１２）の青色の光量の重み加算式を用いた通常処理、または、式（１９）を用いた例外処理により、注目位置（I'，J'）に対する青色の光量Lb（I'，J'）が求められる。

ステップＳ２１８において、演算回路２４は、変数I'がX方向の画素数W−１と等しいか否かを判定する。ステップＳ２１８で、変数I'が画素数W−１と等しくないと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２１５乃至S２１７の処理が行われていない場合、ステップＳ２１９に進み、変数I'を１だけインクリメントして、ステップＳ２１５に戻る。

一方、ステップＳ２１８で、変数I'が画素数W−１と等しいと判定された場合、即ち、現在のY＝J'の画素列のうち、X方向のすべての画素についてステップＳ２１５乃至S２１７の処理が行われた場合、ステップＳ２２０に進む。

ステップＳ２２０において、演算回路２４は、変数J'がY方向の画素数H−１と等しいか否かを判定する。ステップＳ２２０で、変数J'が画素数H−１と等しくないと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２１５乃至S２１７の処理が行われていない場合、ステップＳ２２１に進み、変数J'を１だけインクリメントして、ステップＳ２１４に戻る。

一方、ステップＳ２２０で、変数J'が画素数H−１と等しいと判定された場合、即ち、撮像素子４のY方向のすべての列について、ステップＳ２１５乃至S２１７の処理が行われた場合、ステップＳ２２２に進む。

ステップＳ２２２において、演算回路２４は、ステップＳ２１５，Ｓ２１６，Ｓ２１７でそれぞれ求めた緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、青色の光量Lb（I'，J'）を、I'=0乃至W-1，J'=0乃至H-1の各位置（I'，J'）の画素値とした出力画像を生成し、D/Aコンバータ９またはコーデック１２に供給して、処理を戻る。

次に、図２２のフローチャートを参照して、図２１のステップＳ２１５における、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求める演算処理について説明する。

初めに、ステップＳ２５１において、演算回路２４は、注目位置（I'，J'）に対して、図２０のステップＳ２０４で演算された、式（８）の緑色の光量の重み加算式の分母の絶対値、即ち、式（１０）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（１０）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。

ステップＳ２５１において、注目位置（I'，J'）に対する式（１０）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（I'，J'）に対する式（１０）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２５２に進み、演算回路２４は、式（８）の緑色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）について、ステップＳ２０４で演算された、式（８）の緑色の光量の重み加算式の分子の値、即ち、式（９）の値を、ステップＳ２０４で演算された、式（８）の緑色の光量の重み加算式の分母の値、即ち、式（１０）の値で除算する演算を行う。これにより、ステップＳ２５２では、注目位置（I'，J'）における緑色の光量Lg（I'，J'）が求められる。

一方、ステップＳ２５１において、注目位置（I'，J'）に対する式（１０）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（１０）の絶対値が０、または０に近い場合、ステップＳ２５３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）とその周辺画素について演算された式（８）の分母と分子を用いて、式（１７）を演算することにより、注目位置（I'，J'）における緑色の光量Lg（I'，J'）を求める。

次に、図２３のフローチャートを参照して、図２１のステップＳ２１６における、注目位置（I'，J'）の赤色の光量Lr（I'，J'）を求める演算処理について説明する。

初めに、ステップＳ２７１において、演算回路２４は、注目位置（I'，J'）に対して、図２０のステップＳ２０６で演算された、式（１１）の赤色の光量の重み加算式の分母の絶対値、即ち、式（１４）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（１４）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。また、この閾値は、図２２のステップＳ２５１の閾値と同一でもよいし、異なるものでもよい。

ステップＳ２７１において、注目位置（I'，J'）に対する式（１４）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（I'，J'）に対する式（１４）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２７２に進み、演算回路２４は、式（１１）の赤色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）について、ステップＳ２０６で演算された、式（１１）の赤色の光量の重み加算式の分子の値、即ち、式（１３）の値を、ステップＳ２０６で演算された、式（１１）の赤色の光量の重み加算式の分母の値、即ち、式（１４）の値で除算する演算を行う。これにより、ステップＳ２７２では、注目位置（I'，J'）における赤色の光量Lr（I'，J'）が求められる。

一方、ステップＳ２７１において、注目位置（I'，J'）に対する式（１４）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（１４）の絶対値が０、または０に近い場合、ステップＳ２７３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）とその周辺画素について演算された式（１１）の分母と分子を用いて、式（１８）を演算することにより、注目位置（I'，J'）における赤色の光量Lr（I'，J'）を求める。

次に、図２４のフローチャートを参照して、図２１のステップＳ２１７における、注目位置（I'，J'）の青色の光量Lb（I'，J'）を求める演算処理について説明する。

初めに、ステップＳ２９１において、演算回路２４は、注目位置（I'，J'）に対して、図２０のステップＳ２０８で演算された、式（１２）の青色の光量の重み加算式の分母の絶対値、即ち、式（１６）の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（１６）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。また、この閾値は、図２２のステップＳ２５１や図２３のステップＳ２７１の閾値と同一でもよいし、異なるものでもよい。

ステップＳ２９１において、注目位置（I'，J'）に対する式（１６）の絶対値が、所定の閾値以上であると判定された場合、即ち、注目位置（I'，J'）に対する式（１６）の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ２９２に進み、演算回路２４は、式（１２）の青色の光量の重み加算式を演算する通常処理を選択して行う。即ち、演算回路２４は、注目位置（I'，J'）について、ステップＳ２０８で演算された、式（１２）の青色の光量の重み加算式の分子の値、即ち、式（１５）の値を、ステップＳ２０８で演算された、式（１２）の青色の光量の重み加算式の分母の値、即ち、式（１６）の値で除算する演算を行う。これにより、ステップＳ２９２では、注目位置（I'，J'）における青色の光量Lb（I'，J'）が求められる。

一方、ステップＳ２９１において、注目位置（I'，J'）に対する式（１６）の絶対値が、所定の閾値未満であると判定された場合、即ち、式（１６）の絶対値が０、または０に近い場合、ステップＳ２９３に進み、演算回路２４は、例外処理を選択して行う。即ち、演算回路２４は、注目位置とその周辺画素について演算された式（１２）の分母と分子を用いて、式（１９）を演算することにより、注目位置（I'，J'）における青色の光量Lb（I'，J'）を求める。

以上のように、図２０および図２１のフローチャートにしたがった画像生成処理によれば、注目位置（I'，J'）と、注目位置（I'，J'）の近傍にある変換位置（x，y）との距離に応じた重みとして、ローパスフィルタの特性を有するキュービック関数を用いて重み付け加算を行うことにより、緑色の光量Lg（I'，J'）、赤色の光量Lr（I'，J'）、および青色の光量Lb（I'，J'）を求められる。

即ち、位置（ig−1，jg−1）を変換パラメータ（a_k，b_k，c_k，d_k，s_k，t_k）で基準座標系上にアフィン変換した場合に、注目位置（I'，J'）に対して、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲に出現する、すべての（k，ig，jg）の画素値Gobs（k，ig，jg）、即ち、変換位置（x，y）が、注目位置（I'，J'）の近傍になる画素値Gobs（k，ig，jg）を用いた重み付け加算である、式（８）の緑色の光量の重み加算式で、緑色の光量Lg（I'，J'）が求められる（通常処理）。

但し、注目位置（I'，J'）の式（８）の緑色の光量の重み加算式の分母である式（１０）の絶対値が、所定の閾値未満で０とみなされる場合、即ち、式（８）の緑色の光量の重み加算式により求められる値が不安定になる場合には、変換位置（x，y）が注目位置（I'，J'）の近傍にある画素値Gobs（k，ig，jg）と、注目位置（I'，J'）の周辺の周辺画素の位置の近傍になる画素値Gobs（k，ig，jg）とを用いた重み付け加算である、式（１７）により、緑色の光量Lg（I'，J'）が求められる（例外処理）。

赤色の光量Lr（I'，J'）および青色の光量Lb（I'，J'）も同様にして求められる。

従って、ノイズの目立たない鮮明な出力画像を得ることができる。

なお、通常処理と例外処理とは、次のような見方をすることもできる。

即ち、例えば、緑色に注目すると、上述の場合においては、通常処理では、変換位置（x，y）が注目画素の位置（注目位置）（I'，J'）の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）を用いた重み付け加算を行う。一方、例外処理では、変換位置（x，y）が注目画素の位置（I'，J'）の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）と、変換位置（x，y）が注目画素の周辺の周辺画素の位置の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）とを用いた重み付け加算を行う。

従って、例外処理では、変換位置（x，y）が注目画素の位置（I'，J'）の近傍にある撮像画像の画素の他、周辺画素の位置の近傍にある撮像画像の画素の画素値Gobs（k，ig，jg）をも用いて重み付け加算が行われる。

以上から、通常処理が、注目位置（I'，J'）の近傍として、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の領域内に観測される撮像画像の画素値Gobs（k，ig，jg）を用いた重み付け加算により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求めるのに対し、例外処理は、注目位置（I'，J'）の近傍として、通常処理の近傍の領域より広いI'−３≦x＜I'＋３，J'−３≦y＜J'＋３の領域内に観測される画素値Gobs（k，ig，jg）を用いた重み付け加算により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求めているということができる。

さらに、換言すれば、注目位置（I'，J'）の緑色の光量Lg（I'，J'）を求める際に、注目位置（I'，J'）の近傍として、予め、I'−３≦x＜I'＋３，J'−３≦y＜J'＋３の領域が設定されており、通常処理では、その近傍の領域のうちのI'−２≦x＜I'＋２，J'−２≦y＜J'＋２以外の領域に観測される画素値Gobs（k，ig，jg）に対する重みが０となる式（８）の緑色の光量の重み加算式により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）が求められているということができる。一方、例外処理では、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２以外の領域に観測される画素値Gobs（k，ig，jg）、即ち、周辺画素の近傍に観測される画素値Gobs（k，ig，jg）に対する重みとして、０ではなく、その周辺画素の位置を原点とするキュービック関数Cubic（z）によって与えられる値を用いて、式（１７）により、注目位置（I'，J'）の緑色の光量Lg（I'，J'）が求められていると言うことができる。

即ち、通常処理と例外処理とでは、異なる重みを用いた重み付け加算により、緑色の光量Lg（I'，J'）が求められるということができる。

なお、注目位置（I'，J'）とその近傍にある画素値Gobs（k，ig，jg）が観測される位置（x，y）との距離zに対してローパスフィルタの特性を有する関数としては、式（７）のキュービック関数Cubic（z）の他、例えば、sin（z）／zなどを採用することが可能である。

ところで、上述した実施の形態では、１枚目の撮像画像を基準画像とするとともに、２乃至N枚目の撮像画像それぞれをターゲット画像とすることとしたが、１枚目の撮像画像以外の、２乃至N枚目の撮像画像のいずれを基準画像としてもよい。

即ち、図２５は、N回の連続撮像（高速撮像）により撮像されたN枚の撮像画像を示している。なお、図２５は、N＝８の例である。

１乃至８枚目の撮像画像４０１₁乃至４０１₈（k枚目画像４０１_k）は、時系列に高速撮像された画像であり、時間の経過とともに、図中右上方向に、手ぶれによりずれた画像となっている。

即ち、図２５は（後述する図２６および図２７でも同様）、１乃至８枚目の撮像画像４０１₁乃至４０１₈それぞれに投影された被写体の各部が一致するように位置合わせした状態の１乃至８枚目の撮像画像４０１₁乃至４０１₈を示している。

なお、図２５では、（図２６および図２７でも同様）、手ぶれが生じていることを分かりやすくするために、手ぶれによるずれ量を誇張して、撮像画像４０１₁乃至４０１₈を図示してある。

図２６は、図２５と同様の８枚の撮像画像４０１₁乃至４０１₈を示している。

信号処理回路７において、撮像画像４０１₁乃至４０１₈のうちの、１枚目画像を基準画像とするとともに、２乃至８枚目画像それぞれをターゲット画像として、出力画像を生成する場合、出力画像は、基準画像である１枚目画像４０１₁の座標系上の画像として得られる。ここで、図２６では、１枚目画像４０１₁、即ち、出力画像を、太線で示してある。

図２６の太線で示される出力画像の領域において、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータ（画素値）を使用して光量（画素値）が推定される領域は、点線で示される、出力画像の右上部分の領域４１１である。この領域４１１の画素値は、１乃至８枚目の８枚すべての撮像画像４０１₁乃至４０１₈のデータを使用して推定されるので、より鮮明な画質となる。

しかしながら、出力画像の生成にあたり、図２６の太線で示す出力画像の領域のうちの、領域４１１以外では、１乃至８枚目の撮像画像４０１₁乃至４０１₈のうちの、一部の枚数目の撮像画像のデータしか使用することができないため、即ち、１乃至８枚目の撮像画像４０１₁乃至４０１₈のすべてのデータを使用することができないため、その分だけ、領域４１１に比較して画質の鮮明さが劣化することになる。上述したように、右上方向の手ぶれが生じている場合には、その反対の左下方向の領域ほど、出力画像を生成するのに用いることができるデータが少なくなり、画質の鮮明さが、領域４１１に比較して劣化する。

さらに、ターゲット画像である２乃至８枚目の撮像画像４０１₂乃至４０１₈のうちの、図２６の太線で示す出力画像の領域上にない部分４１２のデータは、出力画像の生成に使用することができず、いわば捨てられることになる。

以上のように、１枚目の撮像画像を基準として、出力画像を生成すると、ある方向の手ぶれが生じている場合には、出力画像の中心から、手ぶれと同一の方向の領域（例えば、図２６の領域４１１）では、鮮明な画質が得られるが、その反対方向の領域では、画質の鮮明さが劣化する。

ところで、一般に、ユーザが画像を見るときは、その中心部分に注目することが多く、また、ディジタルカメラ１による撮像を行う場合にも、注目している被写体が、画像（画枠）の中心部分に位置するように、撮像を行う。従って、ディジタルカメラ１で得られる出力画像の、特に、中心部分の画質は鮮明であることが望ましい。

そこで、信号処理回路７では、N枚の画像が連続撮像された時間の、中間の時刻またはその近傍の時刻に撮像された１枚の撮像画像（以下、中間画像と称する）を基準画像とするとともに、他の撮像画像をターゲット画像として、出力画像を生成することができる。

例えば、図２７に示すように、信号処理回路７は、８枚の撮像画像４０１₁乃至４０１₈のうちの、太線で示される４枚目の撮像画像を基準画像として、出力画像を生成することができる。この場合、出力画像の生成にあたり、その中心部分の領域４２１において、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータが使用される。

即ち、時系列の複数枚の撮像画像のうちの、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、出力画像を生成することにより、出力画像の中心部分を、より鮮明な画質とすることができる。

上述のように、ディジタルカメラ１による撮影（撮像）では、ユーザは、一般に、注目している被写体が画像（画枠）の中心に位置するように撮影を行う。さらに、上述したように、人が画像を見る場合には、画像の中心部分に注目して、その画像を見ることが一般的である。そういう意味では、画像の中心部分が、画像の周辺部分よりも、より鮮明な画質となっている方が、良好な画像であると言える。

従って、図２７に示すように、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像とすることにより、出力画像の中心部分が１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータを使用して推定されるので、１枚目の撮像画像を基準画像とするよりも、良好な出力画像を得ることができる。

なお、手ぶれの周波数は、例えば、１０乃至１５Hz程度である。従って、図２７に示した８枚の撮像画像４０１₁乃至４０１₈を、例えば、１／５０秒以内で撮像するようなシャッタスピードでは、手ぶれによるぶれ量（手ぶれ量）は直線近似することができる。即ち、手ぶれは、一定方向への一定の速さでの移動とみなすことができる。従って、時系列に８枚の撮像画像４０１₁乃至４０１₈を撮像する場合には、その撮像時間における手ぶれ量を直線近似することができ、中間画像、即ち、４枚目の撮像画像４０１₄や、５枚目の撮像画像４０１₅を基準画像とすることにより、図２７で説明したように、出力画像の中心部分の画質を鮮明にすることができる。

また、図４で示した信号処理回路７において、８枚の撮像画像４０１₁乃至４０１₈のうちの、例えば、４枚目の撮像画像４０１₄を基準画像とする場合には、フレームメモリ２２₁に基準画像とする４枚目の撮像画像４０１₄を供給して記憶させ、１乃至３枚目の４０１₁乃至４０１₃、および５乃至８枚目の撮像画像４０１₅乃至４０１₈を、それぞれ、フレームメモリ２２₂乃至２２₈に供給して記憶させるようにすればよい。

ここで、中間画像を基準画像とすることにより、中心部分が鮮明な出力画像を得ることができる他、信号処理回路７の設計の容易化を図ることができる。

即ち、手ぶれ量が、上述したように、直線近似することができるとして、時系列に８枚の撮像画像４０１₁乃至４０１₈を撮像した場合に、例えば、隣り合う撮像画像間での手ぶれ量が１０画素であるとする。この場合、１枚目の撮像画像を基準画像としてしまうと、１枚の画像の撮像が無限小の時間で行うことができるとしても、最大で、７０画素の手ぶれが生じることになる。従って、信号処理回路７は、最大で７０画素の手ぶれに対応することができるように設計する必要がある。

これに対して、中間画像を基準画像とする場合、即ち、撮像画像４０１₁乃至４０１₈のうちの、例えば、４枚目の撮像画像４０１₄を基準画像とする場合、最大の手ぶれ量は４０画素になる。従って、信号処理回路７は、最大で４０画素の手ぶれに対応することができるように設計すればよいため、信号処理回路７としてのハードウエアの設計の容易化を図ることができる。

なお、上述したように、出力画像を生成するのに、８枚の撮像画像４０１₁乃至４０１₈における中間画像である、例えば、４枚目の撮像画像４０１₄を基準画像とする場合には、出力画像は、基準画像である４枚目の撮像画像４０１₄に投影されている被写体の範囲の画像となる。

ところで、上述のように、８枚の撮像画像４０１₁乃至４０１₈のうちの４枚目の撮像画像などの中間画像を基準画像とすることにより、出力画像の中心部分の生成には、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべての枚数目のデータを使用されるが、出力画像の周辺部分（出力画像のうちの、その画枠に近い部分）の生成には、１乃至８枚目の撮像画像４０１₁乃至４０１₈のうちの、一部の枚数目の撮像画像のデータしか使用することができないため、出力画像の中心部分の画質は鮮明になるが、その周辺部分の画質は、中心部分に比較して劣化する。

出力画像において、このような画質の劣化が生じるのは、基準画像である４枚目の撮像画像４０１₄に投影されている被写体の範囲の「全体」の画像を、出力画像として生成するためであり、８枚の撮像画像４０１₁乃至４０１₈のうちのいずれを基準画像とした場合であっても、基準画像に投影されている被写体の範囲の「全体」の画像を出力画像として生成する限りは、手ぶれが生じていれば、出力画像の画素値の推定にあたって、一部の枚数目の撮像画像のデータしか使用することができない部分（出力画像の部分）が生じ、その部分の画質は劣化する。

そこで、演算回路２４においては、全体の画質が鮮明な出力画像を生成するために、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像であり、かつ、画素の間隔がN枚の撮像画像の画素の間隔より小さい画像を、出力画像として生成するようにすることができる。

即ち、ディジタルカメラ１では、ユーザのレリーズボタンの１回の操作に応じて（１回の撮影において）、N回の撮像が行われ、N枚の撮像画像が得られる。N回の撮像が行われている間の手ぶれは直線近似することができるので、その手ぶれの間に撮像されるN枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分は、（ほぼ、）N枚の撮像画像の中間画像の中心部分に一致する。

具体的には、例えば、図２７に示したように、８枚の撮像画像４０１₁乃至４０１₈の全体に投影されている被写体の範囲（図２７において斜線を付してある部分）の中心部分は、中間画像である４枚目の撮像画像４０１₄の中心部分である領域４２１に（ほぼ）一致する。

従って、鮮明な画像（出力画像）が得られる領域４２１と（ほぼ）一致する、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像を、出力画像として生成することにより、全体の画質が鮮明な出力画像を得ることができる。

ところで、図１のディジタルカメラ１においては、常時、N枚の撮像画像を撮像して、そのN枚の撮像画像から、１枚の出力画像を生成しても良いが、その他、例えば、明るい風景を撮影する場合には、１枚の撮像画像を撮像して、その撮像画像を、そのまま出力画像とし、例えば、暗い風景を撮影する場合には、N枚の撮像画像を撮像し、そのN枚の撮像画像から、１枚の出力画像を生成して出力するようにすることにより、明るい風景であっても、暗い風景であっても、ブレのない（ブレが低減され）、十分な明るさの出力画像を得ることができる。

ここで、１枚の撮像画像を撮像して、その撮像画像を、そのまま出力画像とする動作モードを、通常撮影モードといい、N枚の撮像画像を撮像し、そのN枚の撮像画像から、１枚の出力画像を生成する動作モードを、手ぶれ補正モードという。通常撮影モードと手ぶれ補正モードとの切り替えは、例えば、ユーザの操作に応じて行うこともできるし、撮影を行おうとしている環境の明るさに応じて、明るい場合には、動作モードを通常撮影モードとし、暗い場合には、動作モードを手ぶれ補正モードとすることができる。

以上のように、動作モードとして、通常撮影モードと手ぶれ補正モードとを設けた場合に、手ぶれ補正モードにおいて、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像を出力画像として生成すると、その出力画像は、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分、即ち、中間画像の中心部分の画像であるから、その画素の数は、中間画像である撮像画像の画素の数、ひいては、撮像素子４（図１）が有する画素の数よりも少なくなる。

従って、手ぶれ補正モードにおいて生成される出力画像の画素の数は、通常撮影モードにおいて生成される出力画像の画素の数よりも少なくなり、このように、手ぶれ補正モードと通常撮影モードそれぞれで得られる出力画像の画素の数（画素数）が異なることは、ユーザに違和感を感じさせることになる。即ち、風景の明るさによってディジタルカメラ１から得られる出力画像の画素数が異なるのでは、ユーザにとって不便である。

また、ディジタルカメラの性能を表す指標として、撮像素子の画素数が提示されることがあり、ユーザは、その画素数を考慮して、ディジタルカメラの購入を決定することがある。かかる観点からも、手ぶれ補正モードにおいて得られる出力画像の画素数が、（撮像画像の画素数でもある）撮像素子の画素数よりも少ないのは、好ましくない。

そこで、ディジタルカメラ１では、手ぶれ補正モードにおいて生成する出力画像を、その画素の間隔が撮像画像の画素の間隔より小さい画像とすることで、この不具合を解消することができる。

即ち、上述の実施の形態では、出力画像の画素の間隔を、N枚の撮像画像の画素の間隔と同一の１であるとして、出力画像を生成するようにしているため、基準画像に投影されている被写体の範囲の「全体」の画像を、出力画像として生成する場合には、出力画像の画素の数は、基準画像の画素の数と同一になる。また、中間画像である基準画像に投影されている被写体の範囲の中心部分（N枚の撮像画像に投影されている被写体の範囲の中心部分）の画像を、出力画像として生成する場合には、出力画像の画素の数は、基準画像に投影されている被写体の範囲の中心部分の画像の画素の数と同一になり、その結果、基準画像の画素の数より少なくなる。

そこで、出力画像の画素の間隔を、N枚の撮像画像の画素の間隔より小さい値、即ち、ここでは、１未満の値として、出力画像を生成することにより、出力画像の画素の数を、撮像画像の画素の数と一致させることができる。

以上のように、手ぶれ補正モードにおいて中間画像を、基準画像として、その基準画像に投影されている被写体の範囲の「全体」の画像を、出力画像として生成する場合には、出力画像において、中心部分の画質は鮮明になるが、その周辺部分の画質は、中心部分に比較して劣化する。

即ち、例えば、撮像素子４（図１）の画素（有効画素）の数が、上述したように、W×H画素であるとすると、基準画像の座標系（基準座標系）において、x≒０，x≒W−１，y≒０，y≒H−１である点（画素）（x，y）の出力画像の画質、つまり、出力画像の周辺部分の画質は、その周辺部分以外の部分である中心部分の画質に比較して劣化する。

そこで、基準画像に投影されている被写体の範囲の中心部分、即ち、N枚の撮像画像に投影されている被写体の範囲の中心部分の画像（例えば、図２７の領域４２１内に投影された画像）を、出力画像とすることにより、全体が鮮明な画質の出力画像が得られる。

但し、基準画像に投影されている被写体の範囲の中心部分の画像を、出力画像とする場合には、出力画像に投影される被写体の範囲（視野角度）が狭くなり、出力画像の画素の間隔を、基準画像（撮像画像）の画素の間隔と同一とすると、出力画像の画素数が、撮像画像（基準画像）の画素数、ひいては、撮像素子４の画素数より少なくなる。

そこで、さらに、画素の間隔が撮像画像の画素の間隔より小さい画像を、出力画像として生成することにより、全体が鮮明な画質で、かつ、画素の数が撮像画像と一致する出力画像を得ることができる。

次に、図２８のフローチャートを参照して、手ぶれ補正モードにおいて、上述のような全体が鮮明な画質で、かつ、画素の数が撮像画像と一致する出力画像を得る場合の、図１のディジタルカメラ１の撮像処理について説明する。

ディジタルカメラ１では、ステップＳ３０１乃至Ｓ３０５において、それぞれ、図２のステップＳ１乃至Ｓ５における場合と基本的に同様の処理が行われる。

但し、ステップＳ３０３では、１枚目乃至N枚目の撮像画像のうちの１枚目の撮像画像ではなく、中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、基準画像に対するターゲット画像の位置ズレのズレ量が検出される。

また、ステップＳ３０４では、基準画像に投影されている被写体の範囲の「全体」の画像ではなく、その被写体の範囲の中心部分（N枚の撮像画像に投影されている被写体の範囲の全体の、周辺部分を除いた中心部分）の画像であり、かつ画素の間隔が撮像画像の画素の間隔より小さい画像を、出力画像として生成する画像生成処理が行われる。

即ち、ステップＳ３０１において、撮像素子４は、被写体を撮像する。即ち、単板センサである撮像素子４は、ユーザによる１回のレリーズボタン（シャッタボタン）の押下による１回の撮影において、タイミングジェネレータ８から供給される露光タイミング信号に従い、所定の間隔でN回連続して、入射される被写体の光を受光して光電変換することにより、N回の高速撮像を行う。

従って、ディジタルカメラ１では、１回の撮影において、N枚の撮像画像が得られ、各撮像画像は、適正露出以下の暗い画像となる。即ち、例えば、いま、１回の撮影において、８回の高速撮像が行われることとすると、撮像画像は、適正露出の画像の１／８の明るさの暗い画像となる。即ち、N=8，M_k=8の場合を考える。

ここで、高速撮像時の撮像画像の時間的間隔を、T₀秒とすると、１枚の撮像画像の撮像時の露光時間は、T₀秒以下である。

撮像素子４での光電変換により得られる撮像画像の画像信号は、相関２重サンプリング回路５に供給され、ノイズ成分が除去された後、A/Dコンバータ６に供給されて、ステップＳ３０１からＳ３０２に進む。

ステップＳ３０２では、A/Dコンバータ６が、相関２重サンプリング回路５から供給される、ノイズ除去された撮像画像の画像信号をディジタル変換する。その後、A/Dコンバータ６が内蔵するシフト回路２１が、適正露出以下の暗い撮像画像の画像信号を、n'ビットシフトして適正露出と同様の明るさ（値）の画像信号に変換し（ゲインアップし）、信号処理回路７に供給して、ステップＳ３０３に進む。

ここで、上述のように、１回の撮影において、８回の高速撮像が行われることとすると、シフト回路２１では、例えば、３ビットシフト（２³（＝８）倍のゲインアップ）が行われる。

ステップＳ３０３では、信号処理回路７の動きベクトル検出回路２３₁乃至２３_N-1（図４）は、A/Dコンバータ６（のシフト回路２１）からのN枚の撮像画像のうちの中間画像を基準画像とするとともに、他の撮像画像をターゲット画像として、基準画像に対するターゲット画像の位置ズレのズレ量を検出して、ステップＳ３０４に進む。

即ち、上述のように、１回の撮影において、８回の高速撮像が行われ、８枚の撮像画像が得られる場合、中間画像である４枚目の撮像画像が基準画像とされ、４枚目以外の撮像画像、つまり、１乃至３枚目の撮像画像、５乃至８枚目の撮像画像それぞれをターゲット画像として、ターゲット画像（１乃至３枚目の撮像画像、および、５乃至８枚目の撮像画像）が基準画像（４枚目の撮像画像）に対して、どのような位置ずれを起こしているか、つまり、基準画像に対するターゲット画像の位置ズレのズレ量が検出される。

ステップＳ３０４において、信号処理回路７の演算回路２４（図４）は、N枚の撮像画像と、ステップＳ３０３で検出された基準画像に対するターゲット画像の位置ズレのズレ量に基づいて、画像生成処理を行い、ステップＳ３０５に進む。このステップＳ３０４の画像生成処理により、信号処理回路７において、カメラブレが補正された、全体が鮮明で、かつ画素の数が撮像画像と同一で、１画素がG信号、R信号、B信号のすべてを有する１枚の出力画像が生成される。この出力画像（の画像信号）は、D/Aコンバータ９またはコーデック１２、あるいは、その両方に供給される。

その後、ステップＳ３０４からＳ３０５に進み、モニタ１１が出力画像を表示し、フラッシュメモリ等のメモリ１３に出力画像を記録して、処理を終了する。即ち、ステップＳ３０５では、ステップＳ３０４で信号処理回路７からD/Aコンバータ９に供給された出力画像の画像信号がアナログ信号に変換され、ビデオエンコーダ１０に供給される。さらに、ステップＳ３０５では、ビデオエンコーダ１０は、D/Aコンバータ９から供給されたアナログの画像信号を、モニタ１１に表示することができるビデオ信号に変換し、モニタ１１に供給する。そして、モニタ１１は、ビデオエンコーダ１０から供給されたビデオ信号に基づいて、画像を表示して、処理を終了する。また、ステップＳ３０５では、ステップＳ３０４で信号処理回路７からコーデック１２に供給された出力画像の画像信号に対し、JPEGやMPEG等の所定の符号化が施され、フラッシュメモリ等のメモリ１３に記録され、処理を終了する。

ここで、上述のように、１回の撮影において、８回の高速撮像が行われ、８枚の撮像画像が得られることとすると、ステップＳ３０３では、１枚目画像乃至８枚目画像それぞれを、基準画像である中間画像、即ち、ここでは、４枚目画像に位置合わせするアフィン変換を行う変換パラメータが求められる。

いま、１枚目画像乃至８枚目画像のうちの、あるk枚目画像（k＝１，２，・・・，８）の座標系上の点（の座標）を、(X_k,Y_k)と表し、その点(X_k,Y_k)に投影されている被写体の部分と同一の部分が投影されている基準画像の座標系（基準座標系）上の点、即ち、ここでは、４枚目画像の座標系上の点を、(X_4k,Y_4k)と表すとともに、点(X_k,Y_k)を、点(X_4k,Y_4k)にアフィン変換する変換パラメータを、(a_4k,b_4k,c_4k,d_4k,s_4k,t_4k)と表すこととする。

ステップＳ３０３では、変換パラメータ(a_4k,b_4k,c_4k,d_4k,s_4k,t_4k)が求められる。

この場合、１枚目画像乃至８枚目画像それぞれを、基準画像である４枚目画像に位置合わせするアフィン変換（１枚目画像乃至８枚目画像の点の、４枚目画像の座標系上の対応する点へのアフィン変換）は、式（２０）乃至式（２７）で、それぞれ表される。

・・・（２０）

・・・（２１）

・・・（２２）

・・・（２３）

・・・（２４）

・・・（２５）

・・・（２６）

・・・（２７）

なお、式（２３）のアフィン変換は、４枚目画像の座標系上の点を、同一の４枚目画像の座標系上の点に射影するものであり、その変換パラメータ(a₄₄,b₄₄,c₄₄,d₄₄,s₄₄,t₄₄)は、（１，０，０，１，０，０）である。

次に、図２８のステップＳ３０４における画像生成処理について、さらに説明する。

なお、以下では、撮像素子４が出力する撮像画像の横の画素数をW'と表すとともに、縦の画素数をH'と表す。ここでは、撮像素子４が有する画素の横の画素数Wと、撮像画像の横の画素数をW'とが等しく、かつ、撮像素子４が有する画素の縦の画素数Hと、撮像画像の縦の画素数をH'とが等しいものとする。

但し、撮像素子の中には、例えば、隣接する２×２画素などの複数画素をまとめて扱い、その複数画素を１画素として画素値を出力するビニング(binning)を行うものがある。撮像素子４が、例えば、２×２画素を１画素として画素値を出力するビニングを行う場合、H'＝H／２、W'＝W／２となる。撮像素子４がビニングを行う場合の画像生成処理については、後述する。

ここで、撮像素子４が有する画素の横の画素数Wと縦の画素数Hは、例えば、それぞれ数百乃至数千であり、例えば、H＝２０００、W＝３０００である。

また、以下でも、引き続き、撮像画像の座標系を、その撮像画像の左上の画素の画素中心を原点として、横（右）方向をX方向とするとともに、縦（下）方向をY方向とするXY座標系とし、さらに、基準画像の座標系（基準座標系）において、基準画像の横または縦方向に隣り合う画素どうしの間隔を、いずれも１であるとして説明を行う。

この場合、基準画像の左からi番目で、上からj番目の画素の中心位置（の座標）（x，y）は、(i-１,j-１)となる。即ち、例えば、基準画像の左上の画素の座標（x，y）は（０，０）となり、左から２番目で、上から１番目の画素の座標（x，y）は、（１，０）となる。また、例えば、左から１番目で、上から２番目の画素の座標（x，y）は、（０，１）となり、右下の画素の座標（x，y）は、（W−１，H−１）（＝（W'−１，H'−１））となる。

なお、撮像画像と出力画像において、左からi番目で、上からj番目の画素を、以下、適宜、画素（i，j）とも記述する。

上述の図１２や、図２０および図２１で説明した画像生成処理では、出力画像の画素（i，j）の画素値を、基準座標系上の位置（点）（x，y）＝（i−１，j−１）における画素値として計算（推定）している。即ち、出力画像における隣り合う画素の間（画素ピッチ）の距離が、撮像画像の画素ピッチと同一の１であるとして、出力画像の画素値を求めている。

従って、図２５乃至図２７で説明したように、中間画像を基準画像とした場合においては、出力画像の中心部分については、その画素値の推定に使用することができるデータ（撮像画像）が十分にあるので、ノイズのない良好な画質の画像を得ることができるが、周辺部分、即ち、x≒０，x≒W−１，y≒０，y≒H−１の（x，y）で表される部分については、その画素値の推定に使用することができるデータが少ないため、出力画像の周辺部分、つまり、i≒１，i≒W，j≒１，j≒Hの画素（i，j）では、（中心部分と比較して）ノイズの多い画像となってしまう。

そこで、図２８のステップＳ３０４の画像生成処理では、中間画像を基準画像とし、さらに、その基準画像に投影されている被写体の範囲の中心部分（N枚の撮像画像に投影されている被写体の範囲の中心部分）の視野角度の狭い画像であって、画素の間隔が撮像画像（基準画像）の画素の間隔より小さい画像が、出力画像として生成される。

即ち、図２８のステップＳ３０４の画像生成処理では、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値として計算される。

ここで、図２９は、α，β，γを説明するための図であり、基準画像である４枚目画像４０１₄を示している。

出力画像の画素（i，j）を表すiは、１乃至Wの範囲の整数値であり、jは、１乃至Hの範囲の整数値であるから、位置（α×（i−１）＋β，α×（j−１）＋γ）は、左上の点（β，γ）、右上の点（α×（W−１）＋β，γ）、右下の点（α×（W−１）＋β，α×（H−１）＋γ）、左下の点（β，α×（H−１）＋γ）の４つの点で囲まれる、αW×αH（横×縦）の矩形の高画質エリア４２２内の位置である。

なお、高画質エリア４２２は、W×Hの基準画像である４枚目画像４０１₄（正確には、４枚目画像４０１₄の左上、右上、右下、左下それぞれの画素中心を頂点とする矩形）と、相似比αで相似な矩形である。

いま、αが、０より大で、１より小の実数であるとすると、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値であるとすることにより、基準画像の画素ピッチが１であるのに対して、出力画像の画素ピッチは、１未満のαとなるが、出力画像の画素数は、基準画像と同一のW×H画素となる。

さらに、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値であるとすることにより、基準画像に投影されている被写体の範囲の中心部分（８枚の撮像画像４０１₁乃至４０１₈に投影されている被写体の範囲の中心部分）の視野角度の狭い画像、即ち、図２９では、高画質エリア４２２の画像（正確には、高画質エリア４２２よりも上下左右それぞれが0.5αだけ広い範囲の画像）が、出力画像となる。

従って、高画質エリア４２２が、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータを使用して出力画像の画素値の推定が行われる図２７の領域４２１に含まれるように、さらに、望ましくは、高画質エリア４２２の面積が最大となるように、α，β，γを設定することにより、全体が鮮明な画質で、かつ、画素の数が撮像素子４が有する画素数W×H（ここでは、撮像画像の画素数W'×H'でもある）と一致する出力画像を得ることができる。

次に、α，β，γの具体的な値について説明する。

１回の撮影において、１枚目画像４０１₁乃至８枚目画像４０１₈の８枚の撮像画像が撮像される場合に、ある撮像画像とその次の撮像画像（次に撮像される撮像画像）との撮像の間に生じる手ぶれ量の最大値が、横および縦方向のいずれについても、撮像素子４の画素数の、例えば、２％であるとする。なお、手ぶれ量の最大値が、撮像素子４の画素数の何％となるかは、ある撮像画像と次の撮像画像との撮像の間隔等に基づき、シミュレーション等を行うことによって求め、ディジタルカメラ１に設定しておくことができる。あるいは、手ぶれ量の最大値が、撮像素子４の画素数の何％であるかは、例えば、動き検出回路２３₁乃至２３_N-1（図４）で求められる動きベクトル、またはアフィン変換の変換パラメータから求めるようにすることができる。

上述のように、手ぶれ量の最大値が、横および縦方向のいずれについても、撮像素子４の画素数の２％であるとすると、ある撮像画像４０１_kと、その次の撮像画像４０１_k+1との間の横と縦方向の位置ずれは、撮像画像４０１_kの画素数で、それぞれ最大でも、0.02×W画素と0.02×H画素であり、逆に、それを越える位置ずれは生じない。

従って、中間画像である４枚目画像４０１₄を基準画像とする場合、その基準画像に対して、最も位置ずれが大きくなりうるのは、８枚目画像４０１₈で、その位置ずれの大きさは、基準画像の画素数で、高々、横方向が0.08×W(=0.02×W×4)画素で、縦方向が0.08×H(=0.02×H×4)画素である。

従って、図２９に示した基準画像である４枚目画像４０１₄において、その上下から0.08×H画素だけ内側で、かつ、その左右から0.08×W画素だけ内側の領域を、高画質エリア４２２とすれば、その高画質エリア４２２は、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータを使用して出力画像の画素値の推定が行われる図２７の領域４２１に、必ず含まれる。

この場合、高画質エリア４２２は、その左上の頂点が、座標（0.08×W，0.08×H）で、横が、基準画像の横Wよりも0.08×W×２だけ短く、かつ、縦が基準画像の縦Hよりも0.08×H×２だけ短い矩形、即ち、左上の頂点が、座標（0.08×W，0.08×H）で、横が(1-0.16)×Wで、縦が、(1-0.16)×Hの矩形になる。

そして、高画質エリア４２２は、上述したように、左上の点が座標（β，γ）の、αW×αH（横×縦）の矩形の領域であるから、α＝(1-0.16)，β＝0.08×W，γ＝0.08×Hとなる。

図２８のステップＳ３０４の画像生成処理では、演算回路２４（図４）は、手ぶれ量の最大値が撮像素子４の画素数の何％であるかに基づき、上述したようにして、α，β，γを設定し、１≦i≦W，１≦j≦Hの範囲のすべての整数値i，jについて、出力画像の画素（i，j）の画素値が、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値として計算（推定）される。

即ち、α，β，γが、手ぶれ量の最大値に応じた値に設定され、基準画像に投影されている被写体の範囲のうちの高画質エリア４２２に投影されている画像、つまり、基準画像に投影されている被写体の範囲の割合αの範囲（αW×αH）の画像であり、かつ、画素の間隔が、撮像画像の画素の間隔の割合αの画像が、出力画像として生成される。

なお、上述の場合には、手ぶれ量の最大値に基づいてα，β、γを設定するようにしたが、その他、例えば、手ぶれ量の最大値よりも幾分か小さい値に基づいて、α，β、γを設定するようにしても、実用上は問題ない。

次に、図３０乃至図４０のフローチャートを参照して、図２８のステップＳ３０４の画像生成処理について、さらに説明する。

なお、式（４）乃至式（６）の重みw((x,y),(I',J'))としては、ここでは、例えば、図２０および図２１で説明した画像生成処理における場合と同様に、キュービック関数によるCubic（I'−x）×Cubic（J'−y）を用いることとする。

また、ここでは、１回の撮影において、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈が撮像され、さらに、そのうちの中間画像である４枚目の撮像画像４０１₄を基準画像とするものとする。

まず、ステップＳ３１１において、演算回路２４は、出力画像の縦方向の画素をカウントする変数jに、初期値としての１を設定し、ステップＳ３１２に進む。ステップＳ３１２では、演算回路２４は、出力画像の横方向の画素をカウントする変数iに、初期値としての１を設定し、ステップＳ３１３に進む。

ステップＳ３１３では、演算回路２４は、１枚目の撮像画像４０１₁の中のG信号の（画素の）位置（X₁，Y₁）を式（２０）でアフィン変換した基準座標系上の変換位置（X₄₁，Y₄₁）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内（図１４で説明した、位置（I'，J'）に対する、I'−２≦x＜I'＋２，J'−２≦y＜J'＋２の範囲内に相当する）にある、即ち、式α×（i−１）＋β−２≦X₄₁≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁≦α×（j−１）＋γ＋２を満たす、１枚目の撮像画像４０１₁中のすべてのG信号の画素（緑色の画素）を、特定画素として特定して、ステップＳ３１４に進む。

ここで、ステップＳ３１３で１枚目の撮像画像４０１₁から得られる特定画素の個数を、N₁と表し、さらに、そのN₁個のうちのp番目（p＝１，２，・・・，N₁）の特定画素の画素値であるG信号の値をG₁（p）と、その特定画素の撮像画像４０１₁の座標系上の位置を（X₁（p），Y₁（p））と、それぞれ表す。さらに、（X₁，Y₁）＝（X₁（p），Y₁（p））として、式（２０）のアフィン変換によって得られる変換位置（X₄₁，Y₄₁）を、（X₄₁(p)，Y₄₁(p)）と表す。

従って、任意のpについて、１枚目の撮像画像４０１₁の座標系上の位置（X₁(p)，Y₁(p)）の画素の画素値（G信号）は、G₁(p)である。また、位置（X₁(p)，Y₁(p)）を基準座標系上にアフィン変換した変換位置（X₄₁(p)，Y₄₁(p)）は、式α×（i−１）＋β−２≦X₄₁(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１４では、演算回路２４は、２枚目の撮像画像４０１₂の中のG信号の（画素の）位置（X₂，Y₂）を式（２１）でアフィン変換した基準座標系上の変換位置（X₄₂，Y₄₂）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₂≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂≦α×（j−１）＋γ＋２を満たす、２枚目の撮像画像４０１₂中のすべてのG信号の画素を、特定画素として特定して、図３１のステップＳ３１５に進む。

ここで、ステップＳ３１４で２枚目の撮像画像４０１₂から得られる特定画素の個数を、N₂と表し、さらに、そのN₂個のうちのp番目（p＝１，２，・・・，N₂）の特定画素の画素値であるG信号の値をG₂（p）と、その特定画素の撮像画像４０１₂の座標系上の位置を（X₂（p），Y₂（p））と、それぞれ表す。さらに、（X₂，Y₂）＝（X₂（p），Y₂（p））として、式（２１）のアフィン変換によって得られる変換位置（X₄₂，Y₄₂）を、（X₄₂(p)，Y₄₂(p)）と表す。

従って、任意のpについて、２枚目の撮像画像４０１₂の座標系上の位置（X₂(p)，Y₂(p)）の画素の画素値（G信号）は、G₂(p)である。また、位置（X₂(p)，Y₂(p)）を基準座標系上にアフィン変換した変換位置（X₄₂(p)，Y₄₂(p)）は、式α×（i−１）＋β−２≦X₄₂(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１５では、演算回路２４は、３枚目の撮像画像４０１₃の中のG信号の（画素の）位置（X₃，Y₃）を式（２２）でアフィン変換した基準座標系上の変換位置（X₄₃，Y₄₃）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₃≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃≦α×（j−１）＋γ＋２を満たす、３枚目の撮像画像４０１₃中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３１６に進む。

ここで、ステップＳ３１５で３枚目の撮像画像４０１₃から得られる特定画素の個数を、N₃と表し、さらに、そのN₃個のうちのp番目（p＝１，２，・・・，N₃）の特定画素の画素値であるG信号の値をG₃（p）と、その特定画素の撮像画像４０１₃の座標系上の位置を（X₃（p），Y₃（p））と、それぞれ表す。さらに、（X₃，Y₃）＝（X₃（p），Y₃（p））として、式（２２）のアフィン変換によって得られる変換位置（X₄₃，Y₄₃）を、（X₄₃(p)，Y₄₃(p)）と表す。

従って、任意のpについて、３枚目の撮像画像４０１₃の座標系上の位置（X₃(p)，Y₃(p)）の画素の画素値（G信号）は、G₃(p)である。また、位置（X₃(p)，Y₃(p)）を基準座標系上にアフィン変換した変換位置（X₄₃(p)，Y₄₃(p)）は、式α×（i−１）＋β−２≦X₄₃(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１６では、演算回路２４は、４枚目の撮像画像４０１₄の中のG信号の（画素の）位置（X₄，Y₄）を式（２３）でアフィン変換した基準座標系上の変換位置（X₄₄，Y₄₄）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₄≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄≦α×（j−１）＋γ＋２を満たす、４枚目の撮像画像４０１₄中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３１７に進む。

ここで、ステップＳ３１６で４枚目の撮像画像４０１₄から得られる特定画素の個数を、N₄と表し、さらに、そのN₄個のうちのp番目（p＝１，２，・・・，N₄）の特定画素の画素値であるG信号の値をG₄（p）と、その特定画素の撮像画像４０１₄の座標系上の位置を（X₄（p），Y₄（p））と、それぞれ表す。さらに、（X₄，Y₄）＝（X₄（p），Y₄（p））として、式（２３）のアフィン変換によって得られる変換位置（X₄₄，Y₄₄）を、（X₄₄(p)，Y₄₄(p)）と表す。

従って、任意のpについて、４枚目の撮像画像４０１₄の座標系上の位置（X₄(p)，Y₄(p)）の画素の画素値（G信号）は、G₄(p)である。また、位置（X₄(p)，Y₄(p)）を基準座標系上にアフィン変換した変換位置（X₄₄(p)，Y₄₄(p)）は、式α×（i−１）＋β−２≦X₄₄(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１７では、演算回路２４は、５枚目の撮像画像４０１₅の中のG信号の（画素の）位置（X₅，Y₅）を式（２４）でアフィン変換した基準座標系上の変換位置（X₄₅，Y₄₅）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₅≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅≦α×（j−１）＋γ＋２を満たす、５枚目の撮像画像４０１₅中のすべてのG信号の画素を、特定画素として特定して、図３２のステップＳ３１８に進む。

ここで、ステップＳ３１７で５枚目の撮像画像４０１₅から得られる特定画素の個数を、N₅と表し、さらに、そのN₅個のうちのp番目（p＝１，２，・・・，N₅）の特定画素の画素値であるG信号の値をG₅（p）と、その特定画素の撮像画像４０１₅の座標系上の位置を（X₅（p），Y₅（p））と、それぞれ表す。さらに、（X₅，Y₅）＝（X₅（p），Y₅（p））として、式（２４）のアフィン変換によって得られる変換位置（X₄₅，Y₄₅）を、（X₄₅(p)，Y₄₅(p)）と表す。

従って、任意のpについて、５枚目の撮像画像４０１₅の座標系上の位置（X₅(p)，Y₅(p)）の画素の画素値（G信号）は、G₅(p)である。また、位置（X₅(p)，Y₅(p)）を基準座標系上にアフィン変換した変換位置（X₄₅(p)，Y₄₅(p)）は、式α×（i−１）＋β−２≦X₄₅(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１８では、演算回路２４は、６枚目の撮像画像４０１₆の中のG信号の（画素の）位置（X₆，Y₆）を式（２５）でアフィン変換した基準座標系上の変換位置（X₄₆，Y₄₆）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₆≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆≦α×（j−１）＋γ＋２を満たす、６枚目の撮像画像４０１₆中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３１９に進む。

ここで、ステップＳ３１８で６枚目の撮像画像４０１₆から得られる特定画素の個数を、N₆と表し、さらに、そのN₆個のうちのp番目（p＝１，２，・・・，N₆）の特定画素の画素値であるG信号の値をG₆（p）と、その特定画素の撮像画像４０１₆の座標系上の位置を（X₆（p），Y₆（p））と、それぞれ表す。さらに、（X₆，Y₆）＝（X₆（p），Y₆（p））として、式（２５）のアフィン変換によって得られる変換位置（X₄₆，Y₄₆）を、（X₄₆(p)，Y₄₆(p)）と表す。

従って、任意のpについて、６枚目の撮像画像４０１₆の座標系上の位置（X₆(p)，Y₆(p)）の画素の画素値（G信号）は、G₆(p)である。また、位置（X₆(p)，Y₆(p)）を基準座標系上にアフィン変換した変換位置（X₄₆(p)，Y₄₆(p)）は、式α×（i−１）＋β−２≦X₄₆(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３１９では、演算回路２４は、７枚目の撮像画像４０１₇の中のG信号の（画素の）位置（X₇，Y₇）を式（２６）でアフィン変換した基準座標系上の変換位置（X₄₇，Y₄₇）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₇≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇≦α×（j−１）＋γ＋２を満たす、７枚目の撮像画像４０１₇中のすべてのG信号の画素を、特定画素として特定して、ステップＳ３２０に進む。

ここで、ステップＳ３１９で７枚目の撮像画像４０１₇から得られる特定画素の個数を、N₇と表し、さらに、そのN₇個のうちのp番目（p＝１，２，・・・，N₇）の特定画素の画素値であるG信号の値をG₇（p）と、その特定画素の撮像画像４０１₇の座標系上の位置を（X₇（p），Y₇（p））と、それぞれ表す。さらに、（X₇，Y₇）＝（X₇（p），Y₇（p））として、式（２６）のアフィン変換によって得られる変換位置（X₄₇，Y₄₇）を、（X₄₇(p)，Y₄₇(p)）と表す。

従って、任意のpについて、７枚目の撮像画像４０１₇の座標系上の位置（X₇(p)，Y₇(p)）の画素の画素値（G信号）は、G₇(p)である。また、位置（X₇(p)，Y₇(p)）を基準座標系上にアフィン変換した変換位置（X₄₇(p)，Y₄₇(p)）は、式α×（i−１）＋β−２≦X₄₇(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２０では、演算回路２４は、８枚目の撮像画像４０１₈の中のG信号の（画素の）位置（X₈，Y₈）を式（２７）でアフィン変換した基準座標系上の変換位置（X₄₈，Y₄₈）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₈≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈≦α×（j−１）＋γ＋２を満たす、８枚目の撮像画像４０１₈中のすべてのG信号の画素を、特定画素として特定して、図３３のステップＳ３２１に進む。

ここで、ステップＳ３２０で８枚目の撮像画像４０１₈から得られる特定画素の個数を、N₈と表し、さらに、そのN₈個のうちのp番目（p＝１，２，・・・，N₈）の特定画素の画素値であるG信号の値をG₈（p）と、その特定画素の撮像画像４０１₈の座標系上の位置を（X₈（p），Y₈（p））と、それぞれ表す。さらに、（X₈，Y₈）＝（X₈（p），Y₈（p））として、式（２７）のアフィン変換によって得られる変換位置（X₄₈，Y₄₈）を、（X₄₈(p)，Y₄₈(p)）と表す。

従って、任意のpについて、８枚目の撮像画像４０１₈の座標系上の位置（X₈(p)，Y₈(p)）の画素の画素値（G信号）は、G₈(p)である。また、位置（X₈(p)，Y₈(p)）を基準座標系上にアフィン変換した変換位置（X₄₈(p)，Y₄₈(p)）は、式α×（i−１）＋β−２≦X₄₈(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２１では、演算回路２４は、ステップＳ３１３乃至Ｓ３２０で求めたすべての特定画素を用い、出力画像の画素(i,j)について、式（１０）で表される、式（８）の緑色の光量の重み加算式の分母と、式（９）で表される、式（８）の緑色の光量の重み加算式の分子を、それぞれ演算する。

具体的には、式（８）の緑色の光量の重み加算式の分母（式（１０））として、式（２８）が演算され、式（８）の緑色の光量の重み加算式の分子（式（９））として、式（２９）が演算される。

・・・（２８）

・・・（２９）

なお、式（２８）および（２９）において、X₀とY₀は、画素値を推定しようとする出力画像の画素の位置を表し、(X₀，Y₀）＝（α×（i−１）＋β，Y₀＝α×（j−１）＋γ）である。

ここで、式（２９）は、１枚目乃至８枚目の撮像画像４０１₁乃至４０１₈を位置合わせした場合に、出力画像の画素値を求めようとしている画素(i,j)の位置（α×（i−１）＋β，α×（j−１）＋γ）の近傍の位置（X_4k(p),Y_4k(p)）に観測されるG信号の画素の画素値G_k(p)（k＝１乃至８，p＝１乃至N_k）に、重みCubic(X₀-X_4k(p))×Cubic(Y0-Y_4k(p))をかけて加算する重み付け加算を表し、式（２８）は、その重みCubic(X₀-X_4k(p))×Cubic(Y0-Y_4k(p))の総和を表す。式（２９）を式（２８）で除算することが、式（８）を演算することに相当し、その演算結果は、ステップＳ３１３乃至Ｓ３２０で得られた特定画素の画素値G_k(p)すべてについて、出力画像の画素値を求めようとしている画素(i,j)の位置(X₀，Y₀）と、特定画素の位置（X_4k(p)，Y_4k(p)）との距離に応じた重みを付けた「画素値G_k(p)の重み付き平均値」となる。

演算回路２４は、出力画像の画素(i,j)についての式（２８）と式（２９）の演算後、その演算結果を、図示せぬメモリに保持して、ステップＳ３２２以下に進む。

ステップＳ３２２乃至３３０では、R信号について、ステップＳ３１３乃至Ｓ３２１とそれぞれ同様の処理が行われ、ステップＳ３３１乃至３３９では、B信号について、ステップＳ３１３乃至Ｓ３２１とそれぞれ同様の処理が行われる。

即ち、ステップＳ３２２では、演算回路２４は、１枚目の撮像画像４０１₁の中のR信号の（画素の）位置（X₁，Y₁）を式（２０）でアフィン変換した基準座標系上の変換位置（X₄₁，Y₄₁）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₁≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁≦α×（j−１）＋γ＋２を満たす、１枚目の撮像画像４０１₁中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２３に進む。

ここで、ステップＳ３２２で１枚目の撮像画像４０１₁から得られる特定画素の個数を、N₁と表し、さらに、そのN₁個のうちのp番目（p＝１，２，・・・，N₁）の特定画素の画素値であるR信号の値をR₁（p）と、その特定画素の撮像画像４０１₁の座標系上の位置を（X₁（p），Y₁（p））と、それぞれ表す。さらに、（X₁，Y₁）＝（X₁（p），Y₁（p））として、式（２０）のアフィン変換によって得られる変換位置（X₄₁，Y₄₁）を、（X₄₁(p)，Y₄₁(p)）と表す。

従って、任意のpについて、１枚目の撮像画像４０１₁の座標系上の位置（X₁(p)，Y₁(p)）の画素の画素値（R信号）は、R₁(p)である。また、位置（X₁(p)，Y₁(p)）を基準座標系上にアフィン変換した変換位置（X₄₁(p)，Y₄₁(p)）は、式α×（i−１）＋β−２≦X₄₁(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２３では、演算回路２４は、２枚目の撮像画像４０１₂の中のR信号の（画素の）位置（X₂，Y₂）を式（２１）でアフィン変換した基準座標系上の変換位置（X₄₂，Y₄₂）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₂≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂≦α×（j−１）＋γ＋２を満たす、２枚目の撮像画像４０１₂中のすべてのR信号の画素を、特定画素として特定して、図３４のステップＳ３２４に進む。

ここで、ステップＳ３２３で２枚目の撮像画像４０１₂から得られる特定画素の個数を、N₂と表し、さらに、そのN₂個のうちのp番目（p＝１，２，・・・，N₂）の特定画素の画素値であるR信号の値をR₂（p）と、その特定画素の撮像画像４０１₂の座標系上の位置を（X₂（p），Y₂（p））と、それぞれ表す。さらに、（X₂，Y₂）＝（X₂（p），Y₂（p））として、式（２１）のアフィン変換によって得られる変換位置（X₄₂，Y₄₂）を、（X₄₂(p)，Y₄₂(p)）と表す。

従って、任意のpについて、２枚目の撮像画像４０１₂の座標系上の位置（X₂(p)，Y₂(p)）の画素の画素値（R信号）は、R₂(p)である。また、位置（X₂(p)，Y₂(p)）を基準座標系上にアフィン変換した変換位置（X₄₂(p)，Y₄₂(p)）は、式α×（i−１）＋β−２≦X₄₂(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２４では、演算回路２４は、３枚目の撮像画像４０１₃の中のR信号の（画素の）位置（X₃，Y₃）を式（２２）でアフィン変換した基準座標系上の変換位置（X₄₃，Y₄₃）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₃≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃≦α×（j−１）＋γ＋２を満たす、３枚目の撮像画像４０１₃中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２５に進む。

ここで、ステップＳ３２４で３枚目の撮像画像４０１₃から得られる特定画素の個数を、N₃と表し、さらに、そのN₃個のうちのp番目（p＝１，２，・・・，N₃）の特定画素の画素値であるR信号の値をR₃（p）と、その特定画素の撮像画像４０１₃の座標系上の位置を（X₃（p），Y₃（p））と、それぞれ表す。さらに、（X₃，Y₃）＝（X₃（p），Y₃（p））として、式（２２）のアフィン変換によって得られる変換位置（X₄₃，Y₄₃）を、（X₄₃(p)，Y₄₃(p)）と表す。

従って、任意のpについて、３枚目の撮像画像４０１₃の座標系上の位置（X₃(p)，Y₃(p)）の画素の画素値（R信号）は、R₃(p)である。また、位置（X₃(p)，Y₃(p)）を基準座標系上にアフィン変換した変換位置（X₄₃(p)，Y₄₃(p)）は、式α×（i−１）＋β−２≦X₄₃(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２５では、演算回路２４は、４枚目の撮像画像４０１₄の中のR信号の（画素の）位置（X₄，Y₄）を式（２３）でアフィン変換した基準座標系上の変換位置（X₄₄，Y₄₄）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₄≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄≦α×（j−１）＋γ＋２を満たす、４枚目の撮像画像４０１₄中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２６に進む。

ここで、ステップＳ３２５で４枚目の撮像画像４０１₄から得られる特定画素の個数を、N₄と表し、さらに、そのN₄個のうちのp番目（p＝１，２，・・・，N₄）の特定画素の画素値であるR信号の値をR₄（p）と、その特定画素の撮像画像４０１₄の座標系上の位置を（X₄（p），Y₄（p））と、それぞれ表す。さらに、（X₄，Y₄）＝（X₄（p），Y₄（p））として、式（２３）のアフィン変換によって得られる変換位置（X₄₄，Y₄₄）を、（X₄₄(p)，Y₄₄(p)）と表す。

従って、任意のpについて、４枚目の撮像画像４０１₄の座標系上の位置（X₄(p)，Y₄(p)）の画素の画素値（R信号）は、R₄(p)である。また、位置（X₄(p)，Y₄(p)）を基準座標系上にアフィン変換した変換位置（X₄₄(p)，Y₄₄(p)）は、式α×（i−１）＋β−２≦X₄₄(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２６では、演算回路２４は、５枚目の撮像画像４０１₅の中のR信号の（画素の）位置（X₅，Y₅）を式（２４）でアフィン変換した基準座標系上の変換位置（X₄₅，Y₄₅）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₅≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅≦α×（j−１）＋γ＋２を満たす、５枚目の撮像画像４０１₅中のすべてのR信号の画素を、特定画素として特定して、図３５のステップＳ３２７に進む。

ここで、ステップＳ３２６で５枚目の撮像画像４０１₅から得られる特定画素の個数を、N₅と表し、さらに、そのN₅個のうちのp番目（p＝１，２，・・・，N₅）の特定画素の画素値であるR信号の値をR₅（p）と、その特定画素の撮像画像４０１₅の座標系上の位置を（X₅（p），Y₅（p））と、それぞれ表す。さらに、（X₅，Y₅）＝（X₅（p），Y₅（p））として、式（２４）のアフィン変換によって得られる変換位置（X₄₅，Y₄₅）を、（X₄₅(p)，Y₄₅(p)）と表す。

従って、任意のpについて、５枚目の撮像画像４０１₅の座標系上の位置（X₅(p)，Y₅(p)）の画素の画素値（R信号）は、R₅(p)である。また、位置（X₅(p)，Y₅(p)）を基準座標系上にアフィン変換した変換位置（X₄₅(p)，Y₄₅(p)）は、式α×（i−１）＋β−２≦X₄₅(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２７では、演算回路２４は、６枚目の撮像画像４０１₆の中のR信号の（画素の）位置（X₆，Y₆）を式（２５）でアフィン変換した基準座標系上の変換位置（X₄₆，Y₄₆）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₆≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆≦α×（j−１）＋γ＋２を満たす、６枚目の撮像画像４０１₆中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２８に進む。

ここで、ステップＳ３２７で６枚目の撮像画像４０１₆から得られる特定画素の個数を、N₆と表し、さらに、そのN₆個のうちのp番目（p＝１，２，・・・，N₆）の特定画素の画素値であるR信号の値をR₆（p）と、その特定画素の撮像画像４０１₆の座標系上の位置を（X₆（p），Y₆（p））と、それぞれ表す。さらに、（X₆，Y₆）＝（X₆（p），Y₆（p））として、式（２５）のアフィン変換によって得られる変換位置（X₄₆，Y₄₆）を、（X₄₆(p)，Y₄₆(p)）と表す。

従って、任意のpについて、６枚目の撮像画像４０１₆の座標系上の位置（X₆(p)，Y₆(p)）の画素の画素値（R信号）は、R₆(p)である。また、位置（X₆(p)，Y₆(p)）を基準座標系上にアフィン変換した変換位置（X₄₆(p)，Y₄₆(p)）は、式α×（i−１）＋β−２≦X₄₆(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２８では、演算回路２４は、７枚目の撮像画像４０１₇の中のR信号の（画素の）位置（X₇，Y₇）を式（２６）でアフィン変換した基準座標系上の変換位置（X₄₇，Y₄₇）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₇≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇≦α×（j−１）＋γ＋２を満たす、７枚目の撮像画像４０１₇中のすべてのR信号の画素を、特定画素として特定して、ステップＳ３２９に進む。

ここで、ステップＳ３２８で７枚目の撮像画像４０１₇から得られる特定画素の個数を、N₇と表し、さらに、そのN₇個のうちのp番目（p＝１，２，・・・，N₇）の特定画素の画素値であるR信号の値をR₇（p）と、その特定画素の撮像画像４０１₇の座標系上の位置を（X₇（p），Y₇（p））と、それぞれ表す。さらに、（X₇，Y₇）＝（X₇（p），Y₇（p））として、式（２６）のアフィン変換によって得られる変換位置（X₄₇，Y₄₇）を、（X₄₇(p)，Y₄₇(p)）と表す。

従って、任意のpについて、７枚目の撮像画像４０１₇の座標系上の位置（X₇(p)，Y₇(p)）の画素の画素値（R信号）は、R₇(p)である。また、位置（X₇(p)，Y₇(p)）を基準座標系上にアフィン変換した変換位置（X₄₇(p)，Y₄₇(p)）は、式α×（i−１）＋β−２≦X₄₇(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３２９では、演算回路２４は、８枚目の撮像画像４０１₈の中のR信号の（画素の）位置（X₈，Y₈）を式（２７）でアフィン変換した基準座標系上の変換位置（X₄₈，Y₄₈）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₈≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈≦α×（j−１）＋γ＋２を満たす、８枚目の撮像画像４０１₈中のすべてのR信号の画素を、特定画素として特定して、図３５のステップＳ３３０に進む。

ここで、ステップＳ３２９で８枚目の撮像画像４０１₈から得られる特定画素の個数を、N₈と表し、さらに、そのN₈個のうちのp番目（p＝１，２，・・・，N₈）の特定画素の画素値であるR信号の値をR₈（p）と、その特定画素の撮像画像４０１₈の座標系上の位置を（X₈（p），Y₈（p））と、それぞれ表す。さらに、（X₈，Y₈）＝（X₈（p），Y₈（p））として、式（２７）のアフィン変換によって得られる変換位置（X₄₈，Y₄₈）を、（X₄₈(p)，Y₄₈(p)）と表す。

従って、任意のpについて、８枚目の撮像画像４０１₈の座標系上の位置（X₈(p)，Y₈(p)）の画素の画素値（R信号）は、R₈(p)である。また、位置（X₈(p)，Y₈(p)）を基準座標系上にアフィン変換した変換位置（X₄₈(p)，Y₄₈(p)）は、式α×（i−１）＋β−２≦X₄₈(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３０では、演算回路２４は、ステップＳ３２２乃至Ｓ３２９で求めたすべての特定画素を用い、出力画像の画素(i,j)について、式（１４）で表される、式（１１）の赤色の光量の重み加算式の分母と、式（１３）で表される、式（１１）の赤色の光量の重み加算式の分子を、それぞれ演算する。

具体的には、式（１１）の赤色の光量の重み加算式の分母（式（１４））として、式（３０）が演算され、式（１１）の赤色の光量の重み加算式の分子（式（１３））として、式（３１）が演算される。

・・・（３０）

・・・（３１）

なお、式（３０）および（３１）において、X₀とY₀は、画素値を推定しようとする出力画像の画素の位置を表し、(X₀，Y₀）＝（α×（i−１）＋β，Y₀＝α×（j−１）＋γ）である。

ここで、式（３１）は、１枚目乃至８枚目の撮像画像４０１₁乃至４０１₈を位置合わせした場合に、出力画像の画素値を求めようとしている画素(i,j)の位置（α×（i−１）＋β，α×（j−１）＋γ）の近傍の位置（X_4k(p)，Y_4k(p)）に観測されるR信号の画素の画素値R_k(p)（k＝１乃至８，p＝１乃至N_k）に、重みCubic(X₀-X_4k(p))×Cubic(Y0-Y_4k(p))をかけて加算する重み付け加算を表し、式（３０）は、その重みCubic(X₀-X_4k(p))×Cubic(Y0-Y_4k(p))の総和を表す。式（３１）を式（３０）で除算することが、式（１１）を演算することに相当し、その演算結果は、ステップＳ３２２乃至Ｓ３２９で得られた特定画素の画素値R_k(p)すべてについて、出力画像の画素値を求めようとしている画素(i,j)の位置(X₀，Y₀）と、特定画素の位置（X_4k(p)，Y_4k(p)）との距離に応じた重みを付けた「画素値R_k(p)の重み付き平均値」となる。

演算回路２４は、出力画像の画素(i,j)についての式（３０）と式（３１）の演算後、その演算結果を、図示せぬメモリに保持して、ステップＳ３３１に進む。

ステップＳ３３１では、演算回路２４は、１枚目の撮像画像４０１₁の中のB信号の（画素の）位置（X₁，Y₁）を式（２０）でアフィン変換した基準座標系上の変換位置（X₄₁，Y₄₁）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₁≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁≦α×（j−１）＋γ＋２を満たす、１枚目の撮像画像４０１₁中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３２に進む。

ここで、ステップＳ３３１で１枚目の撮像画像４０１₁から得られる特定画素の個数を、N₁と表し、さらに、そのN₁個のうちのp番目（p＝１，２，・・・，N₁）の特定画素の画素値であるB信号の値をB₁（p）と、その特定画素の撮像画像４０１₁の座標系上の位置を（X₁（p），Y₁（p））と、それぞれ表す。さらに、（X₁，Y₁）＝（X₁（p），Y₁（p））として、式（２０）のアフィン変換によって得られる変換位置（X₄₁，Y₄₁）を、（X₄₁(p)，Y₄₁(p)）と表す。

従って、任意のpについて、１枚目の撮像画像４０１₁の座標系上の位置（X₁(p)，Y₁(p)）の画素の画素値（B信号）は、B₁(p)である。また、位置（X₁(p)，Y₁(p)）を基準座標系上にアフィン変換した変換位置（X₄₁(p)，Y₄₁(p)）は、式α×（i−１）＋β−２≦X₄₁(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₁(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３２では、演算回路２４は、２枚目の撮像画像４０１₂の中のB信号の（画素の）位置（X₂，Y₂）を式（２１）でアフィン変換した基準座標系上の変換位置（X₄₂，Y₄₂）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₂≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂≦α×（j−１）＋γ＋２を満たす、２枚目の撮像画像４０１₂中のすべてのB信号の画素を、特定画素として特定して、図３７のステップＳ３３３に進む。

ここで、ステップＳ３３２で２枚目の撮像画像４０１₂から得られる特定画素の個数を、N₂と表し、さらに、そのN₂個のうちのp番目（p＝１，２，・・・，N₂）の特定画素の画素値であるB信号の値をB₂（p）と、その特定画素の撮像画像４０１₂の座標系上の位置を（X₂（p），Y₂（p））と、それぞれ表す。さらに、（X₂，Y₂）＝（X₂（p），Y₂（p））として、式（２１）のアフィン変換によって得られる変換位置（X₄₂，Y₄₂）を、（X₄₂(p)，Y₄₂(p)）と表す。

従って、任意のpについて、２枚目の撮像画像４０１₂の座標系上の位置（X₂(p)，Y₂(p)）の画素の画素値（B信号）は、B₂(p)である。また、位置（X₂(p)，Y₂(p)）を基準座標系上にアフィン変換した変換位置（X₄₂(p)，Y₄₂(p)）は、式α×（i−１）＋β−２≦X₄₂(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₂(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３３では、演算回路２４は、３枚目の撮像画像４０１₃の中のB信号の（画素の）位置（X₃，Y₃）を式（２２）でアフィン変換した基準座標系上の変換位置（X₄₃，Y₄₃）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₃≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃≦α×（j−１）＋γ＋２を満たす、３枚目の撮像画像４０１₃中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３４に進む。

ここで、ステップＳ３３３で３枚目の撮像画像４０１₃から得られる特定画素の個数を、N₃と表し、さらに、そのN₃個のうちのp番目（p＝１，２，・・・，N₃）の特定画素の画素値であるB信号の値をB₃（p）と、その特定画素の撮像画像４０１₃の座標系上の位置を（X₃（p），Y₃（p））と、それぞれ表す。さらに、（X₃，Y₃）＝（X₃（p），Y₃（p））として、式（２２）のアフィン変換によって得られる変換位置（X₄₃，Y₄₃）を、（X₄₃(p)，Y₄₃(p)）と表す。

従って、任意のpについて、３枚目の撮像画像４０１₃の座標系上の位置（X₃(p)，Y₃(p)）の画素の画素値（B信号）は、B₃(p)である。また、位置（X₃(p)，Y₃(p)）を基準座標系上にアフィン変換した変換位置（X₄₃(p)，Y₄₃(p)）は、式α×（i−１）＋β−２≦X₄₃(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₃(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３４では、演算回路２４は、４枚目の撮像画像４０１₄の中のB信号の（画素の）位置（X₄，Y₄）を式（２３）でアフィン変換した基準座標系上の変換位置（X₄₄，Y₄₄）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₄≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄≦α×（j−１）＋γ＋２を満たす、４枚目の撮像画像４０１₄中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３５に進む。

ここで、ステップＳ３３４で４枚目の撮像画像４０１₄から得られる特定画素の個数を、N₄と表し、さらに、そのN₄個のうちのp番目（p＝１，２，・・・，N₄）の特定画素の画素値であるB信号の値をB₄（p）と、その特定画素の撮像画像４０１₄の座標系上の位置を（X₄（p），Y₄（p））と、それぞれ表す。さらに、（X₄，Y₄）＝（X₄（p），Y₄（p））として、式（２３）のアフィン変換によって得られる変換位置（X₄₄，Y₄₄）を、（X₄₄(p)，Y₄₄(p)）と表す。

従って、任意のpについて、４枚目の撮像画像４０１₄の座標系上の位置（X₄(p)，Y₄(p)）の画素の画素値（B信号）は、B₄(p)である。また、位置（X₄(p)，Y₄(p)）を基準座標系上にアフィン変換した変換位置（X₄₄(p)，Y₄₄(p)）は、式α×（i−１）＋β−２≦X₄₄(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₄(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３５では、演算回路２４は、５枚目の撮像画像４０１₅の中のB信号の（画素の）位置（X₅，Y₅）を式（２４）でアフィン変換した基準座標系上の変換位置（X₄₅，Y₄₅）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₅≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅≦α×（j−１）＋γ＋２を満たす、５枚目の撮像画像４０１₅中のすべてのB信号の画素を、特定画素として特定して、図３８のステップＳ３３６に進む。

ここで、ステップＳ３３５で５枚目の撮像画像４０１₅から得られる特定画素の個数を、N₅と表し、さらに、そのN₅個のうちのp番目（p＝１，２，・・・，N₅）の特定画素の画素値であるB信号の値をB₅（p）と、その特定画素の撮像画像４０１₅の座標系上の位置を（X₅（p），Y₅（p））と、それぞれ表す。さらに、（X₅，Y₅）＝（X₅（p），Y₅（p））として、式（２４）のアフィン変換によって得られる変換位置（X₄₅，Y₄₅）を、（X₄₅(p)，Y₄₅(p)）と表す。

従って、任意のpについて、５枚目の撮像画像４０１₅の座標系上の位置（X₅(p)，Y₅(p)）の画素の画素値（B信号）は、B₅(p)である。また、位置（X₅(p)，Y₅(p)）を基準座標系上にアフィン変換した変換位置（X₄₅(p)，Y₄₅(p)）は、式α×（i−１）＋β−２≦X₄₅(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₅(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３６では、演算回路２４は、６枚目の撮像画像４０１₆の中のB信号の（画素の）位置（X₆，Y₆）を式（２５）でアフィン変換した基準座標系上の変換位置（X₄₆，Y₄₆）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₆≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆≦α×（j−１）＋γ＋２を満たす、６枚目の撮像画像４０１₆中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３７に進む。

ここで、ステップＳ３３６で６枚目の撮像画像４０１₆から得られる特定画素の個数を、N₆と表し、さらに、そのN₆個のうちのp番目（p＝１，２，・・・，N₆）の特定画素の画素値であるB信号の値をB₆（p）と、その特定画素の撮像画像４０１₆の座標系上の位置を（X₆（p），Y₆（p））と、それぞれ表す。さらに、（X₆，Y₆）＝（X₆（p），Y₆（p））として、式（２５）のアフィン変換によって得られる変換位置（X₄₆，Y₄₆）を、（X₄₆(p)，Y₄₆(p)）と表す。

従って、任意のpについて、６枚目の撮像画像４０１₆の座標系上の位置（X₆(p)，Y₆(p)）の画素の画素値（B信号）は、B₆(p)である。また、位置（X₆(p)，Y₆(p)）を基準座標系上にアフィン変換した変換位置（X₄₆(p)，Y₄₆(p)）は、式α×（i−１）＋β−２≦X₄₆(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₆(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３７では、演算回路２４は、７枚目の撮像画像４０１₇の中のB信号の（画素の）位置（X₇，Y₇）を式（２６）でアフィン変換した基準座標系上の変換位置（X₄₇，Y₄₇）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₇≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇≦α×（j−１）＋γ＋２を満たす、７枚目の撮像画像４０１₇中のすべてのB信号の画素を、特定画素として特定して、ステップＳ３３８に進む。

ここで、ステップＳ３３７で７枚目の撮像画像４０１₇から得られる特定画素の個数を、N₇と表し、さらに、そのN₇個のうちのp番目（p＝１，２，・・・，N₇）の特定画素の画素値であるB信号の値をB₇（p）と、その特定画素の撮像画像４０１₇の座標系上の位置を（X₇（p），Y₇（p））と、それぞれ表す。さらに、（X₇，Y₇）＝（X₇（p），Y₇（p））として、式（２６）のアフィン変換によって得られる変換位置（X₄₇，Y₄₇）を、（X₄₇(p)，Y₄₇(p)）と表す。

従って、任意のpについて、７枚目の撮像画像４０１₇の座標系上の位置（X₇(p)，Y₇(p)）の画素の画素値（B信号）は、B₇(p)である。また、位置（X₇(p)，Y₇(p)）を基準座標系上にアフィン変換した変換位置（X₄₇(p)，Y₄₇(p)）は、式α×（i−１）＋β−２≦X₄₇(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₇(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３８では、演算回路２４は、８枚目の撮像画像４０１₈の中のB信号の（画素の）位置（X₈，Y₈）を式（２７）でアフィン変換した基準座標系上の変換位置（X₄₈，Y₄₈）が、画素値を推定しようとする出力画像の画素の位置（α×（i−１）＋β，α×（j−１）＋γ）を中心とする、横×縦が２×２の範囲内にある、即ち、式α×（i−１）＋β−２≦X₄₈≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈≦α×（j−１）＋γ＋２を満たす、８枚目の撮像画像４０１₈中のすべてのB信号の画素を、特定画素として特定して、図３９のステップＳ３３９に進む。

ここで、ステップＳ３３８で８枚目の撮像画像４０１₈から得られる特定画素の個数を、N₈と表し、さらに、そのN₈個のうちのp番目（p＝１，２，・・・，N₈）の特定画素の画素値であるB信号の値をB₈（p）と、その特定画素の撮像画像４０１₈の座標系上の位置を（X₈（p），Y₈（p））と、それぞれ表す。さらに、（X₈，Y₈）＝（X₈（p），Y₈（p））として、式（２７）のアフィン変換によって得られる変換位置（X₄₈，Y₄₈）を、（X₄₈(p)，Y₄₈(p)）と表す。

従って、任意のpについて、８枚目の撮像画像４０１₈の座標系上の位置（X₈(p)，Y₈(p)）の画素の画素値（B信号）は、B₈(p)である。また、位置（X₈(p)，Y₈(p)）を基準座標系上にアフィン変換した変換位置（X₄₈(p)，Y₄₈(p)）は、式α×（i−１）＋β−２≦X₄₈(p)≦α×（i−１）＋β＋２、および式α×（j−１）＋γ−２≦Y₄₈(p)≦α×（j−１）＋γ＋２を満たす。

ステップＳ３３９では、演算回路２４は、ステップＳ３３１乃至Ｓ３３８で求めたすべての特定画素を用い、出力画像の画素(i,j)について、式（１６）で表される、式（１２）の青色の光量の重み加算式の分母と、式（１５）で表される、式（１２）の青色の光量の重み加算式の分子を、それぞれ演算する。

具体的には、式（１２）の青色の光量の重み加算式の分母（式（１６））として、式（３２）が演算され、式（１２）の青色の光量の重み加算式の分子（式（１５））として、式（３３）が演算される。

・・・（３２）

・・・（３３）

なお、式（３２）および（３３）において、X₀とY₀は、画素値を推定しようとする出力画像の画素の位置を表し、(X₀，Y₀）＝（α×（i−１）＋β，Y₀＝α×（j−１）＋γ）である。

ここで、式（３３）は、１枚目乃至８枚目の撮像画像４０１₁乃至４０１₈を位置合わせした場合に、出力画像の画素値を求めようとしている画素(i,j)の位置（α×（i−１）＋β，α×（j−１）＋γ）の近傍の位置（X_4k(p)，Y_4k(p)）に観測されるB信号の画素の画素値B_k(p)（k＝１乃至８，p＝１乃至N_k）に、重みCubic(X₀-X_4k(p))×Cubic(Y0-Y_4k(p))をかけて加算する重み付け加算を表し、式（３２）は、その重みCubic(X₀-X_4k(p))×Cubic(Y0-Y_4k(p))の総和を表す。式（３３）を式（３２）で除算することが、式（１２）を演算することに相当し、その演算結果は、ステップＳ３３１乃至Ｓ３３８で得られた特定画素の画素値B_k(p)すべてについて、出力画像の画素値を求めようとしている画素(i,j)の位置(X₀，Y₀）と、特定画素の位置（X_4k(p)，Y_4k(p)）との距離に応じた重みを付けた「画素値B_k(p)の重み付き平均値」となる。

演算回路２４は、出力画像の画素(i,j)についての式（３２）と式（３３）の演算後、その演算結果を、図示せぬメモリに保持して、ステップＳ３４０に進む。

ステップＳ３４０では、演算回路２４は、変数iが、横方向の画素数Wと等しいか否かを判定する。ステップＳ３４０で、変数iが画素数Wと等しくないと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素について、ステップＳ３１３乃至Ｓ３３９の処理が行われていない場合、ステップＳ３４１に進み、演算回路２４は、変数iを１だけインクリメントして、図３０のステップＳ３１３に戻り、以下、同様の処理を繰り返す。

一方、ステップＳ３４０で、変数iが画素数Wと等しいと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素についてステップＳ３１３乃至Ｓ３３９の処理が行われた場合、ステップＳ３４２に進み、演算回路２４は、変数jが縦方向の画素数Hと等しいか否かを判定する。ステップＳ３４２で、変数jが画素数Hと等しくないと判定された場合、即ち、すべての列について、ステップＳ３１３乃至Ｓ３３９の処理が行われていない場合、ステップＳ３４３に進み、演算回路２４は、変数jを１だけインクリメントして、図３０のステップＳ３１２に戻り、以下、同様の処理を繰り返す。

一方、ステップＳ３４２で、変数jが画素数Hと等しいと判定された場合、即ち、すべての列について、ステップＳ３１３乃至Ｓ３３９の処理が行われた場合、ステップＳ３４４に進み、演算回路２４は、図３０のステップＳ３１１における場合と同様に、変数jに１をセットして、ステップＳ３４５に進む。ステップＳ３４５では、演算回路２４は、図３０のステップＳ３１２における場合と同様に、変数iに１をセットして、図４０のステップＳ３４６に進む。

ステップＳ３４６では、演算回路２４は、出力画像の画素（i，j）のG信号の画素値（緑色の光量）を求める演算処理を行って、ステップＳ３４７に進む。即ち、ステップＳ３４６では、後述するように、図３３のステップＳ３２１で求められた緑色の光量の重み加算式の分母である式（２８）の値（演算結果）と、その分子である式（２９）の値とを用いて、式（８）の緑色の光量の重み加算式に相当する式（３４）の演算（通常処理）、または、式（１７）に相当する式（３５）の演算（例外処理）を行うことにより、出力画像の画素（i，j）のG信号の画素値が求められる（推定される）。

・・・（３４）

・・・（３５）

ステップＳ３４７では、演算回路２４は、出力画像の画素（i，j）のR信号の画素値（赤色の光量）を求める演算処理を行って、ステップＳ３４８に進む。即ち、ステップＳ３４７では、後述するように、図３６のステップＳ３３０で求められた赤色の光量の重み加算式の分母である式（３０）の値（演算結果）と、その分子である式（３１）の値とを用いて、式（１１）の赤色の光量の重み加算式に相当する式（３６）の演算（通常処理）、または、式（１８）に相当する式（３７）の演算（例外処理）を行うことにより、出力画像の画素（i，j）のR信号の画素値が求められる。

・・・（３６）

・・・（３７）

ステップＳ３４８では、演算回路２４は、出力画像の画素（i，j）のB信号の画素値（青色の光量）を求める演算処理を行って、ステップＳ３４９に進む。即ち、ステップＳ３４８では、後述するように、図３９のステップＳ３３９で求められた青色の光量の重み加算式の分母である式（３２）の値（演算結果）と、その分子である式（３３）の値とを用いて、式（１２）の青色の光量の重み加算式に相当する式（３８）の演算（通常処理）、または、式（１９）に相当する式（３９）の演算（例外処理）を行うことにより、出力画像の画素（i，j）のB信号の画素値が求められる。

・・・（３８）

・・・（３９）

ステップＳ３４９では、演算回路２４が、変数iが横方向の画素数Wと等しいか否かを判定する。ステップＳ３４９で、変数iが画素数Wと等しくないと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素についてステップＳ３４６乃至Ｓ３４８の処理が行われていない場合、ステップＳ３５０に進み、演算回路２４は、変数iを１だけインクリメントして、ステップＳ３４６に戻り、以下、同様の処理を繰り返す。

一方、ステップＳ３４９で、変数iが画素数Wと等しいと判定された場合、即ち、変数jで示されている画素列のうち、横方向のすべての画素についてステップＳ３４６乃至Ｓ３４８の処理が行われた場合、ステップＳ３５１に進み、演算回路２４は、変数jが縦方向の画素数Hと等しいか否かを判定する。ステップＳ３５１で、変数jが画素数Hと等しくないと判定された場合、即ち、すべての列について、ステップＳ３４６乃至Ｓ３４８の処理が行われていない場合、ステップＳ３５２に進み、演算回路２４は、変数jを１だけインクリメントして、図３９のステップＳ３４５に戻り、以下、同様の処理を繰り返す。

一方、ステップＳ３５１で、変数jが画素数Hと等しいと判定された場合、即ち、すべての列について、ステップＳ３４６乃至Ｓ３４８の処理が行われ、W×H画素の出力画像のすべての画素につき、B信号、R信号、およびB信号の画素値が求められた場合、ステップＳ３５３に進み、演算回路２４は、その出力画像の画像信号を、D/Aコンバータ９またはコーデック１２（図１）に供給して、処理を戻る。

次に、図４１のフローチャートを参照して、図４０のステップＳ３４６における、出力画像の画素（i，j）のG信号の画素値（緑色の光量）を求める（推定する）演算処理について説明する。

初めに、ステップＳ４０１において、演算回路２４は、画素（i，j）について、図３３のステップＳ３２１で演算された緑色の光量の重み加算式の分母である式（２８）の値の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（２８）の値の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、0.25などの固定の値が、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。

ステップＳ４０１において、画素（i，j）について演算された緑色の光量の重み加算式の分母である式（２８）の値の絶対値が、所定の閾値以上であると判定された場合、即ち、画素（i，j）について演算された式（２８）の値の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ４０２に進み、演算回路２４は、画素（i，j）について、図３３のステップＳ３２１で演算された緑色の光量の重み加算式の分子である式（２９）の値を、その分母である式（２８）の値で除算する式（３４）の演算を行うことにより、画素（i，j）のG信号の画素値を求める通常処理を行う。

一方、ステップＳ４０１において、画素（i，j）について演算された緑色の光量の重み加算式の分母である式（２８）の値の絶対値が、所定の閾値未満であると判定された場合、即ち、式（２８）の値の絶対値が０、または０に近く、式（２９）の値を式（２８）の値で除算する通常処理を行ったのでは、その除算結果が不安定な値となる場合、つまり、式（２９）の値に、僅かなノイズしか含まれていなくても、ほぼ０である式（２８）の値で除算することで、その僅かなノイズが大きく増幅されてしまう場合、ステップＳ４０３に進み、演算回路２４は、式（１７）に相当する式（３５）の演算を行うことにより、画素（i，j）のG信号の画素値を求める例外処理を行う。

即ち、ステップＳ４０３では、式（３５）にしたがい、出力画像の画素（i，j）と、その画素（i，j）の周辺の周辺画素（i−１，j），（i＋１，j），（i，j−１）、および（i，j＋１）との５画素それぞれにおいて通常処理のときに演算される緑色の光量の重み加算式の分子である式（２９）の値の総和を、その５画素それぞれにおいて通常処理のときに演算される緑色の光量の重み加算式の分母である式（２８）の値の総和で除算することにより、画素（i，j）のG信号の画素値が求められる。

出力画像の画素（i，j）と、その周辺画素（i−１，j），（i＋１，j），（i，j−１），（i，j＋１）それぞれにおける式（２８）の値の総和は、図１６および図１７で説明したことから、ある程度大きな値となるので、そのような大きな値で除算を行うことにより、ノイズを増大させないで、画素（i，j）のG信号の画素値を求めることができる。

次に、図４２のフローチャートを参照して、図４０のステップＳ３４７における、出力画像の画素（i，j）のR信号の画素値（赤色の光量）を求める（推定する）演算処理について説明する。

初めに、ステップＳ４１１において、演算回路２４は、画素（i，j）について、図３６のステップＳ３３０で演算された赤色の光量の重み加算式の分母である式（３０）の値の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（３０）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、0.25などの固定の値が、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。

ステップＳ４１１において、画素（i，j）について演算された赤色の光量の重み加算式の分母である式（３０）の値の絶対値が、所定の閾値以上であると判定された場合、即ち、画素（i，j）について演算された式（３０）の値の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ４１２に進み、演算回路２４は、画素（i，j）について、図３６のステップＳ３３０で演算された赤色の光量の重み加算式の分子である式（３１）の値を、その分母である式（３０）の値で除算する式（３６）の演算を行うことにより、画素（i，j）のR信号の画素値を求める通常処理を行う。

一方、ステップＳ４１１において、画素（i，j）について演算された赤色の光量の重み加算式の分母である式（３０）の値の絶対値が、所定の閾値未満であると判定された場合、即ち、式（３０）の値の絶対値が０、または０に近く、式（３１）の値を式（３０）の値で除算する通常処理を行ったのでは、その除算結果が不安定な値となる場合、つまり、式（３１）の値に、僅かなノイズしか含まれていなくても、ほぼ０である式（３０）の値で除算することで、その僅かなノイズが大きく増幅されてしまう場合、ステップＳ４１３に進み、演算回路２４は、式（１８）に相当する式（３７）の演算を行うことにより、画素（i，j）のR信号の画素値を求める例外処理を行う。

即ち、ステップＳ４１３では、式（３７）にしたがい、出力画像の画素（i，j）と、その画素（i，j）の周辺の周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１）、および（i＋１，j＋１）との９画素それぞれにおいて通常処理のときに演算される赤色の光量の重み加算式の分子である式（３１）の値の総和を、その９画素それぞれにおいて通常処理のときに演算される赤色の光量の重み加算式の分母である式（３０）の値の総和で除算することにより、画素（i，j）のR信号の画素値が求められる。

出力画像の画素（i，j）と、その周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１），（i＋１，j＋１）それぞれにおける式（３０）の値の総和は、図１８および図１９で説明したことから、ある程度大きな値となるので、そのような大きな値で除算を行うことにより、ノイズを増大させないで、画素（i，j）のR信号の画素値を求めることができる。

次に、図４３のフローチャートを参照して、図４０のステップＳ３４８における、出力画像の画素（i，j）のB信号の画素値（青色の光量）を求める（推定する）演算処理について説明する。

初めに、ステップＳ４２１において、演算回路２４は、画素（i，j）について、図３９のステップＳ３３９で演算された青色の光量の重み加算式の分母である式（３２）の値の絶対値が、所定の閾値以上であるか否かを判定する。この所定の閾値は、式（３２）の絶対値を０とみなし、例外処理を適用するかどうかを判定するための値であり、例えば、0.25などの固定の値が、予め演算回路２４に設定されている。但し、所定の閾値は、その他、ユーザの操作に応じて設定可能とすることもできる。

ステップＳ４２１において、画素（i，j）について演算された青色の光量の重み加算式の分母である式（３２）の値の絶対値が、所定の閾値以上であると判定された場合、即ち、画素（i，j）について演算された式（３２）の値の絶対値が０とみなすほどの小さい値ではない場合、ステップＳ４２２に進み、演算回路２４は、画素（i，j）について、図３９のステップＳ３３９で演算された青色の光量の重み加算式の分子である式（３３）の値を、その分母である式（３２）の値で除算する式（３８）の演算を行うことにより、画素（i，j）のB信号の画素値を求める通常処理を行う。

一方、ステップＳ４２１において、画素（i，j）について演算された青色の光量の重み加算式の分母である式（３２）の値の絶対値が、所定の閾値未満であると判定された場合、即ち、式（３２）の値の絶対値が０、または０に近く、式（３３）の値を式（３２）の値で除算する通常処理を行ったのでは、その除算結果が不安定な値となる場合、つまり、式（３３）の値に、僅かなノイズしか含まれていなくても、ほぼ０である式（３２）の値で除算することで、その僅かなノイズが大きく増幅されてしまう場合、ステップＳ４２３に進み、演算回路２４は、式（１９）に相当する式（３９）の演算を行うことにより、画素（i，j）のB信号の画素値を求める例外処理を行う。

即ち、ステップＳ４２３では、 式（３９）にしたがい、出力画像の画素（i，j）と、その画素（i，j）の周辺の周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１）、および（i＋１，j＋１）との９画素それぞれにおいて通常処理のときに演算される青色の光量の重み加算式の分子である式（３３）の値の総和を、その９画素それぞれにおいて通常処理のときに演算される青色の光量の重み加算式の分母である式（３２）の値の総和で除算することにより、画素（i，j）のB信号の画素値が求められる。

出力画像の画素（i，j）と、その周辺画素（i−１，j−１），（i，j−１），（i＋１，j−１），（i−１，j），（i＋１，j），（i−１，j＋１），（i，j＋１），（i＋１，j＋１）それぞれにおける式（３２）の値の総和は、図１８および図１９で説明したことから、ある程度大きな値となるので、そのような大きな値で除算を行うことにより、ノイズを増大させないで、画素（i，j）のB信号の画素値を求めることができる。

以上のように、図２８のステップＳ３０４における画像生成処理では、N枚の撮像画像に投影されている被写体の範囲の周辺部分を除いた中心部分の画像、即ち、N枚の撮像画像を位置合わせした場合に、そのN枚の撮像画像のすべての枚数目の撮像画像の画素が存在する高画質エリア４２２（図２９）内の画像が、出力画像として生成される。

従って、出力画像の各画素の画素値の推定するための式（３４）乃至式（３９）の演算において用いられる撮像画像のデータの数（画素の数）、つまり、式（２８）乃至式（３３）におけるサメーションにおけるN₁，N₂，N₃，N₄，N₅，N₆，N₇，N₈は十分多くなるので、図２５乃至図２７で説明したように、出力画像を生成するのに用いることができるデータが少ないことにより、出力画像において、画質の鮮明さが劣化した部分が生じることを防止すること、即ち、すべての画素についてノイズがない（ノイズが極めて低減された）出力画像を得ることができる。

さらに、出力画像の画素ピッチを、撮像画像、即ち、上述の場合には、撮像素子４（図１）の画素ピッチよりも小さくするようにしたので、具体的には、基準画像に対する高画質エリア４２２（図２９）の相似比αに等しい割合の間隔にしたので、出力画像として、撮像素子４と同一のW×H画素の画像を得ることができる。

なお、上述の場合には、撮像素子４として、それが有するW×H画素と同一のW'×H'画素の撮像画像を出力する撮像素子を採用することとしたが、撮像素子４としては、それが有するW×H画素よりも少ないW'×H'画素の撮像画像を出力する撮像素子を採用することもできる。

即ち、撮像素子には、隣接する複数の画素の画素値を加算し、その加算値（画素加算値）を、１画素の画素値とするビニングと呼ばれる機能を有するもの（以下、適宜、ビニング撮像素子という）がある。ビニング撮像素子には、光を受光するセンサの内部で、画素値の加算を行うものや、センサから出力された画素値としてのディジタルデータをディジタル加算器で加算するものがある。

ビニング撮像素子は、複数の画素の画素値を加算し、その加算値を、１画素の画素値として出力するので、その画素値により構成される撮像画像の画素数は、ビニング撮像素子が有する画素数より少なく、その画素数の数分の１の画素数となる。より具体的には、ビニング撮像素子が、例えば、隣接する２×２画素の画素値を加算して出力する場合は、撮像画像の画素数は、（W／２）×（H／２）画素となる。また、ビニング撮像素子が、例えば、隣接する３×３画素の画素値を加算して出力する場合は、撮像画像の画素数は、（W／３）×（H／３）画素となる。

なお、撮像素子４として採用するビニング撮像素子は、その他の画素数の画素値の加算を行うものであっても良い。また、ビニング撮像素子のセンサの画素がベイヤー配列になっている場合は、そのビニング撮像素子は、画素がベイヤー配列になっている撮像画像を出力する。

撮像素子４としてビニング撮像素子を採用し、ビニングを機能させる場合には、撮像素子４において、画素値の加算が行われることにより、感度アップが図られ、その結果、撮像素子４が出力する画素値（加算画素値）は、ノイズの少ないデータとなるので、例えば、薄暗がりの風景の撮影に効果的である。

ところで、手ぶれ補正モードにおいて、撮像素子４のビニングを機能させ、撮像素子４において、例えば、隣接する２×２画素の画素値を加算して出力するようにした場合、信号処理回路７（の演算回路２４（図４））に供給される撮像画像の画素数W'×H'は、（W／２）×（H／２）画素となる。

この場合、出力画像として、撮像素子４が有する画素数W×H画素（＝2W'×2H'画素）と同一の画素数の画像を得るためには、図２９で説明したα，β，γを、次のように設定すれば良い。

即ち、例えば、上述したように、１回の撮影によって、８枚の撮像画像が得られ、ある撮像画像とその次の撮像画像（次に撮像される撮像画像）との撮像の間に生じる手ぶれ量の最大値が、横および縦方向のいずれについても、撮像素子４の画素数の、例えば、２％であるとする。

この場合、４枚目画像４０１₄である基準画像（図２９）に対して、最も位置ずれが大きくなりうるのは、８枚目画像４０１₈で、その位置ずれの大きさは、基準画像の画素数で、高々、横方向が0.08×W／２画素で、縦方向が0.08×H／２画素である。

従って、４枚目画像４０１₄である基準画像において、その上下から0.08×H／２画素だけ内側で、かつ、その左右から0.08×W／２画素だけ内側の領域を、高画質エリア４２２とすれば、その高画質エリア４２２は、１乃至８枚目の８枚の撮像画像４０１₁乃至４０１₈のすべてのデータを使用して出力画像の画素値の推定が行われる図２７の領域４２１に、必ず含まれる。

この場合、高画質エリア４２２は、基準座標系において、その左上の頂点が、座標（0.08×W／２，0.08×H／２）で、横が、基準画像の横W／２よりも0.08×W／２×２だけ短く、かつ、縦が基準画像の縦H／２よりも0.08×H／２×２だけ短い矩形、即ち、左上の頂点が、座標（0.08×W／２，0.08×H／２）で、横が(1-0.16)×W／２で、縦が、(1-0.16)×H／２の矩形になる。但し、（W／２）×（H／２）画素で構成される撮像画像の画素ピッチを１とする。

一方、高画質エリア４２２は、図２９で説明したように、W×H画素の出力画像を基準とすると、左上の点が座標（β，γ）の、αW×αHの矩形の領域である。

以上から、α＝(1-0.16)/2，β＝0.08×W/2，γ＝0.08×H/2となる。

図２８のステップＳ３０４の画像生成処理において、上述のように、α＝(1-0.16)/2，β＝0.08×W/2，γ＝0.08×H/2を設定し、１≦i≦W，１≦j≦Hの範囲のすべての整数値i，jについて、出力画像の画素（i，j）の画素値を、位置（x，y）＝（α×（i−１）＋β，α×（j−１）＋γ）における画素値として計算（推定）することで、撮像素子４がビニングを行う場合でも、撮像素子４が有するのと同一のW×H画素の出力画像であって、全体が鮮明な出力画像を得ることができる。

以上のように、撮像素子４がビニングを行う場合でも、撮像素子４が有するのと同一のW×H画素の出力画像を得ることができる。さらに、この場合、図２８のステップＳ３０１乃至Ｓ３０３で扱う撮像画像の画素数は（W／２）×（H／２）画素であるので、撮像素子４がビニングを行わない場合に比較して、処理量を低減することができる。

また、撮像素子４が、上述のように、２×２画素を１画素として扱うビニングを行う場合には、ビニングを行わない場合に比較して、撮像素子４が画素値を出力する出力レートが１／４になる。ここで、出力レートとは、撮像素子４が１つの画素値を出力するのに要する時間の逆数である。N枚の撮像画像の撮像間隔が、T₀秒であるとすると、撮像素子４がビニングを行わない場合の出力レートは、遅くともH×W／T₀［画素数／秒］である必要があるが、撮像素子４がビニングを行う場合の出力レートは、H×W／（４T₀）［画素数／秒］以上であれば良く、撮像素子４がビニングを行わない場合に必要な出力レートの１／４で済む。

即ち、逆に言えば、撮像素子４がビニングを行う場合は、ビニングを行わない場合に比較して、１枚の撮像画像の画素値の出力に要する時間を１／４にすることができる。

そして、撮像素子の出力レートの最大値、即ち、撮像素子がある単位時間内に出力することができる画素値の数は、撮像素子ごとに決まっており、撮像画像のフレームレート（撮像素子が、ある撮像画像（の画素値）を出力してから、その次の撮像画像を出力するまでの時間）は、撮像画像の画素数と、撮像素子が単位時間内に出力することができる画素値の数とにより制限される。即ち、撮像画像の画素数が多ければ、撮像画像のフレームレートを低い値に制限され、逆に、撮像画像の画素数が少なければ、撮像画像のフレームレートを高くすることができる。

従って、撮像素子においてビニングを行うことによって、撮像画像のフレームレートを高くすること、即ち、撮像の間隔を短くすることができる。

例えば、ズームレンズにより望遠で撮影が行われる場合のように、撮影画像に生じる手ぶれ量が大となる撮影が行われる場合には、撮像画像にぶれが生じるのを防止するため、撮像の間隔を短くする、即ち、撮像画像のフレームレートを高くする必要がある。この場合、撮像素子４においてビニングを行うことによって、フレームレートの高い撮像画像を出力するようにすることができる。これにより、空間方向の解像度は多少劣化するが、手ぶれ量が大であっても、鮮明な画像を得ることができる。

一方、広角で撮影が行われる場合のように、撮影画像に生じる手ぶれ量が小さい撮影が行われる場合には、フレームレートをあまり上げる必要はないので、撮像素子４においてビニングを行わずに、撮影画像を出力するようにすることができる。これにより、手ぶれ量が小さい場合には、空間方向の解像度が高く、かつ鮮明な画像を得ることができる。

なお、撮像素子４におけるビニングを機能させるかどうかは、ユーザの操作に応じて設定することができる。また、手ぶれ量を検出し、手ぶれ量が大の場合には、撮像素子４におけるビニングを機能させ、手ぶれ量が小の場合には、撮像素子４におけるビニングを機能させないようにすることもできる。

また、本実施の形態では、撮像素子４として、ベイヤー配列の撮像素子を採用することとしたが、撮像素子４としては、ベイヤー配列でない画素の配列の撮像素子を採用することも可能である。

さらに、上述した例では、ディジタルカメラ１の撮像素子４を、単板センサで構成し、撮像素子４が出力する１画素につき１個の色信号から、１画素につき３個の色信号を有する出力画像を生成するようにしたが、撮像素子４は、単板センサでなくてもよい。

即ち、撮像素子４としては、１画素につき所定のn個の色信号（例えば、R,G,Bなど）を出力するものを採用し、画像生成処理では、１画素につきn個の色信号から、１画素につき（n＋１）個以上の色信号（例えば、黄、シアン、マゼンダ、緑など）を有する出力画像を生成するようにすることができる。また、撮像素子４としては、１画素につき所定のn個の色信号を出力するもの（例えば、R,G,Bの３色を出力する３板式の撮像素子など）を採用し、画像生成処理では、１画素につきn個の色信号から、１画素につきn個の色信号を有する出力画像を生成することもできる。さらに、撮像素子４１は、R,G,Bではなく、それらの補色を出力するものであってもよい。

また、本発明は、上述したように、ディジタルスチルカメラに採用することができる他、処理の高速化を図ることによって、ディジタルビデオカメラ等にも採用することができる。

次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、ディジタルカメラ１は、図４４に示されるようなコンピュータにプログラムを実行させることにより実現することができる。

図４４において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。例えば、CPU５０１は、信号処理回路７の動き検出回路２３および演算回路２４等が行う処理を実行する。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。

入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットなどのネットワークを介しての通信処理を行う。撮像部３１１は、図１で示される撮像素子４などを有し、被写体を撮像し、その撮像した被写体の画像データを入出力インタフェース５０５を介してCPU５０１等に供給する。

入出力インタフェース５０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、或いは半導体メモリ３２４などが適宜装着され、それらから、CPU５０１が実行するコンピュータプログラムが読み出され、記憶部５０８にインストールされる。また、CPU５０１が実行するコンピュータプログラムは、通信部５０９を介してインターネット上のサイトからダウンロードしてインストールすることができる。

なお、本明細書において、フローチャートで説明した各ステップの処理は、記載された順序に沿って時系列的に実行されることはもちろん、必ずしも時系列的に実行されなくとも、並列的あるいは個別に実行されることもあり得る。

さて、最後に、本発明の訴求している範囲について、述べておく。上記実施の形態においては、ベイヤー配列で撮影された画像を複数枚使って、高精細な画像を生成する手順について、詳しく述べてきた。しかしながら、本発明は、これに限定するわけではない。本発明のポイントは、位置関係の微妙にずれた複数枚の画像から位置合わせを行いながら一枚の高精細な出力画像を生成するとき、「出力画像の画素間隔を撮影画像（基準画像：４枚目画像４０１₄）の画素間隔と同じにすると、周辺部分ではノイズがあり、鮮明でない画像が出来てしまう」という欠点を克服するために、出力画像の画素間隔を撮影画像の画素間隔よりも短く（具体的にはα）して撮影画像の中心部分のデータのみを使用する点である。従って、この本発明のポイントは、ベイヤー配列に限定しているわけではない。

さらに、ビニング処理された撮像素子からの撮影画像（例えば、（W／２）×（H／２）画素の画像）からでも、演算回路２４での画像処理により、撮像素子が本来もっている画素数と同じ画像（W×H画素の画像）を得ることができる。

このように本発明を適用した装置（図１）を使用することで、通常撮影モードおよび手ぶれ補正モードのいずれの撮影においても、常に出力画像はW×H画素の画像となり、画素数がモードにより変わるという違和感を、ユーザは感じないで済む。そして、出力画像は、周辺部分の画質も中心部分の画質同様に鮮明な画像となる。

本発明を適用したディジタルカメラ１の一実施の形態の構成例を示すブロック図である。 図１のディジタルカメラ１の撮像処理を説明するフローチャートである。 図１の撮像素子４の画素の配列を示す図である。 図１の信号処理回路７の詳細な構成例を示すブロック図である。 １枚目画像を示す図である。 ２枚目画像を示す図である。 ３枚目画像を示す図である。 １枚目画像の座標系上で観測される画素値を説明する図である。 出力画像を示す図である。 画素の位置をプロットした基準座標系を示す図である。 位置（I'，J'）の緑色の光量Lg（I'，J'）の推定を説明する図である。 画像生成処理を説明するフローチャートである。 キュービック関数を示す波形図である。 基準座標系上の位置の画素値を説明する図である。 例外状態を説明する図である。 G信号の例外処理を説明する図である。 G信号の例外処理を説明する図である。 R信号の例外処理を説明する図である。 R信号の例外処理を説明する図である。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 緑色の光量Lg（I'，J'）を求める演算処理を説明するフローチャートである。 赤色の光量Lr（I'，J'）を求める演算処理を説明するフローチャートである。 青色の光量Lb（I'，J'）を求める演算処理を説明するフローチャートである。 撮像画像４０１₁乃至４０１₈を示す図である。 １枚目の撮像画像を基準画像とした場合に得られる出力画像を説明する図である。 中間画像を基準画像とした場合に得られる出力画像を説明する図である。 図１のディジタルカメラ１の撮像処理を説明するフローチャートである。 基準画像を示す平面図である。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 画像生成処理を説明するフローチャートである。 G信号の画素値（緑色の光量）を推定する演算処理を説明するフローチャートである。 R信号の画素値（赤色の光量）を推定する演算処理を説明するフローチャートである。 B信号の画素値（青色の光量）を推定する演算処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１ ディジタルカメラ， ２ レンズ， ３ 絞り， ４ 撮像素子， ５ 相関２重サンプリング回路， ６ A/Dコンバータ， ７ 信号処理回路， ８ タイミングジェネレータ， ９ D/Aコンバータ， １０ ビデオエンコーダ， １１ モニタ， １２ コーデック， １３ メモリ， １４ バス， １５ CPU， １６ 入力デバイス， ２１ シフト回路， ２２₁乃至２２_N フレームメモリ， ２３₁乃至２３_N-1 動き検出回路， ２４ 演算回路， ２５ コントローラ

Claims (12)

1. 複数の入力画像から１つの出力画像を生成する画像処理方法において、
   画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出ステップと、
   前記検出ステップの処理により検出された前記位置関係に基づき、前記複数の入力画像の各画素の位置を前記出力画像上の位置に変換したときの変換位置を求め、前記変換位置が、前記出力画像において注目している注目画素の近傍にある前記入力画像の画素を、前記注目画素の画素値の推定に用いる画素として特定する特定ステップと、
   前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値、およびその画素の変換位置と前記注目画素の位置との距離に応じた重みによって、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算を行うことにより、前記注目画素の画素値を推定することにより、前記出力画像を生成する画像生成ステップと
   を含み、
   前記出力画像は、前記複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準とし、該基準となった入力画像に投影されている被写体の範囲の所定の割合の範囲の画像であり、かつ、画素の間隔が、前記入力画像の画素の間隔の前記所定の割合の間隔の画像であり、
   前記画像生成ステップでは、
   前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上である場合に、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算を行い、
   前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上でない場合には、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値と、前記変換位置が前記注目画素の周辺の前記出力画像の画素の位置の近傍にある前記複数の入力画像の画素の画素値とを用いた重み付け加算を行う
   ことにより、前記注目画素の画素値を推定する
   ことを特徴とする画像処理方法。
2. 前記複数の入力画像は、前記撮像手段において連続して撮像された時系列の画像である
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記所定の割合は、手ぶれ量に応じた値である
   ことを特徴とする請求項１に記載の画像処理方法。
4. 前記画像生成ステップでは、前記撮像手段が有する画素の数に等しい数の画素を有する前記出力画像を生成する
   ことを特徴とする請求項１に記載の画像処理方法。
5. 前記撮像手段は、前記撮像手段が有する画素の複数をまとめて扱うことにより、前記撮像手段が有する画素の数よりも少ない数の画素を有する前記入力画像を出力する
   ことを特徴とする請求項１に記載の画像処理方法。
6. 前記画像生成ステップでは、
   １画素につきｎ個の画素値を有する前記複数の入力画像の画素の画素値に基づき、１画素につきｎ＋１個以上の画素値を有する前記出力画像の各画素の位置の前記ｎ＋１個以上の画素値を推定する
   ことを特徴とする請求項１に記載の画像処理方法。
7. 前記画像生成ステップでは、
   １画素につき１個の画素値を有する前記複数の入力画像の画素の画素値に基づき、１画素につき３個の画素値を有する前記出力画像の各画素の位置の前記３個の画素値を推定する
   ことを特徴とする請求項１に記載の画像処理方法。
8. 前記撮像手段は、単板センサで構成され、
   前記撮像手段が出力する前記複数の入力画像は、画素の位置に応じた色の画素値を有する画像である
   ことを特徴とする請求項７に記載の画像処理方法。
9. 前記画像生成ステップでは、前記特定ステップの処理により特定された前記複数の入力画像の画素の変換位置と前記注目画素の位置との距離に対してローパスフィルタの特性を有する関数を用いて得られる重みによって、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算を行う
   ことを特徴とする請求項１に記載の画像処理方法。
10. 複数の入力画像から１つの出力画像を生成する画像処理装置において、
    画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出手段と、
    前記検出手段により検出された前記位置関係に基づき、前記複数の入力画像の各画素の位置を前記出力画像上の位置に変換したときの変換位置を求め、前記変換位置が、前記出力画像において注目している注目画素の近傍にある前記入力画像の画素を、前記注目画素の画素値の推定に用いる画素として特定する特定手段と、
    前記特定手段により特定された前記複数の入力画像の画素の画素値、およびその画素の変換位置と前記注目画素の位置との距離に応じた重みによって、前記特定手段により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算を行うことにより、前記注目画素の画素値を推定することにより、前記出力画像を生成する画像生成手段と
    を備え、
    前記出力画像は、前記複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準とし、該基準となった入力画像に投影されている被写体の範囲の所定の割合の範囲の画像であり、かつ、画素の間隔が、前記入力画像の画素の間隔の前記所定の割合の間隔の画像であり、
    前記画像生成手段は、
    前記特定手段により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上である場合に、前記特定手段により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算を行い、
    前記特定手段により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上でない場合には、前記特定手段により特定された前記複数の入力画像の画素の画素値と、前記変換位置が前記注目画素の周辺の前記出力画像の画素の位置の近傍にある前記複数の入力画像の画素の画素値とを用いた重み付け加算を行う
    ことにより、前記注目画素の画素値を推定する
    ことを特徴とする画像処理装置。
11. 複数の入力画像から１つの出力画像を生成する画像処理を、コンピュータに実行させるプログラムにおいて、
    画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出ステップと、
    前記検出ステップの処理により検出された前記位置関係に基づき、前記複数の入力画像の各画素の位置を前記出力画像上の位置に変換したときの変換位置を求め、前記変換位置が、前記出力画像において注目している注目画素の近傍にある前記入力画像の画素を、前記注目画素の画素値の推定に用いる画素として特定する特定ステップと、
    前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値、およびその画素の変換位置と前記注目画素の位置との距離に応じた重みによって、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算を行うことにより、前記注目画素の画素値を推定することにより、前記出力画像を生成する画像生成ステップと
    を含む画像処理を、コンピュータに実行させ、
    前記出力画像は、前記複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準とし、該基準となった入力画像に投影されている被写体の範囲の所定の割合の範囲の画像であり、かつ、画素の間隔が、前記入力画像の画素の間隔の前記所定の割合の間隔の画像であり、
    前記画像生成ステップでは、
    前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上である場合に、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算を行い、
    前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上でない場合には、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値と、前記変換位置が前記注目画素の周辺の前記出力画像の画素の位置の近傍にある前記複数の入力画像の画素の画素値とを用いた重み付け加算を行う
    ことにより、前記注目画素の画素値を推定する
    ことを特徴とするプログラム。
12. 複数の入力画像から１つの出力画像を生成する画像処理を、コンピュータに実行させるプログラムが記録されている記録媒体において、
    画像を撮像する撮像手段が撮像した前記複数の入力画像どうしの位置関係を検出する検出ステップと、
    前記検出ステップの処理により検出された前記位置関係に基づき、前記複数の入力画像の各画素の位置を前記出力画像上の位置に変換したときの変換位置を求め、前記変換位置が、前記出力画像において注目している注目画素の近傍にある前記入力画像の画素を、前記注目画素の画素値の推定に用いる画素として特定する特定ステップと、
    前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値、およびその画素の変換位置と前記注目画素の位置との距離に応じた重みによって、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算を行うことにより、前記注目画素の画素値を推定することにより、前記出力画像を生成する画像生成ステップと
    を含む画像処理を、コンピュータに実行させ、
    前記出力画像は、前記複数の入力画像が撮像された時間の、中間の時刻またはその近傍の時刻に撮像された入力画像を基準とし、該基準となった入力画像に投影されている被写体の範囲の所定の割合の範囲の画像であり、かつ、画素の間隔が、前記入力画像の画素の間隔の前記所定の割合の間隔の画像であり、
    前記画像生成ステップでは、
    前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上である場合に、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算を行い、
    前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値を用いた重み付け加算における重みの総和の絶対値が所定の閾値以上でない場合には、前記特定ステップの処理により特定された前記複数の入力画像の画素の画素値と、前記変換位置が前記注目画素の周辺の前記出力画像の画素の位置の近傍にある前記複数の入力画像の画素の画素値とを用いた重み付け加算を行う
    ことにより、前記注目画素の画素値を推定する
    ことを特徴とするプログラムが記録されている記録媒体。

Images