JP5522757B2 - カメラ、カメラを有するシステム、カメラを動作させる方法及び記録された画像をデコンボリュートする方法 - Google Patents

Description

本発明は、光軸に沿ったレンズとセンサとの間の距離と、レンズの焦点距離との比が画像の露出時間の間に変えられるレンズ及び画像センサを有するカメラに関する。本発明は、画像センサにより捕えられる画像データをデコンボリュートする方法にも関する。

ＣＭＯＳ及びＣＣＤセンサのような従来の画像センサは、露出時間の間、これらセンサに当たる全ての光を集積する。これは、静的被写体のシャープな画像を供給するが、シャッタが開いている間、動いている被写体に対して空間ぼけになる。焦点が合っていない被写体も、ぼやける。いわゆる動きぼけは、露出時間及び被写体の速度と比例している。前者（露出時間）は、カメラが低い光レベルの状況で動作するとき、特に問題となる。このような環境では、長い露出時間が、シーンの暗い領域が適切に撮像できる程十分に高いＳＮレベルを達成するために所望される。結果的に、多くのカメラは、動きぼけとダイナミックレンジとの間の古典的なトレードオフを受ける。露出時間は、十分な光を捕獲するために長い必要があるが、動きぼけを低減するためには小さい必要がある。本発明のフレームワーク内で、カメラという用語は、写真を撮るためのカメラだけでなくビデオ目的のためのカメラも含む。

冒頭に説明されたタイプのカメラ及び方法は、"Flexible Depth of Field Photography", H.Nagahara, S.Kuthirummal, C.Zhou, and S.K.Nayar, European Conference on Computer Vision (ECCV), Oct,2008というナガハラ等による論文から既知である。

ナガハラ等の論文では、センサと固定焦点レンズとの間の距離が変化する写真を撮るためのカメラが示されている。センサは、露出時間の間、距離にわたって掃引される。掃引距離は、フィールドの深度を増大するためシーン深度レンジの範囲を掃引するように調整される。ナガハラ等の論文に開示される従来技術のカメラは、焦点ぼけを低減する。焦点ぼけを低減するため、センサは、特定の深度範囲をカバーするように光軸に沿って掃引された。

センサの掃引は、様々な焦点深度での複数の画像の組合せとなる効果で、合成画像を提供する。点広がり関数（ＰＳＦ）が計算できる。ＰＳＦは、実質的に、被写体の点がセンサ上で作られるだろう画像である。完全に焦点が合った被写体に対して、点広がりはゼロであり、よってＰＳＦはディラック関数である。この関数のフーリエ変換は、全ての周波数に対して定数である。焦点が合っていない点に対して、ＰＳＦは広がった関数であり、カメラが固定している間に動きのある被写体に対して、ＰＳＦは、動きのため距離にわたって広がっている。ＰＳＦから、点広がり逆関数（ＩＰＳＦ）を計算できる。合成画像をデコンボリュートすることは、シャープな画像が得られるようにし、増大された深度のフィールドが得られる。これは、ナガハラが示すように、センサが掃引されるとき、様々な距離にある静的被写体に対するＰＳＦが相当な程度同じであるという事実に起因する。よって、全く同一のＩＰＳＦを持つオリジナル画像のデコンボリューションは、全ての距離で又は少なくとも増大された範囲の距離でシャープな画像を可能にし、増大された深度のフィールドが静的被写体に対して得られる。

焦点ぼけ及びその低減は重要であるにもかかわらず、上述のような主要な課題が、すなわち、動きぼけが、特に大きな露出時間の移動物体に対して存在し、依然残っている。

ナガハラは、解決策を与えることなく、動きぼけと関連した課題について既に言及している。

動きぼけを低減するための既知の解決策は、光軸と直角にセンサを動かすことである。この解決策は、例えば、"Motion-Invariant Photography", A.Levin, P.Sand, T.S.Cho, F.Durand, W.T.FreemanSIGGRAPH, ACM Transactionson Graphics, Aug 2008というレヴィン等による論文から既知である。本質的には、この解決策は、水平の動きによる動きボケを低減させるために、露出の間、左から右へ（又は、その逆に）センサを動かすことになる。

レヴィン等に示唆される解決策から離れて、動きぼけは、ビデオ処理によって戻すことができる。これは、動き検出及び動きの軌跡に沿った逆フィルタリングにより達成される。これは、例えば米国特許ＵＳ６９３０６７６から既知である。しかしながら、実際には、斯様な手順の結果は、特に閉塞領域のため、不正確な動きベクトルが欠点である。動きの軌跡を知らなければならず、逆フィルタリングできるように動きの軌跡から動きベクトルを導き出さなければならない。専門のアプリケーションで使用される多くの独立型カメラでは、動きベクトルは、全く利用できない。例えば、監視又は監視活動のために使用される多くのカメラの記録は、単にコンピュータビジョンベースの分析プロシージャ（例えば、疑わしい被写体の自動検出、年輩者の転倒検出等）への入力を供給するだけである。これらのシナリオでは、生の入力フレームの質が、検出システムのパフォーマンスのための決定要因である。十分に正確な動きベクトルは、同時進行でカメラ内で利用できないし、記録ビデオのポスト処理は、リアルタイム監視システムのオプションとはならない。単一のスナップショットを撮るカメラに対して、正確に動きベクトルを決定することは、基本的に不可能である。閉塞領域での、動きの見積もりは、結局可能であっても極めて困難でもあるし不正確でもある。光が少ない状況では、光不足のため、問題が大きくなる。

第２に、従来のカメラの大部分は、時間的及び空間的にレンズを通る光をウインドウにかける調節可能なシャッタ及び絞り値を持っている。これらは、通常、対応する時間的及び空間的周波数領域のサイン変調に対応するボックスフィルタ（すなわち有限期間上の一定感度）として特徴づけられる。結果として、完全な動き情報が利用できるときであっても、幾つかの高周波が、捕捉の間、完全に抑制され、逆ＦＩＲフィルタリングの間に回復できない。実際には、逆フィルタリングは、ノイズの増幅及び偽信号の導入を防止するために、最大の注意でなされなければならない。

要するに、動きぼけを低減するための効率的及び単純な手段は、従来技術で知られていない。

動きぼけを低減することが、本発明の目的である。

この目的のために、本発明によるカメラは、
Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２＞０．２５ｓｅｃ^−１
を満たすことを特徴とし、ここで、Ｖ_{ｓｗｅｅｐ}は光軸に沿ったセンサの動き及び／若しくはレンズの動き並びに／又は秒あたりの焦点距離の変化であり、Ａは絞り値であり、ｂはレンズとセンサとの間の距離である。

Ｖ_{ｓｗｅｅｐ}、Ａ及びｂ全て同じ距離尺度の単位で表される。

「同じ距離尺度単位で表される」とは、全てが例えばｍｍ／ｓｅｃとｍｍ、又はｃｍ／ｓｅｃとｃｍで表されることを意味する。

動きぼけは、光軸と直角をなす方向、例えば水平又は垂直方向の被写体の動きにより生じるが、センサの動きは光軸に沿っているので、一見すると確かに矛盾であるように見える。捕捉された画像は、被写体の動きの方向に依存して、例えば水平方向又は垂直方向の動きぼけを示し、結果的に、光軸に沿ってセンサを動かすことにより動きぼけを低減することは論理的選択には見えず、レヴィン等によるような光軸と直角にセンサを動かすことが論理的選択のように見える。

しかしながら、発明者は、特定の条件が満たされると、光軸に沿った焦点面と向かい合ったセンサの動きが、効果的に動きぼけを打ち消すように実際に用いられ得ることに気付いた。光軸に沿ってセンサを掃引することにより、動きぼけカーネルは、被写体速度のある範囲に対して高い程度で同じになる。ＰＳＦは、被写体速度の範囲に対して高い程度で同じになる。これは、被写体速度のある範囲に対してシャープな画像を供給するＩＰＳＦを用いて、動き不変の画像を可能にする。

発明者は、最大被写体速度、すなわち動き不変又は動き不変に近い画像が達成できる被写体速度の範囲が、センサ動きの速度又は焦点掃引レート、主レンズの絞り値及びセンサとレンズとの間の平均距離を含む多くの要因に依存することに気付いた。

平均距離は、掃引の真ん中までセンサが動く距離として、実施例では決定できる。

顧みると、本発明の洞察力を持って、ナガハラ等の論文では、特定の速度の動きまで不変の画像が達成できる距離が計算できるが、この範囲は、０ｋｍ／時乃至０．１ｋｍ／時の範囲内であって、全ての実際的な目的に対して、大したことがなく、不十分でちっぽけである。実際には、ナガハラの論文を踏まえると、これは、ナガハラの論文に開示されたようなカメラ及び方法によっては、効率的な動き不変の画像が達成できないことを意味する。このように、ナガハラの論文は、動きぼけが課題であると述べている点で正しかった。ナガハラの論文の教示を使用して、異なるＰＳＦが異なる速度に対して使用される必要があり、動き不変の画像はこのため不可能である。

ナガハラの論文は、動き不変の画像の可能性があることを開示していないことに注意されたい。

ナガハラの論文のセンサの動き、ナガハラの論文に開示され説明されているこの動きの理由は、様々な焦点深度を掃引することである。焦点深度は、センサの動きと同じ軸に沿って延在するという特徴があり、すなわち動きとセンサ動き両方は、光軸と平行であり、実際光軸に沿っている。

発明者は、特定の条件が合うと、光軸と直角の被写体動きによる現象に関連した課題が、光軸に沿ったセンサの動きにより実際に低減できることを認識した。

実際の被写体速度及び距離に対する動き不変の画像を達成可能にするために、パラメータＶ_{ｓｗｅｅｐ}＊Ａ／ｂ^２に対する最小値（０．２５ｓｅｃ^−１）は、ナガハラの論文から既知のものより少なくとも一桁高い大きさである。

本発明の概念の範囲内でセンサの動きは、焦点距離に関するセンサの「動き」と考えられていることに留意されたい。斯様な動きは、センサを動かすことにより、レンズを動かすことにより、又は代わりに、レンズの焦点距離を変えることによりできる。全てのこれらの可能性で、センサは、焦点面の範囲を掃引する。当然に、センサが動き、同時に焦点距離が変わる複合動きも可能である。説明を簡単にするため以下では、どのように達成されたとしても、センサの斯様な「動き」は、「センサ動き」と呼ばれるだろう。センサ又はレンズが光軸に沿って移動する（又は、焦点距離が変化する）という事実は、光軸と直角をなす方向のセンサの同時動きを除外しない。

好ましくは、パラメータＶ_{ｓｗｅｅｐ}＊Ａ／ｂ^２は、０．５ｓｅｃ^−１より大きい、もっとも好ましくは１ｓｅｃ^−１より大きい。

好ましくは、パラメータＶ_{ｓｗｅｅｐ}＊Ａ／ｂ^２は、１５ｓｅｃ^−１より小さい、もっとも好ましくは５ｓｅｃ^−１より小さい。あまりに大きなパラメータは、非常に高い掃引速度又は非常に小さいセンサ距離を必要とする。

好ましくは、露出時間は、０．００５秒と０．０５秒との間であり、もっとも好ましくは０．０１秒と０．０５秒との間である。

あまりに長い露出時間は、センサの非常に大きな動きを必要とし、おそらくセンサの合理的動きの範囲から出るだろう。

しかし依然としてかなり長い露出時間を供給しながら、好適な露出時間範囲内で、センサの動きは合理的境界内にある。また、露出時間のこの範囲内で、ビデオシーケンスが作られ得る。

実施例では、何れかの被写体に焦点が合っている範囲の外の位置に前記センサが到達するような前記比の変化がある。

本発明の概念の範囲内で、かなりの範囲の位置にわたってセンサを速く動かす実施例、又は、画像の任意の部分に焦点が合っている位置の外に行くために焦点距離が速く変化される実施例に好適である。このように、センサの掃引は、全ての可能な焦点深度の範囲を越える。斯様な位置は、動きぼけを低減可能にする情報を提供する。センサ動きの範囲を焦点深度のために必要とされる範囲の外側まで広げることは、動き不変の画像に役立つ。

実施例では、掃引は、少なくとも露出時間の上位の範囲で、露出時間に依存してなされる。露出時間は、センサの見掛けの運動の量を決定する。

ナガハラの論文では、センサの変位は、焦点範囲を通る掃引に固定されている。本発明では、センサの動きの速度は決定因子であるので、好ましい実施例では、異なる露出時間に対して、センサの変位は露出時間で変化する。

本発明では速度が決定因子であるとすると、大きな露出時間に対して、センサの変位は比較的大きい一方、より小さな露出時間に対して、依然動きぼけの効率的な低減を可能にしながら、動きは比較的小さくなる。

露出時間の低い範囲の実施例では、動きの速度は、露出時間から独立していてもよい。斯様な露出時間に対して、動きの速度は、動きぼけが効果的に低減できるように選択できる。

本発明は、カメラを有し、記録された画像のデコンボリューションのためのデコンボリュータを更に有する、画像を記録するためのシステムにも関する。

本発明は、更に、レンズ及び画像センサを有するカメラを動作させる方法であって、前記レンズと前記画像センサとの間の距離と、焦点距離との比が、画像の露出時間の間に光軸に沿って変化され、
Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２＞０．２５ｓｅｃ^−１
を満たすことを特徴とし、ここで、Ｖ_{ｓｗｅｅｐ}は光軸に沿った前記センサの動き及び／若しくはレンズの動き並びに／又は秒あたりの焦点距離の変化であり、Ａは絞り値であり、ｂはレンズとセンサとの間の距離である、方法に関する。

これら及び他の目的並びに有利な態様は、以下の図を使用して説明される例示的実施例から明らかになるだろう。

図１は、本発明の様々な実施例を例示する。 図２Ａ乃至図２Ｃは、時間について非常に小さい、すなわち、ディラック関数であるシャッタ動作を例示する。 図３Ａ乃至図３Ｃは、通常のシャッタ動作を例示する。 図４Ａ乃至図４Ｃは、レヴィン等から既知である動作を例示する。 図５Ａ乃至図５Ｃは、ナガハラ等から既知である動作を例示する。 図６Ａ乃至図６Ｃは、本発明を例示する。 図７Ａ乃至図７Ｃは、図６ＣのＰＳＦ関数の逆フィルタリングを例示する。 図８は、記録された画像をフィルタリングするためのアルゴリズム、システム及び方法を例示する。 図９は、センサの動きを例示する。 図１０は、シーン内の発生している被写体速度に関する詳細な情報を知るときの最適化された絞り値の例である。 図１１は、被写体が動くとき、包括的な非速度最適システムに対するダブル円錐統合を示す。 図１２は、距離ｄ＿ｓｅｎｓｏｒにわたって直交して移動するセンサの実施例を示す。

図は、一定の比で描かれてはいない。概して、同一の部品は、これらの図では同一の参照符号により示される。

本発明は、露出時間の間にカメラパラメータを変えることにより、記録される画像の特性が修正できるという洞察に基づく。これは、動きぼけが実際的な速度範囲内でほぼ被写体の動きに無関係となり、好ましくは記録される信号が逆フィルタリングに対してより適している被写体の一つの周波数挙動となるカメラを設計するために利用される。これは、動き予測を必要とすることなく、より長い露出時間記録からシャープな画像を生成可能にする。換言すれば、本発明によるカメラは、低い照明レベルの下、様々な未知の速度で移動している被写体があるという非常に挑戦的な光撮像状況に対して高いＳＮＲを持つシャープな画像を提供できる。このために、センサ及び／又はレンズは、露出時間の間、光軸に沿って移動し、又は、代わりに若しくは加えて、レンズの焦点距離が露出時間の間に修正される。焦点距離を変えるためにレンズの焦点特性を変えることは、センサをレンズの方へ動かすか若しくはレンズから離れるように動かすか、又はレンズをセンサの方へ動かすか若しくはレンズをセンサから離れるように動かすのと同様の効果を持つ。これらの様々な実施例は、光軸に沿ったレンズとセンサとの間の距離（ｂ）と、焦点距離（ｆ）との比が露出の間に変化するという共通点を持つ。

図１は、本発明の様々な実施例を例示する。

被写体１は、レンズ２を通じて合焦される。合焦された画像は、被写体から来ている光線が交差する点により図１に例示される。図１の上部では、カメラは、可動センサ３を持つ。センサ３は、露出時間の間、光軸に沿って移動する。図１の上部では、これは、点線により例示される。センサ動きは、秒単位で移動する距離で表され得る。この掃引速度は、以下ではＶ_{ｓｗｅｅｐ}と呼ばれている。図１の下部は、互いに対するセンサ３及びレンズの見かけの動きの他の態様を例示する。本実施例では、センサ３’は静止しているが、レンズ２’の特性は、例えばレンズの形式又はレンズの光学指数を変えることにより変えられる。レンズ自体が移動してもよい。レンズの特性を変える結果として、焦点面が移動し、これは図１の上部に示されるようにセンサを動かすのと同様の効果を持つ。レンズに対するセンサの見かけの動きは、本発明において、上記態様又は上記態様の任意の組み合わせで確立される。組合せは、例えば、センサを動かすことによりなされる動きの部分と、動き、例えばレンズ２の焦点距離を変えることにより、相対的な動きの可能な範囲の速度又は速度の延長を微調整するための動きの部分とを持つことである。可動センサに対する掃引速度Ｖ_{ｓｗｅｅｐ}は、単に秒あたりのセンサの変位の量である。可動レンズに対する掃引速度Ｖ_{ｓｗｅｅｐ}は、秒あたりのレンズの変位である。両方の動きがある場合、掃引速度は、秒当たりのこれら２つの間の距離の変化である。

センサ及びレンズが静止していて、レンズの焦点距離ｆが変えられる場合、これは、センサ及び／又はレンズを動かすのと等価な効果を持ち、掃引速度は、以下の通りに計算される。以下の式が成り立つ。

１／ｂ＝１／ｆ−１／ｖ
よって、ｆ（ｔ）＝１／（１／ｖ＋１／（ｂ（ｔ））
ここで、ｂ（ｔ）は画像平面の位置を表す。

よって、時間の関数として、焦点距離を変えることは、以下のように焦点面を変える。ｆ（ｔ）＝（ｖ／（ｖ＋ｂ（ｔ）））＊ｂ（ｔ）
一次のオーダーの近似で、ｖはほとんど常にｂよりかなり大きいとすると、
ｄｆ（ｔ）／ｄｔ＝ｄｂ（ｔ）／ｄｔ

その場合、Ｖ_{ｓｗｅｅｐ}が秒当たりの焦点距離の変化により与えられる。

換言すると、センサをレンズに対して前後に動かす一方で、焦点距離を一定に保つことは、センサ及びレンズを定位置に保つ一方、レンズの焦点距離を増大及び減少させることに等しく、掃引速度が一次の近似で等価のパラメータである。

センサ及び／又はレンズ両方が動き、焦点距離ｆが変わる組み合わせ動作に対して、掃引レートは、２つの効果の合計により与えられる。

全ての例では、レンズとセンサの間の距離（ｂ）と、焦点距離ｆとの比は、掃引の間に変えられる。センサ若しくはレンズ又は両方を動かすことによりｂを変えることができるし、ｆを変えることができ、又は同時に若しくは連続的にさえこれら両方の動作をすることができる。

以下の図は、本発明の概念を説明する。

説明を簡単にするため、画像形成は、以下では２Ｄプロセス（時間と１つの空間次元、図ではｘにより表される）とみなされる。しかしながら、この書面で説明される概念は、２つの横断方向の空間次元（ｘ、ｙ）まで拡張できる。

動き不変の撮像の概念を良く理解するために、最初に従来のカメラの時空のサンプリング特性を概説することは有益である。写真カメラのような従来の光撮像システムでは、カメラは興味がある被写体に焦点を合わせられ、適当な距離でセンサとレンズとの間の変位を固定するようになる。図２Ａ乃至図２Ｃに示されるように、時間的及び空間的なシャッタ動作が空間及び時間で非常に小さなとき（ディラックδ（ｘ，ｔ）、すなわち空間及び時間の特異点）に、完全に静的な動きのシャープさが得られる。図２Ａは、時間的及び空間的な光のサンプリングに対応する。図２Ｂは、対応する空間時間的振幅スペクトルを例示し、図２Ｃは、静的（連続的ラインの）被写体及び動きがある（断続的ラインの）被写体に対応する２Ｄ振幅スペクトルを通る断面を示す。時間的及び空間的（図２Ａ）には、静的被写体は、常にその位置に留まり、よって図２Ａでは、常に定位置ｘｏのライン、すなわち垂直線により表わされる。垂直軸は、０も時間的な点を表し、１も時間的な点を表わすが、１は時間的に後の点を表す正規化された時間を提供する。左から右に移動する移動物体は、露出の間に右へ移動して位置を変える。中央の小さな四角は、露出を表す。露出は時間的及び空間的に非常に小さいので、露出は空間的及び時間的に非常に小さな点である。この理想的な仮想シャッタ構成に対して、センサは同じ強度で全周波数を記録し、結果的に異なる動きに対して同一の周波数特性となる。図２Ｂは、獲得した信号のフーリエ変換を表す。これは、全ての値に対して１である関数である。ディラック関数に対しては、全ての周波数が等しくサンプリングされ、全波数の振幅は等しい。図２Ｃは、振幅が様々な波数（水平目盛）で対数的単位の垂直目盛で与えられる点広がり関数（ＰＳＦ）の形式を表す。図２Ｂは、ディラック関数のフーリエ変換が定数であるという事実を例示する。全ての周波数が等しくサンプリングされるとすると、全ての可能な速度での全波数で振幅は等しく、すなわち、ＰＳＦ関数は定数である。このように、ＰＳＦ関数も等しい。等しいＰＳＦ関数は、被写体の全速度で画像が等しくシャープであり、画像をデコンボリュートすることにより再構成できることを意味する。このように、ディラックシャッタは、全速度でシャープな画像を可能にするだろう。しかしながら、完璧なディラックシャッタは構築できず、その現実的な近似では、適当な画像を作るためには不十分な光を収集する。画像は、画像内の被写体の全ての速度に対してシャープであるが、被写体を見えるようにするために十分な光は捕獲されず、これは、控え目に言っても非常に非実用的である。実際には、シャッタ時間（及び絞り値）はローカルの光状況に対して調節され、より長い露出時間が、適切なＳＮ比を維持するために暗い環境でも充分な光を収集する必要がある。課題を解決する１つのやり方は、露出時間がディラック関数に近づいて益々短くなることができる、光により感度の高いセンサを開発することである。しかしながら、実際には、限界はセンサの感度で引き起こされる。

多くの従来のカメラは、時間的（すなわち露出時間）及び空間的次元でレンズを通る光にウインドウをかける調節可能なシャッタ及び絞り値を特徴とする。これらは、通常、対応する時間的及び空間的周波数領域の正弦波変調に対応する、実時間及び空間次元のボックスフィルタ（すなわち有限間隔上で一定感度）として描かれる。結果として、幾つかの高周波は捕捉の間に完全に抑制されて、完全な動き情報が利用できるときでも、逆ＦＩＲフィルタリングの間で回復できない。実際には、逆フィルタリングは、ノイズの増幅及び偽信号の導入を防止するために、最大の注意でなされなければならない。これは、図３Ａ乃至図３Ｃに例示される。図３Ａは、センサに当たる光を例示する。現実的なシャッタは、有限幅を持ち、よってボックスは、ｘ方向の幅を持つ。ボックスはセンサ上の光を表すので、幅はセンサ上の光スポットを表す。シャッタは、シャッタ時間ｔの間、開いていて、このシャッタ時間ｔは露出のスタート０から露出の終わり１まで走る垂直軸で表される。

時間的領域（図３Ｂ）及び空間的周波数領域（図３Ｃ）では、幾つかの高周波は抑制され、図のくぼみで示される。従って、幾つかの詳細が失われるので、ある偽信号が作られる。更に、レンズからほぼ１０ｍで０ｋｍ／時、５０ｋｍ／時及び１００ｋｍ／時で画像内を移動している被写体に対する典型的な３つの異なるＰＳＦ関数を例証して、３つの異なるＰＳＦ関数が示される。これらのＰＳＦ関数は、それぞれライン３１、３２及び３３である。３つのＰＳＦ関数が非常に異なることがわかる。ＰＳＦ関数が異なる速度に対して異なるので、記録された画像のデコンボリューションのための単一のＩＰＳＦを使用できない。実際に、そして理論的には、これは、一貫したやり方で、３つの画像をある逆フィルタリングすることによりデコンボリュートすることは、不可能であることを意味する。要するに、動き不変の画像は、不可能である。

グローバルな動きに対して、動きぼけは、カメラで動きを追跡することにより防止できる。代わりに、これは、露出時間の間、（光軸と直角をなす）横方向の軌跡に沿って所望の速度で主レンズに対してセンサを動かすことにより達成できる。しかしながら、ターゲット速度で移動している被写体だけが、記録された画像内でシャープである一方で、他の全てのシーン領域は、ぼやけたままであるか又はなにもしなかったときよりも、ぼやけてさえいる。

レヴィン等は、この課題を解決するやり方を示した。これは、図４Ａ乃至図４Ｃに図示される。レヴィン等は、時間的及び空間的に放物線状の軌跡に沿って横方向にセンサを動かすことを提案した。図４Ａ乃至図４Ｃは、レヴィン等による提案を例示する。時間的及び空間的（図４Ａ）に、センサに当たる光の位置は、露出時間の間、放物線状の軌跡をたどる。放物線状の軌跡は、センサが移動した最大速度までの速度の範囲に対して同一の動きぼけを作る。これは、３つの速度に対する様々なＰＳＦ関数がほとんど同一であるという事実により、図４Ｃに例示されている。効率的なぼけカーネルは、時間積分によって定められ、放物線状の軌跡に対して、ぼけカーネルはｌ／ｓｑｒｔ（ｘ）に比例している。記録された画像が静的被写体に対してさえ厳しくぼけて現れるにもかかわらず、ぼけは固定の動きから独立した逆フィルタカーネルを使用して除去できる。３つのＰＳＦ関数がほとんど同じであって、逆ＰＳＦ操作、すなわち画像のデコンボリューションは、全ての速度に対してシャープな画像を提供できる。しかしながら、レヴィン等は、彼らのアプローチがＩＤ動き（例えば、単に水平動き）に対してだけ適用できる点を正しく注記している。更にまた、ＰＳＦ関数は、幾つかの波長に対して、絞り値の有限サイズのため振幅がゼロであることを示すので、詳細が取り返しがつかないほど失われる。従って、レヴィン等は課題を緩和するやり方を提供するが、動きの方向が既知であって、前記動きがセンサの動きと平行の場合にだけ、解決策は部分的に有効なだけである。センサの動きに平行ではない任意の他の動き又は動きの任意の成分に対して、何の解決策も提供されず、状況は図３Ａ乃至図３Ｃで与えられる解決策と同じくらい悪い。

ナガハラ等は、他の課題のための解決策、すなわちＤＯＦ（すなわちフィールドの深度）の制限を提案した。光軸に沿ってセンサを動かすことにより、センサは、全ての可能性がある焦点面を通って掃引され、これは、記録された画像をデコンボリュートすることにより、フィールドの非常に大きな深度を持つ画像を取得可能にする。ナガハラ等は、レンズからの様々な距離の静的被写体のためのＰＳＦ関数が、ほとんど同じに作られることを示した。このように、単一のＩＰＳＦが、レンズからの異なる距離で様々な静的被写体の画像をデコンボリュートするために使用でき、結果的にフィールドの増大された深度になる。

図５Ａ乃至図５Ｃは、静的被写体を持たないが、様々な被写体速度で被写体を考慮するとき、ナガハラの例で与えられるような典型的セットアップのための状況を示す。様々な被写体速度、この場合では、図４Ａ乃至図４Ｃのような０ｋｍ／時、５０ｋｍ／時及び１００ｋｍ／時に対するＰＳＦ関数３１、３２、３３（図５Ｃ）が、非常に異なる。ＰＳＦ関数が非常に異なるので、単一の逆ＰＳＦ関数のアプリケーションは、示される速度に対してシャープな画像を供給できない。よって、ナガハラ等がＤＯＦを増大するにもかかわらず、動きぼけは課題を残したままである。早く過ぎ去る被写体は、ぼやけた画像を与える。

よって、動き又は動きの方向が前もって既知であるか、又はカメラが移動するか若しくは動きベクトルが決められる場合（よくある場合ではない）でないならば、従来の文献又は技術のいずれも効率的な動きぼけ低減を可能にしない。

図６Ａ乃至図６Ｃは、本発明を例示する。センサは、下記の条件を満たして、光軸に沿って移動する。
Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２＞０．２５ｓｅｃ^−１
図６Ａ乃至図６Ｃの例では、以下の条件を満たす。
Ｖ_{ｓｗｅｅｐ}＝２２．４ｍｍ／秒（ｓｅｃ）
Ａ＝２ｍｍ
ｂ＝４．００２ｍｍ
レンズまでの被写体距離＝１０ｍ
露出時間＝０．０２秒
Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２＝２．８ｓｅｃ^−１

空間的及び時間的には（図６Ａ）、グラフは、ディアボロの形状を持つ。重要な観点は、様々な速度０ｋｍ／時、５０ｋｍ／時及び１００ｋｍ／時のＰＳＦ関数がほとんど同一である（図６Ｃ）ということである。

ＰＳＦ関数がほとんど同一なので、単一のＩＰＳＦ関数を使用して、記録された画像のデコンボリューションが可能であり、示された速度で全ての被写体に対してシャープな画像を取得可能にし、すなわち動き不変の画像又はほとんど動き不変の画像が、１００ｋｍ／時までの任意の速度に対して可能である。レヴィン等の解決策との非常に重要な違いは、１０ｍ距離での１００ｋｍ／時までの光軸に垂直な任意の方向の任意の速度に対して、動き不変の画像が可能であることである。このように、レヴィン等が教示する固有の特定の速度方向に対する制限が、取り除かれた。また、ＰＳＦ関数は、レヴィン等（及びナガハラ）に対するようなくぼみを示さず、よって、原則として、詳細が再構成できる。よって、条件が合えば、光軸に沿ってセンサを動かすことにより、方向に対する制限なしで、かなりの細部を保持した動き不変の画像が可能であることが立証される。ナガハラとの非常に重要な違いは、３つのＰＳＦ関数がほとんど同じであり、よって、示される速度に対して動き不変の画像は可能であるのに対し、ナガハラのは可能ではないことである。

本例では、被写体が露出期間の中央で焦点が合っていると仮定されていることに留意されたい。図６Ａでは、これは、ディアボロの上部が下部と同じ大きさであるという事実により例示される。これがそうでない場合であっても、動き不変の画像が非常にかなり可能であることが分かった。被写体が露出期間の中央で焦点が合っていず、幾らか前後で焦点が合う場合、大部分の情報が捕捉され、大部分の情報がディアボロの交点周辺に存在するので、非常に良好な動き不変の画像が可能である。以下に、幾らか微細な調整が洞察を持って可能であることが説明される。

本発明のフレームワークの範囲内で、実施例において、センサは、可能な焦点範囲を越えて掃引される。これは、レンズから幾らか離れた距離の任意の被写体に対する大部分の情報が捕獲されることを保証する。斯様な実施例では、より信頼性が高い動き不変の画像が可能である。

本発明のフレームワークの範囲内で、「動き不変の画像」は、任意の詳細なレベルで任意の速度に対して画像の違いがないことを意味するような、非常に厳しい解釈がなされないことに留意されたい。本発明の目的は、実際的な制限内で、動きの変動、すなわち動きぼけを低減することであるり、完全な解決策は、理想であって現実的ではない。

発明者は、センサで捕獲された被写体のＰＳＦ関数が静的被写体のものと基本的に同じであり、よって動き不変の画像が可能である最大被写体速度が、以下のパラメータに依存すると認識した。
Ａ：被写体のパラメータ、すなわち、被写体の速度対レンズに対する被写体の距離。レンズからより離れている被写体は、レンズにより近い被写体と、同じ速度でより容易に捕獲できる。このパラメータは、基本的に、被写体がセンサ画像を通ってどれくらい速く進むかの尺度を提供する。
Ｂ：カメラ又はカメラシステムのパラメータ：
Ｂｌ：センサの掃引レート。掃引レートが大きいほど、動き不変の画像が可能である最大被写体速度が高い。
Ｂ２：絞り値。絞り値が大きいほど、動き不変の画像が可能である最大被写体速度が高い。
Ｂ３：レンズ―センサ距離。
関連したカメラパラメータは、Ｂ１＊Ｂ２／（Ｂ３）^２、すなわち、Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２である。

発明者は、ナガハラによる例で与えられる設定を含む様々な設定をシミュレーションし、不変の画像が可能である被写体に対する最大被写体速度を確立した。

下記の表１は、結果を示す。第１の列は、ソースについての短いコメントを記述する。ここで、最初２行は、ナガハラの例である（最後の５行は本発明の例を提供する）。他の列は、様々なパラメータを提供する。
表１

ナガハラの例は、顕著な動き不変の画像を全く提供しないことは、明らかである。本発明の洞察の助けを借りて、ナガハラの装置で、２メートル離れた距離で被写体に対して最高約０．１５ｋｍ／時の速度に対する動き不変の画像が可能であることが計算できるが、これは実用的でなく、実際に注目に値しない。本発明の例１乃至５に対する不変の速度範囲は、歩いている人又はジョギングしている人の速度から車の速度にわたる実用的な速度範囲である。

上記表において、ナガハラの例は、ｆ／１．４、しばしば可能な最大絞り値を使用するのに対し、本発明の例１乃至５では、より適度なｆ／２が使われることに更に留意されたい。同じｆ／＃が使われる場合、不変の速度範囲及びＶ_{ｓｗｅｅｐ}＊Ａ／ｂ^２に関する違いは、因子１．４より大きくさえなる。本発明との適当な比較をするために、ナガハラの例に対するｆ／２の絞り値では、ナガハラの不変の速度範囲は、表に示されるより小さな因子１．４でさえある、すなわち約０．１ｋｍ／時でさえある。

例えば監視カメラで撮る場合、不変の速度範囲のための合理的な下位の実際的限界は、監視カメラでは合理的距離の５ｍの距離で５ｋｍ／時の速度で歩いている人の速度である。これは、０．２５ｓｅｃ^−１であるＶ_{ｓｗｅｅｐ}＊Ａ／ｂ^２に対する下の限界を提供する。

好ましくは、パラメータＶ_{ｓｗｅｅｐ}＊Ａ／ｂ^２は、０．５ｓｅｃ^−１を超える、最も好ましくは１ｓｅｃ^−１を超える。

好ましくは、パラメータＶ_{ｓｗｅｅｐ}＊Ａ／ｂ^２は、１５ｓｅｃ^−１未満、最も好ましくは５ｓｅｃ^−１より小さい。あまりに大きいパラメータは、かなり高い掃引速度又は非常に小さなセンサ距離を必要とする。

好ましくは、露出時間は、０．００５と０．０５秒との間、好ましくは０．０１と０．０５秒との間である。特に、低い光環境で、露出時間のこの範囲は、良好な動き不変の画像の撮像を可能にする。この範囲は、また、ビデオ画像の撮像を可能にする。

あまりに長い露出時間は、センサの非常に大きな動きを必要とし、おそらくセンサの合理的動きの範囲から出るだろう。

かなり長い露出時間を依然供給するが、好適な露出時間範囲内で、センサの動きは合理的境界内にある。また、０．０１と０．０５秒との間の露出時間のこの範囲内で、ビデオシーケンスが作られ得る。

好ましくは、センサの動きは、線形である。図６Ａでは、これは、ディアボロが２本の直線ライン内にあるという事実により示される。レヴィンにより提案された放物線状の軌跡と同様に、これは、動きの範囲にわたって、サンプリングに、等しい重みを供給する。時間的積分により、発明者は、この空間時間的サンプリングパターンの点広がり関数（ＰＳＦ）が１／ｌｏｇ（ｘ）に比例すると確認した。これは逆関数にするのが容易な関数である。図３Ｂ、図４Ｂ、図５Ｂ乃至図６Ｂの比較は、ファン（扇）サンプリング（図６Ｂ）が、放物線状の軌跡（図４Ｂ）より高周波を良く保存し、時空の周波数領域でのｓｉｎｃ変調よりは、少ない欠点であることを示す。結果として、獲得した画像は、逆フィルタリングに対してより良く適している。最後に、ファン状のサンプリングのフェーズ特性は、放物線状の横方向のサンプリングで達成されるものより優れている。

図７Ａ乃至図７Ｃは、図６ＣのＰＳＦ関数の逆フィルタリングを例示する。図６Ｃは、図７Ａで繰り返される。

図７Ｂ及び図７Ｃの他のフレームは、（中間の）逆フィルタ並びに逆及び順ＰＳＦのコンボリューションに対応する。

図７Ａ及び図７Ｂは、空間ＰＳＦ及び対応する逆フィルタを示す。逆フィルタは、短い有限空間サインを持つ点に留意されたい。これは、実行することが計算的に効率的であることを意味する。確認のために、図７Ｃは、所望のユニットパルスである順方向及び逆方向のぼけカーネルのコンボリューションを示す。

逆フィルタリングの後、全ての被写体は、センサがそれぞれの焦点距離（ディアボロの交差点）で交差したときに被写体があった位置に移動され、よって、深度依存的なフェーズがある（フェーズシフトは、露出の中間での交差に対してゼロである）。しかしながら、レヴィン等のような放物線状の横方向サンプリングは、動き依存的なフェーズシフトが欠点であり、逆フィルタリングの後、全ての被写体がそれらの位置でシャープに見えるが、わずかに異なる時間でそれらの位置を被写体は移動していた。これは、結果的に小さな不整合、特に動き境界及び遮蔽領域で小さな不整合となる。レヴィン等と比較して、このことは、本発明のための重要な利点を提供する。

好ましくは、効果的な空間ぼけカーネルは、時間とともに線形に変化する。これは、光軸に沿ってセンサと主レンズとの間の距離を線形に変調することにより達成できる。これは、焦点ぼけの程度がセンサ変位と比例しているという事実による。画像を撮る前又はシャッタが閉じるときであるが、斯様な動きは、ほとんどのオートフォーカスのカメラで既に行われている。結果として、動き及びシャッタが制御され、十分に正確に同期できるとすると、画像を撮る間、動きを実施することにより、幾つかのカメラで、オートフォーカスの機械が、所望のサンプリングを達成するために使用できることは、容易に想像できる。

Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２が露出の間に変化する場合、関連パラメータは、露出時間にわたるＶ_{ｓｗｅｅｐ}＊Ａ／ｂ^２の時間平均であることに留意されたい。図１に関係して説明されたように、必要な空間的時間的サンプリングの代替の実施例は、露出時間の間、センサ―レンズ変位を固定して、主レンズの焦点距離を掃引することである（図１の下部）。明らかに、これは、液体焦点レンズ又は複屈折ＬＣ物質のような切換可能な光学系を必要とする。切換可能なＬＣベースのレンズは、３Ｄスクリーンで適用され、これらレンズは、２Ｄ（レンズ効果がない）と３Ｄモードとの間で変化するために用いられる。屈折率は、一方向だけ変化できる（円柱状レンズだけ）。可変の焦点距離は、また、液体圧によって変形できる流体充填膜で達成できる。また、好ましくは、画像平面は、時間とともに線形に掃引される。
ｂ＝ｂ_０＋ｃ_０ｔ
画像平面距離は、以下のレンズ式を介して被写体距離及びレンズの焦点距離に関係する。
１／ｆ＝１／ｖ＋１／ｂ

よって、焦点距離は、下記の式に従って、好ましくは時間とともに変化されることになる。
ｆ（ｔ）＝１／（１／ｖ＋１／（ｂ_０＋ｃ_０ｔ））
ここで、ｆ（ｔ）は時間の関数としてレンズ焦点距離を示し、ｃ_０は定数である。

よって、２つの組合せも、例えば、時間的空間的サンプリングの量を増大するが（すなわち図６Ａのディアボロの程度）センサの物理的動き又はその掃引速度を制限するか、又は掃引速度を増大するために可能である。

図８は、記録された画像をデコンボリュートするための方法と、画像データを記録し、記録された画像データのデコンボリュートをするためのシステムとを例示する。画像は、レンズ２及び可動センサ３を有するカメラにより記録される。センサのデータは、リーダーにより読み込まれる。対応する画像８１は、ぼやけているように模式的に示される。記録された画像は、デコンボリュータ８２でデコンボリュートされる。このようにシステムは、画像データをデコンボリュートするデコンボリュータを有する。当該方法は、記録された画像データをデコンボリュートする。デコンボリュータは、記録された画像上でデコンボリューション動作を実施する。理解の容易さのために、アルゴリズム及び方法が、複数のステップで示される。第１のステップは、点広がり関数を計算することである。単純な実施例では、点広がり関数は、パラメータＶ_{ｓｗｅｅｐ}＊Ａ／ｂに依存している。単純な実施例では、ＰＳＦ関数は、掃引範囲の中央の静的被写体に対して計算される。上述されたように、広範囲の速度に対して、ＰＳＦ関数は、本発明の実施例に対して速度とほとんど無関係なので、掃引範囲の中央で静的被写体に対するＩＰＳＦは、全ての速度に対する最適ＰＳＦのための良好な一次オーダーの近似となるだろう。より高度な実施例では、被写体の距離は、ＰＳＦを微調整し、これによりＩＰＳＦを微調整するために用いられる。被写体の距離は、例えばカメラにより記録できる。ほとんどのカメラは、被写体距離の測定を可能にするある種類の自動焦点を持つ。上述されたように、被写体が掃引動作の中央で焦点が合っていない場合であっても、不変の画像が非常に良く可能であることが分かった。被写体が露出期間の中央で焦点が合っていないが、その幾らか前後で合っている場合、ほとんどの情報はディアボロの交差点周辺に存在するので、ほとんどの情報が捕捉され、非常に良好な動き不変の画像が可能である。しかしながら、掃引範囲の中央で静的被写体に対するＰＳＦ関数を使用することが良好な結果を与えるにもかかわらず、幾らか改良された結果が、ＰＳＦを被写体距離及びおそらく他のパラメータに依存させることによりＰＳＦを微調整することで得られる。これは、幾らか非対称で切り取られたＰＳＦを提供するだろう。最終結果は、レンズから特定の距離以外の距離では幾らかシャープでない画像の犠牲で、レンズから特定の距離の移動物体に対して幾らかよりシャープな画像となるだろう。被写体距離は、本発明の実施例では、掃引レートを決定するためにも使用できることに留意されたい。上述されたように、決定因子は、レンズまでの距離で割られる被写体の速度である。このように所与の速度の２ｍ距離の被写体に対して、同一速度の１０ｍ距離の被写体と比較すると、より速い掃引速度を使用する、すなわちＶ_{ｓｗｅｅｐ}を増大することが好適にできる。本発明によるカメラを動作させる方法の実施例では、レンズまでの被写体の距離、被写体の速度、被写体の速度の方向から成るパラメータのグループの少なくとも一つ以上が測定され、掃引速度が、測定されたパラメータに依存して設定される。これは、次に、ＰＳＦのパラメータに対する影響を持つだろう。

被写体の速度は、デコンボリュータ８２の入力でもある。また、本発明は全ての速度に対して単一のＰＳＦ関数を使用可能にするが、ＰＳＦが特定の速度に対して微調整できる幾らか２次のオーダーの効果が依然可能である。アプリケーションの可能なフィールドは、被写体の速度及び方向の良好な見積もりを既に提供する速度カメラである。

計算は、小さな２次のオーダーの動き方向依存性がＰＳＦに存在することを示した。実施例では、方向の範囲に対する最適ＰＳＦが計算され、使用されるＰＳＦは、方向の入力に依存した、この範囲内の選択である。選択は、例えば最大、最低限、中央値、重み付け平均等である。

掃引時間も入力である。

要するに、デコンボリュータは、使用されるべきＰＳＦを微調整する入力を持つ。様々なパラメータが図８に例示されているが、最も重要なパラメータは、掃引レート、被写体距離及び速度並びに速度の方向である。

デコンボリュートされたシャープな画像８３は、図８の右側に示される。

当該方法を容易に理解するために、システム及びアルゴリズムが、ＰＳＦで始まり、その後、ＰＳＦから逆ＰＳＦを取り出す様々なステップで示される。もちろん、ＩＰＳＦはデコンボリューションの重要な関数であり、ＩＰＳＦはＰＳＦの逆関数であり、逆もまた然りであるので、直接ＩＰＳＦで始めることもでき、デコンボリューションで使用されるべきＩＰＳＦを決定するため、様々な入力は、ＰＳＦ使用のために適当な様式で翻訳されると、正に同様な入力となる。

好ましくは、記録の間、センサの動きは、一方向だけであり、例えばレンズに向かう方向だけである。一次のオーダー近似値では、デコンボリュートされた画像が、センサの掃引の方向から同じく独立している、すなわちセンサがレンズへ向かって動いているか離れているかに無関係であり、２次のオーダー近似値では、これは、センサの掃引の中央で焦点が合っている被写体に対してだけ、真であると厳格に言える。レンズにより近く又は離れた被写体に対して、結果の小さな違いがあり、特にデコンボリュートされた画像の被写体の位置に関して違いがある。単一の画像では、この違いは感知できないか、ほとんど感知できないが、ビデオシーケンスでは、被写体の位置での激しい揺れが発生する。この効果の発生を回避するために、露出の間のセンサの動きは、好ましくは片寄っている、すなわち一方向だけである。もちろん、次のデータが記録できる前に、センサは初期位置へ戻っていなければならない。本実施例では、センサが初期位置へ戻ることを可能にするために、露出時間に対する付加的な制限がある。

図９は、センサの動きを例示する。ライン９１はセンサが進んだ距離を表し、ライン９２はセンサの速度を表わす。第１の時間の間、センサは、速度が０から（しばらくの間維持される）一定の速度まで増大する事実によりライン９２で示される速度まで上昇する。その後、センサは、停止されて、すぐに最初の位置に戻される。センサの戻りは、時間データの一部だけが記録され、この例では例えば時間のほぼ５０―７０％だけが記録できることを意味する。例えば単一のショットがなされる場合に可能である、センサが前後に移動するとき、センサはその最初の位置に戻される必要はない。上述されたように、動きは、センサ若しくはレンズを物理的に動かすか、又はレンズの特性を変えることにより、２つの異なる態様又はそれらの組み合わせで生じる。

短い露出時間又はセンサの速い動きのために、レンズの特性の変化を動きの少なくとも一部に対して使用することは有利である。

要するに、本発明による動き不変のカメラは、特に低い照明状況の下で、シャープな高品質のビデオ又は画像を提供する。消費者向けカメラ及びビデオカメラを含むほとんどのカメラ及び光画像システムのために有益であるが、これは幾つかの専門の監視及びアプリケーションの監視に特に価値がある。例えば、セキュリティシステムの監視カメラは、暗い周囲で動作することをしばしば必要とする。現在の監視カメラは、所望のＳＮＲレベルを得るためにセンサ冷却のような高価なフィーチャを持つ。本発明は、高いダイナミックレンジカメラのコスト価値の高い代替物を供給するか、又は現在のセンサのダイナミックレンジをより一層増大させるために用いられる。本発明は、光をサンプリングする新規な態様を説明し、従って、既存のフォトセンサ技術を使用して実行できる点に留意されたい。

本発明は、露出の間、レンズとセンサとの間の距離と、焦点距離との比が変えられるカメラ、及びカメラを有するシステムとして説明できる。動き不変の画像が、複合画像をデコンボリュートすることにより実用的な速度範囲、すなわちレンズの２ｍ距離で少なくとも５ｋｍ／時までの速度に対して達成可能であるように、変化のレートが設定される。好ましくは、達成可能な速度範囲は、少なくとも２倍高い。センサの線形動きが好ましい。

上述した方法及び装置は、シーン内で、結果的にセンサ上で起こる被写体速度について何も知る必要なく手探りで動作するが、増大された速度についての情報を持つ場合、再構成の正確さ（すなわち、より鋭く／より良い最終的な画像）が達成できる点に留意されたい。これは、静的になされるか（例えば、分析されるべき被写体が通り過ぎるベルトコンベヤーの速度を知っている、マシンビジョンアプリケーションで、例えばどれくらいの通常速度が発生しているかを知っている）、又はシステムが（例えば反復的に）シーンの被写体の速度を測定し、下記の代替の実施例のパラメータを最適に調整するように動的になされ得る。

第１の改良は、例えばレンズの前又はレンズとセンサとの間等にある液晶素子でなされ得る起こっている被写体速度に適合した（コード化された）絞り値を選択することから成る。例えば、通常の被写体速度（例えば、シーンの主要な被写体の平均速度）ｖ＿ａｖｅｒａｇｅと、他の被写体速度（例えば電車に揺れている人）からのそのずれＣｍａｘとを持つ場合、下記の式に従ってオリジナルの絞り値の円形サブエリアを選択できる。

ここで、
α＝ｘｆ^２／（Ｖ_Ｌ（ｘ−ｆ）^２）
ｘは被写体（撮像されるポイント）からレンズまでの距離であり、ｆはレンズ焦点距離、ＶＬはセンサの光軸に沿った変位の速度である。ｄｍａｘは、画像平面上の被写体画像の位置に関する不確定パラメータである（すなわち、センサ中心から距離ｄでセンサ上の位置にある被写体ポイントからレンズ中心を通る中央光線は、距離ｄ＜ｄｍａｘを持たなければならない）。これは、α倍のｖ＿ａｖｅｒａｇｅで変位される、１．２５＊ａｌｐｈａ＊Ｃｍａｘ＋ｄｍａｘの半径を持つ円に対応する。

もちろん、より複雑な絞り値が適切に決定できる、例えば被写体を回転させるためのリング形状で決定できる。

通常の被写体速度知識が付与された画像（例えば、速度ｖ＿ｏｂｊで動く被写体と静的背景）を改善する他の実施例は、光軸に沿ってセンサを動かすだけでなく、直角に動かすことである（斜めの複合動きを作る）。

被写体の動き追跡は、パニング動きでカメラ全体を動かすか、又は代わりに光軸と直角をなすセンサの並進によりなされ得る。

この実施例によると、動き追跡を焦点掃引概念と結合でき、光軸と角度をなす画像平面を移動させるシステムを作る。実施例の方法又は装置は、センサ動きを２つの直角ベクトル、光軸に沿ったＶ_{ｓｗｅｅｐ}とそれに対して垂直なＶ_ＴＲとに分解する。

Ｖ_ＴＲに沿ったセンサの並進は、平均被写体速度

を補償するような角度で、ダブル円錐統合（センサを掃引することにより時間に依存したぼけにより発生する円錐である）のせん断を作る。何もしないとき、ＤＣＩのぼけカーネルは、静止被写体に対して垂直の周りに対称であるが、移動物体はこの円錐のせん断されたバージョンを作る。反対の並進動きＶ_ＴＲを持つことにより、（部分的に）せん断できる。

動きゼロを中心に置く代わりに、不変の速度の範囲は、追跡速度

を中心に置く。光軸に沿った動きに対して、実施例は、平均速度、例えば下記式に依存する最適掃引速度及び範囲を規定することにより動き不変を作る。

ここで、ａはシステムの絞り値である。

すなわち、掃引速度は、不変の速度の事前に決められた範囲をカバーするように選ばれる。

被写体速度がシャープな画像を生成するために必ずしも整合される必要がないことに留意されたい。被写体の速度が不変の範囲内にある（すなわち、例では移動物体速度ｖ＿ｏｂｊ及びゼロの静的速度両方をカバーする）限り、シャープな再構成は可能である。

すなわち、より正確な追跡を少なめの掃引と交換できるし、又は逆もでき、（少なくとも幾つかの被写体の）追跡をあまり正確にしないが、より広いＤＣＩ円錐、すなわちより大きいセンサ掃引をすることもできる。好ましくは、掃引速度及び並進は、静止被写体及び移動被写体両方が正しく再構成できるように一緒に最適化される。

他の実施例は、光軸に垂直にセンサをオフセットすることにより、画像品質を増大させる。センサ上のシーン被写体の動きが画像システムを通じた幾何学的な投影及びセンサ自体の動き両方の関数であるので、以下の式となる。

ここで、ｖは画像被写体であり、ｙは理論的にシャープである画像平面（通常はセンサ掃引の中央の点である）とレンズとの間の距離であり、ｄは画像ポイントのセンサ中心からの距離であり、ＶＬはセンサ掃引速度である。

動きぼけを低減するため、このセンサ速度を小さくしたい本実施例によると、これは例えばセンサのオフセットを下記の式で選択することによりなされ得る。

下記の速度でセンサを変位させる場合、

下記の式の典型的最適変位を得る。

上記３つの実施例では、所望する再構成精度及び例えば逆フィルタの複雑さに依存して、これらを選択するだけでなく、様々な程度で、上記３つの原理を組み合わせて、例えば、より最適なセンサ変位（平均的に）を選択することにより、光軸及び／又は直交動きに沿った掃引を低減できるので、幾つかのパラメータ最適値（例えば、幾つかの絞り値形状（例えばサイズ）、幾つかの直交動き、幾つかのセンサ変位）を選択できることに留意されたい。

Claims (17)

1. レンズ及び画像センサを有する画像を記録するためのカメラであって、光軸に沿った前記レンズと前記画像センサとの間の距離と、焦点距離との比が、撮像の露出時間の間に変化するカメラにおいて、カメラは
   Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２＞０．２５ｓｅｃ^−１
   を満たすように前記比を変化させることを特徴とし、ここで、Ｖ_{ｓｗｅｅｐ}は光軸に沿った前記センサの動き及び／若しくはレンズの動き並びに／又は秒あたりの焦点距離の変化であり、Ａは前記レンズの絞り値であり、ｂはレンズとセンサとの間の距離である、カメラ。
2. Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２が０．５ｓｅｃ^−１より大きい、請求項１に記載のカメラ。
3. Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２が１５ｓｅｃ^−１より小さい、請求項１に記載のカメラ。
4. 露出時間が０．００５秒と０．０５秒との間である、請求項１乃至３の何れか一項に記載のカメラ。
5. Ｖ _{ｓｗｅｅｐ} が線形である、請求項１乃至４の何れか一項に記載のカメラ。
6. 焦点深度の全ての可能な範囲を超えた位置に前記センサが到達するように前記比が変化する、請求項１乃至５の何れか一項に記載のカメラ。
7. 前記光軸に沿った対向する前記センサと焦点面との変位が、少なくとも露出時間の上半分の範囲の時間において、露出時間に依存する、請求項１乃至６の何れか一項に記載のカメラ。
8. 前記レンズの少なくとも一つの特性が変化する、請求項１乃至７の何れか一項に記載のカメラ。
9. 被写体との距離を測定する手段を有し、Ｖ_{ｓｗｅｅｐ}が測定された距離に依存する、請求項１乃至８の何れか一項に記載のカメラ。
10. カメラがビデオカメラであって、露出の間の動きが一方向のみである、請求項１乃至９の何れか一項に記載のカメラ。
11. 請求項１乃至１０の何れか一項に記載のカメラを有する、画像を記録するためのシステムであって、デコンボリューションのための点広がり逆関数を使用して、前記カメラにより記録された画像のデコンボリューションのためのデコンボリュータを更に有する、システム。
12. 前記デコンボリュータが、前記レンズまでの被写体の距離、被写体の速度、被写体の速度の方向、掃引レート、Ａ、ｂ、掃引距離、露出時間から成るパラメータのグループの一つ以上を入力するための入力部を持つ、請求項１１に記載のシステム。
13. 入力のための前記パラメータのグループの少なくとも一つは、前記レンズまでの被写体の距離である、請求項１２に記載のシステム。
14. レンズ及び画像センサを有するカメラを使用して画像を記録するための方法であって、前記レンズと前記画像センサとの間の距離と、焦点距離との比が、画像の露出時間の間に光軸に沿って変化され、画像の記録の間、
    Ｖ_{ｓｗｅｅｐ}＊Ａ／ｂ^２＞０．２５ｓｅｃ^−１
    を満たすことを特徴とし、ここで、Ｖ_{ｓｗｅｅｐ}は光軸に沿った前記センサの動き及び／若しくはレンズの動き並びに／又は秒あたりの焦点距離の変化であり、Ａは絞り値であり、ｂは前記レンズと前記センサとの間の距離である、方法。
15. 前記レンズまでの被写体の距離、被写体の速度、被写体の速度の方向から成るパラメータのグループの少なくとも一つ以上が測定され、Ｖ_{ｓｗｅｅｐ}が測定されたパラメータに依存して設定される、請求項１４に記載の方法。
16. 請求項１４又は１５の方法を使用して記録された画像をデコンボリューションするための方法であって、デコンボリューションが点広がり逆関数を使用して実施される、方法。
17. 前記点広がり逆関数が、入力データに依存して確立され、前記入力データは、レンズまでの被写体の距離、被写体の速度、被写体の速度の方向、掃引レート、Ａ、ｂ、掃引距離、露出時間から成るパラメータのグループの一つ以上である、請求項１６に記載の方法。

Images