JP2016518747A

JP2016518747A - センサー依存性ノイズを有する画像化データを処理するための技術

Info

Publication number: JP2016518747A
Application number: JP2016502926A
Authority: JP
Inventors: ビワースドルフ，イエルク; フアン，ファン
Original assignee: Yale University
Current assignee: Yale University
Priority date: 2013-03-15
Filing date: 2014-03-14
Publication date: 2016-06-23
Also published as: CN105144675B; CN105144675A; EP2974259A2; CA2901847A1; WO2014144443A3; US20160044255A1; WO2014144443A2; US9769399B2; EP2974259A4

Abstract

センサー依存性ノイズにより汚される画像化データを処理するための技術。画像化方法が記載される。該画像化方法において、画像化された領域に対応しかつ少なくとも第1および第2のセンサー素子により取得された画像化データが得られる。該画像化データにパラメーター化されたモデルを適合させる。該パラメーター化されたモデルは、第1のセンサー素子により取得された画像化データの第1の部分おける第1のセンサー素子により生成されるノイズの第1のセンサー依存性モデル、および第2のセンサー素子により取得された画像化データの第2の部分における第2のセンサー素子により生成されるノイズの第2のセンサー依存性モデルを含む。第1のセンサー依存性ノイズモデルは、少なくとも部分的に第2のセンサー依存性ノイズモデルとは異なる。

Description

関連出願についての相互参照
この出願は、法律により可能な限り最大限に参照により明細書に援用される2013年3月15日に出願された米国仮特許出願第61/786,796号の35 U.S.C. §119(e)の利益を主張する。

背景
技術分野
明細書に記載される技術は一般的に、画像処理に関する。いくつかの態様は、センサー依存性ノイズにより汚された画像化データの処理に関する。

関連分野の記載
相補型金属酸化膜半導体(CMOS)カメラは、光学信号(例えば可視光)を、画像を形成するためまたは画像化された領域の特性を決定するために処理され得る電気信号に変換する。CMOSカメラは典型的に、それぞれが光学信号を電気信号に変換するための感光性領域を含むピクセルセンサー(「ピクセル」)のアレイ、ならびに変換された電気信号を増幅するため、および/または変換された電気信号をデータ処理構成要素に供給するための読み出し構造を含む。

CMOSカメラは、画像化された領域に対応する電気信号にいくつかのノイズを導入し得る。CMOSカメラにより導入されるノイズの1つの型は、「読み出しノイズ」である。カメラの読み出し回路(例えば、増幅回路、アナログ-デジタル変換回路およびピクセルの信号とデータ処理構成要素を連結する回路)により導入されるノイズと称される読み出しノイズは、ガウス確率分布を有するランダム変数としても模倣(model)され得る。読み出しノイズは、CMOSカメラの読み出しノイズの特徴がピクセルごとに変化し得るので「ピクセル依存性」であるといわれる。

CMOSカメラにより導入される別の型のノイズは、「光子ショットノイズ(photon shot noise)」または「ショットノイズ」である。光子検出プロセスにより生じ、ピクセルの感光性領域での光子投射の数が小さい(例えば、低光度条件下)場合に重大であり得るショットノイズは、ポワゾン分布を有するランダム変数として模倣され得る。ショットノイズは、投射光子の数に依存し、そのため入力シグナルと相関する。

信号-分子局在化技術(例えば、局在化に基づくナノ顕微鏡検査(nanoscopy)および/または信号-粒子追跡)などのいくつかの定量的画像化技術は、正確かつ精密な信号分子の局在化をあてにする。ほんの一例として、信号-分子変換ナノ顕微鏡検査(SMSM)技術は、単一分子のオンオフを確率論的に切り替えることにより信号分子を(例えば約10nmのオーダーの精密性で)局在化するために使用される。分子の部分集合を明滅させる複数のカメラフレーム(例えば、数百、数千または実に数万のカメラフレーム)が、約25nm〜40nmの解像度を有する信号画像を得るために記録され得る。かかる画像の時間的および空間的解像度は、1フレーム当たり1分子により放出される光子の数、カメラの感度(例えば量子係数)およびカメラの読み出し速度などのいくつかの要因により制限される。

概要
本開示の一局面によると、画像化された領域に対応しかつ少なくとも第1および第2のセンサー素子により取得される画像化データを得る工程、ならびにプロセッサを使用して、該画像化データにパラメーター化されたモデルを適合させる工程を含む、プロセッサにより実行される画像化方法が提供される。パラメーター化されたモデルは、第1のセンサー素子により取得される画像化データの第1の部分における第1のセンサー素子により生成されるノイズの第1のセンサー依存性モデル、および第2のセンサー素子により取得される画像化データの第2の部分における第2のセンサー素子により生成されるノイズの第2のセンサー依存性モデルを含む。第1のセンサー依存性ノイズモデルは、少なくとも部分的に第2のセンサー依存性ノイズモデルとは異なる。

いくつかの態様において、画像化データにパラメーター化されたモデルを適合させる工程は、統計学的推定を使用して、画像化データにパラメーター化されたモデルを適合させることを含む。

いくつかの態様において、該画像化方法はさらに、第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上の各パラメーターの1つ以上の値を決定する工程、ならびにさらなる処理のために、第1および第2のセンサー依存性ノイズモデルのそれぞれの少なくとも1つのパラメーター値を使用して画像化データの少なくとも1つの部分集合を特定する工程を含み、統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることは、パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定すること、ならびに1つ以上の各推定値を用いて、画像化データの少なくとも1つの部分集合と、1つ以上のパラメーターを有するパラメーター化されたモデルの間の適合の質を特徴づけることを含む。

いくつかの態様において、統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることは、最尤推定(maximum likelihood estimation)(MLE)を使用して画像化データにパラメーター化されたモデルを適合させることを含み、画像化データの少なくとも1つの部分集合と、パラメーター化されたモデルの間の適合の質を特徴づけることは、第1および第2のノイズモデルを使用して対数尤度比(log-likelihood ratio)を決定することおよび/またはクラメールラオの下界(Cramer-Rao lower bound)(CRLB)を決定することを含む。

いくつかの態様において、MLEを使用して画像化データにパラメーター化されたモデルを適合させることは、式

(式中、D_iは、ピクセルiの観察されるアナログ-デジタル単位(ADU)カウントであり、u_iは、ピクセルiの予測される光電子の数であり、g_iは、ピクセルiの増幅利得(amplification gain)であり、o_iは、ピクセルiの読み出しノイズのオフセットであり、var_iは、ピクセルiの読み出しノイズの分散であり、bgは、ピクセルiの予測されるバックグラウンドADUカウントである)
による1つ以上の各パラメーターθの1つ以上の値を推定することを含む。

いくつかの態様において、統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることは、第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせて第1のセンサーに対応する画像化データの第1の部分におけるセンサー依存性ノイズおよび光子ショットノイズの推定を得ること、ならびに、第2のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせて第2のセンサーに対応する画像化データの第2の部分におけるセンサー依存性ノイズおよび光子ショットノイズの推定を得ることを含み、該パラメーター依存性光子ショットノイズモデルは、パラメーター化されたモデルの1つ以上の推定されるパラメーター値に少なくとも部分的に依存する。

いくつかの態様において、第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを組み合わせることは、第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの回旋を決定することを含む。

いくつかの態様において、第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせることは、第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの回旋を分析的に近似することを含む。

いくつかの態様において、第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの回旋を分析的に近似することは、項

を含む式を使用してピクセルiのADUカウントの確率分布P_i(x)を分析的に近似することを含む。

いくつかの態様において、ピクセルiのADUカウントの確率分布は、

(式中、D_iは、ピクセルiの観察されるADUカウントであり、u_iは、ピクセルiの予測される光電子の数であり、g_iは、ピクセルiの増幅利得であり、o_iは、ピクセルiの読み出しノイズのオフセットであり、var_iは、ピクセルiの読み出しノイズの分散であり、

である)
で表される。

いくつかの態様において、さらなる処理のために、第1および第2のセンサー依存性ノイズモデルの少なくとも1つのパラメーター値を使用して画像化データの少なくとも1つの部分集合を特定することは、第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して第1のセンサーにより取得される画像化データの第1の部分におけるノイズをフィルターにかけること、および第2のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して第2のセンサーにより取得される画像化データの第2の部分におけるノイズをフィルターにかけることを含む。

いくつかの態様において、第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して画像化データの第1の部分におけるノイズをフィルターにかけることは、

(式中、D_iは、ピクセルiの観察されるADUカウントであり、g_iは、ピクセルiの増幅利得であり、o_iは、ピクセルiの読み出しノイズのオフセットであり、var_iは、ピクセルiの読み出しノイズの分散であり、nは、カーネルサイズであり、C_nxnは、ピクセルiを含むカーネル領域である)
により規定されるフィルターカーネルを使用して画像化データの第1の部分をフィルターにかけることを含む。

いくつかの態様において、パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定することは、1つ以上の各分子および/または粒子の1つ以上の位置を推定することを含む。

いくつかの態様において、該画像化方法はさらに、画像化データおよび1つ以上の各パラメーターの1つ以上の推定値を使用して、分子局在化、粒子追跡、および/または超解像度顕微鏡検査(super resolution microscopy)を行うことを含む。

いくつかの態様において、該画像化方法はさらに、少なくとも第1および第2のセンサー素子を使用して画像化データを取得することを含み、少なくとも第1および第2のセンサー素子を使用して画像化データを取得することは、少なくとも第1および第2のピクセルを使用して画像化データを取得することを含み、第1および第2のピクセルのそれぞれは、半導体の感光領域およびピクセルからデータを読み出すように形作られる半導体の一部を含む。

いくつかの態様において、少なくとも第1および第2のピクセルを使用して画像化データを取得することは、少なくとも第1および第2のCMOSピクセルを使用して画像化データを取得することを含む。

いくつかの態様において、少なくとも第1および第2のピクセルを使用して画像化データを取得することは、少なくとも第1および第2のsCMOSピクセルを使用して画像データを取得することを含む。

いくつかの態様において、該画像化方法はさらに、第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上の各パラメーターの1つ以上の値を決定することを含み、該第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値は、少なくとも部分的に第2のセンサー依存性ノイズモデルの1つ以上のパラメーター値とは異なる。

いくつかの態様において、第1および第2のセンサー依存性ノイズモデルのそれぞれは、ガウス確率分布関数を含み、第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上のパラメーターの値を決定することは、第1のセンサー依存性ノイズモデルのガウス確率分布関数の1つ以上のパラメーター値として、第1のセンサー素子により生成されるノイズのオフセット、第1のセンサー素子により生成されるノイズの分散および/または第1のセンサー素子の増加(gain)を決定すること、ならびに第2のセンサー依存性ノイズモデルのガウス確率分布関数の1つ以上のパラメーター値として、第2のセンサー素子により生成されるノイズのオフセット、第2のセンサー素子により生成されるノイズの分散および/または第2のセンサー素子の増加を決定することを含む。

本開示の一局面によると、1つ以上の処理回路、および1つ以上の処理回路により実行される場合、画像化デバイスに方法を行わせるプロセッサにより実行可能な指示を記憶する少なくとも1つのコンピューター読み取り可能記憶媒体を含む画像化デバイスが提供される。該方法は、画像化された領域に対応しかつ少なくとも第1および第2のセンサー素子により取得される画像化データを得る工程、ならびに該画像化データにパラメーター化されたモデルを適合させる工程を含む。該パラメーター化されたモデルは、第1のセンサー素子により取得される画像化データの第1の部分における第1のセンサー素子により生成されるノイズの第1のセンサー依存性モデル、および第2のセンサー素子により取得される画像化データの第2の部分における第2のセンサー素子により生成されるノイズの第2のセンサー依存性モデルを含む。該第1のセンサー依存性ノイズモデルは、少なくとも部分的に第2のセンサー依存性ノイズモデルとは異なる。

いくつかの態様において、画像化データにパラメーター化されたモデルを適合させる工程は、統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることを含む。

いくつかの態様において、該方法はさらに、第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上の各パラメーターの1つ以上の値を決定すること、ならびにさらなる処理のために、第1および第2のセンサー依存性ノイズモデルのそれぞれの少なくとも1つのパラメーター値を使用して画像化データの少なくとも1つの部分集合を特定することを含み、統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることは、パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定すること、および1つ以上の各推定値を用いて、画像化データの少なくとも1つの部分集合と、1つ以上のパラメーターを有するパラメーター化されたモデルの間の適合の質を特徴づけることを含む。

いくつかの態様において、該方法はさらに、第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上の各パラメーターの1つ以上の値を決定することを含み、第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値は、少なくとも部分的に第2のセンサー依存性ノイズモデルの1つ以上のパラメーター値とは異なる。

いくつかの態様において、第1および第2のセンサー依存性ノイズモデルのそれぞれは、ガウス確率分布関数を含み、第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上のパラメーター値を決定することは、第1のセンサー依存性ノイズモデルのガウス確率分布関数の1つ以上のパラメーター値として、第1のセンサー素子により生成されるノイズのオフセット、第1のセンサー素子により生成されるノイズの分散および/または第1のセンサー素子の利得を決定すること、ならびに第2のセンサー依存性ノイズモデルのガウス確率分布関数の1つ以上のパラメーター値として、第2のセンサー素子により生成されるノイズのオフセット、第2のセンサー素子により生成されるノイズの分散および/または第2のセンサー素子の利得を決定することを含む。

いくつかの態様において、該方法はさらに、第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して第1のセンサーにより取得される画像化データの第1の部分におけるノイズをフィルターにかけること、および第2のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して第2のセンサーにより取得される画像化データの第2の部分におけるノイズをフィルターにかけることを含む。

いくつかの態様において、統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることは、第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせて、第1のセンサーに対応する画像化データの第1の部分におけるセンサー依存性ノイズおよび光子ショットノイズの推定を得ること；および第2のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせて、第2のセンサーに対応する画像化データの第2の部分におけるセンサー依存性ノイズおよび光子ショットノイズの推定を得ることを含み、該パラメーター依存性光子ショットノイズモデルは、少なくとも部分的にパラメーター化されたモデルの推定パラメーター値に依存する。

いくつかの態様において、該画像化デバイスはさらに、少なくとも第1および第2のセンサー素子を含み、該第1および第2のセンサー素子はピクセルを含み、第1および第2のピクセルのそれぞれは、半導体の感光領域および該ピクセルからデータを読み出すように形作られた半導体の一部を含む。

いくつかの態様において、該画像化デバイスは、移動型電子デバイスと一体化され、該移動型電子デバイスに含まれ、および/または該移動型電子デバイスに配置される。

本開示の一局面によると、1つ以上の処理回路により実行される場合、該処理回路に方法を実施させるプロセッサにより実行可能な指示を記憶するコンピューター読み取り可能記憶媒体が提供される。該方法は、画像化された領域に対応しかつ少なくとも第1および第2のセンサー素子により取得される画像化データを得る工程、ならびに該画像化データにパラメーター化されたモデルを適合させる工程を含む。該パラメーター化されたモデルは、第1のセンサー素子により取得される画像化データの第1の部分における第1のセンサー素子により生成されるノイズの第1のセンサー依存性モデルおよび第2のセンサー素子により取得される画像化データの第2の部分における第2のセンサー素子により生成されるノイズの第2のセンサー依存性モデルを含む。該第1のセンサー依存性ノイズモデルは、少なくとも部分的に第2のセンサー依存性ノイズモデルとは異なる。

本開示の一局面によると、画像化された領域に対応しかつ少なくとも1つのセンサー素子により取得される画像化データを得る工程、およびプロセッサを使用して、画像化データにパラメーター化されたモデルを適合させる工程を含むプロセッサにより実行される画像化方法が提供される。画像化データにパラメーター化されたモデルを適合させる工程は、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することを含む。少なくとも1つのセンサー依存性ノイズモデルは、少なくとも1つのセンサー素子により生成される、画像化データにおけるノイズを模倣する(model)。パラメーター依存性光子ショットノイズモデルは、少なくとも部分的にパラメーター化されたモデルの少なくとも1つのパラメーターに基づく光子ショットノイズを模倣する。

いくつかの態様において、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することは、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの回旋を分析的に近似することを含む。

いくつかの態様において、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの回旋を分析的に近似することは項、

を含む式を用いて、ピクセルiの値の確率分布P_i(x)を分析的に近似することを含む。

いくつかの態様において、ピクセルiの値は、ピクセルiのADUカウントを含む。

いくつかの態様において、ピクセルiの値の確率分布は、

(式中、D_iは、ピクセルiの観察される値であり、u_iは、ピクセルiの予測される光電子の数であり、g_iは、ピクセルiの増幅利得であり、o_iは、ピクセルiの読み出しノイズのオフセットであり、var_iは、ピクセルiの読み出しノイズの分散であり、

である)
により表される。

いくつかの態様において、統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることは、パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定すること、および1つ以上の各推定された値を用いて、画像化データの少なくとも1つの部分集合と、1つ以上のパラメーターを有するパラメーター化されたモデルの間の適合の質を特徴づけることを含む。

いくつかの態様において、パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定することは、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することを含む。

いくつかの態様において、統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることは、最尤推定(MLE)を使用して画像化データにパラメーター化されたモデルを適合させることを含み、MLEを使用して画像化データにパラメーター化されたモデルを適合させることは、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することを含み、画像化データの少なくとも1つの部分集合と、パラメーター化されたモデルの間の適合の質を特徴づけることは、第1および第2のノイズモデルを使用して対数尤度比を決定することおよび/またはクラメールラオの下界(CRLB)を決定することを含む。

(式中、D_iは、ピクセルiの観察されるADUカウントであり、u_iは、ピクセルiの予測される光電子の数であり、g_iは、ピクセルiの増幅利得であり、o_iは、ピクセルiの読み出しノイズのオフセットであり、var_iは、ピクセルiの読み出しノイズの分散であり、bgは、ピクセルiの予測されるバックグラウンドADUカウントである) による1つ以上の各パラメーターθの1つ以上の値を推定することを含み、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズノイズモデルの組合せを分析的に近似することは、項

を含む式を使用してピクセルiの値の確率分布P(x)を分析的に近似することを含む。

いくつかの態様において、ピクセルiの値の確率分布P(x)は、

で表される。

いくつかの態様において、該画像化方法はさらに、画像化データおよび1つ以上の各パラメーターの1つ以上の推定値を使用して、分子局在化、粒子追跡および/または超解像顕微鏡検査(super-resolution microscopy)を行うことを含む。

いくつかの態様において、該画像化方法はさらに、少なくとも1つのセンサー素子を使用して画像化データを取得することを含み、該少なくとも1つのセンサー素子を使用して画像化データを取得することは、少なくとも1つのピクセルを使用して画像化データを取得することを含み、該少なくとも1つのピクセルのそれぞれは、半導体の感光性領域および少なくとも1つのピクセルからデータを読み出すように形作られた半導体の一部を含む。

いくつかの態様において、少なくとも1つのピクセルを使用して画像化データを取得することは、少なくとも1つのCMOSピクセルを使用して画像化データを取得することを含む。

いくつかの態様において、少なくとも1つのピクセルを使用して画像化データを取得することは、少なくとも1つのsCMOSピクセルを使用して画像化データを取得することを含む。

いくつかの態様において、画像化データにパラメーター化されたモデルを適合させることは、画像化データにおけるセンサー依存性ノイズおよび光子ショットノイズの推定および/または画像化データから除去されるセンサー依存性ノイズおよび光子ショットノイズを有する画像化データの推定を生じる。

種々の局面および態様は、以下の図面を参照して記載される。図面は必ずしも一定の縮尺で描かれるわけではないことを理解すべきである。複数の図面に見られる項目は、それらが見られる全ての図面において同じ参照番号で示される。明確化のために、全ての図において全ての構成要素が標識されるわけではない。
図1は、いくつかの態様による画像化方法のフローチャートである。図2は、いくつかの態様による、画像化データにパラメーター化されたモデルを適合させる方法のフローチャートである。図3は、いくつかの態様による画像化方法の1つ以上の局面を行うように形作られ得るコンピューターシステムを図示するブロック図である。

詳細な説明
序論
いくつかのCMOSカメラは、部分的に、ピクセル依存性読み出しノイズがアーティファクトを導入し、定量的画像分析を妨害するので、低光度条件下では十分に作動しない。したがって、いくつかのCMOSカメラは、一分子局在化(single-molecule localization)など低光度画像化が重要となる用途に使用される場合、十分に作動ないことがある。しかしながら、CMOSカメラは、低光度条件下での画像化のために通常使用される他の型のカメラ(例えば、電子倍増電荷結合素子(EMCCD))よりも多くの利点を提供する。例えば、CMOSカメラ(例えば、新たに開発された科学的CMOS(sCMOS)カメラ)は、製造がより安価になり得、より効果的な量子効率を発揮し得、より大きな視野を有し得、および/または従来の低光度カメラよりもかなり高い読み出し速度を支持し得る。したがって、低光度条件下でCMOSカメラの精度を向上するデータ処理技術は、定量的画像分析、一分子局在化、局在化に基づくナノ顕微鏡検査(nanoscopy)、一粒子追跡、機械視覚(machine vision)、医学的画像化、画像再構築および消費者用電子機器(例えば、デジタル静止カメラおよびデジタルビデオカメラ、スマートフォンカメラ等)を含む、低光度画像化が行われ得る任意の状況において有益である。

発明者らは、適切なデータ処理技術を使用してカメラのピクセルにより画像化データに導入されるピクセル依存性読み出しノイズを修正する場合、低光度条件下でのCMOSカメラの性能は有意に向上し得ることを理解している。ほんの一例として、明細書に開示されるデータ処理技術は、CMOSカメラを使用して低光度条件下で取得される画像の質を高め得る。別の例として、CMOSカメラを使用して取得された画像化データに一分子局在化技術を適用する場合、明細書に記載されるデータ処理技術は、かかる画像化データから推定される分子の位置の正確性および/または精密性を有意に高め得る。発明者らはまた、適切なデータ処理技術を使用してセンサーにより感知されるデータに導入されるセンサー依存性ノイズを修正する場合、他のセンサーに基づく技術の性能は有意に向上し得ることを認識し、理解している。例えば、明細書に記載されるデータ処理技術は、X線画像化、磁気共鳴映像法(MRI)、核磁気共鳴(NMR)、陽電子断層撮影法(PET)およびコンピューター連動断層撮影法(CT)などの非光学的画像化技術の性能を向上し得る。

取得されたデータにセンサー依存性ノイズを導入するセンサー素子を使用して取得されたデータ由来の情報の信頼性、正確性および/または精密性を高め得るデータ処理技術が明細書に開示される。いくつかの態様において、明細書に記載される画像化技術は、画像化データの取得時にセンサー素子により生成されるノイズのセンサー依存性ノイズモデルについてのパラメーター値を決定するのに適した較正技術を含み得る。いくつかの態様において、明細書に記載される画像化技術は、取得された画像化データ由来の少なくともいくつかのセンサー依存性ノイズをフィルター処理する(filter)のに適したフィルター処理技術を含み得る。いくつかの態様において、明細書に記載される画像化技術は、取得された画像化データにパラメーター化されたモデルを適合させるのに適したモデル適合技術を含み得る。

いくつかの態様において、一分子局在化用途のための信頼性のある位置の推定は、適切なデータ処理技術を適用して画像化データ中のピクセル依存性読み出しノイズを修正することにより、ノイズがかかった画像化データから得られ得る。一分子局在化技術は典型的に、画像化データにパラメーター化されたモデルを適合させて、取得された画像化データに対応する可能性のあるパラメーター値(例えば、分子位置)を決定することを含む。画像化データにパラメーター化されたモデルを適合させることは通常、統計学的推定技術(例えば、最尤推定(MLE)、ベイズ推定、モーメント法、最小二乗推定等)を使用してなされ、実際の画像化データと、パラメーター化されたモデルにより予測される結果の間の適切な適合を生じる1つ以上のパラメーター値が推定される。

画像化データのノイズは、このような画像化データに基づいた統計学的推定の正確性に干渉することがある。従来の一分子局在化技術において、ポワゾン分布型(-distributed)ショットノイズは、ノイズの予測される最初の発生源であった。一分子局在化は通常、読み出しノイズにより導入されるエラーが典型的に局在化の精密性の許容範囲内にあるEMCCDカメラを使用して実施されたので、読み出しノイズは無視された。しかしながら、発明者らは、CMOSカメラ(例えば、sCMOSカメラ)を使用する場合、ピクセル読み出しノイズの修正の失敗により、一分子局在化技術の正確性および精密性が大きく低下し得ることを認識し、理解した。

上述の種々の局面ならびにさらなる局面が、ここで詳細に記載される。これらの局面は、単独で、全て一緒に、または2つ以上の任意の組合せで、相互に排他的でない程度に使用され得ることが理解されるべきである。

明細書で使用する場合、「画像化」は、ある領域の1つ以上の特性に関連する情報の獲得、処理および/または提示をいい得る。ある領域の特性としては、限定されないが、物理的特性(例えば、位置、形状、輪郭、色、方向等)、化学的特性(例えば、密度、化学的組成等)、解剖学的特性、生物学的特性、機能的特性および/または該領域中の物質、材料、細胞および/または粒子の他の適切な特性が挙げられ得る。画像化情報の取得は、限定されないが光学的技術(例えば、光検出)、音波的技術(例えば、超音波)および/または電磁的技術(例えば、X線、磁気共鳴、陽電子断層撮影法(PET)、コンピューター連動断層撮影法(CT))を含む任意の適切な技術を使用して実施され得る。いくつかの態様において、画像化情報の処理および提示は、該領域の1つ以上の特性を表す画像の形成および表示を含み得る。

センサー依存性ノイズの模倣
複数のセンサー素子を使用してデータセットのためのデータを取得し、2つ以上のセンサー素子が異なる特徴を有するノイズを取得されたデータに導入する場合、該データセットは、センサー依存性ノイズを含むかまたはセンサー依存性ノイズにより汚されるといわれる。いくつかの態様において、データを取得するために使用されるセンサーによりデータセットに導入されるセンサー依存性ノイズを模倣することは、データ処理技術を容易にし得、それによりセンサー依存性ノイズが特定され、既定のデータから区別され、該データセットから除去され、および/または該データセット由来の情報の信頼性、精密性および/または正確性を向上する処理に供される。このセクションには、CMOSカメラのピクセルにより生成されるセンサー依存性ノイズ(例えば、ピクセル依存性読み出しノイズ)を模倣するための技術が記載される。

いくつかの態様において、ピクセルについての読み出しノイズ分布は、ガウス確率分布として模倣され得る。この分布は、暗条件下(例えば、予想される投射光子がゼロである)でのピクセルの時間的なアナログ-デジタル単位(ADU)カウント揺らぎを説明し得る。いくつかの態様において、ピクセルの読み出しノイズ分布はそれぞれ、ピクセルごとに変化し得る分布の平均(「オフセット」)、分布の分散および/またはピクセルの利得(gain)(「増幅利得」)を特徴とし得る。

いくつかの態様において、ピクセルのADUカウント出力は、光子検出プロセスに対応する信号依存性のポワゾン分布型ショットノイズおよびピクセルの読み出し回路に対応するピクセル依存性のガウス分布された読み出しノイズの組合せ(例えば、回旋)として記載され得る確率分布に追随する。個々のピクセルiについての確率分布関数(PDF)は、いくつかの態様において、

(1)
により説明され得る。
ここで、P_i()は、ピクセルのPDFを表し、Dは、ピクセルのADUカウントを表し、Aは、標準化定数であり、u_iは、ピクセルiの予想される光電子(e^-)の数であり、g_iは、ピクセルiについての増幅利得(amplification gain)(ADUs/e^-)であり、o_iは、ピクセルiの読み出しノイズの平均(オフセット)であり、var_iは、ピクセルiの読み出しノイズの分散である。

データ処理技術
図1は、いくつかの態様による画像化方法100を示す。いくつかの態様において、ノイズがかかった画像化データに画像化方法100を適用することにより、一分子局在化用途について信頼性の高い位置の推定が生じ得る。

画像化方法100の工程102では、パラメーター値は、センサー素子を使用して取得される画像化データにおけるセンサー素子により生成されるセンサー依存性ノイズのセンサー依存性ノイズモデルについて決定される。工程102で行われる処理は、明細書において「較正」処理と言われ得る。いくつかの態様において、該センサー素子はピクセル(例えば、CMOSピクセル)であり得る。いくつかの態様において、センサー依存性ノイズモデルは、各センサー素子のセンサー依存性ノイズ特徴(例えばピクセル依存性読み出しノイズ)を表すガウス分布を含み得る。いくつかの態様において、ノイズモデルのパラメーターは、センサー素子のノイズのガウス分布のセンサー依存性平均(オフセット)、センサー素子のノイズのガウス分布のセンサー依存性分散および/またはセンサー素子の利得を含み得る。

いくつかの態様において、ピクセルの読み出しノイズのガウス分布のオフセットは、ピクセルが暗所にある場合に取得された画像化データを使用して決定され得る。例えば、ピクセルの読み出しノイズオフセットは、ピクセルが暗所にある場合に取得される一組のフレームに対するピクセルの平均ADUカウントとして計算され得る。ピクセル上の投射光子の数がゼロまたは無視できものであると予想される場合、ピクセルは暗所にあり得る。いくつかの態様において、暗所環境は、カメラを暗室におくか、またはカメラのレンズをレンズキャップで覆うことにより確立され得る。

カメラのピクセルのオフセット値は、限定されないが以下の方法を含む任意の適切な技術を使用して決定され得る。該方法の一工程において、カメラのピクセルは、暗所環境に曝され得る。該方法の別の工程において、一組のM画像フレームは、ピクセルを暗所環境に曝した際に取得され得る。該方法の別の工程において、任意のピクセルiについてのオフセットo_iは、

(2)
として計算され得る。
ここで、

は、ピクセルiについてのフレームmでのADUカウントであり、Mは、取得される暗所フレームの総数である。

いくつかの態様において、ピクセルの読み出しノイズのガウス分布の分散は、ピクセルが暗所環境にある場合に取得される画像化データを使用して決定され得る。例えば、ピクセルの読み出しノイズ分散は、ピクセルが暗所にある場合に取得される一組のフレームに対するピクセルのADUカウントの分散として計算され得る。カメラのピクセルの分散値は、限定されないが以下の方法を含む任意の適切な技術を使用して決定され得る。該方法の一工程において、カメラのピクセルは、暗所環境に曝され得る。該方法の別の工程において、一組のM画像フレームは、ピクセルを暗所環境に曝して取得され得る。該方法の別の工程において、任意のピクセルiについての分散var_iは、

(3)
として計算され得る。

いくつかの態様において、同じ組のM画像フレームを使用して、カメラのピクセルの読み出しノイズ分布のオフセット値および分散値を決定し得る。いくつかの態様において、多くのMの画像フレーム(例えば、数千、数万、約60,000または数十万)は、適切な精密性を有する分散値およびオフセット値を推定するために得られ得る。

いくつかの態様において、ピクセルの利得は、ピクセルを特定の数の光子に曝して取得される画像化データを使用して決定され得る。カメラのピクセルの利得値は、限定されないが以下の方法を含む任意の適切な技術を使用して決定され得る。該方法の一工程において、一連の画像配列が取得され得る。それぞれの画像配列の間に、目的のピクセルは、特定の強度レベル(例えば、1ピクセル当たり約20光子〜1ピクセル当たり約200光子の範囲の平均強度レベル)で発光され得る。例えば、目的のピクセルはある程度一定の定位強度パターンで発光され得る。該強度レベルは、異なる画像配列の間で変化し得る。いくつかの態様において、それぞれの画像配列の間に取得される画像の数は多くあり得る(例えば、数百の画像、数千の画像、数万の画像、約20,000の画像、または数十万の画像)。

該方法の別の工程において、一連の画像配列を使用して、1つ以上の目的のピクセルの利得が計算され得る。上述の強度レベルについて、特定の発光強度でのピクセルiにおけるカメラ出力の全分散は、光子ショットノイズにより誘導される分散およびピクセルのガウス分散、var_iの合計として近似され得る。したがって、ピクセルiの増加(gain)は、

(4)
を使用して推定され得、
式中、Kは、利得較正プロセスのために取得される発光レベルの総数であり、kは、k番目の発光配列であり^、

は、ピクセルiにおける発光配列kの間に取得される全フレームの時間的平均から得られる平均ADUカウントを表し、o_iおよびvar_iは、ピクセルiについての平均値および分散値であり、

は、ピクセルiにおける発光配列kについてのADUカウントの時間的分散を表す。利得g_iの単位はADU/e^-であり得る。

式(4)で表される線形最小二乗最小化問題(linear least square minimization problem)は、形式

(5)
に単純化され得、
式中、

であり、

である。

画像化方法100の工程104では、画像化された領域に対応しかつセンサー素子により取得された画像化データが得られる。いくつかの態様において、画像化データを得ることは、(例えば、画像化された領域に関連のある信号を感受するセンサー素子を使用して)画像化データを生成すること、(例えば、コンピューター読み取り可能記憶媒体から)画像化データをロードすること、および/または(例えば、ネットワークを介して)画像化データを受信することを含み得る。画像化データは、画像化された領域の1つ以上の特性に関連し得る。

画像化方法100の工程106〜108において、センサー依存性ノイズモデルを使用して画像化データに対して行われる画像処理の質を高め得る。いくつかの態様において、式(1)のセンサー依存性ノイズモデルを使用して、一分子局在化プロセスの正確性および/または精密性を高め得る。

画像化方法100の工程106では、センサー依存性ノイズモデルのパラメーター値(例えば、センサー素子のガウス分散された読み出しノイズの平均、センサー素子のガウス分散された読み出しノイズの分散、および/またはセンサー素子の利得)を使用して、さらなる処理のために、工程104において得られた画像化データの少なくとも1つの部分集合を特定し得る。いくつかの態様において、特定された部分集合(1つまたは複数)は、1つ以上の基準を満たす画像化データの部分を含み得、該1つ以上の基準を満たすことは、該画像化データの部分集合が目的の情報を含み得ることを示す。工程106においてなされる処理は、明細書において「画像分割」、または「分割」処理といわれ得る。

さらなる処理のための画像化データの部分集合(1つまたは複数)の特定は、限定されないが以下の方法を含む任意の適切な分割技術を使用してなされ得る。該方法の一工程では、画像化データの一部は、画像化データのそれぞれの部分を取得したセンサー素子に関連するセンサー依存性の利得値、分散値および/またはオフセット値に従って、統計学的に荷重され得る。この平坦化(smoothing)技術は、それがなければ意味のあるデータとして解釈され得るノイズを低減し得る。例えば、一分子局在化に関して、この平坦化技術は、それがなければ一分子として解釈され得るノイズを低減し得る。

いくつかの態様において、ノイズを低減または排除するために画像化データに1つ以上の平坦化フィルターが適用され得る。フィルターにかけられたノイズとしては、例えばポワゾン分布型ショットノイズ、不均一なバックグラウンド蛍光から生じるノイズ、センサー素子の一定でない利得により生じるノイズ、および/またはセンサー素子により導入される読み出しノイズが挙げられ得る。いくつかの態様において、1つ以上の平坦化フィルターは、1つ以上の均一なフィルターおよび/またはガウスフィルターを含み得る。いくつかの態様において、1つ以上の平坦化フィルターは、センサー依存性ノイズモデルの1つ以上のパラメーターを使用して、読み出しノイズなどのセンサー依存性ノイズをフィルター処理し得る。いくつかの態様において、フィルターカーネルは、

(6)
として規定され得、
式中、D_iは、ピクセルiについてのADUカウントであり、g_iは、ピクセルiについての利得であり、var_iは、ピクセルiについての分散であり、C_nxnは、カーネル領域を表す。いくつかの態様において、カーネル領域は、ピクセルiの周りに中心化されたn x n二乗領域を含み得る。いくつかの態様において、平坦化された画像化データは、異なるカーネルサイズnを有する2つのフィルター適用から生じる2つの組の画像化データの間でピクセルワイズサブトラクションを行うことにより得られ得る：

(7)、
ここで、

は、x以下の最大整数を説明し、Dは取得された画像化データの全集合を表す。

該方法の別の工程では、平坦化された画像化データを処理して、さらなる処理のために、画像化データの1つ以上の部分集合を特定し得る。いくつかの態様において、極大を含む平坦化された画像化データの部分集合は、さらなる処理に適切であり得る。例えば、一分子局在化用途において、極大を含む画像化データの部分集合は、一分子に関連する情報を含む可能性がある画像化データの部分集合であり得る。いくつかの態様において、極大は、最大フィルターおよび二項演算を使用して特定され得る。

画像化方法100の工程108では、画像化データ(または画像化データの1つ以上の部分集合)にパラメーター化されたモデルが適合され得る。いくつかの態様において、パラメーター化されたモデルは、画像化された領域のモデル、画像化された領域の1つ以上の特性のモデルおよび/または画像化された領域に関連する1つ以上の条件のモデルであり得る。パラメーター化されたモデルは少なくとも1つのパラメーターを含み得る。一分子局在化に関して、パラメーター化されたモデルのパラメーターとしては、例えば画像化された領域の1つ以上の分子の位置が挙げられ得る。パラメーター化されたモデルは、センサー依存性ノイズモデルを含み得る。画像化データにパラメーター化されたモデルを適合させることは、パラメーター化されたモデルが画像化データに十分に適合するパラメーター(1つまたは複数)の値(1つまたは複数)を決定することを含み得る。

いくつかの態様において、1つ以上の統計学的推定技術を使用して、画像化データにパラメーター化されたモデルを適合させ得る。限定されないが、最尤推定 (MLE)、ベイズ推定、モーメント法および/または最小二乗推定を含む任意の適切な統計学的推定技術を使用して、画像化データにパラメーター化されたモデルを適合させ得る。いくつかの態様において、統計学的推定を使用して、画像化データにパラメーター化されたモデルを適合させることは、図2に示されるような反復適合処理を行うことを含み得る。

図2に示される適合方法の工程202では、パラメーター化されたモデルの1つ以上のパラメーター値が推定される。いくつかの態様において、パラメーター化されたモデルの1つ以上のパラメーター値を推定することは、パラメーター化されたモデルが適合されている画像化データにおけるノイズの確率分布を評価することを含み得る。いくつかの態様において、画像化データにおけるノイズは、信号依存性のポワゾン分布型光子ショットノイズおよびピクセル依存性のガウス分布された読み出しノイズを含み得る。したがって、いくつかの態様において、パラメーター化されたモデルが適合されている画像化データにおけるノイズの確率分布を評価することは、ショットノイズポワゾン分布と読み出しノイズガウス分布の組合せ(例えば回旋)である確率分布を評価することを含み得る。いくつかの態様において、かかる組み合された確率分布は、統計学的推定処理のそれぞれの適合反復の間に、パラメーター化されたモデルが適合されている画像化データ(または画像化データの部分集合)の1つ以上のピクセル(例えば全てのピクセル)について評価され得る。

いくつかの態様において、ピクセルのADUカウントの組み合わされた確率分布は、式(1)を評価することにより評価され得る。いくつかの態様において、ピクセルのADUカウントの組み合された確率分布は、式(1)の分析的な近似を使用して評価され得る。例えば、式(1)の確率分布は、

(8)
として分析的に近似され得、
式中、u_iは、ピクセルiでの適合モデル由来の予測される光子の数を表し、完全γ関数Γ(x)は、

として規定される。いくつかの態様において、適合モデルは、(例えば、単一エミッター適合について)1つの2Dガウスモデルまたは(例えば、複数のエミッター適合について)複数ガウスモデルであり得る。いくつかの態様において、確率分布の分析的近似に基づく統計学的推定は、理論的限界で最適な正確性および精密性をもたらし得る。式(8)の尤度関数の分析的な近似は、ポワゾン分布に似る(例えば、式(8)の尤度関数は、形式

ここで、

という項を含む)ので、一分子局在化および/または複数エミッター適合についての従来の統計学的推定技術を適用し得、式(8)の確率分布を置き換えることにより、従来のポワゾン分布型ノイズモデルについてセンサー依存性ノイズモデルを一体化する。

いくつかの態様において、最尤推定(MLE)を使用して、パラメーター化されたモデルの1つ以上のパラメーター値が推定され得る。式(8)のパラメーター化されたモデルについてのMLEは、

(10)
で表され得、
式中、

は、1つ以上のパラメーター値θについての最尤推定であり、Mは、適合部分領域(fitting sub-region)におけるピクセルの総数であり、bgは、ピクセルiの予想されるバックグラウンドADUカウントを表す。

適合方法200の工程204および206では、取得された画像化データ(または取得された画像化データの部分集合)と、パラメーター化されたモデルの間の適合の質が特徴付けられる。適合の質が十分である場合、適合化方法200は終了する。適合の質が十分ではない場合、適合方法200の別の反復がなされ得る。

概念的に、取得された画像化データと、パラメーター化されたモデルの間の適合の質を特徴づけることは、(1)推定されるパラメーター値が実際に画像化データを取得した時点での画像化領域に関連する条件を正確に説明する場合に、パラメーター化されたモデルを使用して、センサー素子が取得した画像化データの推定を生成する方法、および(2)推定画像化データが実際の画像化データにどの程度近く適合するかを決定する方法とみなされ得る。限定されないが適合フィルター処理(「排除(rejection)」)および/または不確定性推定を含む任意の適切な技術を使用して、パラメーター化されたモデルと、画像化データの間の適合の質を特徴づけ得る。

いくつかの態様において、適合フィルター処理を使用して、非収束適合(non-converging fit)および/または非許容適合エラー(unacceptable fit error)(例えば、エラー閾値(error threshold)を超える適合エラー)を特定し得る。いくつかの態様において、適合フィルター処理を行うことは、対数尤度比(LLR)計量(metric)の値を決定することを含み得る。いくつかの態様において、LLR計量は、

(11)
で表され得、式中、θは、推定パラメーター値を表す。LLR計量にはほぼ、自由度のM-K度(M-K degrees of freedom)を有するχ二乗分布に追随し、ここで、Mは、適合の下位領域(sub-region)におけるピクセルの数であり、Kは、適合方法において推定されるパラメーターの総数である。

いくつかの態様において、適合フィルター処理を行うことはさらに、LLR計量を使用して、適合についてのp値を計算することを含み得る。いくつかの態様において、適合についてのp値は、閾値と比較され得、閾値未満のp値を有する適合は排除され得る。

いくつかの態様において、不確定性推定がなされ得る。適合されるパラメーター化されたモデルのパラメーターの推定値の不確定性(または精密性)は、任意の適切な技術を使用して推定され得る。いくつかの態様において、不確定性は、式(8)の尤度関数を有するクラメールラオの下界 (CRLB)を使用して推定され得る。

さらなる態様
いくつかの態様において、画像化方法は図1に示される全ての工程よりも少ない工程を含み得ることが理解されるべきである。いくつかの態様において、画像化方法は、画像化された領域に対応しかつセンサー素子により取得される画像化データを得る工程104、および該画像化データにパラメーター化されたモデルを適合する工程108を含み得、該パラメーター化されたモデルは、各センサー素子により取得された画像化データの一部において、センサー素子により生成されるノイズのセンサー依存性モデルを含む。

かかる画像化方法は、データセットにおいてセンサー依存性ノイズ(例えば、CMOSピクセルにより取得された画像化データにおけるピクセル依存性読み出しノイズ、X線データ、MRIデータ、NMRデータ、PETデータ、CTデータにおけるセンサー依存性ノイズ等)を特定すること、下にあるデータとセンサー依存性ノイズを区別すること、データセットからセンサー依存性ノイズを除去(例えば、フィルター処理)すること、および/または該データセットを、データセット由来の情報の信頼性、精密性および/または正確性を向上する任意の適切な処理に供することに適し得る。かかる画像化方法は、低光度条件下でCMOSピクセルにより取得される画像からアーティファクトを除去すること、および/または低光度条件下でCMOSピクセルにより取得される画像の解像度を向上することに適し得る。

一分子局在化に関する態様および例が記載されているが、いくつかの態様は、一分子局在化に制限されない。明細書に記載されるデータ処理技術の態様は、限定されないが、定量的画像化用途、定性的画像化用途、一粒子追跡(例えば、約20kHzまでの時間的な分解能で)、複数エミッター適合、超解像度画像化による細胞のスクリーニング、医学的画像化、X線画像化、磁気共鳴画像化(MRI)、核磁気共鳴(NMR)、陽電子断層撮影法(PET)、コンピューター連動断層撮影法(CT)、機械視覚、画像再構築、低光度画像化および/または消費者用電子機器を含む任意の適切な用途に適用され得る。

いくつかの態様において、明細書に記載されるデータ処理技術は、「オンライン」または「リアルタイム」で実施され得る。例えば、明細書に記載されるデータ処理技術は、CMOSカメラにより取得された低光度画像についてリアルタイムで実施され得るので、処理された画像は、画像化データを取得するのと実質的に同時に見られ得る。別の例として、明細書に記載されるデータ処理技術は、オンライン分子局在化を実施するために使用され得る。別の例として、明細書に記載されるデータ処理技術は、1秒当たり約32までの再構築された画像のフレーム速度で、固定された細胞または生きた細胞のスクリーニングを実施するために使用され得る。

明細書に記載されるデータ処理技術の利点は、(1)異なるセンサー素子のノイズ特徴が異なる、および(2)センサー依存性ノイズが他の形態のノイズにより支配されない、という任意の状況において実現され得る。

いくつかの態様において、式(1)の確率分布の分析的な近似(限定されないが式(8)に示される分析的な近似を含む)を使用して、異なるセンサー素子に同じセンサー依存性ノイズモデルが使用される場合であっても、センサー依存性ノイズおよび信号依存性光子ショットノイズの組合せを模倣し得る。複数のセンサーにより生成されるノイズについての共通のモデルは、任意の適切な技術を使用して得られ得る。ほんの一例として、共通のノイズモデルのパラメーターの値は、(例えば、センサー素子の組またはセンサー素子のいくつかの部分集合により取得されたデータに基づいて)2つ以上のセンサー素子の一組について推定され得、該組におけるセンサー素子のそれぞれに起因するノイズを模倣するためにこれらの同じパラメーター値が使用され得る。このような方法で、異なるセンサー素子により生成されたノイズを模倣するために異なるノイズモデルが使用されない状況においても、センサー依存性ノイズモデルと信号依存性光子ショットノイズモデルの組合せの分析的な近似のコンピューター的な利点が得られ得る。

明細書に記載される技術による画像化系または画像化装置は、態様がこの局面に限定されない場合、任意の適切な形態をとり得る。図3には、いくつかの態様による画像化方法の1つ以上の局面を行うように形作られ得るコンピューター系が示される。コンピューター系300などの1つ以上のコンピューター系を使用して、上述の機能のいずれかを実行し得る。コンピューター系300は、1つ以上のプロセッサ306および1つ以上のコンピューター読み取り可能記憶媒体302(すなわち、有形の一時的でないコンピューター読み取り可能媒体)、例えば1つ以上の揮発性記憶媒体および/または1つ以上の非揮発性記憶媒体を含み得る。1つ以上のプロセッサ306は、任意の適切な様式での該記憶装置302へのデータの書き込みおよび該記憶装置302からのデータの読み出しを制御し得る。1つ以上のプロセッサ306は、任意の適切な様式での相互連結ネットワーク310上のデータの移動を制御し得る。

明細書に記載の機能のいずれかを実施するために、1つ以上のプロセッサ306は、1つ以上のプロセッサ306による実行のための指示を記憶するための有形の一時的でないコンピューター読み取り可能媒体として機能し得る、1つ以上のコンピューター読み取り可能記憶媒体(例えば、記憶装置302)に記憶される1つ以上の指示を実行し得る。いくつかの態様において、1つ以上のプロセッサ306は、限定されないが中央処理装置(CPU)、グラフィック処理ユニット(GPU)、フィールドプラグラム可能ゲートアレイ(FPGA)、アクセラレータおよび/または他の適切なデータを処理するように形作られたデバイス(例えば、回路)を含む1つ以上の処理回路を含み得る。

いくつかの態様において、コンピューター系300は、センサー304を含み得る。いくつかの態様において、センサー304は、少なくともいくつかの感受性条件下でセンサーを使用して取得されるセンサーデータに、センサー依存性ノイズを導入し得る。いくつかの態様において、センサー304は、限定されないが音波センサー、光学センサーおよび/または電磁センサーを含む任意の適切な型の(単数または複数の)センサーを含み得る。いくつかの態様において、センサー304はピクセル(例えば、sCMOSピクセルなどのCMOSピクセル)を含み得る。いくつかの態様において、該センサーは、限定されないが移動型電子デバイス、携帯電話、スマートフォン、ラップトップコンピューター、カメラ(例えば、静止カメラ、ウェブカメラ、ビデオカメラ等)、および/または任意の他の適切な電子デバイスを含む電子デバイスに組み込まれるか、含まれるかおよび/または配置されるセンサーであり得る。

いくつかの態様において、コンピューター系300は、コンピューター系300とネットワーク(例えば、コンピューターネットワーク)の間の連絡を処理するのに適切なネットワークインターフェイス308を含み得る。いくつかの態様において、コンピューター系300は、画像化データを得るためにネットワークインターフェイス308を使用するように形作られ得る。例えば、かかる画像化データは、コンピューター系300の外部にあるかまたはコンピューター系300により制御されないセンサーを使用して取得され得る。

いくつかの態様は、図1に示されるような画像化方法に関するということが前記事項から理解されるべきである。かかる方法は、例えばコンピューター系300の1つ以上の構成要素により実施され得るが、該方法がこの局面に限定されない場合、他の実行が可能である。

また、記載される技術は、少なくとも1つの例が提供されている方法として実現され得る。該行為は、該方法の一部が任意の適切な方法で順序づけられ得るように実施される。したがって、図示されるものと異なる順序で行為が実施される態様が構成されてもよく、該態様は、例示的な態様において連続的な行為として示されたとしても、いくつかの行為を同時に行うことを含んでもよい。

上述の態様は、多くの方法のいくつかにおいて実行され得る。例えば、該態様は、ハードウェア、ソフトウェアまたはそれらの組合せを使用して実行され得る。ソフトウェアにおいて実行される場合、該ソフトウェアコードは、単一のコンピューターにおいて提供されるかまたは複数のコンピューター間に分散されるかのいずれかによらず、任意の適切なプロセッサ(例えば、処理回路)またはプロセッサの集合により実行され得る。上述の機能を実施する任意の構成要素または構成要素の集合は一般的に、上記の機能を制御する1つ以上の制御装置とみなされ得ることが理解されるべきである。1つ以上の制御装置は、上述の機能を実施するようにマイクロコードまたはソフトウェアを使用してプログラムされる専用のハードウェアによる、または一般的な目的のハードウェア(例えば、1つ以上のプロセッサ)によるなどの多くの方法で実行され得る。

この局面において、種々の局面は、1つ以上のプロセッサで実行される場合、上述の工程または行為を実施させるコンピュータープログラム(複数の指示)でコードされる少なくとも1つのコンピューター読み取り可能記憶媒体(すなわち、少なくとも1つの有形の一時的でないコンピューター読み取り可能媒体)として、少なくとも部分的に実現され得るかおよび/または実行され得る。コンピューター読み取り可能記憶媒体の例としては、限定されないがコンピューターメモリ、フロッピーディスク、コンパクトディスク、光学ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイ(FPGA)における回路配置もしくは他の半導体デバイスまたは他の有形の一時的でないコンピューター読み取り可能媒体が挙げられ得る。前述の例から明らかなように、コンピューター読み取り可能記憶媒体は、一時的でない形態でコンピューター実行可能な指示を提供するのに十分な時間、情報を保持し得る。コンピューター読み取り可能記憶媒体は、そこに記憶されるプログラム(1つまたは複数)が、1つ以上の異なるコンピューターまたは他のプロセッサにロードされて前述の本技術の種々の局面が実行されるように、トランスポータブルであり得る。いくつかの態様において、データの処理およびシステム操作の局面は、完全に、または少なくとも部分的に、ハードにつながれたコンピューター実行可能な指示としてFPGAにおいて実行され得る。

コンピューター実行可能な指示は、1つ以上のコンピューターまたは他のデバイスにより実行される、プログラムモジュールなどのいくつかの形態の任意の1つまたは組み合わせであり得る。一般的に、プログラムモジュールとしては、特定の仕事を実施するかまたは特定の観念的なデータの型を実行するルーチン、プログラム、オブジェクト、構成要素、データ構築体等が挙げられ得る。典型的に、該プログラムモジュールの機能は、種々の態様において所望の通りに合わされ得るか、または分散され得る。

コンピューター実行可能な指示は、種々のオペレーティングシステムまたはプラットフォームの任意の1つを使用する1つ以上のプロセッサで実行可能である。さらに、かかる指示は、いくつかの適切なプログラム言語および/またはプログラミングもしくはスクリプトツールのいずれかを使用して書き込まれ得、さらに枠組みまたは仮想機械で実行される実行可能な機械言語コードまたは中間コードとしてコンパイルされ(compiled)得る。

プロセッサは、回路(例えば、集積回路)、例えばCPUチップ、GPUチップ、マイクロプロセッサ、マイクロコントローラまたはコプロセッサなどの名称で本分野で公知の市販回路として実行され得る。代替的に、プロセッサは、ASICなどのカスタム回路またはプログラム可能論理デバイスを形作ることにより生じるセミカスタム回路において実行され得る。さらなる代替物として、プロセッサは、市販品であるか、セミカスタムであるかまたは注文品であるかのいずれにしても、より大きな回路または半導体デバイスの一部であり得る。具体例として、いくつかの市販のマイクロプロセッサは、コアの1つまたは部分集合が上記の機能を実行するのに適したプロセッサを構成し得るように、複数のコアを有する。しかしながら、プロセッサは、任意の適切な形式で、論理回路を使用して実行され得る。

データ処理デバイスは、ラック取り付け型(rack-mounted)コンピューター、デスクトップコンピューター、ラップトップコンピューターまたはタブレットコンピューターなどのいくつかの形態のいずれかにおいて実現され得る。さらに、データ処理デバイスは、一般的にコンピューターとはみなされないが、適切な処理能力を有する携帯情報端末(PDA)、スマートフォンまたは任意の他の適切な携帯型もしくは固定型の電子デバイスなどのデバイスにおいて埋め込まれたデータ処理回路を含み得る。

用語「プログラム」または「ソフトウェア」は、コンピューターまたは他のプロセッサをプログラムして上述の本技術の種々の局面を実行するように使用され得るコンピューターコードまたはコンピューター実行可能な指示の組をいうような一般的な意味において使用される。さらに、いくつかの態様において、実行される場合に本技術の方法を実施する1つ以上のコンピュータープログラムは、1つのコンピューターまたはプロセッサ上に存在する必要はないが、本技術の種々の局面を実行するための異なるコンピューターまたはプロセッサのいくつかの間に、モジュール様式で分散されてもよい。

明細書で使用される表現および用語は、説明目的のものであり、限定されるとみなされるべきではない。

明細書および特許請求の範囲において使用する場合、不定冠詞「a」および「an」は、反対のことを明確に示さなければ、「少なくとも1つ」を意味すると理解されるべきである。

明細書および特許請求の範囲において使用する場合、句「および/または」は、そのように接続された因子、すなわちある場合において接続的に存在し、他の場合において離接的に存在する因子の「いずれかまたは両方」を意味すると理解されるべきである。「および/または」と共に列挙される複数の因子は、同じ様式、すなわちそのように接続された「1つ以上」の因子と解釈されるべきである。「および/または」の節で具体的に特定された因子以外の他の因子は、具体的に特定された因子と関連するか関連しないかのいずれにせよ、任意に存在し得る。したがって、非限定的な例として、「Aおよび/またはB」についての参照は、「含む(comprising)」などの開放型の語法を伴って使用される場合、一態様においてAのみ(任意にB以外の因子を含む)、別の態様においてBのみ(任意にA以外の因子を含む)、さらに別の態様においてAとBの両方(任意に他の因子を含む)などのことをいい得る。

明細書および特許請求の範囲において使用する場合、「または」は、上述に定義されるように「および/または」と同じ意味を有すると理解されるべきである。例えば、リスト内の項目を分離する場合、「または」または「および/または」は、包括的である、すなわちいくつかの因子または因子のリストの少なくとも1つだけではなく1つより多くも含み、任意に列挙されていないさらなる項目も含むと解釈されるであろう。「の1つのみ」または「の厳密に1つ」、または特許請求の範囲において使用される場合は「からなる(consisting of)」などの反対のことを明確に示す用語のみは、いくつかの因子または因子のリストの厳密に1つの因子を含むことをいう。一般的に、「いずれか」、「の1つ」、「の1つのみ」または「の厳密に1つ」などの排他的であることの用語が先にくる場合は、使用される用語「または」は、排他的な選択肢(すなわち、「両方ではなく1つまたは他のもの」)を示すと解釈されるのみであろう。特許請求の範囲において使用される場合、「本質的にからなる」は、特許法の分野で使用される通常の意味を有するであろう。

明細書および特許請求の範囲において使用する場合、1つ以上の因子のリストに関して、句「少なくとも1つ」は、因子のリスト中のいずれか1つ以上の任意の因子から選択されるが、因子のリスト内に具体的に列挙されるそれぞれの因子および全ての因子の少なくとも1つを必ずしも含むわけではなく、該因子のリストにおける因子の任意の組合せを排除しない少なくとも1つの因子を意味すると理解されるべきである。この定義はまた、具体的に特定されるこれらの因子に関係があるか関係がないかのいずれにしても、句「少なくとも1つ」が指す因子のリスト内に具体的に特定される因子以外の因子が任意に存在し得ることを可能にする。したがって、非限定的な例として、「AおよびBの少なくとも1つ」(または同等に、「AまたはBの少なくとも1つ」、または同等に「Aおよび/またはBの少なくとも1つ)は、一態様において、Bが存在せずに1つより多くのAを任意に含む(およびB以外の因子を任意に含む)少なくとも1つのA；別の態様において、Aが存在せずに1つより多くのBを任意に含む(およびA以外の因子を任意に含む)少なくとも1つのB；さらに別の態様において、1つより多くのAを任意に含む少なくとも1つのAと、1つより多くのBを任意に含む(および他の因子を任意に含む)少なくとも1つのBなどをいい得る。

「含む(including)」、「含む(comprising)」、「有する(having)」、「含む(containing)」、「含む(involving)」およびそれらの変形物の使用は、その後に列挙される項目およびさらなる項目を包含することを意味する。特許請求の範囲において、方法の行為が実行される他のまたは一時的な順序に対して、請求項因子を変更するために「第1」、「第2」、「第3」などの順序を示す用語を使用することは、それ自体では、1つの請求項の因子の先にくるもの(priority)、先行するもの(precedence)または順序をなんら含むものではない。順序を示す語は単に、特定の名称を有する1つの請求項の因子を、(順序を示す用語の使用を別にすれば)同じ名称を有する別の因子と区別するための標識として使用され、請求項因子が区別される。

発明のいくつかの態様が詳細に記載されているので、種々の変更および向上が、当業者には容易に思い起こされるであろう。かかる変更および向上は、発明の精神および範囲内にあることが意図される。したがって、前述の記載は例示のみのものであり、限定を意図するものではない。発明は、以下の特許請求の範囲およびその均等物により規定される場合にのみ限定される。

Claims

画像化された領域に対応しかつ少なくとも第1および第2のセンサー素子により取得された画像化データを得る工程、ならびに
プロセッサを使用して、該画像化データにパラメーター化されたモデルを適合させる工程を含む、プロセッサに実行される画像化方法であって、該パラメーター化されたモデルは、該第1のセンサー素子により取得された該画像化データの第1の部分における該第1のセンサー素子により生成されるノイズの第1のセンサー依存性モデル、および該第2のセンサー素子により取得された該画像化データの第2の部分における第2のセンサー素子により生成されるノイズの第2のセンサー依存性モデルを含み、
該第1のセンサー依存性ノイズモデルが、少なくとも部分的に該第2のセンサー依存性ノイズモデルとは異なる、プロセッサに実行される画像化方法。
該画像化データにパラメーター化されたモデルを適合させる工程が、統計学的推定を使用して、該画像化データにパラメーター化されたモデルを適合させることを含む、請求項１記載の方法。
該第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上の各パラメーターの1つ以上の値を決定する工程；および
第1および第2のセンサー依存性ノイズモデルのそれぞれの少なくとも1つのパラメーター値を使用して、さらなる処理のために、該画像化データの少なくとも1つの部分集合を特定する工程
をさらに含む画像化方法であって、
統計学的推定を使用して、該画像化データにパラメーター化されたモデルを適合させることが、
該パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定すること、および
該1つ以上の各推定値を用いて、該画像化データの少なくとも1つの部分集合と、該1つ以上のパラメーターを有するパラメーター化されたモデルの間の適合の質を特徴づけること
を含む、請求項２記載の画像化方法。
該統計学的推定を使用して、該画像化データにパラメーター化されたモデルを適合させることが、最尤推定(maximum likelihood estimation)(MLE)を使用して、該画像化データにパラメーター化されたモデルを適合させることを含み、該画像化データの少なくとも1つの部分集合と、該パラメーター化されたモデルの間の適合の質を特徴づけることが、該第1および第2のノイズモデルを使用して対数尤度比(log-likelihood ratio)を決定することおよび/またはクラメールラオの下界(Cramer-Rao lower bound)(CRLB)を決定することを含む、請求項３記載の画像化方法。
MLEを使用して、該画像化データにパラメーター化されたモデルを適合させることが、式

(D_iは、ピクセルiの観察されるADUカウントであり、
u_iは、ピクセルiの予測される光電子の数であり、
g_iは、ピクセルiの増幅利得(amplification gain)であり、
o_iは、ピクセルiの読み出しノイズのオフセットであり、
var_iは、ピクセルiの読み出しノイズの分散であり、
bgは、ピクセルiの予測されるバックグラウンドADUカウントである)
により表される1つ以上の各パラメーターθの1つ以上の値を推定することを含む、請求項４記載の画像化方法。
該統計学的推定を使用して、該画像化データにパラメーター化されたモデルを適合させることが、
該第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズ(photon shot noise)モデルを合わせて、該第1のセンサーに対応する画像化データの第1の部分におけるセンサー依存性ノイズおよび光子ショットノイズの推定を得ること；ならびに
該第2のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせて、該第2のセンサーに対応する画像化データの第2の部分におけるセンサー依存性ノイズおよび光子ショットノイズの推定を得ること
を含む、画像化方法であって、
該パラメーター依存性光子ショットノイズモデルが、少なくとも部分的に該パラメーター化されたモデルの1つ以上の推定されたパラメーター値に依存する、請求項３記載の画像化方法
該第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせることが、該第1のセンサー依存性ノイズモデルと、該パラメーター依存性光子ショットノイズモデルのコンボリューションを決定することを含む、請求項６記載の画像化方法。
該第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせることが、該第1のセンサー依存性ノイズモデルと、該パラメーター依存性光子ショットノイズモデルのコンボリューションを分析的に近似することを含む、請求項６記載の画像化方法。
該第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルのコンボリューションを分析的に近似することが、

を含む式を使用して、ピクセルiのADUカウントの確率分布P_i(x)を分析的に近似することを含む、請求項８記載の画像化方法。
該ピクセルiのADUカウントの確率分布が、

(D_iは、ピクセルiの観察されるADUカウントであり、
u_iは、ピクセルiの予測される光電子の数であり、
g_iは、ピクセルiの増幅利得であり、
o_iは、ピクセルiの読み出しノイズのオフセットであり、
var_iは、ピクセルiの読み出しノイズの分散であり、

である)
により表される、請求項９記載の画像化方法。
該第1および第2のセンサー依存性ノイズモデルの少なくとも1つのパラメーター値を使用して、さらなる処理のために、該画像化データの少なくとも1つの部分集合を特定する工程が、該第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して、該第1のセンサーにより取得された画像化データの第1の部分におけるノイズをフィルター処理する(filter)こと、および該第2のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して、該第2のセンサーにより取得された画像化データの第2の部分におけるノイズをフィルター処理することを含む、請求項３記載の画像化方法。
該第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して、該画像化データの第1の部分におけるノイズをフィルター処理することが、

(D_iは、ピクセルiの観察されるADUカウントであり、
g_iは、ピクセルiの増幅利得であり、
o_iは、ピクセルiの読み出しノイズのオフセットであり、
var_iは、ピクセルiの読み出しノイズの分散であり、
nは、カーネルサイズであり
C_nxnは、ピクセルiを含むカーネル領域である）
により規定されるフィルターカーネルを使用して、該画像化データの第1の部分をフィルター処理することを含む、請求項１１記載の画像化方法。
該パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定することが、1つ以上の各分子および/または粒子の1つ以上の位置を推定することを含む、請求項３記載の画像化方法。
該画像化データおよび該1つ以上の各パラメーターの1つ以上の推定値を使用して、分子局在化、粒子追跡および/または超解像度顕微鏡検査を行うことをさらに含む、請求項１３記載の画像化方法。
少なくとも該第1および第2のセンサー素子を使用して該画像化データを取得することをさらに含む画像化方法であって、
該少なくとも第1および第2のセンサー素子を使用して画像化データを取得することが、該少なくとも第1および第2のピクセルを使用して画像化データを取得することを含み、
第1および第2のピクセルのそれぞれが、半導体の感光性領域および該ピクセルからデータを読み出すように形作られた半導体の部分を含む、請求項２記載の画像化方法。
該少なくとも第1および第2のピクセルを使用して画像化データを取得することが、少なくとも第1および第2のCMOSピクセルを使用して画像化データを取得することを含む、請求項１５記載の画像化方法。
該該少なくとも第1および第2のピクセルを使用して画像化データを取得することが、少なくとも第1および第2のsCMOSピクセルを使用して該画像化データを取得することを含む、請求項１５記載の画像化方法。
第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上の各パラメーターの1つ以上の値を決定することをさらに含む画像化方法であって、
該第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値が、少なくとも部分的に第2のセンサー依存性ノイズモデルの1つ以上のパラメーター値と異なる、請求項１記載の画像化方法。
該第1および第2のセンサー依存性ノイズモデルのそれぞれが、ガウス確率分布機能(Gaussian probability distribution function)を含み、第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上のパラメーター値を決定することが、
該第1のセンサー依存性ノイズモデルのガウス確率分布機能の1つ以上のパラメーター値として、該第1のセンサー素子により生成されるノイズのオフセット、該第1のセンサー素子により生成されるノイズの分散、および/または該第1のセンサー素子の利得(gain)を決定すること；ならびに
該第2のセンサー依存性ノイズモデルのガウス確率分布機能の1つ以上のパラメーター値として、該第2のセンサー素子により生成されるノイズのオフセット、該第2のセンサー素子により生成されるノイズの分散および/または第2のセンサー素子の利得を決定することを含む、
請求項１８記載の画像化方法。
1つ以上の処理回路；および
プロセッサ実行可能な指示を記憶する少なくとも1つのコンピューター読み取り可能記憶媒体を含む、画像化デバイスであって、
該プロセッサ実行可能な指示が、
該1つ以上の処理回路により実行される場合に、該画像化デバイスに、
画像化された領域に対応しかつ少なくとも第1および第2のセンサー素子により取得された画像化データを得る工程；ならびに
該画像化データにパラメーター化されたモデルを適合させる工程、ここで該パラメーター化されたモデルは、該第1のセンサー素子により取得された画像化データの第1の部分における第1のセンサー素子により生成されるノイズの第1のセンサー依存性モデル、および該第2のセンサー素子により取得された画像化データの第2の部分における第2のセンサーにより生成されるノイズの第2のセンサー依存性モデルを含む、
を含む方法を実施させる、
該第1のセンサー依存性ノイズモデルは、少なくとも部分的に該第2のセンサー依存性ノイズモデルとは異なる、
画像化デバイス。
該画像化データにパラメーター化されたモデルを適合させる工程が、統計学的推定を使用して該画像化データにパラメーター化されたモデルを適合させることを含む、請求項２０記載の画像化デバイス。
該方法が、
該第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上の各パラメーターの1つ以上の値を決定する工程；ならびに
該第1および第2のセンサー依存性ノイズモデルのそれぞれの少なくとも1つのパラメーター値を使用して、さらなる処理のために、該画像化データの少なくとも1つの部分集合を特定する工程
をさらに含み、
該統計学的推定を使用して該画像化データにパラメーター化されたモデルを適合させることが、
該パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定すること、および
該1つ以上の各推定値を用いて、該画像化データの少なくとも1つの部分集合と、該1つ以上のパラメーターを有するパラメーター化されたモデルの間の適合の質を特徴づけること
を含む、請求項２１記載の画像化デバイス。
該方法が、該第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上の各パラメーターの1つ以上の値を決定する工程をさらに含み、
該第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値が、少なくとも部分的に該第2のセンサー依存性ノイズモデルの1つ以上のパラメーター値とは異なる、請求項２１記載の画像化デバイス。
該第1および第2のセンサー依存性ノイズモデルのそれぞれが、ガウス確率分布機能を含み、
該第1および第2のセンサー依存性ノイズモデルのそれぞれの1つ以上のパラメーター値を決定する工程が、
該第1のセンサー依存性ノイズモデルのガウス確率分布機能の1つ以上のパラメーター値として、該第1のセンサー素子により生成されるノイズのオフセット、該第1のセンサー素子により生成されるノイズの分散、および/または該第1のセンサー素子の利得を決定すること；ならびに
該第2のセンサー依存性ノイズモデルのガウス確率分布機能の1つ以上のパラメーター値として、該第2のセンサー素子により生成されるノイズのオフセット、該第2のセンサー素子により生成されるノイズの分散、および/または該第2のセンサー素子の利得を決定すること
を含む、請求項２３記載の画像化デバイス。
該方法が、
該第1のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して該第1のセンサーにより取得された画像化データの第1の部分におけるノイズをフィルター処理すること、および
該第2のセンサー依存性ノイズモデルの1つ以上のパラメーター値を使用して該第2のセンサーにより取得された画像化データの第2の部分におけるノイズをフィルター処理すること
をさらに含む、請求項２３記載の画像化デバイス。
該統計学的推定を使用して該画像化データにパラメーター化されたモデルを適合させることが、
該第1のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせて、該第1のセンサーに対応する画像化データの第1の部分におけるセンサー依存性ノイズおよび光子ショットノイズの推定を得ること、ならびに
該第2のセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルを合わせて、該第2のセンサーに対応する画像化データの第2の部分におけるセンサー依存性ノイズおよび光子ショットノイズの推定を得ること
を含み、
該パラメーター依存性光子ショットノイズモデルは、少なくとも部分的に該パラメーター化されたモデルの推定パラメーター値に依存する、請求項２１記載の画像化デバイス。
少なくとも第1および第2のセンサー素子をさらに含む画像化デバイスであって、
該第1および第2のセンサー素子がピクセルを含み、該第1および第2のピクセルのそれぞれが、半導体の感光性領域および該ピクセルからデータを読み出すように形作られた半導体の部分を含む、請求項２０記載の画像化デバイス。
移動型電子デバイスと一体化され、移動型電子デバイスに含まれ、および/または移動型電子デバイス上に配置される、請求項２０記載の画像化デバイス。
1つ以上の処理回路により実行される場合、該処理回路に、
画像化された領域に対応しかつ少なくとも第1および第2のセンサー素子により取得された画像化データを得る工程、ならびに
該画像化データに、パラメーター化されたモデルを適合させる工程
を含む方法を実施させる、プロセッサ実行可能な指示を記憶するコンピューター読み取り可能記憶媒体であって、
該パラメーター化されたモデルは、該第1のセンサー素子により取得された画像化データの第1の部分における該第1のセンサー素子により生成されるノイズの第1のセンサー依存性モデル、および該第2のセンサー素子により取得された画像化データの第2の部分における該第2のセンサー素子により生成されるノイズの第2のセンサー依存性モデルを含み、
該第1のセンサー依存性ノイズモデルは、少なくとも部分的に該第2のセンサー依存性ノイズモデルとは異なる、プロセッサ実行可能な指示を記憶するコンピューター読み取り可能記憶媒体。
画像化された領域に対応しかつ少なくとも1つのセンサー素子により取得された画像化データを得る工程、ならびに
プロセッサを使用して、該画像化データに、パラメーター化されたモデルを適合させる工程
を含む、プロセッサに実行される画像化方法であって、
該画像化データにパラメーター化されたモデルを適合させる工程は、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することを含み、
該少なくとも1つのセンサー依存性ノイズモデルは、該画像化データにおいて少なくとも1つのセンサー素子により生成されるノイズを模倣し(model)、
該パラメーター依存性光子ショットノイズモデルは、パラメーター化されたモデルの少なくとも1つのパラメーターの少なくとも一部に基づく光子ショットノイズを模倣する、
プロセッサに実行される画像化方法。
該少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することが、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルのコンボリューションを分析的に近似することを含む、請求項３０記載の画像化方法。
該少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することが、項

を含む式を使用してピクセルiの値の確率分布P_i(x)を分析的に近似することを含む、請求項３０記載の画像化方法。
該ピクセルiの値がピクセルiのADUカウントを含む、請求項３２記載の画像化方法。
該ピクセルiの値の確率分布が、

(D_iは、ピクセルiの観察される値であり、
u_iは、ピクセルiの予測される光電子の数であり、
g_iは、ピクセルiの増幅利得であり、
o_iは、ピクセルiの読み出しノイズのオフセットであり、
var_iは、ピクセルiの読み出しノイズの分散であり、

である)
により表される、請求項３２記載の画像化方法。
該画像化データにパラメーター化されたモデルを適合させる工程が、統計学的推定を使用して該画像化データにパラメーター化されたモデルを適合させることを含む、請求項３０記載の方法。
統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることが、
パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定すること、および
該1つ以上の各推定値を用いて、該画像化データの少なくとも1つの部分集合と、該1つ以上のパラメーターを有するパラメーター化されたモデルの間の適合の質を特徴づけること
を含む、請求項３５記載の方法。
該パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定することが、少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することを含む、請求項３６記載の方法。
統計学的推定を使用して画像化データにパラメーター化されたモデルを適合させることが、最尤推定(MLE)を使用して、該画像化データにパラメーター化されたモデルを適合させることを含み、
MLEを使用して該画像化データにパラメーター化されたモデルを適合させることが、該少なくとも1つのセンサー依存性ノイズモデルと、該パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することを含み、
該画像化データの少なくとも1つの部分集合と、パラメーター化されたモデルの間の適合の質を特徴づけることが、第1および第2のノイズモデルを使用して、対数尤度比を決定することおよび/またはCramer-Rao下部境界(CRLB)を決定することを含む、
請求項３５記載の画像化方法。
MLEを使用して画像化データにパラメーター化されたモデルを適合させることが、式

(D_iは、ピクセルiの観察されるADUカウントであり、
u_iは、ピクセルiの予測される光電子の数であり、
g_iは、ピクセルiの増幅利得であり、
o_iは、ピクセルiの読み出しノイズのオフセットであり、
var_iは、ピクセルiの読み出しノイズの分散であり、
bgは、ピクセルiの予測されるバックグラウンドADUカウントである)
により1つ以上の各パラメーターθの1つ以上の値を推定することを含み、
該少なくとも1つのセンサー依存性ノイズモデルと、パラメーター依存性光子ショットノイズモデルの組合せを分析的に近似することが、項

を含む式を使用してピクセルiの値の確率分布P(x)を分析的に近似することを含む、請求項３８記載の画像化方法。
該ピクセルiの値の確率分布P(x)が、

により表される、請求項３９記載の画像化方法。
該パラメーター化されたモデルの1つ以上の各パラメーターの1つ以上の値を推定することが1つ以上の各分子および/または粒子の1つ以上の位置を推定することを含む、請求項３６記載の画像化方法。
画像化データおよび1つ以上の各パラメーターの該1つ以上の推定値を使用して、分子局在化、粒子追跡および/または超解像度顕微鏡検査を行うことをさらに含む、請求項４１記載の画像化方法。
少なくとも1つのセンサー素子を使用して画像化データを取得することをさらに含む画像化方法であって、
該少なくとも1つのセンサー素子を使用して画像化データを取得することが、少なくとも1つのピクセルを使用して画像化データを取得することを含み、
該少なくとも1つのピクセルのそれぞれが、半導体の感光性領域、および該少なくとも1つのピクセルからデータを読み出すように形作られた半導体の部分を含む、
請求項３５記載の画像化方法。
該少なくとも1つのピクセルを使用して画像化データを取得することが、少なくとも1つのCMOSピクセルを使用して画像化データを取得することを含む、請求項４３記載の画像化方法。
該少なくとも1つのピクセルを使用して画像化データを取得することが、少なくとも1つのsCMOSピクセルを使用して画像化データを取得することを含む、請求項４３記載の画像化方法。
該画像化データにパラメーター化されたモデルを適合させることが、画像化データにおけるセンサー依存性ノイズおよび光子ショットノイズの推定、および/または画像化データから除去されたセンサー依存性ノイズおよび光子ショットノイズを用いた画像化データの推定を生じる、請求項３０記載の画像化方法。