JP7249326B2 - 単一分子局在化顕微鏡法によって取得された回折限界画像からの高密度超解像度画像の再構築を改善する方法、装置、及びコンピュータプログラム - Google Patents

Description

本発明は、一般に、顕微鏡法及び画像処理の分野に関する。更に詳しくは、本発明は、再構築される画像の品質及び解像度に大きな影響を及ぼすことなしに、高密度超解像度画像を再構築するべく使用される回折限界画像の取得時間を減少させることを可能にする、単一分子局在化顕微鏡によって取得された回折限界画像からの、高密度超解像度画像、即ち、回折限界を超えた解像度を有する画像、の再構築を改善する方法、装置、及びコンピュータプログラムに関する。

解像度の回折限界（約２００～３００ｎｍ）を克服する蛍光顕微鏡法の方法は、分子スケールに近接した分子的特異性を有する生物学的構造の撮像を許容している。超解像度顕微鏡法の方式のうち、ＰＡＬＭ（Ｐｈｏｔｏ－Ａｃｔｉｖａｔｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ）、ＳＴＯＲＭ（ＳＴｏｃｈａｓｔｉｃ Ｏｐｔｉｃａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ）、又はＰＡＩＮＴ（Ｐｏｉｎｔ Ａｃｃｕｍｕｌａｔｉｏｎ ｆｏｒ Ｉｍａｇｉｎｇ ｉｎ Ｎａｎｏｓｃａｌｅ Ｔｏｐｏｇｒａｐｈｙ）などの、単一分子局在化に基づいたものは、その極端な空間解像度及び実装の容易性に起因し、特に魅力的である。

これらの単一分子局在化顕微鏡法（ＳＭＬＭ：Ｓｉｎｇｌｅ Ｍｏｌｅｃｕｌｅ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ）の方法によれば、フルオロフォアの小さなランダムサブセットを多数の連続した回折限界画像として撮像し、演算によって検出し、且つ、高精度で局在化し、且つ、組み合わせられたフルオロフォア局在化を使用することにより、例えば、独立的な局在化の２Ｄヒストグラム（ｘ_i，ｙ_i）として定義された高密度の超解像度画像（又は、高密度画像）を生成している。

実際には、Ｋと表記される、単一高密度超解像度画像の基礎をなす（未加工画像とも呼称される）回折限界画像の数は、通常、１０００～１００００である。この制約は、
－回折限界スポットの間のオーバーラップを回避するための、且つ、個々の分子の正確な局在化を許容するための、ρと表記される、回折限界画像当たりの活性化されたフルオロフォアの小さな数：ρの値は、通常、１０～１００である（この数は、センサのサイズ及び解像度に依存しており、これは、活性化されたフルオロフォアからの回折限界スポットがオーバーラップしない、或いは、まれにしかオーバーラップしない、ように、十分に小さいことを要する）と、
－基礎をなす生物学的構造の十分に高密度のサンプリングを保証するための、Ｎと表記される、多数の独立的なフルオロフォア局在化、即ち、別個のフルオロフォアに対応した局在化（ここで、Ｎ＝Ｋ×ρ）と、
という、高空間解像度を保証するべく同時に充足することを要する２つの条件によるものである。

図１は、一例として、ＳＴＯＲＭ画像処理を取り上げた場合の、回折限界蛍光スポットとして出現する少数の活性フルオロフォアをそれぞれが有する回折限界画像からの高密度超解像度画像の再構築を示している。

図示されているように、１１０と表記されたＳＴＯＲＭ画像処理（高密度超解像度画像１１５は、ＳＴＯＲＭ画像と呼称されうる）、即ち、フルオロフォアの検出、サブピクセル及びサブ回折精度を伴うフルオロフォアの局在化、及び独立的な局在化の２Ｄヒストグラム（ｘ_i，ｙ_i）の表示、に従って、高密度超解像度画像１１５を再構築するべく、時間ｔ₁～ｔ_kにおいて取得されたＫ個の回折限界画像（又は、未加工画像）を有する組１０５の画像１００－１～１００－Ｋが、それぞれ、使用されている。

例示を目的として、未加工の画像当たりの回折限界蛍光スポットとして出現するフルオロフォアの平均数ｎは、ほぼ、１５に等しく、且つ、ＳＴＯＲＭ画像を再構築するべく使用される未加工画像の数Ｋは、８００００に等しいものになりうる。

ＳＭＬＭ画像の取得及び処理については、具体的には、（非特許文献１）において記述されている。ＳＴＯＲＭ画像の取得及び処理については、具体的には、（非特許文献２）において記述されている。

サンプリングに起因した解像度の限界は、１つの早期の研究において、最も近接した独立的局在化の間の平均距離の２倍である、と定義されている。Ｒと表記される所与の解像度を実現するべく、ナイキスト基準は、Ｎ_Nyq（Ｒ）と表記される、フルオロフォア局在化の最小数をもたらしている。但し、最近の再解析及び電子顕微鏡法データとの比較は、実際には、少なくとも５倍だけ多い分子局在化（Ｎ_5×Nyq（Ｒ）＝５×Ｎ_Nyq（Ｒ））が必要とされていると結論付けている。

上述の２つの条件によって示唆されている多数の画像（Ｋ＝ｎ／ρ）は、単一分子局在化顕微鏡法を本質的に非効率且つ低速なものとし、これにより、研究対象視野の多くの視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）の撮像を要する高スループット撮像における、且つ、生細胞動力学の撮像における、その潜在性が制限されている。この結果、大部分の単一分子局在化顕微鏡法の研究は、少数（通常は、１０個未満）の細胞の分析と、取得時間との比較において低速で運動する物体の生細胞撮像と、に制限されている。

局在化顕微鏡法を加速化させるべく、複数の方式が探求されている。

高速スイッチング動力学を有する明るい色素、ハイパワーレーザー、及び高速カメラの使用は、信号対ノイズ比の喪失を伴わない、露光時間の極小化を可能にしているが、サブミリ秒露光への到達が課題として残っており、且つ、強烈な照射は、生細胞撮像における光毒性及び光ブリーチングを悪化させ、これにより、観察期間が低減される。

別の方式は、画像当たりの回折限界蛍光スポットとして出現する活性フルオロフォアの数ρを増大させ、これにより、独立的なフルオロフォア局在化の数Ｎを低減することなしに画像の数Ｋを低減する、且つ、オーバーラップした蛍光スポットを処理しうる局在化アルゴリズムを適用する、ことを可能にする、というものである。但し、これらのオーバーラップは、必然的に、フルオロフォア局在化の検出精度を損なうことになり、これは、時間解像度のすべての利得が、空間解像度の劣化という犠牲の下に得られることを意味している。

Ｂｅｔｚｉｇ， Ｅ． ｅｔ ａｌ．， "Ｉｍａｇｉｎｇ ｉｎｔｒａｃｅｌｌｕｌａｒ ｆｌｕｏｒｅｓｃｅｎｔ ｐｒｏｔｅｉｎｓ ａｔ ｎａｎｏｍｅｔｅｒ ｒｅｓｏｌｕｔｉｏｎ"， Ｓｃｉｅｎｃｅ （８０－．）， ３１３， １６４２-１６４５ （２００６） Ｒｕｓｔ， Ｍ． Ｊ．， Ｂａｔｅｓ， Ｍ． ＆ Ｚｈｕａｎｇ， Ｘ． "Ｓｕｂ－ｄｉｆｆｒａｃｔｉｏｎ－ｌｉｍｉｔ ｉｍａｇｉｎｇ ｂｙ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｃａｌ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ （ＳＴＯＲＭ）"， Ｎａｔ Ｍｅｔｈｏｄｓ ３， ７９３-７９５ （２００６）

従って、全体的なプロセス時間と、特に、高密度超解像度画像を再構築するべく使用される未加工画像を取得するために必要とされる時間と、を減少させるべく、単一分子局在化顕微鏡法によって取得された未加工画像からの高密度超解像度画像の再構築を改善するというニーズが存在している。

これらの制約及び制限に直面し、本発明者らは、単一分子局在化顕微鏡法によって取得された回折限界画像からの高密度超解像度画像の再構築を改善する方法、装置、及びコンピュータプログラムを提供している。

上述の従来技術の欠点を修正することが、本発明の広い目的である。

本発明の第１の態様によれば、少なくとも１つの低情報コンテンツ画像から少なくとも１つの合成高密度超解像度画像を再構築するコンピュータ方法が提供され、方法は、
－少なくとも１つの低情報コンテンツ画像を取得するステップと、
－少なくとも１つの取得された低情報コンテンツ画像を人工ニューラルネットワークに入力するステップと、
－人工ニューラルネットワークから合成高密度超解像度画像を取得するステップと、
を有し、
この場合に、人工ニューラルネットワークは、高密度超解像度画像と人工ニューラルネットワークの対応する出力を比較するトレーニング目的関数の関数として、単一分子局在化顕微鏡法によって取得された回折限界画像、少なくとも部分的に対応する低解像度広視野画像、及び対応する高密度超解像度画像のシーケンスから取得された低密度局在化画像、のトリプレットを有するトレーニングデータによってトレーニングされている。

具体的には、特許請求されている方法は、格段に小さな数の未加工画像が格段に短い取得期間に結び付く状態において、例えば、高密度超解像度画像とほぼ同一の品質の合成高密度ＳＭＬＭ画像、例えば、標準的アルゴリズムに従って再構築された高密度ＳＭＬＭ画像、例えば、ＳＴＯＲＭ画像処理に従って再構築された高密度ＳＭＬＭ画像、などの、合成高密度超解像度画像の再構築を可能にしている。再構築された低密度局在化画像は、再構築された低密度ＳＭＬＭ画像であってよい。

実施形態によれば、少なくとも１つの低情報コンテンツ画像は、単一分子局在化顕微鏡法画像処理に従って回折限界画像のシーケンスから再構築された低密度局在化画像を有する。

実施形態によれば、方法は、
－回折限界画像のシーケンスを取得するステップと、
－取得された回折限界画像のシーケンスから低密度局在化画像を再構築するステップと、
を更に有する。

実施形態によれば、少なくとも１つの低情報コンテンツ画像は、低解像度広視野画像を有する。

実施形態によれば、低解像度広視野画像は、低密度局在化画像を再構築するべく使用される回折限界画像に、少なくとも部分的に対応している。

実施形態によれば、方法は、エラーマップを演算するステップを更に有し、エラーマップは、エラーが合成高密度超解像度画像内の場所の関数として発生する確率を表している。

実施形態によれば、エラーマップを演算するステップは、合成高密度超解像度画像から低解像度画像を生成するステップを有し、生成された低解像度画像は、人工ニューラルネットワークに入力される低解像度広視野画像と比較されている。

実施形態によれば、低解像度画像を生成するステップは、低解像度エスティメータネットワーク内において実行されている。

実施形態によれば、低解像度エスティメータネットワークは、複数の畳込み層を有する。

実施形態によれば、方法は、低解像度エスティメータネットワークの学習のステップを更に有する。

実施形態によれば、トレーニング目的関数は、人工ニューラルネットワークに入力されるトレーニングデータのサブセットを選択するための少なくとも１つのパラメータを有する。

実施形態によれば、トレーニング目的関数は、ＬＩノーム、Ｌ２ノーム、ダイス係数、並びに、敵対的生成ネットワークタイプの、或いは、条件付き敵対的生成ネットワークタイプの、人工ニューラルネットワークに基づいた目的関数のうちの少なくとも１つを有する。

実施形態によれば、トレーニング目的関数は、条件付き敵対的生成ネットワークタイプの人工ニューラルネットワークに基づいた目的関数のうちの少なくとも１つを有し、且つ、この場合に、人工ニューラルネットワークに入力される低解像度広視野画像は、条件付き敵対的生成ネットワークの条件として使用されている。

実施形態によれば、人工ニューラルネットワークに入力される低解像度広視野画像は、蛍光顕微鏡を介して取得された回折限界画像である。

本発明の第２の態様によれば、単一分子局在化顕微鏡法によって取得された回折限界画像のシーケンスから少なくとも１つの合成高密度超解像度画像を再構築するコンピュータ方法が提供されており、方法は、
－単一分子局在化顕微鏡法によって取得された回折限界画像のシーケンスを取得するステップと、
－単一分子局在化顕微鏡法画像処理に従って、取得された回折限界画像のシーケンスから低密度局在化画像を再構築するステップと、
－再構築された低密度局在化画像を人工ニューラルネットワークに入力するステップと、
－人工ニューラルネットワークから合成高密度超解像度画像を取得するステップと、
を有し、
この場合に、人工ニューラルネットワークは、高密度超解像度画像と人工ニューラルネットワークの対応する出力を比較するトレーニング目的関数の関数として、低密度局在化画像と対応する高密度超解像度画像のペアを有するトレーニングデータにより、トレーニングされている。

具体的には、特許請求されている方法は、格段に小さな数の未加工画像が格段に短い取得期間に結び付く状態における、例えば、高密度超解像度画像とほぼ同一の品質の合成高密度ＳＭＬＭ画像、例えば、標準的アルゴリズムに従って再構築された高密度ＳＭＬＭ画像、例えば、ＳＴＯＲＭ画像処理に従って再構築された高密度ＳＭＬＭ画像、などの、合成高密度超解像度画像の再構築を可能にしている。再構築された低密度局在化画像は、再構築された低密度ＳＭＬＭ画像であってよい。

実施形態によれば、単一分子局在化顕微鏡法は、光活性化局在化顕微鏡法（ＰＡＬＭ：Ｐｈｏｔｏ－Ａｃｔｉｖａｔｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ）、確率的光学再構築顕微鏡法（ＳＴＯＲＭ：Ｓｔｏｃｈａｓｔｉｃ Ｏｐｔｉｃａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ）、或いは、ナノスケール構造の画像観察のための点集積法（ＰＡＩＮＴ：Ｐｏｉｎｔ Ａｃｃｕｍｕｌａｔｉｏｎ ｆｏｒ Ｉｍａｇｉｎｇ ｉｎ Ｎａｎｏｓｃａｌｅ Ｔｏｐｏｇｕｒａｐｈｙ）である。

実施形態によれば、取得された回折限界画像のシーケンスは、３００枚未満の回折限界画像を有し、回折限界画像のそれぞれは、１～１００個のフルオロフォア局在化を有する。

実施形態によれば、人工ニューラルネットワークをトレーニングするべく使用される高密度超解像度画像のうちの少なくとも１つは、単一分子局在化顕微鏡法によって取得された少なくとも３００００枚の回折限界画像のシーケンスから構築されている。

実施形態によれば、取得されたシーケンスの回折限界画像は、研究対象視野の第１視野に対応しており、回折限界画像を取得するステップ、取得された回折限界画像のシーケンスから低密度局在化画像を再構築するステップ、再構築された低密度局在化画像を人工ニューラルネットワークに入力するステップ、及び人工ニューラルネットワークから合成高密度超解像度画像を取得するステップは、研究対象視野の少なくとも１つの第２視野について反復され、第１及び第２視野は、異なっている。

実施形態によれば、第１視野及び第２視野は、研究対象視野内において連続しており、方法は、人工ニューラルネットワークから得られた合成高密度超解像度画像を縫合することにより、結果的に得られる画像を生成するステップを更に有する。

従って、本発明の方法は、多数の視野を有する大きな研究対象視野の超解像度撮像を可能にしており、具体的には、数個の細胞のみを撮像するべく一般的に使用されている時間スケールにおいて数百個の細胞の超解像度撮像を可能にしている。

実施形態によれば、取得されたシーケンスの回折限界画像は、既定の視野に対応しており、回折限界画像のシーケンスを取得するステップ、取得された回折限界画像のシーケンスから低密度局在化画像を再構築するステップ、再構築された低密度局在化画像を人工ニューラルネットワークに入力するステップ、及び人工ニューラルネットワークから合成高密度超解像度画像を取得するステップは、同一の視野について周期的に反復されている。

従って、本発明の方法は、動的な超解像度撮像を促進する高スループット撮像、具体的には、相対的に大きな励起パワーを必要とする、或いは、更なる光毒性及び光ブリーチングの問題を有する、ことなしに、生細胞内の動的な超解像度撮像、を可能にしており、これにより、過剰な光損傷を伴うことなしに、相対的に高速且つ長期の生細胞超解像度撮像を許容している。

実施形態によれば、人工ニューラルネットワークは、エンコーダネットワークと、デコーダネットワークと、を有し、エンコーダネットワークは、複数の畳込み層と、複数のダウンサンプリング層と、を有し、且つ、デコーダネットワークは、複数の逆畳込み層と、複数のアップサンプリング層と、を有する。人工ニューラルネットワークは、Ｕネットタイプのものであってよい。

実施形態によれば、方法は、人工ニューラルネットワークをトレーニングするステップを更に有する。

実施形態によれば、方法は、人工ニューラルネットワークをトレーニングするべく、低密度局在化画像及び対応する高密度超解像度画像をペア化するステップを更に有する。この低密度局在化画像及び対応する高密度超解像度画像をペア化するステップは、
－単一分子局在化顕微鏡法によって取得された回折限界画像のトレーニングシーケンスを取得するステップと、
－単一分子局在化顕微鏡法画像処理に従って、取得された回折限界画像のトレーニングシーケンスの第１サブセットから複数の低密度局在化画像を再構築するステップと、
－単一分子局在化顕微鏡法画像処理に従って、取得された回折限界画像のトレーニングシーケンスの第２サブセットから複数の高密度超解像度画像を再構築するステップであって、第２サブセットのそれぞれは、第１サブセットのそれぞれよりも多くの回折限界画像を有する、ステップと、
を有しうる。

実施形態によれば、低密度局在化画像及び対応する高密度超解像度画像をペア化するステップは、
－シミュレーション条件を初期化するステップと、
－シミュレーション条件の変化をシミュレーションするステップと、
－シミュレーションステップの結果から高密度超解像度画像を構築するステップと、
－構築された高密度画像から複数の低密度局在化画像を構築するステップと、
を有する。

従って、本発明の方法は、再構築された合成高密度超解像度画像の品質の検証を可能にしている。

実施形態によれば、方法は、複数の低密度局在化画像のうちの少なくとも１つの低密度局在化画像を変換することにより、更なる低密度局在化画像を構築するステップを更に有する。少なくとも１つの低密度局在化画像を変換するステップは、少なくとも１つの低密度局在化画像にノイズを追加するステップ、少なくとも１つの低密度局在化画像を回転させるステップ、少なくとも１つの低密度局在化画像をクロッピングするステップ、少なくとも１つの低密度局在化画像を変更するステップ、少なくとも１つの低密度局在化画像の強度スケールを変更するステップ、少なくとも１つの低密度局在化画像を剪断するステップ、及び／又は、弾性変形を少なくとも１つの低密度局在化画像に適用するステップを有しうる。この結果、人工ニューラルネットワークをトレーニングするべく使用される画像の数及び可変性の増大が可能となる。

実施形態によれば、トレーニング目的関数は、Ｌ１ノーム、Ｌ２ノーム、ダイス係数、及び敵対的生成ネットワークタイプ又は条件付き敵対的生成ネットワークタイプの人工ニューラルネットワークに基づいた目的関数のうちの少なくとも１つを有する。

本発明の第３の態様によれば、上述の方法のそれぞれのステップを実行するべく構成された手段を有する装置が提供されている。本発明の第３の態様は、上述の第１及び／又は第２の態様のものに類似した利点を有する。

本発明の一部分は、ソフトウェアにおいて実装されうることから、本発明の一部分は、任意の適切な担持媒体上において、プログラム可能な装置に提供されるコンピュータ可読コードとして実施することができる。有体の担持媒体は、フロッピー（登録商標）ディスク、ＣＤ－ＲＯＭ、ハードディスクドライブ、磁気テープ装置、又は半導体メモリ装置、並びに、これに類似したものなどの、ストレージ媒体を有しうる。一時的な担持媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、或いは、マイクロ波又はＲＦ信号などの、電磁信号などの、信号を含みうる。

一実施形態においては、コンピュータコードは、大きなマトリックスデータの並列処理を許容する、グラフィック処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を活用している。

本特許又は出願ファイルは、色において実行される少なくとも１つの図面を含んでいる。この１つ又は複数のカラー図面を有する特許又は特許出願公開明細書の複写は、要求及び必要な料金の支払の際に、特許商標庁によって提供されることになる。

本発明の更なる利点については、添付図面及び詳細な説明を参照した際に、明らかとなろう。任意の更なる利点が本明細書には内蔵されているものと解釈されたい。

以下、例としてのみ、且つ、以下の添付図面を参照し、本発明の実施形態について説明することとする。

ＳＴＯＲＭ画像処理を例として取り上げた場合の、回折限界蛍光スポットとして出現する少数の活性フルオロフォアをそれぞれが有する回折限界画像（又は、未加工画像）からの高密度超解像度画像の再構築を示す。 トレーニングデータセットを生成するべく、未加工画像の組から低密度ＳＭＬＭ画像及び高密度ＳＭＬＭ画像を再構築する方法の第１実施形態を示す。 Ｌ２ノームの使用に基づいて、単一分子局在化顕微鏡法によって取得された未加工画像から合成高密度ＳＭＬＭ画像を再構築するべく使用される人工ニューラルネットワークをトレーニングするシステムのアーキテクチャの第１例を概略的に示す。 本発明の実施形態に従ってトレーニングされた人工ニューラルネットワークを使用することにより、単一分子局在化顕微鏡法によって取得された未加工画像から合成高密度ＳＭＬＭ画像を再構築するシステムのアーキテクチャの第１例を概略的に示す。 図３及び図４において示されている人工ニューラルネットワークのアーキテクチャの一例を示す。 図３において表されている人工ニューラルネットワークをトレーニングするべく使用される画像を生成するステップの第１例を示しており、この場合に、生成された画像は、実験結果に基づいている。 図３において表されている人工ニューラルネットワークをトレーニングするべく使用される画像を生成するステップの第２例を示しており、この場合に、生成された画像は、シミュレーションに基づいている。 ｃＧＡＮ／Ｌ１損失に基づいて、単一分子局在化顕微鏡法によって取得された未加工画像から合成高密度ＳＭＬＭ画像を再構築するべく使用される人工ニューラルネットワークをトレーニングするシステムのアーキテクチャの第２例を概略的に示す。 図８において示されている人工ニューラルネットワークのトレーニングフェーズにおいて使用されるディスクリミネータネットワークのアーキテクチャの一例を示す。 単一分子局在化顕微鏡法によって取得された未加工画像の一例を示す。 単一分子局在化顕微鏡法によって取得された未加工画像の一例を示す。 ２５０枚の未加工画像からＳＴＯＲＭ画像処理によって再構築された低密度ＳＭＬＭ画像の一例を示す。 図１１ａの画像の一部分のズームを表す。 １４９６８７枚の未加工画像からＳＴＯＲＭ画像処理によって再構築された高密度ＳＭＬＭ画像の一例を示す。 図１２ａの画像の一部分のズームを表す。 図３を参照して記述されているように、使用される人工ニューラルネットワークがトレーニングされた後に、本発明の実施形態に従って再構築された合成高密度ＳＭＬＭ画像の一例を示す。 図１３ａの画像の一部分のズームを表す。 図８を参照して記述されているように、使用される人工ニューラルネットワークがｃＧＡＮ／Ｌ１損失によってトレーニングされた後に、本発明の実施形態ンに従って再構築された合成高密度ＳＭＬＭ画像の一例を示す。 図１４ａの画像の一部分のズームを表す。 Ｌ２及びｃＧＡＮ／Ｌ１損失に応じて、高密度ＳＴＯＲＭ画像によって定義される、ＡＮＮＡ－ＳＴＯＲＭ又はＳＴＯＲＭ画像とグラウンドトルスの間の画像（フレーム）番号又は取得時間の関数として、平均二乗誤差を示す。 図１６ａ～図１６ｄを有し、数百個の細胞を収容する１．８ｍｍ×１．８ｍｍのエリアの高スループット撮像に対する本発明の実施形態の使用を示す。 図１７ａ～図１７ｌを有し、実験的摂動に対する本発明の実施形態の安定性を示す。 図１８ａ～図１８ｆを有し、異なる生物学的構造に対する本発明の実施形態の使用を示す。 本発明の実施形態が少なくとも部分的に実装されうる、処理装置のコンポーネントを示すブロック図である。 単一分子局在化顕微鏡法によって取得された未加工画像から合成高密度ＳＭＬＭ画像を再構築するべく使用される人工ニューラルネットワークをトレーニングするシステムのアーキテクチャの第３例を概略的に示す。 本発明の実施形態に従ってトレーニングされた人工ニューラルネットワークを使用することにより、単一分子局在化顕微鏡法によって取得された未加工画像から、且つ、低解像度広視野画像から、合成高密度ＳＭＬＭ画像を再構築するシステムのアーキテクチャの第２例を概略的に示す。 図２０において示されているジェネレータネットワークのアーキテクチャの一例を示す。 図２０において示されている低解像度エスティメータネットワークのアーキテクチャの一例を示す。 図２０に示されているｃＧＡＮディスクリミネータネットワークのアーキテクチャの一例を示す。 図２０～図２４を参照することによって記述されている、本発明の実施形態の使用の例を示す。 図２０～図２４を参照することによって記述されている、本発明の実施形態の使用の例を示す。 図２０～図２４を参照することによって記述されている、本発明の実施形態の使用の例を示す。 図２０～図２４を参照することによって記述されている、本発明の実施形態の使用の例を示す。

例示を目的として、以下の説明は、全体として、ＳＴＯＲＭ画像処理に基づいている。但し、本発明は、例えば、ＰＡＬＭ画像処理及びＰＡＩＮＴ撮像などの、単一分子局在化顕微鏡法（ＳＭＬＭ）によって取得された回折限界画像（未加工画像とも呼称される）から高密度超解像度画像を再構築するその他の方法にも適用されることを理解されたい。ＰＡＬＭ画像処理、ＳＴＯＲＭ画像処理、及びＰＡＩＮＴ画像処理は、一般に、単一分子局在化顕微鏡法撮像と呼称されている。

実施形態によれば、合計数Ｎの独立的なフルオロフォア局在化が、未加工画像当たりの回折限界蛍光スポットとして出現する活性化されたフルオロフォアの数ρを増大させることなしに、低減され、これにより、標準的な単一分子局在化顕微鏡法画像処理方法との比較において、取得される未加工画像の合計数（Ｋ＝Ｎ／ρ）が低減される。

実際に、大部分の生物学的画像の構造的冗長性を活用することにより、大幅にアンダーサンプリングされた局在化顕微鏡法データから高品質高密度超解像度画像を構築することが可能であることが観察された。

実施形態によれば、数値的入力及び出力の間の複雑な非線形マッピングを学習し、且つ、これにより、単一分子局在化顕微鏡法によって取得された未加工画像から、合成高密度超解像度画像（ＡＮＮＡ－ＳＭＬＭ画像（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ａｃｃｅｌｅｒａｔｅｄ ＳＭＬＭ ｉｍａｇｅ）、合成高密度ＳＭＬＭ画像、合成高密度画像、合成画像、或いは、対応する未加工画像がＳＴＯＲＭによって取得されている際には、ＡＮＮＡ－ＳＴＯＲＭ画像、とも呼称される）を構築するべく、人工ニューラルネットワーク（ＡＮＮ：Ａｉｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用する機械学習の一部門である深層学習が使用されている。

本発明は、局在化の平均密度ρを変更することなしに、格段に少数ｋの未加工画像（ｋ＜＜Ｋ）から、即ち、格段に少数のフルオロフォア局在化から（ｎ＝ρ×ｋ＜＜ρ×Ｋ＝Ｎ）、（Ｋ枚の画像及びＮ個のフルオロフォア局在化を有する）標準的な高密度超分解画像（又は、高密度ＳＭＬＭ画像）とほぼ類似した情報コンテンツの合成高密度ＳＭＬＭ画像を再構築することを可能にしている。

例えば、ＳＭＬＭ又は広視野顕微鏡法によって取得される所与の画像から得られた情報コンテンツは、相互情報量（ＭＩ：Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）によって定量化することができる。ＭＩは、生物学的構造の画像と実験における観察画像、という２つのランダム変数の間の相互依存性を計測している。例えば、ＳＭＬＭ画像を構築するべく、多くの未加工画像のフレームが使用されるほど、ＭＩ値が大きくなり、且つ、ＳＭＬＭ画像内において収容される基礎をなす生物学的構造に関する情報が大きくなる。これに基づいて、以下において定義されている「低密度局在化画像」又は「低解像度広視野画像」は、「低情報コンテンツ画像」として見なされている一方で、「高密度超解像度画像」及び「合成高密度超解像度画像」は、「高情報コンテンツ画像」として見なされている。

図２は、トレーニングデータセット（又は、トレーニングデータサブセット）を生成するべく、未加工画像の組から低密度ＳＭＬＭ画像（低密度画像と呼称される）及び高密度ＳＭＬＭ画像を再構築する方法の第１実施形態を示している。

図示されているように、ＳＭＬＭ（Ｋ_i）として一般的に表記されている高密度ＳＭＬＭ画像の組２０５が、例えば、確率的光学再構築顕微鏡法画像処理によるなどの、単一分子局在化顕微鏡法によって取得された未加工画像の組２００から、再構築されている。高密度ＳＭＬＭ画像の組２０５は、１～数十枚の高密度画像を有しうる。それぞれの高密度ＳＭＬＭは、例えば、ＳＴＯＲＭ画像処理などの、標準的な方法に従ってＫ枚の未加工画像の組から構築されており、値Ｋは、既定されているか、或いは、動的に判定されている。値Ｋは、通常、数千枚の未加工画像～数十万枚の未加工画像である。

未加工画像の組２００は、有利には、異なる高密度ＳＭＬＭ画像が再構築されうるように、Ｋ超枚の未加工画像を有する。或いは、この代わりに、１つの高密度ＳＭＬＭ画像を再構築するべく、組２００の未加工画像のすべてが使用される。

図６及び図７を参照して後述するように、トレーニングデータセットを生成するべく、未加工画像のいくつかの組を使用することができる。

同様に、ＳＭＬＭ（ｋ_j）として一般的に表記されている低密度ＳＭＬＭ画像の組２１０が、単一分子局在化顕微鏡法によって取得された未加工データの組２００から再構築されている。低密度ＳＭＬＭ画像の組２１０は、例えば、２００００などの、数百～数万枚の画像を有しうる。それぞれの低密度ＳＭＬＭ画像は、例えば、ＳＴＯＲＭ画像処理などの、標準的な方法に従って、ｋ枚（ｋは、Ｋとの比較において非常に小さく（ｋ＜＜Ｋ）、例えば、１００分の１である）の未加工画像の組から再構築されており、値ｋは、既定されているか、或いは、動的に定義されている。低密度ＳＭＬＭ画像を再構築するべく使用される方法は、好ましくは、高密度ＳＭＬＭ画像のそれぞれを再構築するべく使用されているものと同一である。値ｋは、通常、数十枚の未加工画像～数百枚の未加工画像である。

上述のように、ＳＴＯＲＭ画像処理は、例えば、全体として、
－未加工画像のピクセルレベルにおける蛍光スポットの数及び概略場所を判定する検出ステップであって、通常、未加工画像のなんらかの種類のスムージングされたバージョンの閾値化と、接続されたコンポーネントの識別と、により、実行されているステップと、
－サブピクセル及びサブ回折精度を有する、相対的に正確にそれぞれのフルオロフォアの位置を演算する局在化ステップであって、しばしば、例えば、最大尤度推定（ＭＬＥ：Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｅｓｔｉｍａｔｉｏｎ）を使用することにより、画像に対する点広がり関数のモデルのフィッティングにより、実行されているステップと、
－以前の２つのステップの結果として得られた座標（ｘ，ｙ）のリストから高密度ＳＴＯＲＭ画像を再構築するレンダリングステップであって、通常、このレンダリングは、予測される解像度（通常は、１０ｎｍ又は２０ｎｍのようなもの）よりも小さいビン（ピクセル）のグリッドを使用することにより、局在化の２Ｄヒストグラムを表示することにより、実行される、ステップと、
に基づいたものであってよい。

これは、低密度ＳＭＬＭ画像及び高密度ＳＭＬＭ画像の両方の再構築のために使用することができる。

実施形態によれば、それぞれの低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ_j）は、トレーニングデータ｛（ＳＭＬＭ（ｋ_j），ＳＭＬＭ（ｋ_i）｝を生成するべく、未加工画像の組ごとに、それぞれの高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ_i）とペア化されている。

図３は、Ｌ２ノームの使用に基づいて、単一分子局在化顕微鏡法によって取得された未加工画像から合成高密度ＳＭＬＭ画像を再構築するべく使用される人工ニューラルネットワークをトレーニングするシステムのアーキテクチャの第１例を概略的に示している。

図示されているように、人工ニューラルネットワーク３００をトレーニングするべく、例えば、図２、図６、又は図７を参照して記述されている方法に従って、判定された低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ）及び高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ）が使用されている。

低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ）は、ＡＮＮＡ－ＳＭＬＭと表記されている合成高密度ＳＭＬＭ画像を出力するジェネレータネットワークとして見なされうる人工ニューラルネットワーク３００の入力として使用されている一方で、望ましい出力に対応する高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ）は、実際の出力が望ましい出力とどれだけ良好にマッチングしているかを計測する損失エラーを反復的に極小化するべく、例えば、確率的勾配降下法アルゴリズムを使用することにより、相応してそのパラメータ（通常は、重み及びバイアス）を適合させるべく、人工ニューラルネットワーク３００の出力と比較されている。このような人工ニューラルネットワーク３００のパラメータを適合させるステップは、学習又はトレーニングフェーズと呼称されている。

実施形態によれば、データのトレーニングセットのそれぞれのペアは、トレーニングフェーズにおいて、少なくとも１回だけ、使用されている。

例えば、ＳＭＬＭ（ｋ_i）が人工ニューラルネットワーク３００に入力された後に、人工ニューラルネットワーク３００のパラメータを補正するために使用されるエラーを演算するべく、ＡＮＮＡ－ＳＭＬＭ（ｋ_i）（略して、Ａｋ_i）と表記された結果が、対応する望ましいＳＭＬＭ（Ｋ_i）（略して、Ｓｋ_i）と比較されている。

人工ニューラルネットワーク３００の出力と、対応する望ましい出力の間のエラーは、モジュール３０５において演算されている。図３に示されている実施形態によれば、人工ニューラルネットワーク３００のパラメータは、取得された結果（Ａｋ_i）と、対応する望ましい結果（Ｓｋ_i）の間の平均二乗誤差（Ｌ２ノーム）を計測するＬ２損失に従って、調節されている。

図５を参照して後述するように、人工ニューラルネットワーク３００は、例えば、１６個の畳込み層と、約５千５百万個のパラメータと、を含むＵネットなどの、Ｕネットタイプものであってよい。Ｕネットは、全体として、「アップサンプリング」（デコーダ）ネットワークに接続された「ダウンサンプリング」（エンコーダ）ネットワークから構成された畳込み型ニューラルネットワークの特別なタイプであり、これは、等しいサイズのエンコーダ及びデコーダ特徴マップの間の層スキップ接続を含む。層スキップ接続は、例えば、セグメント化又は修復などの、画像回復のような、局所的情報の保存を必要とするタスクにおける、正確な、ピクセルワイズな、マッピングを可能にしている。

Ｕネットタイプの人工ニューラルネットワークは、例えば、「“Ｕ－ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ”， Ｒｏｎｎｅｂｅｒｇｅｒ， Ｏ．， Ｆｉｓｃｈｅｒ， Ｐ． ＆ Ｂｒｏｘ， Ｔ．， Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ - ＭＩＣＣＡＩ ２０１５． Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ９３５１， ２３４-２４１ （Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ， ２０１５）」という名称の文献において記述されている。

図４は、本発明の実施形態に従ってトレーニングされた人工ニューラルネットワークを使用することにより、単一分子局在化顕微鏡法によって取得された未加工画像から合成高密度ＳＭＬＭ画像を再構築するシステムのアーキテクチャの第１例を概略的に示している。

図示されているように、低密度ＳＭＬＭ画像ＳＭＬＭ’（ｋ）は、単一分子局在化顕微鏡法によって取得された、未加工画像’１～未加工画像’ｋと表記された、ｋ個の未加工画像の組から取得されている。これは、ＡＮＮＡ－ＳＭＬＭ’（ｋ）と表記された対応する合成高密度ＳＭＬＭ画像を出力する人工ニューラルネットワーク３００への入力として使用されている。

上述のように、低密度ＳＭＬＭ画像ＳＭＬＭ’（ｋ）は、好ましくは、例えば、ＳＴＯＲＭ画像処理などの、トレーニングデータセットを生成するために低密度ＳＭＬＭ画像を取得するべく使用されているものと同一の画像処理方法に従って、未加工画像の組から取得されている。

図５は、図３及び図４に示されている人工ニューラルネットワークのアーキテクチャの一例を示している。

この例によれば、人工ニューラルネットワーク３００は、スキップ接続を伴って、エンコーダネットワークと、デコーダネットワークと、を有する。これは、１６個の畳込み層と、５４４０８８３２個のパラメータと、を有するＵネットである。その入力及び出力は、（２５６ｍ）×（２５６ｍ）個のピクセルを含む画像パッチであり、この場合に、ｍは、整数である。入力は、例えば、低密度ＳＴＯＲＭ画像などの、（低密度ＳＭＬＭと表記された）低密度ＳＭＬＭ画像であり、且つ、出力は、（ＡＮＮＡ ＳＭＬＭと表記された）同一のサイズの合成高密度ＳＭＬＭ画像である。

エンコーダネットワークは、互いに上下において積層された、（２に設定されたストライドを有する畳込み層の使用の結果として得られる）ダウンサンプリング層と交互に変化している複数の畳込み層を収容しており、その結果、半分のサイズ及び２倍の数の特徴マップをもたらしている。デコーダネットワークは、（この場合にも、２に設定されたストライドを有する転置型畳込み層の使用の結果として得られる）アップサンプリング層と交互に変化している（逆畳込みとも呼称される転置型の畳込みを適用するための）複数の畳込み層を収容しており、これは、結果的に、２倍のサイズ及び半分の数の特徴マップをもたらしている。Ｕネットは、ほぼ対称的であり、且つ、デコーダネットワークの最後の層は、エンコーダネットワークに供給される入力画像と同一サイズの出力画像を生成している。

このような一実施形態によれば、（オリジナルのＵネットとは異なり）、（最大プーリング層の代わりに）２のストライドを有する畳込み層が使用されている。更には、正規化線形ユニット層が、好ましくは、エンコーダ内において、漏れ正規化線形ユニット層によって置換されている。

上述のように、Ｕネットは、エンコーダ及びデコーダ内において、対称的に配置された特徴マップの間の直接的接続を収容している。同一のサイズを有する、これらの特徴マップは、デコーダの対応する層内において連結されている。スキップ層接続は、ネットワークが、局所的なピクセルワイズな情報を連続的な畳込み層を通じて伝播する相対的に大きなコンテキスト情報と組み合わせることを許容している。

図５の例において示されているように、エンコーダ５００は、８つの畳込み層を有し、これらの層のそれぞれは、Ｃｏｎｖ（ａ，ｂ，ｃ，ｄ）と表記された、２Ｄ畳込みを実行しており、この場合に
－ａは、入力特徴マップ数であり、例えば、値１は、入力が１つのチャネル上の既定の数のビットにおいてエンコーディングされることを通知することができ、
－ｂは、出力特徴マップ数であり、例えば、値６４は、出力が、６４個のチャネル上の既定数のビットにおいてエンコーディングされることを通知することができ、
－ｃは、カーネルサイズに対応しており、例えば、値４は、４×４の畳込みカーネルが使用されることを通知することができる。畳込みカーネルは、学習フェーズにおいて調節されており、且つ、
－ｄは、畳込みカーネルのストライド又は移動ステップを定義しており、例えば、値２は、出力サイズを半分に低減している。

第２～第８層は、ＬＲｅＬＵと表記された漏れ正規化線形ユニットを有しており、これは、以下の活性化関数を以前の層の出力に適用しており、

ここで、例えば、

である。

図示されているように、ＢＮと表記されたバッチ正規化は、好ましくは、データを正規化するべく、第２～第８層のそれぞれごとに、畳込みの出力に対して適用される。

同様に、デコーダ５０５は、８個の畳込み層を有し、これらの層のそれぞれは、ＴＣｏｎｖ（ａ，ｂ，ｃ，ｄ）と表記された、２Ｄ逆畳込み又は転置型の畳込みを実行しており、この場合に、ａ、ｂ、ｃ、及びｄの意味は、エンコーダの畳込み層を参照して記述されている畳込みのものと同一である。

図示されているように、逆畳込みユニットのそれぞれにおいて処理されるデータは、以下の関数を適用するべく、ＲｅＬＵと表記された正規化線形ユニット内において予め処理されている。

デコーダ５０５の第１層に関連して、正規化線形ユニットの入力は、エンコーダの最後の層の出力に対応している。デコーダ５０５のその他の層との関連において、正規化線形ユニットの入力は、Ｃａｔと表記された連結ユニット内のエンコーダの対称的な層の出力（図５において示されている、エンコーダの最後から２番目の層の出力と連結されているデコーダの第１の層の出力、エンコーダの最後から３番目の層の出力と連結されているデコーダの第２の層の出力、など）と連結されたデコーダの以前の層の出力に対応している。

バッチ正規化（ＢＮ：Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）が、好ましくは、データを正規化するべく、最後の層のものを除いて、逆畳込みユニットのそれぞれのものの出力に適用されており、且つ、例えば、例えば、０．５、に等しい、ドロップアウト確率を有する（ドロップアウトと表記された）ドロップアウト層が、ネットワークが、オーバーフィットする、且つ、新しいデータに対するその性能を改善する、ことを防止するべく、デコーダの第２、第３、及び第４層のバッチ正規化の出力において使用されている。

最後の層の逆畳込みユニットの出力は、Ｕネットの出力を取得するべく、Ｔａｎｈと表記された双曲線正接ユニットに進入している。

図３に示されている例によれば、人工ニューラルネットワーク３００のトレーニングは、取得された結果と、対応する望ましい結果の間の平均二乗誤差に基づいている。

付与された式におけるわかりやすさを目的として、低密度ＳＭＬＭ入力画像は、Ｓと表記され、対応する高密度ＳＭＬＭ画像（例えば、高密度ＳＴＯＲＭ画像）、即ち、人工ニューラルネットワーク３００の望ましい出力（又は、ターゲット）は、Ｔと表記され、且つ、人工ニューラルネットワーク３００の実際の出力、即ち、合成高密度ＳＭＬＭ画像は、Ａ＝Ｆ（Ｓ）と表記され、この場合に、Ｆは、人工ニューラルネットワーク３００を表記している。従って、画像Ｓ、Ｔ、及びＡは、それぞれ、ＳＭＬＭ（ｋ）、ＳＭＬＭ（Ｋ）、及びＡＮＮＡ－ＳＭＬＭ（ｋ）に対応している。

人工ニューラルネットワークをトレーニングするべくしばしば使用される、取得された結果と、対応する望ましい結果の間の平均二乗誤差（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）の使用は、ネットワーク出力とターゲットの間のＭＳＥを罰しており、

ここで、

は、期待値を表記し、

は、トレーニングデータセットからの低密度及び超解像度画像のペアの結合確率密度であり、且つ、

は、Ｌ２ノーム、即ち、画像Ａ及びＴの間の二乗平均平方根誤差であり、以下のとおりである。

人工ニューラルネットワーク３００は、この損失関数を極小化するべくトレーニングされている。

実施形態によれば、人工ニューラルネットワーク３００は、例えば、「“Ａ ｍｅｔｈｏｄ ｆｏｒ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｍｉｚａｔｉｏｎ”， Ｋｉｎｇｍａ， Ｄ．Ｐ． ＆ Ｂａ， Ｊ． Ａｄａｍ， ２０１４」という名称の文献において記述されているように、確率的勾配降下法（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）と、８００００～１２００００の範囲の反復（バックプロパゲーション）の数を有する５のミニバッチサイズと、を使用することにより、エンドツーエンドでトレーニングされている。

図６は、図３の人工ニューラルネットワーク３００をトレーニングするべく使用される画像を生成する第１の例を示しており、この場合に、生成された画像は、実験的結果に基づいている。

第１ステップ（ステップ６００）は、インデックスｉ及びｊをゼロに初期化することを目的としている。インデックスｉは、低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ）及び高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ）のペアと関連付けられており、且つ、インデックスｊは、低密度及び高密度ＳＭＬＭ画像を再構築するべく使用される未加工画像の組と関連付けられている。

次いで、ｒ枚の未加工画像の組が取得されており（ステップ６０５）、ｒは、高品質高密度ＳＭＬＭ画像の再構築を可能にするべく、即ち、ｒ≧Ｋ＞＞ｋとなるようなｋ及びＫの選択を可能にするべく、十分大きくなるように選択されている（例えば、ｒは、ＳＴＯＲＭ撮像の場合には、１００００～２０００００から選択されている）。これらの未加工画像は、単一分子局在化顕微鏡法により、或いは、単一分子局在化顕微鏡法によって取得された未加工画像が保存されているメモリから、直接的に取得することができる。

次いで、ｒ枚の未加工画像の組から、ｋ枚の未加工画像が選択されており、ｋ枚の未加工画像は、好ましくは、連続的な未加工画像であり（ステップ６１０）、且つ、例えば、ＳＴＯＲＭ画像処理に従って、低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ_i）が、ｋ個の選択された未加工画像から再構築されている（ステップ６１５）。

並行して、同時に、或いは、その他の方式により、ｒ枚の未加工画像の組から、Ｋ枚の未加工画像が選択され、Ｋ枚の未加工画像は、好ましくは、連続的な未加工画像であり（ステップ６２０）、且つ、例えば、ＳＴＯＲＭ画像処理に従って、Ｋ個の選択された未加工画像から高密度のＳＭＬＭ画像ＳＭＬＭ（Ｋ_i）が再構築されている（ステップ６２５）。

次いで、再構築された低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ_i）及び高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ_i）から、ペアが形成され、且つ、好ましくは、この形成されたペアから、いくつかのペアが生成されている（ステップ６３０）。例示を目的として、これは、人工ニューラルネットワーク３００をトレーニングするために使用される画像の数及び可変性を増大させるべく、（０°～３６０°の同一のランダムな角度だけ）ペアのそれぞれの画像にランダム回転を適用することにより、（例えば、５１２×５１２個のピクセルの）ランダムなクロッピングにより、ランダムノイズを追加することにより、強度スケールを変更する（剪断又は弾性変形などのその他の変換のタイプが使用されうる）などにより、実行することができる。換言すれば、トレーニングデータセットを改善するべく、画像変換の組が、形成されたペアのそれぞれの画像に対して適用されている。

次いで、形成されたペア及び生成されたペアが、トレーニングデータセットに追加されている（ステップ６３５）。

以下のステップにおいては、ｉが、１だけ、増分され（ステップ６４０）、且つ、インデックスｉが、ｍａｘ_iと表記された、既定の閾値に到達したかどうかを判定するべく、試験が実行されている（ステップ６４５）。

ステップ６１０～６４０は、更なるペア（ＳＭＬＭ（ｋ_i）；ＳＭＬＭ（Ｋ_i））を生成するべく、インデックスｉが、この既定の閾値に到達する時点まで、反復される。ここでは、未加工画像の数ｒは、好ましくは、未加工の画像の数Ｋが変化するように、高密度ＳＭＬＭ画像を再構築するべく選択される未加工画像の数Ｋを上回っていることに留意されたい。

或いは、この代わりに、同一の未加工画像の組から形成されたすべての再構築された低密度ＳＭＬＭ画像について、１つの高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ_j）のみが再構築されるように、インデックスｉが、この既定の閾値に到達する時点まで、ステップ６１０、６１５、６３０、６３５、及び６４０のみが反復される。

次いで、インデックスｊが、１だけ、増分されており（ステップ６５０）、且つ、インデックスｊが、ｍａｘ_jと表記された、既定の閾値に到達したかどうかを判定するべく、試験が実行されている（ステップ６５５）。

インデックスｊが既定の閾値ｍａｘ_jに到達していない場合には、インデックスｉは、ゼロにリセットされ（ステップ６６０）、新しいｒ枚の未加工画像の組が取得され（ステップ６０５）、且つ、ステップ６１０～６４５が反復される。

例示を目的として、インデックスｉの最大値は、２００に等しくてもよく、インデックスｊの最大値は、６に等しくてもよく、且つ、形成されたペアに適用される画像変換の数（ステップ６３０）は、１００に等しくてもよい。

一代替肢として、低密度ＳＭＬＭ画像は、例えば、ポアソンノイズ及びその他のノイズのソースから得られたノイズを適用することにより、高密度ＳＭＬＭ画像から直接的に導出することができる。

図７は、図３の人工ニューラルネットワーク３００をトレーニングするべく使用される画像を生成するステップの第２例を示しており、この場合に、生成された画像は、シミュレーションに基づいている。

インデックスｉが低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ）と関連付けられ、且つ、インデックスｊが高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ）と関連付けられた状態において、インデックスｉ及びｊをゼロに初期化した後に（ステップ７００）、シミュレーション条件が初期化されている（ステップ７０５）。例示を目的として、このようなシミュレーション条件を初期化するステップは、複数のポリマー鎖をランダムウォークとして初期化するステップを有しうる。

次いで、既定の法則に従ってシミュレーション条件の変化をシミュレートすることにより、シミュレーションが実行されている（ステップ７１０）。依然として、例示を目的として、シミュレーションは、複数のポリマー鎖の確率的な時間的変化をシミュレーションするべく使用される、ランジュバン動力学シミュレーションを対象としたものであってよい。

次いで、シミュレーションの結果が、例えば、ＳＴＯＲＭ画像などの、ＳＭＬＭ画像（ステップ７１５）内の局在化イベントの確率密度を好ましくは定義する高密度ＳＭＬＭ画像に変換されている。この画像は、上述の高密度画像ＳＭＬＭ（Ｋ）であるものと見なされる。このような変換は、例えば、（特に、それが、ゼロの太さの曲線を有する場合には）シミュレーションの結果をガウスカーネルと畳み込むことにより、実行することができる。

次いで、以前のステップ（ステップ７２０）において得られた画像から、上述の低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ）に匹敵する低密度ＳＭＬＭ画像を導出することができる。これは、例えば、ポアソンノイズ及び更なるバックグラウンドノイズを適用することにより、実行することができる。このステップは、望ましい数の低密度画像を取得するべく、即ち、インデックスｊがｍａｘ_jと表記された既定の閾値に到達する時点まで、反復される（ステップ７２５及び７３０）。同様に、ステップ７０５～７３０も、必要とされる数の高密度ＳＭＬＭ画像を取得するべく、且つ、対応する低密度画像を取得するべく、即ち、インデックスｉが、ｍａｘ_iと表記されている既定の閾値に到達する時点で、反復される。

低密度ＳＭＬＭ画像及び高密度ＳＭＬＭ画像を取得した後に、低密度ＳＭＬＭ画像及び高密度ＳＭＬＭ画像のペアのリストが構築されている（ステップ７４５）。実施形態によれば、それぞれの低密度ＳＭＬＭ画像は、ペアを形成するべく、それぞれの高密度ＳＭＬＭ画像と関連付けられている。

依然として、特定の実施形態によれば、トレーニングデータセット及びデータの可変性を増大させるべく、画像変換が低密度ＳＭＬＭ画像及び高密度ＳＭＬＭ画像のペアに適用されている。この場合にも、これは、例えば、ランダム回転を適用することにより、ランダムクロッピングにより、ランダムノイズを追加することにより、強度スケールを変更するなどにより、実行することができる。

図８は、ｃＧＡＮ／Ｌ１損失に基づいて、単一分子局在化顕微鏡法によって取得された未加工画像から合成高密度ＳＭＬＭ画像を再構築するべく使用される人工ニューラルネットワークをトレーニングするシステムのアーキテクチャの第２例を概略的に示している。

図３及び図８に示されているアーキテクチャの間の主要な相違点は、人工ニューラルネットワーク３００をトレーニングするべく使用される目的関数にある。

図８において示されている実施形態によれば、人工ニューラルネットワーク３００のパラメータは、８００と表記された、敵対的ジェネレータ及びディスクリミネータ損失を、取得された結果と、対応する望ましい結果の間のＬ１ノームの重み付けされた合計と組み合わせる、ｃＧＡＮ損失の関数として調節されている。

敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）及び条件付き敵対的ネットワーク（ｃＧＡＮ）は、例えば、「“Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ”， Ｇｏｏｄｆｅｌｌｏｗ， Ｉ． ｅｔ ａｌ．， ２６７２-２６８０ （２０１４） ａｎｄ “Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ”， Ｉｓｏｌａ， Ｐ．， Ｚｈｕ， Ｊ．－Ｙ．， Ｚｈｏｕ， Ｔ． ＆ Ｅｆｒｏｓ， Ａ． Ａ．． （２０１６）」という名称を有する文献において記述された既知の人工ニューラルネットワークである。

ｃＧＡＮ損失に関する演算は、観察された例の組に基づいて実際の画像分散から新しいサンプルを生成するべく学習しうる敵対的生成ネットワーク（ＧＡＮ）に基づている。ディスクリミネータネットワーク８０５は、入力として、低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ）（略して、Ｓｋ）及び対応する実際の又は合成の高密度ＳＭＬＭ画像、即ち、高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ）（略して、ＳＫ）、或いは、人工ニューラルネットワーク３００の出力ＡＮＮＡ－ＳＭＬＭ（ｋ）（略して、Ａｋ）、を取得し、且つ、画像（ＳＭＬＭ（Ｋ）又はＡＮＮＡ－ＳＭＬＭ（ｋ））が、実際のものである、又は合成のものである、確率を出力している。

ここでは、ジェネレータネットワークとして見なされている、人工ニューラルネットワーク３００と、ディスクリミネータネットワーク８０５と、は、同時にトレーニングされており、この場合に、ディスクリミネータは、合成データから実際のものを弁別するべく試み、且つ、ジェネレータは、ディスクリミネータを騙すべく試みる。

図９は、図８の人工ニューラルネットワーク３００のトレーニングフェーズにおいて使用されるディスクリミネータネットワーク８０５のアーキテクチャの一例を示している。

ディスクリミネータネットワークの入力は、画像のペアである。第１入力画像は、実験的なフルオロフォア局在化データに、或いは、図６及び図７を参照して記述されているシミュレーションデータに、由来する低密度ＳＭＬＭ画像である。第２画像は、（第１入力画像を入力として使用した）人工ニューラルネットワーク３００の出力、或いは、例えば、ＳＴＯＲＭ画像処理などの、ＳＭＬＭ画像処理から得られた、或いは、シミュレーションから得られた、高密度ＳＭＬＭ画像である。ディスクリミネータネットワークの出力は、そのピクセルが入力画像の画像パッチに対応している、小さな画像である。ピクセル値は、パッチが、ＳＭＬＭ撮像から得られた、或いは、シミュレーションから得られた、高密度ＳＭＬＭ画像に対応しているとディスクリミネータネットワークが考えた際には、大きく、且つ、パッチが人工ニューラルネットワーク３００によって生成された画像に対応するとディスクリミネータネットワークが考えた際には、小さい。

実施形態によれば、ディスクリミネータネットワーク８０５は、５個の畳込み層と、２７６４５４４個のパラメータと、を有する。その入力は、２つの（２５６ｍ）×（２５６ｍ）個のピクセル画像パッチ（低密度ＳＭＬＭ画像及びそのＡＮＮＡ－ＳＭＬＭ再構築又は対応する高密度ＳＭＬＭ画像）であり、且つ、その出力は、そのピクセル値が、対応する入力パッチが、実際のものであるのか、又は生成されたものであるのか、を通知する、（３０ｍ）×（３０ｍ）の画像であり、ここで、ｍは、整数である。第２、第３、及び第４の畳込み層には、バッチ正規化が後続している。この場合にも、活性化関数は、以下のように表現されうる、漏れ正規化線形ユニットであり、

ここで、

である。

図９の畳込みユニット、漏れ正規化線形ユニット、及びバッチ正規化ユニットの表記は、図５を参照して記述されているものと類似している。

この場合にも、低密度ＳＭＬＭ入力画像は、Ｓと表記され、対応する高密度ＳＭＬＭ画像（例えば、高密度ＳＴＯＲＭ画像）、即ち、人工ニューラルネットワーク３００の望ましい出力は、Ｔと表記され、且つ、人工ニューラルネットワーク３００の実際の出力は、Ａ＝ｇ（Ｓ）と表記され、ここで、ｇは、ジェネレータ、即ち、人工ニューラルネットワーク３００、を表記するものと見なされたい。この場合にも、画像Ｓ、Ｔ、及びＡは、それぞれ、画像ＳＭＬＭ（ｋ）、ＳＭＬＭ（ｋ）、及びＡＮＮＡ－ＳＭＬＭ（ｋ）に対応している。

図８に示されている実施形態において使用されている目的関数は、敵対的生成ネットワーク（ＧＡＮ）に関する最近の研究から導出されたものである。ＧＡＮにおいては、ジェネレータネットワークｇは、（確率密度ｐ_ｚ（ｚ）から導出された）ランダム入力ベクトルｚをデータ確率密度ｐ_ｄａｔａ（ｘ）の新しいサンプルに変換するべく、学習している。図８に示されている実施形態によれば、データサンプルｘは、高密度ＳＭＬＭ画像Ｔである。ジェネレータネットワークｇは、オリジナルデータサンプルとジェネレータネットワークｇによって生成されたサンプルの間を弁別するべく同時に学習するディスクリミネータネットワークＤとは反対の方式によって機能することにより、学習している。従って、敵対的トレーニングは、

という形態の目的関数を伴って、或いは、等価的に、

という２つの結合された損失関数の同時最適化により、次式のようになるように、ミンマックスゲーム（ｍｉｎｍａｘ ｇａｍｅ）を実行するステップを有する。

条件付きＧＡＮ（ｃＧＡＮ））においては、ジェネレータ及びディスクリミネータネットワークは、ジェネレータが条件付き確率密度ｐ_data（ｘ｜ｃ）を学習するように、以下の目的関数に結び付く、余分な入力ベクトルｃを有することに留意されたい。

図８に示されている実施形態によれば、入力ｃは、低密度ＳＭＬＭ画像Ｓである。ｃＧＡＮの目的の充足に加えて、ターゲット画像に類似した人工ニューラルネットワーク３００出力画像を有することが好ましい。従って、スカラー係数μ＝１００によって重み付けさた状態において、ジェネレータ出力とターゲット画像の間のＬ１ペナルティが追加されている（Ｌ２よりもＬ１が好ましい理由は、Ｌ２が不鮮明化を罰しているからである）。

上述の対数損失は、良好な結果を付与することが証明されている最小二乗損失によって置換することができる。

従って、ジェネレータネットワークｇ（即ち、人工知能ネットワーク３００）のパラメータを調節する最適化問題は、次式として表現することができる。

図１０～図１４は、図３及び図８を参照して記述されている実施形態に従ってトレーニングされた後の、図４に示されているシステムの性能を示している。例示を目的として、システムは、免疫標識を有する微小管の実際の画像に関して試験されている。図１０ａ、図１０ｂ、図１１ａ、図１２ａ、図１３ａ、及び図１４ａは、同一の視野について取得された、未加工画像、低密度ＳＴＯＲＭ画像、高密度ＳＴＯＲＭ画像、及びＡＮＮＡ－ＳＴＯＲＭ画像の例を示している。

依然として例示を目的として、人工ニューラルネッワーク３００のトレーニングは、それぞれが、微小管の６００００枚の未加工画像（１０分のシーケンスを表す）からのＳＴＯＲＭ画像処理から得られた６枚の高密度ＳＭＬＭ画像と、それぞれが、高密度ＳＭＬＭ画像（７．５秒のシーケンスを表す）を取得するべく使用されたものと同一の組のうちから選択された３００枚の未加工画像からのＳＴＯＲＭ画像処理から得られた約２００００枚の低密度ＳＭＬＭ画像と、に基づいている。未加工画像当たりのフルオロフォア局在化の数は、約３～２５で変化している。

図１０ａ及び図１０ｂは、単一分子局在化顕微鏡法によって取得された未加工画像の一例を示している。それぞれの画像は、少数のフルオロフォア局在化を示している。

図１１ａは、２５０（ｋ＝２５０）枚の未加工画像からＳＴＯＲＭ画像処理によって再構築された低密度ＳＭＬＭ画像の一例を示している。図１１ｂは、図１１ａにおいて示されている画像の小さな部分（対象の領域）のズームを表している。

微小管フィラメントは、既に、この低密度ＳＴＯＲＭ画像内において観察されうる一方で、局所的な構造の詳細は、識別が困難であり、これにより、個々のフィラメントの経路を辿る、且つ、フィラメントの交差などの局所的特徴を識別する、ことが困難になっている。この低密度ＳＴＯＲＭ画像は、ナイキスト基準によって計測される最適下限解像度を有する。

図１２ａは、１４９６８７（Ｋ＝１４９６８７）枚の未加工画像からＳＴＯＲＭ画像処理によって再構築された高密度ＳＭＬＭ画像の一例を示している。図１２ｂは、図１２ａに示されている画像の小さな部分（対象の領域）のズームを表している。

観察されうるように、膨大な数の未加工画像から再構築された画像は、フィラメントの詳細の分析を可能にしている。

図１３ａは、人工ニューラルネットワーク３００が、図３を参照して記述されているように、Ｌ２損失目的関数によってトレーニングされた後の、本発明の実施形態に従って再構築された合成高密度ＳＭＬＭ画像（ＡＮＮＡ－ＳＭＬＭ画像）の一例を示している。

表されている画像は、図１１ａに示されているように、２５０（ｋ＝２５０）枚の未加工画像からＳＴＯＲＭ画像処理によって得られた低密度ＳＭＬＭ画像を入力した後の、人工ニューラルネットワーク３００の出力である。

図１３ｂは、図１３ａにおいて示されている画像の小さな部分（対象の領域）のズームを表している。

図１４ａは、人工ニューラルネットワーク３００が、図８を参照して記述されているように、ｃＧＡＮ／Ｌ１損失目的関数によってトレーニングされた後の、本発明の実施形態に従って再構築された合成高密度ＳＭＬＭ画像（ＡＮＮＡ－ＳＭＬＭ）の一例を示している。

表されている画像は、図１１ａにおいて示されている２５０（ｋ＝２５０）枚の未加工画像からＳＴＯＲＭ画像処理によって得られた低密度ＳＭＬＭ画像を入力した後の、人工ニューラルネットワーク３００の出力である。

図１４ｂは、図１４ａにおいて示されている画像の小さな部分（対象の領域）のズームを表している。

図１５は、Ｌ２及びｃＧＡＮ／Ｌ１損失に応じて、Ｋ＝１４９６８７を有する高密度ＳＴＯＲＭ画像によって定義される、合成高密度ＳＴＯＲＭ画像（ＡＮＮ－ＳＴＯＲＭ）又は高密度ＳＴＯＲＭ画像とグラウンドトルスの間の画像（又は、フレーム）の数（ｋ）又は取得時間の関数として、平均二乗誤差（ＭＳＥ）を示している。

１５００と表記されている曲線は、ＳＴＯＲＭと表記されている標準的なＳＴＯＲＭ画像（例えば、図１１ａにおいて表されているＳＴＯＲＭ画像）とグラウンドトルス（例えば、図１２ａにおいて表されている高密度ＳＴＯＲＭ画像）の間の平均二乗誤差を表している。

１５０５と表記された曲線は、ＡＮＮＡ－ＳＴＯＲＭ（Ｌ２）と表記されている、人工ニューラルネットワーク３００をトレーニングするべくＬ２損失を使用しつつ本発明の実施形態に従って得られた合成高密度ＳＭＬＭ画像（ＡＮＮＡ－ＳＭＬＭ）（例えば、図１３ａに表されている合成高密度ＳＭＬＭ画像）とグラウンドトルス（例えば、図１２ａにおいて表されている高密度ＳＴＯＲＭ画像）の間の平均二乗誤差を表している。

１５１０と表記されている曲線は、ＡＮＮＡ－ＳＴＯＲＭ（ｃＧＡＮ）と表記されている、人工ニューラルネットワーク３００をトレーニングするべくｃＧＡＮ／Ｌ１損失を使用しつつ本発明の実施形態に従って得られた合成高密度ＳＭＬＭ画像（ＡＮＮＡ－ＳＭＬＭ）（例えば、図１４ａにおいて表されている合成超解像度画像）とグラウンドトルス（例えば、図１２ａにおいて表されている高密度ＳＴＯＲＭ画像）の間の平均二乗誤差を表している。

図１５から明らかなように、本発明の実施形態は、例えば、格段に短い取得期間に結び付く格段に小さな数の未加工画像から、例えば、ＳＴＯＲＭ画像処理に従って再構築された高密度ＳＭＬＭ画像などの、標準的なアルゴリズムに従って再構築された高密度ＳＭＬＭ画像とほぼ同一の品質の合成高密度ＳＭＬＭ画像を再構築することを可能にしている。図示されているように、ＡＮＮＡ－ＳＴＯＲＭ（ｃＧＡＮ）画像の再構築が必要としうるのは、１６分の１という、少ない未加工画像であり、従って、標準的な高密度ＳＴＯＲＭ画像の再構築よりも、（品質がほぼ同一でありつつも）取得時間が１６分の１に短縮されうる。この画像又は時間の比率は、撮像される構造のタイプ及び画像ノイズ、並びに、再構築エラーメトリックの定義、などの要因に応じて、変化しうる。

人工ニューラルネットワーク３００をトレーニングするための２つの異なる目的関数が記述されているが、その他の目的関数も使用されうることに留意されたい。更には、人工ニューラルネットワーク３００のトレーニングを改善するべく、いくつかの目的関数を相互に組み合わせることもできる。具体的には、上述のように、ｃＧＡＮの使用をＬ１ノームと組み合わせる、且つ、ｃＧＡＮの使用をＬ２ノームと組み合わせる、ことが可能である。

又、その他のタイプ及び／又はその他のアーキテクチャの人工ニューラルネットワークが使用されうることにも留意されたい。

低密度でサンプリングされた、迅速に取得された、単一分子局在化データから高品質超解像度画像を再構築するための深層学習に基づいた演算的方法の使用は、標準的な局在化顕微鏡法との比較において、取得時間の相当な利得を可能にしており、且つ、（その他の方式とは異なって）相対的に大きなフルオロフォア活性化の密度を必要としておらず、且つ、従って、空間解像度を損なうことがない。

本発明の実施形態によって提供されている撮像効率の劇的な改善は、局在化顕微鏡法と高スループット撮像の間における非互換性を軽減し、且つ、数個の細胞のみを撮像するべく一般に使用されている時間スケールにおいて、数百個の細胞の超解像度撮像を可能にしている。これは、まれなイベント、細胞の不均質性、並びに、その特徴付けが多くの構成に関する統計を必要としている、細胞骨格ポリマー又は染色体などの、部分的に確率的な構造、の超解像度撮像研究を促進する。又、本発明の実施形態は、例えば、薬剤処理又は遺伝子ノックアウトなどの、多数の実験条件の高スループット撮像に対しても適用可能である。これに加えて、これらは、空間的に隣接した視野の複数の画像を１つに縫合することにより、高解像度における大きなサンプルの撮像にも適用することができる。例えば、下方に約２ｍｍから約２０ｎｍまで、スケールにおいてほぼ５桁に跨る画像を生成するのに、本発明の実施形態が所要するのは、わずかに数時間である。この能力は、サンプルサイズを物理的に増大させ、且つ、しばしば、場合によって、単一の細胞の撮像のために多くの視野のタイリングを必要としている、代替超解像度技法である、拡張顕微鏡法に対して、十分に適合させることができよう。従って、本発明の実施形態は、マルチスケール超解像度撮像に対して適合されている。

実際に、本発明の実施形態によって提供される（特に、全体的な取得及び処理時間に関する）撮像効率の劇的な改善は、単位時間当たりの相対的に多くの細胞及び多くの視野（ＦＯＶ）の撮像に対するドアを開いている。これは、千個超（３３×３３＝１０８９）の、部分的にオーバーラップした、ＦＯＶにおいて、免疫標識を有する微小管を有する細胞を撮像するための自動化された取得プロトコルを使用することにより、実証されている。ＦＯＶ当たりに約１０秒の撮像（例えば、ｋ＝１０００枚の画像）のみを使用することにより、それぞれが５５．３μｍ×５５．３μｍである、１０８９枚の低密度ＳＴＯＲＭ画像が、合計で約３時間のみにおいて、取得されている。これらの低密度ＳＭＬＭ画像は、小さなスケールの情報をほとんど提供してはいない。但し、本発明の実施形態は、具体的には、トレーニングフェーズにｃＧＡＮ損失を使用する際には、高品質の合成高密度ＳＭＬＭ画像をもたらしており、これにより、明瞭に微小管ネットワークを観察することと、低密度ＳＴＯＲＭ画像内において構造化されていない領域として出現する高密度エリアにおいて微小管フィラメントを弁別することと、を可能にしている。これらの画像を１つに縫合することにより、数百の細胞を示す単一合成高密度ＳＭＬＭ画像が得られた。この画像は、ほぼ７０億個の２０×２０ｎｍピクセルを収容すると共に、１．８ｍｍ×１．８ｍｍのエリアをカバーしており、これにより、空間長においてほとんど５桁に跨っていた。従って、本発明の実施形態は、標準的な局在化顕微鏡法が、格段に小さな数の細胞を撮像するべく、通常、消費している、時間の範囲内において、数百個の細胞を含む、大きな視野のマルチスケール画像の取得を可能にしている。

本発明の実施形態は、ドリフト補正のニーズを強力に低減しており、その理由は、未加工画像の取得時間が低減され、これにより、空間ドリフトの影響の低減に結び付いているからである、ことに留意されたい。

実際に、ＳＭＬＭ顕微鏡法における一般的な問題点は、適切に補正又は防止されない場合に空間解像度を劣化させうる、画像シーケンスの取得の際の試料のドリフトである。取得の後のドリフトの演算補正には、高度なアルゴリズム及び／又は蛍光ビードなどの基準マーカーが必要とされる。ドリフトのリアルタイム補正は、更なる光学及び電子装置を必要としている。

図１６は、図１６ａ～図１６ｄを有し、数百個の細胞を含む１．８ｍｍ×１．８ｍｍのエリアの高スループット撮像に対する本発明の実施形態の使用を示している。

更に詳しくは、図１６ａは、それぞれが（画像当たりにΔｔ＝１０８６２ｍｓの露光時間を伴う）１０００枚の未加工画像から得られた個々の視野の３３×３３＝１０８９枚の低密度ＳＴＯＲＭ画像からモザイクを組み立てることによって得られた、１．８ｍｍ×１．８ｍｍのエリアの低密度ＳＴＯＲＭ画像である。これらの画像のすべてを取得するべく必要とされた時間は、約３時間である。画像の稀薄性は、この大きなスケールにおいては明らかではない。

図１６ｃには、図１６ａの緑色の囲まれた領域の拡大図が示されている。この挿入図は、囲まれた領域の拡大図を示しており、画像の稀薄性を強調表示している。

図１６ｂは、本発明の実施形態に従って取得された、図１６ａにおいて表されているものと同一のエリアの合成高密度ＳＴＯＲＭ画像（ＡＮＮＡ－ＳＴＯＲＭ（ｃＧＡＮ））である。これは、１０８９枚の個々の再構築された合成高密度ＳＴＯＲＭ画像（視野当たりに１つずつ）のモザイクを組み立てることにより、得られたものである。

図１６ｄには、図１６ｂの囲まれた領域の拡大図が示されている。この場合にも、この挿入図は、囲まれた領域の拡大図を示しており、これにより、画像の稀薄性を強調表示している。微小管に跨るラインプロファイルは、ＦＷＨＭ＜５０ｎｍ（ＦＷＨＭ：Ｆｕｌｌ Ｗｉｄｔｈ ａｔ Ｈａｌｆ Ｍａｘｉｍｕｍ（半値全幅））により、示されている。

本発明の実施形態は、実験の摂動に対して安定している。実際には、高度に詳細な合成高密度ＳＭＬＭ画像を低密度局在化データから再構築する能力は、類似の画像に関するその事前のトレーニングに依存している。これは、１つの実験条件においてトレーニングされた人工ニューラルネットワークが、別の条件に対して成功裡に適用されうるかどうか、という疑問を提起する。これを試験するべく、細胞骨格ネットワークに影響を及ぼす薬剤に暴露された細胞の画像を分析するために、（図１０～図１４を参照して記述されているように）人工ニューラルネットワーク３００を微小管についてトレーニングした。まず、Ｕ３７３細胞を１μＭのタキソールによって処理したが、タキソールは、微小管の解重合を妨げる抗分裂剤であり、且つ、その折り曲げ剛性を増大させることが知られている。本発明による実施形態によって得られた結果は、複雑な微小管ネットワークを明瞭に表示しており、且つ、Ｋ＝３００００枚の画像（５～１５分のシーケンスを表す）から再構築された高密度ＳＴＯＲＭ画像との比較により、検証された。これらの再構築において可視状態にある微小管の構成は、処理されていない標準細胞のものよりも、明白な交差が少ない、相対的にまっすぐな、且つ、相対的に平行な、相対的に高密度の微小管を特徴としており、これは、微小管の解重合の防止及び剛性の増大という、予測された効果と一貫性を有する。

次いで、細胞を１μＭのノコダゾールによって処理したが、ノコダゾールは、微小管の解重合を促進する、且つ、細胞骨格ネットワークを相対的に劇的に変更するものと予想される、薬剤である。この場合にも、低密度ＳＴＯＲＭ画像は、利用可能な情報をほとんど含んでいない一方において、本発明の実施形態によって得られた結果は、ばらばらになった微小管ネットワークの、明瞭な、且つ、詳細な、図を提供しており、これにより、処理されていない細胞よりも、大きな曲率を有する、格段に少数のフィラメントを示している。これらの再構築は、（５分のシーケンスを表す）Ｋ＝３００００枚の画像から得られた高密度ＳＴＯＲＭ画像と良好に合致していた。従って、１つの実験条件における微小管に関するトレーニングに基づいて、本発明の実施形態は、なんらの再トレーニングを伴うことなしに、新しい実験条件において、細胞に対して成功裡に適用されてもよく、これは、この方法の安定性を強調している。

図１７は、図１７ａ～図１７ｌを有し、実験の摂動に対する本発明の実施形態の安定性を示している。

更に正確には、図１７は、処理されていない細胞（図１７ａ～図１７ｄ）内の微小管及び１μＭのタキソール（図１７ｅ～図１７ｈ）或いは１μＭのノコダゾール（図１７ｉ～図１７ｌ）によって処理された細胞のＳＴＯＲＭ及びＡＮＮＡ－ＳＴＯＲＭ画像である。

図１７ａ、図１７ｅ、及び図１７ｉは、第１の、ｋ＝４００（図１７ａ）、ｋ＝５００（図１７ｅ）、又はｋ＝２００個（図１７ｉ）、の未加工画像から得られた低密度ＳＴＯＲＭ画像である。５５μｍ×５５μｍの視野全体が示されている。

図１７ｂ、図１７ｆ、及び図１７ｊは、Ｌ２損失によって得られたＡＮＮＡ－ＳＴＲＯＭ画像である。

図１７ｃ、図１７ｇ、及び図１７ｋは、ｃＧＡＮ損失によって得られたＡＮＮＡ－ＳＴＯＲＭ画像である。

図１７ｄ、図１７ｈ、図１７ｌは、Ｋ＝６００００（図１７ｄ）又はＫ＝３００００（図１７ｈ及び図１７ｌ）の未加工画像から得られた高密度ＳＴＯＲＭ画像である。

低密度及び高密度ＳＴＯＲＭ画像における局在化の数は、図１７ａは、ｎ＝２８３１０３個、図１７ｄは、Ｎ≒６百万個、図１７ｅは、ｎ＝４２２２４８個、図１７ｈは、Ｎ≒５．７百万個、図１７ｉは、ｎ＝７２３１６個、図１７ｌは、Ｎ≒２．６百万個、いうものである。

本発明の実施形態は、様々な生物学的構造に対して適合されている。実際に、本発明による深層学習方式は、微小管又はその他のフィラメントに限定されるものではなく、原則的に、相応してトレーニングされた場合には、任意のタイプの画像に適合させることができる。この柔軟性を示すべく、非常に異なる生物学的構造であり、且つ、超解像度撮像研究の別のポピュラーなターゲットである、核孔を検討した。本発明の実施形態は、画像品質を劇的に改善することを可能にし、これにより、ほとんどすべての個々の孔と、その正しい場所におけるその内部のほとんどすべての個々のヌクレオポリンと、の（ある程度のエラーを伴いつつも）明確な識別を可能にしていることが観察された。

本発明の実施形態をアフリカツメガエルの卵の免疫標識を有する核膜内のヌクレオポリンｇｐ２１０の実験画像について試験した。トレーニングフェーズにおいて、それぞれＫ＝３００００個の画像を有する、且つ、約２千万個のフルオロフォア局在化を含む、２つの高密度ＳＴＯＲＭ画像を使用した。次いで、本発明の実施形態を第１のｋ＝６０００枚の画像から得られたｇｐ２１０の低密度ＳＴＯＲＭ画像に適用した。画像の稀薄性が、個々の核孔を明瞭に弁別することを困難にしている。本発明の実施形態は、核孔について予想されるように、多くのリング様の構造を含む、格段にクリアな画像を提供している。

図１８は、図１８ａ～図１８ｆを有し、異なる生物学的構造に対する本発明の実施形態の使用を示している。

更に詳しくは、図１８は、模擬的な（図１８ａ～図１８ｃ）並びに実際の（図１８ｄ～図１８ｆ）核孔に対する本発明の実施形態の適用を示している。

図１８ａは、ｎ＝５４４４０４個の局在化を有する模擬的な低密度ＳＴＯＲＭ画像である。個々の核孔は、識別が困難である。

図１８ｂは、Ｌ２損失によって得られたＡＮＮＡ－ＳＴＯＲＭ画像である。８個のヌクレオポリンを含む、個々の核孔が、わずかな例外を伴って、明瞭に可視状態にある。

図１８ｃは、（無限数Ｎ＝∞の局在化に対応する）グラウンドトルスの模擬的ＳＴＯＲＭ画像である。

図１８ｄは、第１のｋ＝６０００枚の未加工画像から得られた、Ａｌｅｘａ６４７という免疫標識を有するアフリカツメガエルのヌクレオポリンｇｐ２１０の低密度ＳＴＯＲＭ画像である（図示された対象の８μｍ×８μｍの領域については、ｎ＝２５９２０であり、５４μｍ×５４μｍの視野全体については、ｎ＝３６６５４９８である）。

図１８ｅは、Ｌ２損失を使用した、図１８ｄの画像のＡＮＮＡ－ＳＴＯＲＭ（Ｌ２）画像である。

図１８ｆは、すべてのＫ＝３００００枚の未加工画像から得られたＳＴＯＲＭ画像である（図示の領域については、Ｎ＝１１５６６９であり、ＦＯＶの全体については、Ｎ＝１５３４５１１６である）。

上述の微小管に関する結果と共に、これは、本発明の実施形態の多様性と、非常に異なる構造コンテンツの画像に対するその適用可能性と、を示している。

図２０は、単一分子局在化顕微鏡法によって取得された未加工画像から合成高密度ＳＭＬＭ画像を再構築するべく使用される人工ニューラルネットワークをトレーニングするシステムのアーキテクチャの第３例を概略的に示している。

図示されているように、このシステムは、ジェネレータネットワーク２０００、低解像度エスティメータネットワーク２０１５、及びｃＧＡＮディスクリミネータネットワーク２０２０、という３つのネットワークに基づいている。

トレーニングステージのために、標準的なＳＭＬＭ撮像を使用することにより、即ち、高度にサンプリングされた（高密度の）ＳＭＬＭ画像を結果的にもたらす、標準的な局在化ソフトウェアを使用した処理によって後続される、長い画像シーケンス（例えば、約１００００～１０００００個のフレーム、並びに、約１０００００～１０００００００個の局在化）の取得により、対象の分子構造（例えば、チューブリン、アクチン、又はヌクレオポリン）を表すいくつかの超解像度画像を取得することができる。これに加えて、図２０に示されている実施形態によれば、単一分子の撮像の前に事前活性化されたフルオロフォアをブリーチングする際に、通常、実行されているように、（例えば、蛍光顕微鏡を介して得られる回折限界画像などの）低解像度広視野画像を取得することができる。未加工画像として、低解像度広視野画像は、回折限界画像であるが、最大ですべてのフルオロフォアという、相対的に大きな数のフルオロフォアが、低解像度広視野画像内において活性を有する。次いで、単純に、格段に小さな数（１．．．ｋ，ｋ＜＜Ｋ）の入力フレームを使用することにより、これらの高密度ＳＭＬＭ画像を強力にアンダーサンプリングし、これにより、同一のデータから低密度ＳＭＬＭ画像が得られる。次いで、これらの低密度ＳＭＬＭ画像及び低解像度広視野画像から高密度のＳＭＬＭ画像の近似を回復するべく、ＡＮＮをトレーニングする。トレーニングされたら、ＡＮＮは、図２１を参照して記述されているように、推定のための準備が整っており、即ち、これは、これまで観察されてはいない、高品質の超解像度画像（合成高密度ＳＭＬＭ画像）を再構築するべく、小さな数のフレーム（ｋ＜＜Ｋ）を有する画像シーケンスから、且つ、従って、格段に短い時間において、得られた、新しい低密度ＳＭＬＭ画像と、新しい低解像度広視野画像と、を処理するべく、使用することができる。

更に詳しくは、図２０において示されているように、人工ニューラルネットワーク２０００をトレーニングするべく、低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ）、例えば、図２、図６、又は図７を参照して記述された方法に従って判定された高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ）、並びに、低解像度広視野画像Ｌが使用される。

低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ）及び低解像度広視野画像Ｌは、ＡＮＮＡ－ＳＭＬＭと表記された合成高密度ＳＭＬＭ画像を出力する、人工ニューラルネットワーク２０００、即ち、ジェネレータネットワーク、の入力として使用されている一方で、望ましい出力に対応する高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ）は、例えば、実際の出力が望ましい出力とどれだけ良好にマッチングしているかを計測する損失エラーを反復的に極小化するために、確率的勾配降下法アルゴリズムを使用することにより、相応してそのパラメータ（通常は、重み及びバイアス）を適合させるべく、人工ニューラルネットワーク２０００の出力と比較されている。

これらの低密度ＳＭＬＭ画像ＳＭＬＭ（ｋ）、低解像度広視野画像Ｌ、及び高密度ＳＭＬＭ画像ＳＭＬＭ（Ｋ）は、そのそれぞれのトリプレットが、好ましくは、トレーニングフェーズにおいて、少なくとも１回だけ、使用される、トレーニングセットとして使用されている。

図２２を参照し、人工ニューラルネットワーク２０００のアーキテクチャの一例について説明する。

参照符号２００５によって示されているように、最適な方式によって重みの値を変更するべく、いくつかのエラー関数が、学習フェーズにおいて使用されている。例示を目的として、
－低解像度における再構築エラーを表す低解像度再構築エラー、
－高解像度における再構築エラーを表す超解像度再構築エラー、並びに、
－条件付きＧＡＮエラー、
というエラー関数が使用されている。

従って、ＳＭＬＭ（ｋ_i）（略して、Ｓｋ_i）及びＬ_iが、人工ニューラルネットワーク２０００に入力された後に、ＡＮＮＡ－ＳＭＬＭ（ｋ_i）（略して、Ａｋ_i）と表記された結果が、参照符号２０１０によって示されている、且つ、更に詳細に後述される、ように、人工ニューラルネットワーク２０００のパラメータを補正するべく使用される超解像度を演算するべく、対応する望ましい結果ＳＭＬＭ（Ｋ_i）（略して、ＳＫ_i）と比較されている。例示を目的として、この比較は、Ｌ１ノーム及び／又はマルチスケール構造類似性インデックス（ＭＳ－ＳＳＩＭ）と呼称される方法に基づいたものであってよい。更には、Ａｋ_iが得られた後に、その解像度は、参照符号２０１５によって示されているように、且つ、更に詳細に後述されるように、こちらも人工ニューラルネットワーク２０００のパラメータを補正するべく使用される低解像度エラーを演算するべく、例えば、ＭＳ－ＳＳＩＭ方法に従って、対応する低解像度広視野画像Ｌ_iと比較されうるように、低減される。特定の実施形態においては、Ａｋ_iが取得された後に、Ａｋ_i及びＳＫ_i解像度は、対応する低解像度広視野画像Ｌ_iと比較されうるように、低減されている。次いで、画像ＳＫ_i、Ｓｋ_i、ＡＫ_i、及びＬ_iは、参照符号２０２０によって示されるように、且つ、更に詳細に後述されるように、図８を参照して記述されているディスクリミネータネットワーク８０５と同様に、画像ＳＫ_i又はＡｋ_iが実際のものである又は合成のものである確率を出力するディスクリミネータネットワーク２０２０の入力として使用されている。

ジェネレータネットワーク２０００、低解像度エスティメータネットワーク２０１５、及びｃＧＡＮディスクリミネータネットワーク２０２０は、同時にトレーニングされており、この場合に、ｃＧＡＮディスクリミネータは、合成データから実際のデータを弁別するべく試みており、且つ、ジェネレータは、ディスクリミネータを騙すべく試みている。

それぞれ、図２３及び図２４を参照し、低解像度エスティメータネットワーク２０１５の、且つ、ディスクリミネータネットワーク２０２０の、アーキテクチャの一例について説明する。

図２２を参照して記述されているように、人工ニューラルネットワーク２０００は、Ｕネット及び条件付き敵対的生成ネットワーク（ｃＧＡＮ）という、２つの最近成功を収めている深層学習方式においてそれ自体が構築されている、Ｐｉｘ２Ｐｉｘのものであってもよい。

上述のように、Ｕネットは、等しいサイズのエンコーダ及びデコーダ特徴マップの間において層スキップ接続を含む、全体として「アップサンプリング」（デコーダ）ネットワークに接続された「ダウンサンプリング」（エンコーダ）ネットワークから構成された、畳込みニューラルネットワークの特別のタイプである。層スキップ接続は、例えば、セグメント化又は修復などの、画像の回復のような、局所的な情報の保存を必要とするタスク用の、正確な、ピクセルワイズの、マッピングを含んでいる。

条件付き敵対的生成ネットワークは、合成画像を出力するジェネレータネットワーク（例えば、Ｕネットタイプのネットワーク）と、（その出所の知識を伴うことなしに）実際の又は合成の画像を入力として取得し、且つ、画像が実際のものである又は合成のものである確率を出力する、ディスクリミネータネットワークと、という２つの競合する人工ニューラルネットワークを有する。２つのネットワークは、ディスクリミネータが合成データから実際のデータを弁別するべく試み、且つ、ジェネレータがディスクリミネータを騙すべく試みる状態において、同時にトレーニングされている。

Ｐｉｘ２Ｐｉｘタイプの人工ニューラルネットワークは、例えば、「“Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ” Ｉｓｏｌａ， Ｐ．， Ｚｈｕ， Ｊ．－Ｙ．， Ｚｈｏｕ， Ｔ． ＆ Ｅｆｒｏｓ， Ａ． Ａ．， ２０１６ （ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６１１．０７００４）」という名称の文献において記述されている。

図２１は、本発明の実施形態に従ってトレーニングされた人工ニューラルネットワークを使用することにより、単一分子局在化顕微鏡法によって取得された未加工画像から、且つ、低解像度広視野画像から、合成高密度ＳＭＬＭ画像を再構築するシステムのアーキテクチャの第２例を概略的に示している。

図示されているように、低密度ＳＭＬＭ画像ＳＭＬＭ’（ｋ）は、時間ｔ₁～ｔ_kにおいて単一分子局在化顕微鏡法によって取得された、未加工画像’１～未加工画像’ｋと表記された、ｋ枚の未加工画像の組から取得されている。これは、ＡＮＮＡ－ＡＭＬＭ’（ｋ）と表記された対応する合成高密度ＳＭＬＭ画像を出力する人工ニューラルネットワーク２０００に対する第１入力として使用されている。又、時間期間ｔ₁～ｔ_kを表す、Ｌ（ｋ）と表記された、低解像度広視野画像も、取得され、且つ、（図２０を参照して記述されているように、予めトレーニングされた）人工ニューラルネットワーク２０００への第２入力として使用されている。

上述したように、低密度ＳＭＬＭ画像ＳＭＬＭ’（ｋ）は、好ましくは、例えば、ＳＴＯＲＭ画像処理などの、トレーニングデータセットを生成するために低密度ＳＭＬＭ画像を取得するべく使用されているものと同一の画像処理方法に従って、未加工画像の組から取得されている。

特定の実施形態によれば、取得された合成高密度ＳＭＬＭ画像ＡＮＮＡ－ＳＭＬＭ’（ｋ）は、エラーが発生する可能性が相対的に高い場所を表すエラーマップを生成するために、エラーマップジェネレータ２１００内において、取得された合成高密度ＳＭＬＭ画像ＡＮＮＡ－ＳＭＬＭ’（ｋ）を生成するべく使用されている低解像度広視野画像と比較されるように、低解像度エスティメータネットワーク２０１５内においてダウンコンバージョンされている。

図２２は、図２０に示されているジェネレータネットワーク２０００のアーキテクチャの一例を示しており、この場合に、それぞれのラインは、ニューラルネットワークの別個の層に対応している。ラインは、層の間の接続を示している。ネットワークの入力は、低密度ＰＡＬＭ画像Ｓ（Ｓ＿ＳＭＬＭ）、低解像度広視野画像Ｗ（ＬＲ＿Ｌ）、及びスイッチ値Ｍ（ＳＷＩＴＣＨ）である。出力ｇ（Ｓ，Ｗ，Ｍ）は、同一サイズの再構築されたＡＮＮＡ ＰＡＬＭ画像（Ａ＿ＳＭＬＭ）である。

スイッチ値は、ネットワークが、分子構造（例えば、ヌクレオポリン又は微小管）などの、画像の異なるタイプの間においてスイッチングすることを可能にしている。

図５を参照して記述されている人工ニューラルネットワーク３００と同様に、人工ニューラルネットワーク２０００は、スキップ接続を伴って、エンコーダネットワーク（上部部分）と、デコーダネットワーク（下部部分）と、を有する。これは、１６個の畳込み層と、数千万個のパラメータと、を有するＵネットである。その入力及び出力は、（２５６ｍ）×（２５６ｍ）個のピクセルを含むＳＭＬＭ画像パッチを有し、この場合に、ｍは、整数である。具体的には、入力は、例えば、低密度ＳＴＯＲＭ画像などの、（Ｓ＿ＳＭＬＭと表記された）低密度ＳＭＬＭ画像を有する。入力は、入力低密度ＳＭＬＭ画像のサイズと同一のサイズとなるようにリサイズされた（ＬＲ＿Ｌと表記された）低解像度広視野画像を更に有する。出力は、入力低密度ＳＭＬＭ画像と同一サイズの（Ａ＿ＳＭＬＭと表記された）合成高密度ＳＭＬＭ画像である。

エンコーダネットワークは、半分のサイズ及び２倍の数の特徴マップを結果的にもたらす、互いに上下において積層された、ダウンサンプリング（例えば、２のストライドを有する２×２最大プーリングなどの、最大プーリング）と交互に変化する、（Ｃｏｎｖと表記され、且つ、図５を参照して記述されたものと同一のタイプのパラメータを有する）複数の畳込み層を含む。エンコーダは、入力として、２つの画像、即ち、低密度超解像度画像（Ｓ＿ＳＭＬＭ）及び低解像度広視野画像（ＬＲ＿Ｌ）、と、これに加えて、スイッチ（ＳＷＩＴＣＨ）と、を取得している。所与の例によれば、低解像度広視野画像ＬＲ＿Ｌは、バイリニア補間を使用することにより、アップサンプリングされ、且つ、次いで、異なる入力チャネルとして、低密度超解像度画像Ｓ＿ＳＭＬＭと連結されている（Ｃａｔ：例えば、それぞれのチャネル又は特徴次元に沿って、入力特徴マップの２つのグループを連結している）。スイッチ値は、（１－ＨＯＴと表記された、ワンホット表現を使用することによって整数の数をエンコーディングする）ワンホットエンコーディングを使用することにより、表されており、且つ、次いで、（Ｃｏｎｖ１と表記された、例えば、１×１畳込みカーネル及び１のストライドを有する２Ｄ畳込みの特別なケースである）１×１のカーネルサイズを有する畳込み層を介して、エンコーダに結合されている。それぞれの畳込み層ごとに、この結果は、（例えば、それぞれのチャネル又は特徴次元に沿った、＋によって表記されているように）対応する畳込みの１つに追加されている。

デコーダネットワークは、（ＵｐＣｏｎｖと表記された）複数のアップサンプリング畳込み層を含んでおり、この結果、２倍のサイズ及び半分の数の特徴マップをもたらしている（実施形態によれば、アップサンプリング畳込み層のパラメータのタイプは、エンコーダの畳込み層のものに類似している）。デコーダネットワークの最後の層は、エンコーダネットワークに供給される入力画像と同一のサイズの出力画像を生成している。

Ｐｉｘ２Ｐｉｘにおけると同様に、（最大プーリング層の代わりに）２のストライドを有する畳込み層が使用されており、且つ、（ＲｅＬＵと表記された、例えば、ｘ→ｍａｘ（ｘ，０）のような）エンコーダ内の正規化線形ユニット層は、（ＲｅＬＵと表記された、例えば、ε＝０．２である状態において、ｘ→ｍａｘ（ｘ，０）＋ｍｉｎ（εｘ，０）などの）「漏れＲｅＬＵ」によって置換されている。Ｕネットにおけると同様に、ジェネレータは、エンコーダ及びデコーダ内において対称的に配置された特徴マップの間の直接的（スキップ層）接続を含んでいる。同一のサイズを有する、これらの特徴マップは、デコーダの対応する層（Ｃａｔ）内において連結されている。スキップ層接続は、ネットワークが、局所的な、ピクセルワイズの、情報を連続的な畳込み層を通じて伝播する相対的に大きなコンテキスト情報と組み合わせることを可能にしている。

図２３は、図２０に示されている低解像度エスティメータネットワーク２０１５のアーキテクチャの一例を示している。

図示されているように、且つ、所与の例によれば、低解像度エスティメータネットワーク２０１５のアーキテクチャは、４つの畳込み層と、２つの最大プーリング層と、に基づいている。ドロップアウト層及び漏れＲｅＬＵが、最後の層を除いて、それぞれの折り畳み層の後に、使用されており、この場合には、（例えば、ｘ→（１＋ｅｘｐ（－ｘ））^-1などの）シグモイド活性化関数が使用されている。低解像度エスティメータネットワーク２０１５は、（ＩＮＰＵＴ＿ＬＤと表記された）入力として、実験的に取得された高密度ＳＭＬＭ画像Ｔ又はジェネレータの出力ｇ（Ｓ，Ｗ，Ｍ）を取得し、且つ、（ＯＵＴＰＵＴ＿ＬＤと表記された）出力として、所与の例においては、４分の１である、入力よりも小さな低解像度画像を提供している。畳込み層及び最大プーリング層は、入力及び出力画像の間の異なるサイズ比率を考慮するべく、追加又は除去されうることに留意されたい。

例示を目的として、低解像度エスティメータネットワークは、（２５６ｍ）×（２５６ｍ）の高密度ＳＭＬＭ画像パッチ又はＡＮＮＡ－ＳＭＬＭ再構築パッチを入力として取得し、且つ、（６４ｍ）×（６４ｍ）個のピクセルを有する再構築された低解像度画像を出力している

図２４は、図２０に示されているｃＧＡＮディスクリミネータネットワーク２０２０のアーキテクチャの一例を示している。

特定の実施形態によれば、このアーキテクチャは、最後の層を除いて、Ｐｉｘ２Ｐｉｘネットワークのディスクリミネータネットワークに類似しており、この場合には、シグモイド関数が除去されているが、その理由は、目的関数内の対数損失が、最小二乗損失によって置換されているからである。ｃＧＡＮディスクリミネータネットワーク２０２０は、入力として、低解像度広視野画像（Ｗ）、低密度ＳＭＬＭ画像（Ｓ）、及びジェネレータネットワークによって出力された再構築ｇ（Ｓ，Ｗ，Ｍ）又は対応する高密度ＳＭＬＭ画像（Ｔ）を取得し、３つの画像（Ｓ、ｇ（Ｓ，Ｗ，Ｍ）又はＴ、Ｗ）は、例えば、（ＩＮＰＵＴ＿ＧＤと表記された）３チャネル画像として連結されている。ディスクリミネータの出力は、ｃＧＡＮディスクリミネータネットワークが、低密度ＳＭＬＭ画像内の対応するパッチが、実験的に取得された実際の高密度ＰＡＬＭ画像Ｔである（例えば、大きな値）又は再構築ｇ（Ｓ，Ｗ，Ｍ）である（例えば、低い値）ことを信じるかどうかをそのピクセルが通知している、（ＯＵＴＰＵＴ＿ＧＤと表記された）小さな画像である。

図示の例によれば、ｃＧＡＮディスクリミネータネットワークは、５つの畳込み層を有する。その入力は、２つの（２５６ｍ）×（２５６ｍ）のピクセル画像パッチ（低密度ＳＭＬＭ画像及びそのＡＮＮＡ－ＳＭＬＭ再構築又は対応する高密度ＳＭＬＭ画像）と、これに加えて、アップスケーリングされた低解像度広視野画像と、であり、且つ、その出力は、そのピクセル値が、対応する入力パッチが実際のものであるか又は生成されたものであるか、を通知する、（３０ｍ）×（３０ｍ）の画像である。すべての畳込み層は、バッチ正規化によって後続されている。

トレーニングの目的及びエラーマップ
ジェネレータネットワーク、低解像度エスティメータネットワーク、及びｃＧＡＮディスクリミネーションネットワークのそれぞれは、別個の目的関数（損失とも呼称される）と関連付けられている。ジェネレータの目的関数

は、それ自体が、３つの別個の項から構成されており、これらは、それぞれ、（Ｑと表記された）低解像度エスティメータネットワーク及び（Ｄと表記された）ｃＧＡＮディスクリミネータネットワーク用の目的関数

及び

と共に、以下において規定されている。以下の式においては、低密度入力画像は、Ｓとして、低解像度広視野入力画像は、Ｗとして、対応する高密度ＳＭＬＭ画像（即ち、ターゲット）はＴとして、且つ、ジェネレータ出力は、Ａ＝Ｇ（Ｓ，Ｗ）として、表記されており、この場合に、Ｇは、ジェネレータネットワークを表記している。

図２０においては、画像Ｗ、Ｓ、Ｔ、及びＡは、それぞれ、Ｌ、ＳＭＬＭ（ｋ）（又は、Ｓｋ）、ＳＭＬＭ（Ｋ）（又は、ＳＫ）、及び（ＡＮＮＡ－ＳＭＬＭ（ｋ）（又は、Ａｋ）というラベルが付与されている。画像Ａ及びＴから低解像度エスティメータネットワーク２０１５（Ｑ）によって再構築された低解像度画像は、それぞれ、ＷＡ＝Ｑ（Ａ）及びＷＴ＝Ｑ（Ｔ）と表記されている。

の第１項は、以下において

と呼称される、超解像度再構築エラーである。この項は、ジェネレータ出力Ａとターゲット画像Ｔの間の差を罰している。この差は、画像Ａ及びＴとＬ１ノームの変更の間のマルチスケール構造類似性インデックス（ＭＭ－ＳＳＩＭ）の重み付けされた平均を使用してもよく、この場合に、画像Ａ及びＴの間の絶対差は、ガウスカーネルによってスムージングされており、且つ、以下のように定義することができる。

ここで、

は、期待値を表記し、

は、低密度ＳＭＬＭ画像、高密度ＳＭＬＭ画像、広視野画像、及びトレーニングデータセットからのスイッチ設定の結合確率密度であり、

は、画像Ａ及びＴの間のマルチスケール構造類似性インデックスであり、

は、ガウススムージングカーネルであり、
＊は、畳込みを表記し、

は、絶対差画像であり（即ち、ピクセル（ｉ，ｊ）は、値

を有する）、

は、ＭＳ＿ＳＳＩＭ及び変更されたＬ１ノームの相対的な寄与を均衡させる０～１のスカラー重みであり、これは、例えば、０．８４（ρ＝０．８４）と設定することができる。

の第２項は、

と呼称されている。これは、低解像度エスティメータネットワーク２０１５によって再構築された低解像度画像ＷＡ及びＷＴの間の一貫性を計測するべく、使用されている。これは、以下のように表現することができる。

或いは、この代わりに、画像ＷＴは、上述の目的関数において、実際に観察された低解像度広視野画像Ｗにより、置換することもできる。低解像度エスティメータネットワーク２０１５（Ｑ）は、観察された低解像度広視野画像Ｗと一貫性を有する高密度ＳＭＬＭ画像Ｔから低解像度画像を生成するべく、ジェネレータネットワーク２０００

により、同時にトレーニングされている。このトレーニングは、以下の目的関数に基づいて実行することができる。

実施形態によれば、再構築された低解像度画像Ｑ（Ｔ）は、高密度ＳＭＬＭ画像Ｔの４分の１と小さいことに留意されたい。入力低解像度広視野画像Ｗは、異なるサイズを有することから、画像Ｗを画像Ｑ（Ｔ）と同一のサイズにリサイズするべく、バイリニア補間を使用することができる。当然のことならが、必要に応じて、低解像度エスティメータネットワーク内においてダウンサンプル層を追加又は除去することにより、４とは異なるスケーリング係数を実現することができる。

推定に関連し、低解像度エスティメータ２０１５は、図２１を参照して記述されているエラーマップを生成するべく、使用されている。このエラーマップは、以下のように定義されている。

エラーマップの大きな又は小さな値は、再構築された超解像度画像Ａと観察された低解像度広視野画像Ｗの間における、それぞれ、大きな又は小さな一貫性のなさを通知している。

と表記された

の第３項は、敵対的生成ネットワークの最近の研究から導出されたものである（例えば、「Ｉｓｏｌａ， Ｐ．， Ｚｈｕ， Ｊ．－Ｙ．， Ｚｈｏｕ， Ｔ． ＆ Ｅｆｒｏｓ， Ａ． Ａ． “Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ” （ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６１１．０７００４）， ２０１６」、「Ｇｏｏｄｆｅｌｌｏｗ， Ｉ． ｅｔ ａｌ． “Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ”， ２６７２-２６８０， ２０１４」、及び「Ｍａｏ， Ｘ． ｅｔ ａｌ． “Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ”， ２０１６）」）。

ＧＡＮにおいては、ジェネレータネットワーク

は、（確率密度ｐ_z（Ｚ）から導出された）ランダム入力ベクトルをデータ確率密度ｐ_data（ｘ）の新しいサンプルに変換するべく学習しており、データサンプルｘは、高密度ＳＭＬＭ画像Ｔである。ジェネレータネットワーク

は、オリジナルデータサンプルとジェネレータネットワーク

によって生成されたサンプルの間を弁別するべく同時に学習するディスクリミネータネットワーク

（例えば、ｃＧａｎディスクリミネータネットワーク２０２０）と競合状態において機能することにより、学習している。従って、全体として、敵対的トレーニングは、以下の形態の目的関数により、

或いは、等価的に、２つの結合された損失関数の同時最適化により、

次式のようになるように、ミンマックスゲームを実行するステップを有している。

条件付きＧＡＮ（ｃＧＡＮ）においては、ジェネレータネットワーク及びディスクリミネータネットワークは、余分な入力ベクトルｃを有し、且つ、上述の目的関数は、ジェネレータネットワークが条件付き確率密度

を学習するように、次式のとおりに記述されてもよく、

且つ、第２目的関数は、同様に、以下のものとなる。

実施形態によれば、上述の対数損失は、経験的により良好な結果をもたらしていることから、最小二乗損失によって置換される。従って、目的関数は、以下のとおりとなる。

図２０～図２４を参照して記述されている実施形態によれば、入力ｃは、低解像度広視野画像Ｗと組み合わせられた低密度ＳＭＬＭ画像Ｓである。実際には、ノイズｚは、Ｐｉｘ２Ｐｉｘの実装形態におけると同様に、ドロップアウト層の使用を通じてのみ導入されることに留意されたい。従って、目的関数は、以下のとおりである。

及び

この結果、上述の３つの損失項を組み合わせることにより、以下の最適化問題がもたらされる。

重みα、β、及びγは、ハイパーパラメータである。例示を目的として、これらは、手動的に、α＝５０、β＝２５、及びγ＝１に設定することができる。

依然として例示を目的として、図２０に示されている全体システムは、「Ｋｉｎｇｍａ， Ｄ． Ｐ． ＆ Ｂａ， Ｊ． Ａｄａｍ， “Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｓｔｏｃｈａｓｔｉｃ Ｏｐｔｉｍｉｚａｔｉｏｎ” （２０１４）」において記述されている方法と、２０００００回以上の反復（バックプロパゲーションステップ）を伴う１のバッチサイズと、を伴って確率的勾配降下法（ＳＧＤ）を使用することにより、エンドツーエンドでトレーニングすることができる。実装形態は、アファイン層のポートからＰｉｘ２ＰｉｘのＴｏｒｃｈ実装形態のＴｅｎｓｏｒＦｌｏｗに適合されている（「Ａｂａｄｉ， Ｍ． ｅｔ ａｌ． “ＴｅｎｓｏｒＦｌｏｗ： Ｌａｒｇｅ－Ｓｃａｌｅ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｏｎ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｙｓｔｅｍｓ”， ２０１６」）。

ゼロからのシステムのトレーニングは、通常、単一のＧＰＵ上において数時間から数日を所要する。トレーニングされたら、（ＦＯＶの全体に対応する）２５６０×２５６０個のピクセルの超解像度画像を再構築するのに所要するのは、約１秒のみである。トレーニング時間は、事前トレーニング（或いは、転移学習）、ＧＰＵクラスタの使用、或いは、最適化されたデータ拡張により、更に低減することができよう。

模擬画像に関する検証
図２０～図２４を参照して記述されているシステムを検証するために、（局在化精度

に対応する）解像度

により、微小管を模倣するべく意図された半柔軟なフィラメントの２００個の高密度ＳＭＬＭ画像を生成するべく、ブラウン動力学シミュレーションが使用されている。これらは、事実上、無限数の局在化（ｎ＝∞）によって得られることになる「完全」なＳＭＬＭ画像を表している。有限数の局在化（ｎ＜∞）に対応する低密度ＰＡＬＭ画像を生成するべく、変化するレベルのポアソンノイズをこれらの完全な画像に適用した。次いで、システムが、完全な画像をターゲットして、且つ、低密度画像及び対応する低解像度広視野画像を入力として、使用することにより、大きな範囲にわたって、ノイズレベル、即ち局在化の数、を変化させつつ、トレーニングされている。次いで、トレーニング済みのシステムが、同一の確率的シミュレーションによって生成されたＳＭＬＭ画像の別個の組に対して適用されている。

図２５ａは、低解像度広視野画像を示し、且つ、図２５ｂは、ｎ＝６８３４個の局在化から得られた対応する低密度ＳＭＬＭ画像を示している。その稀薄性にも拘らず、この画像内においては、曲線構造が観察されうるが、小さなナスケール特徴が非常に曖昧な状態において留まっており（図２５ｂ、挿入図）、且つ、最近に提案された５倍のナイキスト基準による解像度は、

へのサンプリングによって制限され、この基準によれば、２３ｎｍの解像度を実現するべく、

個の局在化が必要とされる。図２５ｃは、低解像度広視野画像のみから再構築されたＡＮＮＡ－ＳＭＬＭ画像を示しており、これは、低解像度広視野画像において認識可能ではなかった、クリアな、且つ、連続的な、フィラメントを示している。相対的に離隔したフィラメントの大部分は、図２５ｅにおいて示されている完全なＳＭＬＭ画像とほぼ合致している。但し、相対的に高密度の領域においては、多くの小さな特徴が誤っており、例えば、フィラメントは、図２５ｃの青色矢印によって示されているように、誤って、結合され、変位され、分割され、或いは、マージされている。対照的に、組み合わせられた低密度ＳＭＬＭ画像及び低解像度広視野画像から再構築されたＡＮＮＡ－ＳＭＬＭ画像は、図２５ｄ、図２５ｅ、及び図２５ｆから観察されうるように、完全なＳＭＬＭ画像と非常に良好な合致状態において、連続的な、且つ、シャープな、フィラメントを示している。

これらの再構築された画像の空間解像度は、もはや、回折又はサンプリングによって制限されてはおらず、制限されているのは、局在化精度によってのみであり、且つ、従って、完全な画像におけると同様に、

である。これらの結果は、高品質超解像度画像は、従来必要とされている局在化の最小数のわずかな部分（ここでは、上述の

の約１１％）のみから取得することが可能であり、従って、取得時間の強力な低減が可能であることを示している。但し、再構築エラーは、依然として、例えば、図２５ｄ、図２５ｅ、及び図２５ｆの白色矢印によって示されているように、例えば、フィラメントの密度が最高である、などの、低密度局在化データが最も曖昧である、エリア内において発生しうる。これらのエラーは、局在化の数ｎを増大させることにより、低減させることが可能であり、これは、取得時間と再構築品質の間のトレードオフを意味している。

このトレードオフを定量化するべく、図２５ｇにおいて示されるように、標準的なＳＭＬＭ画像との比較において、例えば、

～

の、局在化数の関数として、再構築されたＡＮＮＡ－ＳＭＬＭと完全なＳＭＬＭ画像（ｎ＝∞）の間のＭＳ－ＳＳＩＭを演算することができる。所与の例によれば、ＭＳ－ＳＳＩＭは、０～１であり、且つ、完全な再構築の場合には、１に到達する。

図示（図２５ｇ、黒色曲線）されているように、標準的なＳＭＬＭ画像の場合には、ＭＳ－ＳＳＩＭは、ｎ＝２千万個の局在化にわたって、ほぼ０．２に等しい小さな値から、ほぼ０．９５に等しい相対的に大きな値まで、単調に増大している。低密度画像のみを入力として使用することにより、ＡＮＮＡ－ＳＭＬＭ再構築は、図２５ｇにおいて、破線の青色曲線により、示されているように、ｎ～１００００個以上の局在化の場合に０．９超である、常に相対的に大きな、且つ、標準的なＰＡＬＭよりも格段に迅速に局在化数ｎと共に増大する、ＭＳ－ＳＳＩＭを実現する。ＡＮＮＡ－ＳＭＬＭは、－６００００の代わりに、ｎ～２０００の局在化により、５倍のナイキストサンプリングレベル（約０．６５）において標準的なＰＡＬＭと同一のＭＳ－ＳＳＩｍを実現しており、これは、ほぼ３０倍のスピードアップを示唆している。低解像度広視野画像が更なる入力として使用される場合には、ＭＳ－ＳＳＩＭは、図２５ｇにおいて実線の青色曲線によって示されているように、低局在化カウントの場合には、更に、且つ、劇的に、このような方式で増大している。例えば、ｎ～７，４７７個の局在化の場合に、ＡＮＮＡ－ＳＭＬＭは、ｎ～６４４８４４を有する標準的なＰＡＬＭに類似したＭＳ－ＳＳＩＭ（約０．９５）を実現しており、これは、ほぼ２桁のスピードアップに対応している。

任意の画像回復方法として、ＡＮＮＡ－ＳＭＬＭは、エラーを生成しうる。図２１を参照して記述されている低解像度エラーマップは、エラーが発生する可能性が最も高い場所を推定する手段を提供している。

図２６は、ＡＮＮＡ－ＳＭＬＭによって生成された低解像度エラーマップが低密度局在化画像及び／又は再構築エラーにおける曖昧さを反映する方式を示している。図２６ａ及び図２６ｂは、高フィラメント密度の領域（左）と、低フィラメント密度の領域（右）と、を表示する、模擬的な「完全」なＳＭＬＭ画像（ｎ＝∞）を表している。画像２６ａは、図２５ｅと同一である。画像２６ｂは、フィラメントの小さな断片の人工的な変位を除いて、画像２６ａと同一であり、画像２６ａ内の青色ボックスに対応する画像の部分は、図２６ｂの白色ボックス内において再生成されている。

図２６ｃ及び図２６ｄの画像は、それぞれ、図２６ａ及び図２６ｂにおいて表されている完全なＳＭＬＭ画像のランダムサンプリングによって得られた低密度ＳＭＬＭ画像を表している。

図２６ｅ及び図２６ｆの画像は、それぞれ、図２６ｃ及び図２６ｄの低密度ＰＡＬＭ画像のＡＮＮＡ－ＳＭＬＭ再構築である。図２６ａの画像をグラウンドトルスとして見なすことにより、青色及び白色矢印は、それぞれ、誤って失われたフィラメント（偽陰性）及び誤って追加されたフィラメント（偽陽性）を指し示している。

図２６ｇ及び図２６ｈの画像は、それぞれ、入力として、図２６ｅ及び図２６ｆの低密度ＳＭＬＭ画像を使用することにより、ＡＮＮＡ－ＳＭＬＭによって予測された低解像度画像である。

図２６ｉ及び図２６ｊの画像は、マージされた画像であり、図２６ａのグラウンドトルス画像を緑色において、示し、且つ、それぞれ、図２６ｅ及び図２６ｆのＡＮＮＡ－ＳＭＬＭ再構築を赤色において示している。

図２６ｋ及び図２６ｌの画像は、図２６ａの変更されていない完全なＳＭＬＭ画像に基づいてシミュレーションされた、且つ、図２５ａにおいて示された、同一の低解像度広視野画像との間における図２６ｇ及び図２６ｈの予測された低解像度画像の比較からＡＮＮＡ－ＳＭＬＭによって生成されたエラーマップである。図２６ｊの画像内の青色及び白色矢印によって指し示された高エラー領域は、図２６ｆにおいて示されているＡＮＮＡ－ＳＭＬＭ再構築における偽陰性及び偽陽性の領域を反映している。平均エラー値が、示されており、且つ、変更された画像の場合に、相対的に大きい。図２６ｋ及び図２６ｌの両方のものの画像の左側の高エラーエリアは、高フィラメント密度の領域における図２６ｃ及び図２６ｄの低密度局在化画像の相対的に大きな曖昧さを反映している。

従って、エラーマップは、エラーを含む可能性が最も高い再構築された画像内の領域を強調表示するための、且つ、逆に、再構築が最も信頼できる領域の概要を示すための、有用なツールを提供している。これらのシミュレーション結果は、ＡＮＮＡ－ＳＭＬＭが局在化顕微鏡法用の取得時間の相当な低減を実現しうる、且つ、再構築信頼性がマッピングされうる、ことを示唆している。

免疫染色された微小管のＡＮＮＡ－ＳＭＬＭ再構築
図２０～図２４を参照して記述されているシステムを免疫標識を有する微小管の実際の画像について試験するべく、システムを（低解像度広視野画像と共に）１０分の長さの取得時間において取得された７つの高密度ＳＭＬＭ画像に関してトレーニングした（Ｋ＝６００００、Δｔ＝１０ｍｓ）。この結果、別個のＦＯＶ内の微小管の低密度ＳＭＬＭ画像が、それぞれ、図２７ａ及び図２７ｂにおいて示されているように、低解像度広視野画像（２×５０ｍｓ露光時間）と共に、９秒の取得のみから取得された（ｋ＝３００、Δｔ＝３０ｍｓ）。微小管フィラメントは、低密度ＳＭＬＭ画像内において既に観察されうる一方において、回折限界未満の構造的な詳細は、識別することが困難であり、これにより、相対的に高密度の領域内における個々のフィラメントの経路の追跡と、フィラメントの交差などの特徴の識別と、が困難になっている（図２７ｂ）。

対照的に、それぞれ、図２７ｄ、図２７ｅ、及び図２７ｆに示されているように、低解像度広視野画像のみ、低密度ＳＭＬＭ画像のみ、又はこれらの両方、から構築されたかどうかとは無関係に、ＡＮＮＡ－ＳＭＬＭ画像は、いずれも、シャープな、且つ、連続的な、フィラメントを表示し、且つ、多くの構造的な詳細をクリアに明らかにしている。これらの解像度は、図２７ｃにおいて示されている高密度ＳＭＬＭ画像に類似しているか、或いは、場合によっては、これよりも良好である。観察されうるように、微小管フィラメントが相互に離れている領域においては、低解像度広視野画像のみから再構築されたＡＮＮＡ－ＳＭＬＭ画像は、図２７ｄ及び図２７ｇの画像から観察されうるように、高密度ＳＭＬＭ画像との間において良好な合致状態にある。但し、これは、図２７ｄ及び図２７ｇにおいて灰色矢印によって示されているように、高微小管密度の場所においては、しばしば、誤っている。その代わりに、これらの再構築エラーの大部分は、図２７ｅ及び図２７ｈの画像から観察されうるように、ＡＮＮＡ－ＳＭＬＭを低密度ＳＭＬＭ画像に適用した際には、補正されている。例えば、低解像度広視野画像内においては解像されていない、且つ、図２７ｄの画像内においては誤ってマージされている、２つの微小管の平行なセクションは、いまや、明瞭に分離され、且つ、その正しい場所において位置決めされ、且つ、その他のフィラメントの誤って失われた部分は、図２７ｈの白色及び灰色矢印によって示されているように、低密度ＳＭＬＭ画像を使用する際に、回復されている。直観に反する方式により、低密度ＳＭＬＭ画像は、恐らくは、例えば、不特定の結合に起因した偽の局在化に起因して、高密度ＳＭＬＭ画像が示してはいないいくつかの場所において、高信号を示している（例えば、図２７ｂの青色矢印を観察されたい）。このような信号は、低密度局在化データのみからのＡＮＮＡ－ＳＭＬＭ再構築においては、誤った特徴に結び付きうる（例えば、図２７ｅ及び図２７ｈの青色の矢印を参照されたい）。

但し、低解像度広視野及び低密度ＳＭＬＭデータを組み合わせた際には、これらのアーチファクトは、ほぼ除去され、その結果、図２７ｆ及び図２７ｉにおいて観察されうるように、高密度ＳＭＬＭ画像との間における非常に良好な合致状態の再構築が得られている。図２７ｊにおいて示されているように、フレームの数ｋが増大するのに伴って、再構築の品質も増大する。更に定量的には、上述の模擬的データのものに類似したＭＳ－ＳＳＩＭ分析（但し、この場合には、グラウンドトルスは、高密度ＳＭＬＭ画像のＡＮＮＡ－ＳＭＬＭ出力として定義されている）は、ＡＮＮＡ－ＳＭＬＭが、標準的なＳＭＬＭとの比較において、最大で２桁の取得時間の低減を許容することを示唆している。

上述のように、演算による再構築は、エラーを含みうる。このようなエラーの可能性が最も高い場所の予測を支援するために、エラーマップを演算するべく、低解像度広視野画像を使用することができる。このエラーマップは、ＡＮＮＡ－ＳＭＬＭ再構築が実際に高密度ＳＭＬＭ画像と合致していない領域を強調表示している。逆に、再構築は、エラーマップがはっきりしていない領域の大部分において、高品質を有している。従って、ＡＮＮＡ－ＳＭＬＭは、再構築エラーの可能性が最も高い場所の推定値と共に、ＳＭＬＭ撮像において通常必要とされる取得時間のうちのわずかな部分において、超解像度画像の高品質近似を生成することができる。

単一の人工ニューラルネットワークによる低密度微小管及び核孔画像の再構築
図２８は、（図２８ａ、図２８ｂ、及び図２８ｃにおいて示されている）微小管画像及び（図２８ｄ、図２８ｅ、及び図２８ｆにおいて示されている）核孔画像の低密度局在化画像を再構築するべく、微小管及び核孔の両方に関してトレーニングされた、図２０～図２４を参照して記述されているものの１つなどの、人工ニューラルネットワークの使用を示している。

図２８ａは、ｋ＝５００個のフレームから得られた微小管の低密度ＳＭＬＭ画像を表している。図２８ｂは、（「ＭＴ」と表記された）微小管に対して設定された構造スイッチを伴う、図２８ａの画像に基づいたＡＮＮＡ－ＳＭＬＭ再構築を示している。図２８ｃは、Ｋ＝６００００個のフレームから得られた高密度ＳＭＬＭ画像を表している。

図２８ｄは、ｋ＝３０００個のフレームから得られたヌクレオポリンｇｐ２１０の低密度ＳＭＬＭ画像を表している。図２８ｅは、（「ＮＰＣ」と表記された）核孔に対して設定された構造を有する、図２８ｄの画像に基づいたＡＮＮＡ－ＳＭＬＭ再構築を示している。図２８ｆは、Ｋ＝３００００個のフレームから得られた高密度ＳＭＬＭ画像を表している。

図２８ｇは、図２８ｄと同一である。

図２８ｈは、微小管（「ＭＴ」）に対して設定された構造スイッチを伴う、図２８ｇの画像に基づいたＡＮＮＡ－ＳＭＬＭ再構築を表している。再構築された画像のアーチファクト特性に留意されたい。

図２８ｉは、図２８ｆと同一である。

図示されているように、システムは、再構築対象の低密度ＳＭＬＭ画像内のものに類似した構造を有する高密度ＳＭＬＭ画像に関する事前トレーニングを必要としている。最適な再構築精度は、低密度ＳＭＬＭ画像（並びに／或いは、低解像度広視野画像）がトレーニング画像と同一の確率分布に属している際に予想される。但し、システムは、安定しており、且つ、構造内の実験によって誘発される変化及び撮像パラメータの複数の変動に関する再度のトレーニングを必要としてはいない。（図２２を参照して記述されている）スイッチ値Ｍに対応する、構造スイッチは、異なるスイッチ値を画像のそれぞれの組に割り当てることにより、単一システムが、例えば、異なる構造を表す画像の組などの、異なる画像の組により、トレーニングされることを許容している。有利には、スイッチの使用は、演算をトレーニングデータの選択された組に限定することにより、トレーニングの際の人工ニューラルネットワークの演算時間を低減している。

更には、本発明の実施形態は、生細胞内の動的な超解像度撮像を促進している。実際に、これは、単一の超解像度ムービーフレームを再構築するべく、ＳＭＬＭ又は均等な画像処理方法よりも少ない数の連続した未加工画像を使用することと、従って、空間解像度を犠牲にすることなしに時間解像度を改善することと、を可能にしている。これは、相対的に大きな励起パワーを必要とせず、且つ、従って、更なる光毒性及び光ブリーチングの問題を有しておらず、これにより、相対的に穏やかな条件における長期間にわたる観察を許容している。従って、これは、過剰な光損傷を伴うことなしに、相対的に高速且つ長期にわたる生細胞の超解像度撮像を許容している。

特定の実施形態においては、図２０～図２４を参照して上述したものの１つなどの、人工ニューラルネットワークが、低密度局在化画像、少なくとも部分的に対応する低解像度広視野画像、及び対応する高密度超解像度画像のトリプレットによってトレーニングされた際に、合成高密度超解像度画像を再構築するべく、入力として、低解像度広視野画像のみを使用することができる（例えば、図２７ｄを観察されたい）。低解像度広視野画像は、通常５０～５００ｍｓの取得時間により、１つのフレーム内においてのみ、得られうることから、取得の速度は、生細胞撮像及び超解像度撮像を組み合わせるべく十分に高速である。又、低解像度広視野画像を入力として使用することにより、染色及びサンプルの準備も単純化される。例えば、ＳＴＯＲＭにおけるように、ブリンキングバッファを使用する必要がなく、且つ、広く使用されている緑色蛍光プロテイン（ＧＦＰ：Ｇｒｅｅｎ－Ｆｌｕｏｒｅｓｃｅｎｔ Ｐｒｏｔｅｉｎ）などの、蛍光プロテインを使用することにより、ライブサンプルの摂動を低減することができる。又、入力としての低解像度広視野画像の使用は、高スループットの生細胞の超解像度撮像の実行を可能にしている。

更には、本発明の実施形態は、相対的に直接的な方式により、３Ｄ合成高密度ＳＭＬＭ画像の再構築に対して拡張することができる。要件は、ＡＮＮのトレーニングの後に、高密度の３ＤのＳＭＬＭデータ及び１つ又は複数の低密度の３ＤのＳＭＬＭデータから構成されたトレーニングデータセットを再構築することである。ＡＮＮアーキテクチャは、３Ｄ入力及び出力データに対応するように、変更する必要があろう。３ＤのＳＭＬＭデータは、点広がり関数（ＰＳＦ）技法（例えば、非点収差、二重螺旋又は鞍点ＰＳＦ）又はバイプレーン撮像、或いは、ｚステッピングを伴う又は伴わない干渉ＳＭＬＭ（例えば、ｉＰＡＬＭ）を含む、様々な技法を使用することにより、取得することができる。特定の実施形態においては、ＡＮＮのトレーニングの後に再構築されるトレーニングデータセット及び低密度３ＤＳＭＬＭデータは、対応する３Ｄ低解像度広視野画像を含む。トレーニングデータセットが対応する３Ｄ低解像度広視野画像を含んでいる際には、３Ｄ合成高密度ＳＭＬＭ画像を再構築するべく、入力として、３Ｄ低解像度広視野画像のみを使用することができる。

更には、本発明の実施形態は、いくつかの方法により、マルチカラー撮像に拡張することができる。

第１の方式は、１超の整数であるｐにおいて取得される未加工画像から構成されたＳＭＬＭデータをｐ個の低密度ＳＭＬＭ画像を取得するべく処理される色チャネルとして見なす、というものである。この結果、ｐ個のＡＮＮが、それぞれの色ごとに１つずつ、独立的にトレーニングされるように、（モノカラーＡＮＮＡ－ＰＡＬＭ法と見なされうる）本発明の実施形態を使用することにより、それぞれの色をその他のものとは独立的に処理することが可能であり、この場合に、トレーニングデータの要件は、モノカラーＡＮＮＡ－ＰＡＬＭの場合と同一である。次いで、推定のために、低密度マルチカラーＳＭＬＭ画像は、（それぞれの色が、その対応するＡＮＮに割り当てられている）これらのｐ個のＡＮＮ内に供給され、且つ、結果的に得られるｐ個の合成高密度ＳＭＬＭ画像が、高密度マルチカラー超解像度画像として組み合わせられる。

第２の方式は、ｐ個の低密度ＳＭＬＭ画像（それぞれの色ごとに１つ）を入力として取得し、且つ、ｐ個の高密度ＳＭＬＭ画像を出力（それぞれの色ごとに１つずつ）として生成することにより、ｐ個のカラーチャネルを同時に処理するべく、単一のＡＮＮを利用する、というものである。これは、入力及び出力として、ｐ個のカラーチャネルを収容するべく、ＡＮＮアーキテクチャに対するわずかな変更を必要とすることになる。この第２の方式においては、ＡＮＮは、ｐ個のカラーチャネルのすべての結合確率密度を同時に学習することができる。結果として、それぞれのカラーチャネルの再構築が、その他のカラーチャネルの情報コンテンツの影響を受けうることになり、これにより、再構築品質及び／又は取得効率の更なる改善を許容することができる。

第３の方式は、単一カラー入力データから出力としてマルチカラー画像を生成するべく、ＡＮＮをトレーニングする、即ち、カラーアンミキシングを実行する、というものである。この方式においては、トレーニングデータは、異なるターゲット分子にそれぞれが対応している、ｐ個のカラーチャネルにおいて取得されたＳＭＬＭ画像から構成されることになろう。ｐ個のカラー画像は、カラーチャネルを無視することにより、単一カラー画像に単純に組み合わせることができる。ＡＮＮは、ターゲット出力としてｐ個のカラー画像を有する状態において、入力として（すべてのｐ個の分子種からの局在化を含んでいる）この単一のカラー画像を使用することにより、トレーニングすることができる。入力データは、（モノカラーＡＮＮＡ－ＰＡＬＭにおけると同様に）ターゲットデータよりも低密度であってもよく、或いは、そうでなくてもよい（取得時間の低減を伴うことのない、カラーアンミキシングの場合）。トレーニングされたら、このＡＮＮは、ｐ個の分子種が同一のカラーチャネル内において撮像されている、画像に適用されることになる。この方式は、同時に（ＳＭＬＭを伴って又は伴うことなしに）撮像されうる別個の種の数を増大させることが可能であり、その理由は、これが、もはや、スペクトル的に弁別可能な蛍光色素を必要としてはいないからである。

本発明の実施形態は、既存の局在化顕微鏡法システムに対するなんらの変更をも必要としてはおらず、且つ、トレーニングのために、例えば、ＳＴＯＲＭ画像などの、いくつかの標準的なＳＭＬＭ画像のみを必要としている、ことに留意されたい（システムをトレーニングするには、単一のＳＴＯＲＭ画像で十分であるが、相対的に大きな画像の組に関してシステムをトレーニングすることにより、更に良好な結果（相対的に高い精度又は効率）が予測されうるものと観察される）。

更には、図２０～図２４を参照して記述されているシステムに関係する本発明の実施形態は、広視野蛍光顕微鏡法、共焦点顕微鏡法、或いは、構造化照明顕微鏡法（ＳＩＭ：Ｓｔｒｕｃｔｕｒｅｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ）、誘導放出抑制（ＳＴＥＤ：ＳＴｉｍｕｌａｔｅｄ Ｅｍｉｓｓｉｏｎ Ｄｅｐｌｅｔｉｏｎ）顕微鏡法、電子顕微鏡法（ＥＭ：Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ）、又は低温電子顕微鏡法（ＣｒｙｏＥＭ：Ｃｒｙｏ－Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ）などの、超解像度顕微鏡法のような、様々な顕微鏡法の方法によって取得される画像の解像度を改善するべく、拡張することができる。この方式は、異なる解像度を有する２つの顕微鏡法技法から得られた画像のペアを伴うシステムのトレーニングに依存しており、この場合に、入力画像は、相対的に低い解像度を有する顕微鏡法技法から得られ、且つ、対応する望ましい画像（ターゲット画像）は、相対的に高い解像度を有する顕微鏡法技法から得られている。例えば、低解像度広視野画像は、合成ＥＭ画像を出力するジェネレータネットワークとして見なるされうる、人工ニューラルネットワーク２０００の入力として使用されうる一方で、望ましい出力に対応する、ターゲットＥＭ画像は、そのパラメータを相応して適合させるべく、人工ニューラルネットワーク２０００の出力と比較されている。システムをトレーニングするためには、入力及びターゲット画像を同一の視野にアライメントさせる必要があり、且つ、ピクセルごとに見当合わせする必要がある。２つの画像が同一のピクセルサイズを有していない場合には、人工ニューラルネットワークをトレーニングするべく使用される同一のピクセルサイズを有するように、相対的に小さなものを相対的に大きなものに拡大するべく、補間を使用することができる。実際に、異なる超解像度技法を混合した、アライメントされた画像は、異なるモジュールを装備した同一の顕微鏡により、取得することができる。ＥＭのケースにおいては、光電子相関顕微鏡法技法により、光学顕微鏡法を電子顕微鏡法と組み合わせている。この方式においては、その個々の解像度が、ターゲット画像の解像度よりも低い場合には、異なる解像度を有する又は有していない、異なる顕微鏡法技法によって取得されたいくつかの画像を入力として使用することもできる。例えば、人工ニューラルネットワークは、入力としての共焦点顕微鏡及び対応するＳＩＭ画像のトリプレットと、ターゲット画像としての対応するＥＭ画像と、により、トレーニングすることができる。

更には、図２０～図２４を参照して記述されているシステムに関係する本発明の実施形態は、電子顕微鏡法（ＥＭ）によって得られた画像の特異性を改善するべく、拡張することができる。この技法は、光学顕微鏡法において、マルチカラー撮像などのマルチチャネル撮像を実行するべく、異なる分子種に具体的に染色又はラベル付与することを許容してはいない。ＥＭの特異性を改善するべく、人工ニューラルネットワークは、合成ラベル付与ＥＭ画像を再構築するために、入力としてのＥＭ画像と、ターゲット画像としての、望ましい要素にラベル付与された、対応するアライメントされた光学顕微鏡法画像と、により、トレーニングすることができる。

図１９は、例えば、図３～図９を参照して記述されているアルゴリズムのうちの１つ又はいくつかなどの、本発明の少なくとも一部分の少なくとも１つの実施形態を実装するように構成された処理装置１９００を概略的に示している。処理装置１９００は、マイクロコンピュータ、ワークステーション、又は高度な並列コンピュータなどの装置であってよい。装置１９００は、
－ＣＰＵと表記された、マイクロプロセッサなどの、中央処理ユニット１９１１、
－本発明を実装するためのコンピュータプログラムを保存する、ＲＯＭと表記された、読み出し専用メモリ１９０７、
－本発明の実施形態の方法の実行可能コードのみならず、本発明の実施形態による単一分子局在化顕微鏡法によって取得される未加工画像の組立を改善する方法を実装するべく必要とされる変数及びパラメータを記録するように適合されたレジスタを保存する、ＲＡＭと表記された、ランダムアクセスメモリ１９１２、及び、
－処理対象のデジタルデータが送信されうる、通信ネットワーク１９０３に接続された通信インターフェイス１９０２、
が好ましくは接続される、通信バス１９１３を有する。

又、任意選択により、装置１９００は、
－本発明の１つ又は複数の実施形態の方法を実装するためのコンピュータプログラムと、本発明の１つ又は複数の実施形態の実装の際に使用又は生成されるデータと、を保存する、ハードディスクなどの、データストレージ手段１９０４、
－ディスク１９０６用のディスクドライブ１９０５であって、データをディスク１９０６に書き込む、或いは、データを前記ディスク上に書き込む、ように適合されたディスクドライブ、
－キーボード１９１０又は任意のその他のポインティング手段を利用して、データを表示し、且つ／又は、ユーザーとの間のグラフィカルインターフェイスとして機能する、画面１９０９、及び、
－大きなマトリックスデータの並列処理を許容する、且つ、具体的には、１つ又は複数の人工ニューラルネットワークの動作を実行するべく、使用されうる、表されてはいない、グラフィック処理ユニット（ＧＰＵ）であって、演算時間を最適化するべく重要であると証明されうる、ＧＰＵ、
というコンポーネントを含みうる。

通信バスは、装置１９００内に含まれている、又はこれに接続された、様々な要素の間における通信及び相互動作性を提供している。バスの表現は、限定ではなく、且つ、具体的には、中央処理ユニットは、直接的に、或いは、装置１９００の別の要素を利用して、命令を装置１９００の任意の要素に伝達するべく動作可能である。

ディスク１９０６は、例えば、再書き込み可能である又はそうではない、コンパクトディスク（ＣＤ－ＲＯＭ）、ＺＩＰディスク又はメモリカード、などの、任意の情報媒体により、且つ、一般的な用語においては、恐らくは、着脱自在である、且つ、その実行が、本発明の実施形態による単一分子局在化顕微鏡によって得られた未加工画像の組立を改善する方法が実装されることを可能にする、１つ又は複数のプログラムを保存するべく適合された、マイクロコンピュータにより、或いは、装置に統合された、又はそうではない、マイクロプロセッサにより、読み取られうる情報ストレージ手段により、置換することができる。

実行可能コードは、読み出し専用メモリ１９０７内において、ハードディスク１９０４上において、或いは、例えば、上述のディスク１９０６などの着脱自在のデジタル媒体上において、保存することができる。一変形によれば、プログラムの実行可能コードは、実行される前に、ハードディスク１９０４などの、装置１９００のストレージ手段のうちの１つの内部において保存されるように、インターフェイス１９０２を介して、通信ネットワーク１９０３を利用して受け取ることができる。

中央処理ユニット１９１１は、本発明による１つ又は複数のプログラムのソフトウェアコードの命令又は一部分の実行を制御又は調整するように適合されており、この場合に、命令は、上述のストレージ手段のうちの１つの内部において保存されている。電源投入の際に、例えば、ハードディスク１９０４などの、不揮発性メモリ内において、或いは、読み出し専用メモリ１９０７内において、保存された、１つ又は複数のプログラムは、ランダムアクセスメモリ１９１２内に転送され、この結果、ランダムアクセスメモリ１９１２は、１つ又は複数のプログラムの実行可能コードのみならず、本発明を実装するべく必要とされる変数及びパラメータを保存したレジスタをも収容している。
この実施形態においては、装置は、本発明を実装するべくソフトウェアを使用するプログラム可能な装置である。但し、この代わりに、本発明は、（例えば、用途固有の集積回路、即ち、ＡＳＩＣの形態において）ハードウェア内において実装することもできる。

当然のことながら、ローカルな且つ特定の要件を充足するべく、当業者は、上述の解決策に対して多数の変更及び変形を適用しうるが、そのすべては、添付の請求項によって定義されている本発明の保護の範囲に含まれている。

Claims (15)

1. 低解像度広視野画像（Ｌ _i ）を含む、少なくとも１つの低情報コンテンツ画像（ＳＭＬＭ（ｋ_i）、Ｌ_i）から少なくとも１つの合成高密度超解像度画像（ＡＮＮＡ－ＳＭＬＭ（ｋ_i））を再構築する、コンピュータによって実行される方法であって、
   －少なくとも１つの低情報コンテンツ画像を取得するステップと、
   －前記少なくとも１つの取得された低情報コンテンツ画像を人工ニューラルネットワーク（２０００）に入力するステップと、
   －前記人工ニューラルネットワークから合成高密度超解像度画像を取得するステップと、
   を有し、
   前記人工ニューラルネットワークは、高密度超解像度画像と対応する前記人工ニューラルネットワークの出力を比較するトレーニング目的関数の関数として、単一分子局在化顕微鏡法によって取得された一連の回折限界画像から得られた低密度局在化画像（ＳＭＬＭ（ｋ_i））、少なくとも部分的に対応する低解像度広視野画像（Ｌ_i）、及び対応する高密度超解像度画像（ＳＭＬＭ（Ｋ_i））のトリプレットを有するトレーニングデータにより、トレーニングされている、方法。
2. 前記少なくとも１つの低情報コンテンツ画像は、単一分子局在化顕微鏡法画像処理に従って一連の回折限界画像から再構築された低密度局在化画像（ＳＭＬＭ（ｋ_i））を更に有し、
   －一連の回折限界画像（２００）を取得するステップと、
   －前記取得された一連の回折限界画像から前記低密度局在化画像（２１０）を再構築するステップと、
   を更に有する請求項１に記載の方法。
3. 前記低解像度広視野画像は、前記低密度局在化画像を再構築するべく使用される前記一連の回折限界画像のうちの少なくとも一部である請求項２に記載の方法。
4. エラーマップを演算するステップを更に有し、前記エラーマップは、前記合成高密度超解像度画像内の場所の関数としてエラーが発生する確率を表している請求項３に記載の方法。
5. 前記エラーマップを演算するステップは、前記合成高密度超解像度画像から低解像度画像（Ｌ’（ｋ））を生成するステップと、前記生成された低解像度画像を、前記人工ニューラルネットワーク内に入力される前記低解像度広視野画像と比較するステップとを有する、請求項４に記載の方法。
6. 前記トレーニング目的関数は、条件付き敵対的生成ネットワークタイプの人工ニューラルネットワークに基づいた目的関数の少なくとも１つを有し、且つ、前記人工ニューラルネットワークに入力される前記低解像度広視野画像は、前記条件付き敵対的生成ネットワークの条件として使用されている請求項１乃至５のいずれか１項に記載の方法。
7. 前記低密度局在化画像は、３Ｄ低密度局在化画像であり、且つ、前記高密度超解像度画像は、３Ｄ高密度超解像度画像であるか、
   又は、前記低密度局在化画像は、マルチカラー低密度局在化画像であり、且つ、前記高密度超解像度画像は、マルチカラー高密度超解像度画像である、請求項１乃至６のいずれか１項に記載の方法。
8. 単一分子局在化顕微鏡法によって取得された一連の回折限界画像から少なくとも１つの合成高密度超解像度画像（ＡＮＮＡ－ＳＭＬＭ’（ｋ_i））を再構築する、コンピュータによって実行される方法であって、
   －単一分子局在化顕微鏡法によって取得された一連の回折限界画像を取得するステップと、
   －単一分子局在化顕微鏡法画像処理に従って前記取得された一連の回折限界画像から低密度局在化画像（ＳＭＬＭ’（ｋ_i））を再構築するステップと、
   －前記再構築された低密度局在化画像を人工ニューラルネットワーク（３００）に入力するステップと、
   －前記人工ニューラルネットワークから合成高密度超解像度画像を取得するステップと、
   を有し、
   前記人工ニューラルネットワークは、高密度超解像度画像と前記人工ニューラルネットワークの対応する出力を比較するトレーニング目的関数の関数として、低密度局在化画像（ＳＭＬＭ（ｋ_i））及び対応する高密度超解像度画像（ＳＭＬＭ（Ｋ_i））のペアを有するトレーニングデータにより、トレーニングされている、方法。
9. 前記取得された前記一連の回折限界画像は、研究対象の視野の第１視野に対応しており、一連の回折限界画像を取得する前記ステップ、前記取得された一連の回折限界画像から低密度局在化画像を再構築する前記ステップ、前記再構築された低密度局在化画像を前記人工ニューラルネットワークに入力する前記ステップ、並びに、前記人工ニューラルネットワークから合成高密度超解像度画像を取得する前記ステップは、前記研究対象の視野の少なくとも１つの第２視野について反復され、前記第１視野及び前記第２視野は異なっている請求項８に記載の方法。
10. 前記第１視野及び前記第２視野は、前記研究対象の視野内において連続しており、前記方法は、前記人工ニューラルネットワークから得られた合成高密度超解像度画像を縫合することにより、結果的に得られる画像を生成するステップを更に有する請求項９に記載の方法。
11. 前記取得された前記一連の回折限界画像は、既定の視野に対応しており、一連の回折限界画像を取得する前記ステップ、前記取得された一連の回折限界画像から低密度局在化画像を再構築する前記ステップ、前記再構築された低密度局在化画像を前記人工ニューラルネットワークに入力する前記ステップ、並びに、前記人工ニューラルネットワークから合成高密度超解像度画像を取得する前記ステップは、前記既定の視野と同一の視野について周期的に反復されている請求項８乃至１０のいずれか１項に記載の方法。
12. 前記人工ニューラルネットワークをトレーニングするステップと、前記人工ニューラルネットワークをトレーニングするべく低密度局在化画像及び対応する高密度超解像度画像をペア化するステップと、を更に有し、
    低密度局在化画像と対応する高密度超解像度画像をペア化する前記ステップは、
    －単一分子局在化顕微鏡法によって取得された前記トレーニング用の一連の回折限界画像（２００）を取得するステップと、
    －単一分子局在化顕微鏡法画像処理に従って前記取得された前記トレーニング用の一連の回折限界画像の第１サブセットから複数の低密度局在化画像（２１０）を再構築するステップと、
    －単一分子局在化顕微鏡法画像処理に従って前記取得された前記トレーニング用の一連の回折限界画像の第２サブセットから複数の高密度超解像度画像（２０５）を再構築するステップであって、前記第２サブセットのそれぞれは、前記第１サブセットのそれぞれよりも多くの回折限界画像を有する、ステップと、
    を有する請求項８乃至１１のいずれか１項に記載の方法。
13. 前記低密度局在化画像は、３Ｄ低密度局在化画像であり、且つ、前記高密度超解像度画像は、３Ｄ高密度超解像度画像であるか、
    又は、前記低密度局在化画像は、マルチカラー低密度局在化画像であり、且つ、前記高密度超解像度画像は、マルチカラー高密度超解像度画像である、請求項８乃至１２のいずれか１項に記載の方法。
14. 請求項１乃至１３のいずれか１項に記載の前記方法のそれぞれのステップを実行するべく構成された手段を有する装置。
15. プログラム可能な装置用のコンピュータプログラムであって、前記コンピュータプログラムが、プログラム可能な装置によって読み込まれ、且つ、実行された際に、請求項１乃至１３のいずれか１項に記載の前記方法のそれぞれのステップを実行する命令を有するコンピュータプログラム。

Images