JP2024538518A - イメージを処理する装置および方法 - Google Patents
イメージを処理する装置および方法 Download PDFInfo
- Publication number
- JP2024538518A JP2024538518A JP2024516784A JP2024516784A JP2024538518A JP 2024538518 A JP2024538518 A JP 2024538518A JP 2024516784 A JP2024516784 A JP 2024516784A JP 2024516784 A JP2024516784 A JP 2024516784A JP 2024538518 A JP2024538518 A JP 2024538518A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unseparated
- biomolecule
- images
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 92
- 238000012545 processing Methods 0.000 title claims description 16
- 239000000126 substance Substances 0.000 claims abstract description 147
- 230000015654 memory Effects 0.000 claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims description 125
- 239000000463 material Substances 0.000 claims description 64
- 238000013528 artificial neural network Methods 0.000 claims description 49
- 238000000295 emission spectrum Methods 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000002372 labelling Methods 0.000 claims description 19
- 238000003672 processing method Methods 0.000 abstract description 17
- 239000000523 sample Substances 0.000 description 106
- 238000009826 distribution Methods 0.000 description 82
- 238000010186 staining Methods 0.000 description 70
- 238000000926 separation method Methods 0.000 description 67
- 238000013145 classification model Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 41
- 238000004891 communication Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 24
- 238000011156 evaluation Methods 0.000 description 24
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 230000014509 gene expression Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 239000012472 biological sample Substances 0.000 description 7
- 238000005315 distribution function Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 238000004043 dyeing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 239000000654 additive Substances 0.000 description 5
- 230000000996 additive effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 108010042653 IgA receptor Proteins 0.000 description 3
- 102100034014 Prolyl 3-hydroxylase 3 Human genes 0.000 description 3
- 101800004937 Protein C Proteins 0.000 description 3
- 102100036546 Salivary acidic proline-rich phosphoprotein 1/2 Human genes 0.000 description 3
- 101800001700 Saposin-D Proteins 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000006116 polymerization reaction Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 229960000856 protein c Drugs 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000002779 inactivation Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000695 excitation spectrum Methods 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/32—Investigating bands of a spectrum in sequence by a single detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/531—Production of immunochemical test materials
- G01N33/532—Production of labelled immunochemicals
- G01N33/533—Production of labelled immunochemicals with fluorescent label
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
- G01J2003/2806—Array and filter array
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
- G01J2003/284—Spectral construction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
- G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biotechnology (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Microbiology (AREA)
- Cell Biology (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本開示の一態様として、イメージ処理方法を提案する。前記方法は、1つ以上のプロセッサ、および前記1つ以上のプロセッサによって実行される命令が記録された1つ以上のメモリを含む電子装置で実行されるイメージ処理方法であって、第1蛍光物質で標識された第1生体分子および標識されていない第2生体分子を含む試料(sample)の第1未分離イメージを取得すること、前記第1蛍光物質で標識された前記第1生体分子および第2蛍光物質で標識された前記第2生体分子を含む前記試料の第2未分離イメージを取得すること、および前記第1未分離イメージおよび前記第2未分離イメージに基づいて、前記第2生体分子の分離イメージを生成することを含む。
Description
本開示は、イメージを処理するための技術に関する。
生体試料に対する蛍光イメージングは、試料に含まれる生体分子を蛍光物質で標識した後、この蛍光物質から発光する光を撮影することで試料内部の生体物質を間接的に観察する技法である。蛍光物質に光を照射すると、蛍光物質は光を吸収して励起状態(excitation)となってから再び光を発光(emission)するが、このとき、吸収した光よりも長い波長の光を発光する。例えば、蛍光物質は、特定の波長帯(例えば、350~400nm)の光を吸収して特定の波長帯(例えば、400~600nm)の光を発光する。このとき、波長を変えたときの蛍光物質の励起の変化程度を示したものを励起スペクトル(excitation spectrum)と言い、波長を変えたときの発光する光の強さを示したものを発光スペクトル(emission spectrum)と言う。
従来技術では、試料に含まれる複数の生体分子を観察するためには発光スペクトルが極力重ならないようにしなければならないという制約があり、これにより、観察可能な蛍光物質の数に限りがあるという限界を抱えていた。
本開示は、イメージを処理するための技術を提供する。
本開示の一態様として、イメージ処理方法を提案する。前記方法は、1つ以上のプロセッサ、および前記1つ以上のプロセッサによって実行される命令が記録された1つ以上のメモリを含む電子装置で実行されるイメージ処理方法であって、第1蛍光物質で標識された第1生体分子および標識されていない第2生体分子を含む試料(sample)の第1未分離イメージを取得すること、前記第1蛍光物質で標識された前記第1生体分子および第2蛍光物質で標識された前記第2生体分子を含む前記試料の第2未分離イメージを取得すること、および前記第1未分離イメージおよび前記第2未分離イメージに基づいて、前記第2生体分子の分離イメージを生成することを含む。
一実施形態において、前記第1未分離イメージおよび前記第2未分離イメージはそれぞれ、前記試料から同一の特定の波長帯の光を検出することによって撮影されたイメージであってもよい。
一実施形態において、前記第1未分離イメージおよび前記第2未分離イメージはそれぞれ、同一の発光フィルタに基づいて取得したイメージであり、前記発光フィルタは、特定の波長帯の光を通過させるフィルタであってもよい。
一実施形態において、前記第1蛍光物質および前記第2蛍光物質は、互いに同一の蛍光物質であってもよい。
一実施形態において、前記第1蛍光物質および前記第2蛍光物質は、前記第1蛍光物質の発光スペクトル(spectrum)内で発光信号の強度が最大となる第1波長値、および前記第2蛍光物質の発光スペクトル内で発光信号の強度が最大となる第2波長値が所定の条件を満たすように決定されてもよい。
一実施形態において、前記所定の条件は、前記第1波長値と前記第2波長値の差値が予め定められた閾値以下である場合に満たされる条件であってもよい。
一実施形態において、前記所定の条件は、前記第1波長値と前記第2波長値のうちでより大きな波長値に対するより小さな波長値の比率が予め定められた閾率以上である場合に満たされる条件であってもよい。
一実施形態において、前記第2未分離イメージは、前記試料の前記第1未分離イメージを撮影した後、前記試料に含まれる前記第2生体分子を前記第2蛍光物質で標識してから前記試料を撮影することによって取得されてもよい。
一実施形態において、前記分離イメージを生成することは、アンミキシング(Unmixing)行列を利用して、前記第1未分離イメージおよび前記第2未分離イメージを演算することを含んでもよい。
一実施形態において、前記アンミキシング行列に含まれる少なくとも1つの要素の値は、学習された人工ニューラルネットワークモデルに基づいて決定されてもよい。
一実施形態において、前記第1蛍光物質で標識された前記第1生体分子、前記第2蛍光物質で標識された前記第2生体分子、および第3蛍光物質で標識された第3生体分子を含む前記試料の第3未分離イメージを取得することをさらに含み、前記生成することは、追加的に前記第3未分離イメージに基づいて、前記第3生体分子に対する分離イメージを生成することを含んでもよい。前記第1未分離イメージは、標識されていない前記第2生体分子および標識されていない前記第3生体分子を含む試料を撮影することによって取得したイメージであり、前記第2未分離イメージは、標識されていない前記第3生体分子を含む試料を撮影することによって取得したイメージであってもよい。
一実施形態において、前記第2未分離イメージは、前記試料の前記第1未分離イメージを撮影した後、前記試料に含まれる前記第2生体分子を前記第2蛍光物質で標識してから前記試料を撮影することによって取得され、前記第3未分離イメージは、前記試料の前記第2未分離イメージを撮影した後、前記試料に含まれる前記第3生体分子を前記第3蛍光物質で標識してから前記試料を撮影することによって取得されてもよい。
本開示の他の態様によると、イメージ処理のための電子装置を提案する。前記電子装置は、1つ以上のプロセッサ、および前記1つ以上のプロセッサによって実行される命令が記録された1つ以上のメモリを含み、前記1つ以上のプロセッサは、第1蛍光物質で標識された第1生体分子および標識されていない第2生体分子を含む試料(sample)の第1未分離イメージを取得し、前記第1蛍光物質で標識された前記第1生体分子および第2蛍光物質で標識された前記第2生体分子を含む前記試料の第2未分離イメージを取得し、前記第1未分離イメージおよび前記第2未分離イメージに基づいて、前記第2生体分子の分離イメージを生成してもよい。
一実施形態において、前記第1未分離イメージおよび前記第2未分離イメージはそれぞれ、前記試料に対して同一の特定の波長帯の光を検出することによって撮影されたイメージであってもよい。
一実施形態において、前記第1未分離イメージおよび前記第2未分離イメージはそれぞれ、同一の発光フィルタに基づいて取得したイメージであり、前記発光フィルタは、特定の波長帯の光を通過させるフィルタであってもよい。
一実施形態において、前記第1蛍光物質および前記第2蛍光物質は、互いに同一の蛍光物質であってもよい。
一実施形態において、前記第1蛍光物質および前記第2蛍光物質は、前記第1蛍光物質の発光スペクトル内(Spectrum)で発光信号の強度が最大となる第1波長値、および前記第2蛍光物質の発光スペクトル内で発光信号の強度が最大となる第2波長値が所定の条件を満たすように決定されてもよい。
一実施形態において、前記第2未分離イメージは、前記試料の前記第1未分離イメージを撮影した後、前記試料に含まれる前記第2生体分子を前記第2蛍光物質で標識してから前記試料を撮影することによって取得されてもよい。
一実施形態において、前記電子装置は、撮影部をさらに含み、前記1つ以上のプロセッサは、前記第1蛍光物質で標識された前記第1生体分子および標識されていない前記第2生体分子を含む前記試料を前記撮影部によって撮影することによって前記第1未分離イメージを取得し、前記第1蛍光物質で標識された前記第1生体分子および前記第2蛍光物質で標識された前記第2生体分子を含む前記試料を前記撮影部によって撮影することによって前記第2未分離イメージを取得してもよい。
一実施形態において、前記1つ以上のプロセッサは、前記第1未分離イメージと前記第2未分離イメージの間で算出される依存性評価値に基づいて前記分離イメージを生成してもよい。
一実施形態において、前記依存性評価値は、相互情報量、カルバック・ライブラー情報量(Kullback-Leibler Divergence)値、交差エントロピー値、またはランド指数(Rand Index)のうちの少なくとも1つであってもよい。
一実施形態において、前記1つ以上のプロセッサは、学習された人工ニューラルネットワークが、前記第1未分離イメージおよび前記第2未分離イメージに基づいて算出した出力値に基づいて前記分離イメージを生成してもよい。
本開示のまた他の態様として、イメージ処理のための命令を記録した非一時的なコンピュータ読み取り可能な記録媒体を提案する。1つ以上のプロセッサによって実行されるときに、前記1つ以上のプロセッサに動作を実行させる命令を記録した非一時的なコンピュータ読み取り可能な記録媒体であって、前記命令は、前記1つ以上のプロセッサにより、第1蛍光物質で標識された第1生体分子および標識されていない第2生体分子を含む試料(sample)の第1未分離イメージを取得し、第1蛍光物質で標識された前記第1生体分子および第2蛍光物質で標識された前記第2生体分子を含む前記試料の第2未分離イメージを取得し、前記第1未分離イメージおよび前記第2未分離イメージに基づいて、前記第2生体分子の分離イメージを生成してもよい。
本開示に係るイメージ処理方法は、従来の方法で要求されていた蛍光物質の不活性または除去工程を経る必要がないため、イメージ処理にかかる時間を縮めることができる。
本明細書に記載する多様な実施形態は、本開示の技術的思想を明確に説明することを目的として例示したものであり、本開示が特定の実施形態によって限定されてはならない。本開示の技術的思想は、本明細書に記載する各実施形態の多様な変更(modifications)、均等物(equivalents)、代替物(alternatives)、および各実施形態のすべてまたは一部を選択的に組み合わせた実施形態を含む。また、本開示の技術的思想の権利範囲が、以下で提示する多様な実施形態やこれについての具体的な説明に限定されてはならない。
技術的または科学的な用語をはじめとする、本明細書で使用する用語は、特に定義されていない限り、本開示が属する技術分野の当業者によって一般的に理解される意味を有する。
本明細書で使用する「含む」、「含むことができる」、「備える」、「備えることができる」、「有する」、「有することができる」などの表現は、対象となる特徴(例えば、機能、動作またはコンポーネントなど)が存在することを意味するものであり、他の追加的な特徴の存在を排除するものではない。すなわち、このような表現は、他の実施形態を含む可能性を内包する、制約のない(open-ended)用語として理解されなければならない。
本明細書で使用する単数形の表現は、文脈上で他の意味を記述しない限り、複数形の意味も含む。これは、特許請求の範囲に記載する単数形の表現にも同じように適用される。
本明細書で使用する「第1」、「第2」、または「1つ目」、「2つ目」などの表現は、文脈上で他の意味を記述しない限り、複数の同種の対象を指摘するときに、ある対象を他の対象と区別するために使用されるものであり、この対象間の順序または重要度を限定するものではない。例えば、本開示に係る複数の蛍光物質はそれぞれ、「第1蛍光物質」、「第2蛍光物質」のように表現しながら互いを区別した。また、本開示に係る複数の入力イメージはそれぞれ、「第1入力イメージ」、「第2入力イメージ」のように表現しながら互いを区別した。同じように、「生体分子」、「分離イメージ」、「確率分布」などの本開示で使用する用語は、「第1」、「第2」などの表現によって互いを区別した。
本明細書で使用する「A、B、およびC」、「A、B、またはC」、「A、B、およびCのうちの少なくとも1つ」、または「A、B、またはCのうちの少なくとも1つ」などの表現は、列挙するそれぞれの項目または列挙する項目の可能なすべての組み合わせを意味するものであってもよい。例えば、「AまたはBのうち少なくとも1つ」は、(1)少なくとも1つのA、(2)少なくとも1つのB、(3)少なくとも1つのAおよび少なくとも1つのBのすべてを意味するものであってもよい。
本明細書で使用する「部」という表現は、ソフトウェア、またはFPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)などのハードウェアコンポーネントを意味するものであってもよい。しかし、「部」が、ハードウェアおよびソフトウェアに限定されてはならない。「部」は、アドレス指定が可能な記録媒体に記録されるように構成されてもよく、1つ以上のプロセッサを実行するように構成されてもよい。一実施形態において、「部」は、ソフトウェアコンポーネント、オブジェクト指向ソフトウェアコンポーネント、クラスコンポーネント、およびタスクコンポーネントなどのコンポーネント、プロセッサ、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含んでもよい。
本明細書で使用する「~に基づいて」という表現は、この表現が含まれる語句または文章に記述される、決定、判断の行為、または動作に影響を与える1つ以上の因子を記述するために使用されるが、この表現は、該当となる決定、判断の行為、または動作に影響を与える追加的な因子を排除するものでない。
本明細書で使用する、あるコンポーネント(例えば、第1コンポーネント)が他のコンポーネント(例えば、第2コンポーネント)に「連結して」いたり「接続して」いるという表現は、あるコンポーネントが前記他のコンポーネントに直接的に連結または接続しているのはもちろん、新たな他のコンポーネント(例えば、第3コンポーネント)を媒介として連結または接続していることも意味する。
本明細書で使用する表現「~するように構成された(configured to)」は、文脈に応じて、「~するように設定された」、「~する能力を有する」、「~するように変更された」、「~するように生成された」、「~することができる」などの意味を有してもよい。このような表現は、「ハードウェア的に特別に設計された」という意味に限定されてはならず、例えば、特定の動作を実行するように構成されたプロセッサとは、ソフトウェアを実行することによって特定の動作を実行することができる汎用プロセッサ(generic purpose processor)を意味してもよいし、特定の動作を実行するようにプログラミングによって構造化された特殊目的コンピュータ(special purpose computer)を意味してもよい。
本開示において、人工知能(artificial intelligence:AI)とは、人間の学習能力、推論能力、知覚能力を模倣し、これをコンピュータで実現する技術を意味するものであり、機械学習やシンボリックロジックの概念を含んでもよい。機械学習(machine learning:ML)は、入力データの特徴を自らが分類したり学習したりするアルゴリズム技術である。人工知能の技術は、機械学習のアルゴリズムによって入力データを分析し、この分析の結果を学習し、この学習結果に基づいて判断したり予測したりする。また、機械学習のアルゴリズムを活用して人間の脳の認知や判断の機能を模倣する技術も人工知能の範囲に含まれる。例えば、言語的理解、視覚的理解、推論/予測、知識表現、動作制御などの技術分野が含まれてよい。
本開示において、機械学習とは、データを処理した経験を利用してニューラルネットワークモデルを訓練する処理を意味してよく、コンピュータソフトウェアが自ら機械学習によってデータ処理能力を高めることを意味してもよい。ニューラルネットワークモデルは、データ間の相関関係をモデリングして構築されるものであり、この相関関係は複数のパラメータによって表現されてよい。人工ニューラルネットワークモデルは、与えられたデータから特徴を抽出し、これを分析してデータ間の相関関係を導き出すが、このような過程を繰り返してニューラルネットワークモデルのパラメータを最適化し続けていくことが機械学習であると言える。例えば、人工ニューラルネットワークモデルは、入力と出力のペアとして与えられたデータに対して、入力と出力の間のマッピング(相関関係)を学習してもよい。また、人工ニューラルネットワークモデルは、入力データだけが与えられた場合でも、与えられたデータから規則性を導き出して関係性を学習してもよい。
本開示において、人工ニューラルネットワーク、人工知能学習モデル、機械学習モデル、または人工ニューラルネットワークモデルは、人間の脳の構造をコンピュータ上で実現するように設計されてもよく、人間の神経網のニューロン(neuron)を模擬し、加重値を有する複数のネットワークノードを含んでもよい。複数のネットワークノードは、ニューロンがシナプス(synapse)を利用して信号を送受信するニューロンのシナプティック(synaptic)活動を模擬することで互いの接続関係を有してもよい。人工ニューラルネットワークにおいて、複数のネットワークノードは、互いに異なる深さのレイヤに位置しながら、畳み込み(convolution)接続関係にしたがってデータを送受信する。人工ニューラルネットワークは、例えば、人工ニューラルネットワークモデル(artificial neural network)、畳み込みニューラルネットワークモデル(convolution neural network)などであってもよい。
以下、添付の図面を参照しながら、本開示の多様な実施形態について説明する。添付の図面および図面の説明において、同一または実質的に同等(substantially equivalent)なコンポーネントには同じ参照符号を付与する。また、以下の多様な実施形態の説明において、同一または対応するコンポーネントの重複する説明は省略することがあるが、これはそのコンポーネントがその実施形態に含まれないことを意味するものではない。
図1は、本開示の一実施形態における、サーバ100、ユーザ端末200、および通信網300を含むシステムを示した図である。サーバ100とユーザ端末200は、通信網300を介して互いに情報を送受信してもよい。
サーバ100は、本開示に係るイメージ処理動作を実行する電子装置であってもよい。サーバ100は、有線または無線で接続されたユーザ端末200に情報を送信したりイメージ処理結果を送信したりする電子装置であって、例えば、アプリケーションサーバ、プロキシサーバ、クラウドサーバなどであってもよい。
ユーザ端末200は、イメージ処理結果を受信しようとするユーザの端末であってもよい。ユーザ端末200は、例えば、スマートフォン、タブレット(Tablet Computer)、PC(Personal Computer)、移動電話機(Mobile Phone)、PDA(Personal Digital Assistant)、オーディオプレーヤー、ウェアラブルデバイス(Wearable Device)のうちの少なくとも1つであってもよい。通信網300は、有線または無線通信網の両方を含んでよい。
通信網300は、サーバ100とユーザ端末200の間でデータ交換が成り立つようにしてもよい。有線通信網は、例えば、USB(Universal Serial Bus)、HDMI(High Definition Multimedia Interface)、RS-232(Recommended Standard-232)、またはPOTS(Plain Old Telephone Service)などの方式による通信網を含んでよい。無線通信網は、例えば、eMBB(enhanced Mobile Broadband)、URLLC(Ultra Reliable Low-Latency Communications)、MMTC(Massive Machine Type Communications)、LTE(Long-Term Evolution)、LTE-A(LTE Advance)、NR(New Radio)、UMTS(Universal Mobile Telecommunications System)、GSM(Global System for Mobile communications)、CDMA(Code Division Multiple Access)、WCDMA(Wideband CDMA)、WiBro(Wireless Broadband)、WiFi(Wireless Fidelity)、ブルートゥース(Bluetooth)、NFC(Near Field Communication)、GPS(Global Positioning System)またはGNSS(Global Navigation Satellite System)などの方式による通信網を含んでもよい。本明細書の通信網300が上述した例示に限定されてはならず、複数の主体と装置の間でデータ交換を成すことができるものであれば、多様な種類の通信網が制限なく含まれてもよい。
本明細書の開示内容において、ある装置の構成または動作を説明するとき、「装置」という用語は、説明の対象となる装置を示すための用語であり、「外部装置」という用語は、説明の対象となる装置の観点から見たときに外部に存在する装置を示すための用語としてそれぞれ使用されてもよい。例えば、サーバ100を「装置」として説明する場合、サーバ100の観点において、ユーザ端末200は「外部装置」となってもよい。また、例えば、ユーザ端末200を「装置」として説明する場合、ユーザ端末200の観点において、サーバ100は「外部装置」となってもよい。すなわち、サーバ100およびユーザ端末200それぞれは、動作主体の観点に応じて、それぞれ「装置」および「外部装置」と呼ばれることもあるし、それぞれ「外部装置」および「装置」と呼ばれることもある。
図2は、本明細書で開示する内容の一実施形態における、サーバ100を示したブロック図である。サーバ100は、1つ以上のプロセッサ110、通信インタフェース120、またはメモリ130をコンポーネントとして含んでもよい。一実施形態において、サーバ100のこれらのコンポーネントのうちの少なくとも1つが省略されてもよいし、他のコンポーネントがサーバ100に追加されてもよい。一実施形態において、追加的にまたは代替的に(in alternative to)、一部のコンポーネントが統合されて実現されてもよいし、単数または複数のオブジェクトで実現されてもよい。サーバ100の内部または外部のコンポーネントのうちの少なくとも一部のコンポーネントは、バス、GPIO(General Purpose Input/Output)、SPI(Serial Peripheral Interface)、またはMIPI(Mobile Industry Processor Interface)などを介して互いに連結してデータまたは信号を送受信してもよい。
1つ以上のプロセッサ110は、プロセッサ110と表現されてもよい。プロセッサ110という用語は、文脈上で明らかに異なる表現がない限り、1つ以上のプロセッサの集合を意味してもよい。プロセッサ110は、ソフトウェア(例えば、命令やプログラムなど)を実行し、プロセッサ110と接続するサーバ100の少なくとも1つのコンポーネントを制御してもよい。また、プロセッサ110は、多様な演算、処理、データの生成または加工などの動作を実行してもよい。さらに、プロセッサ110は、データなどをメモリ130からロードしたり、メモリ130に記録してもよい。
通信インタフェース120は、サーバ100と他の装置(例えば、ユーザ端末200または他のサーバ)との無線または有線通信を実行してもよい。例えば、通信インタフェース120は、eMBB、URLLC、MMTC、LTE、LTE-A、NR、UMTS、GSM、CDMA、WCDMA、WiBro、WiFi、ブルートゥース、NFC、GPS、またはGNSSなどの方式による無線通信を実行してもよい。また、例えば、通信インタフェース120は、USB(Universal Serial Bus)、HDMI(High Definition Multimedia Interface)、RS-232(Recommended Standard-232)、またはPOTS(Plain Old Telephone Service)などの方式による有線通信を実行してもよい。
メモリ130は、多様なデータを記録してもよい。メモリ130に記録されるデータは、サーバ100の少なくとも1つのコンポーネントによって取得されたり、処理されたり、使用されるデータであって、ソフトウェア(例えば、命令やプログラムなど)を含んでもよい。メモリ130は、揮発性または不揮発性メモリを含んでもよい。メモリ130という用語は、文脈上で明らかに異なる表現がない限り、1つ以上のメモリの集合を意味してもよい。本明細書で記述する「メモリ130に記録される命令の集合」または「メモリ130に記録されるプログラム」という表現は、サーバ100のリソースを制御するためのオペレーティングシステム、アプリケーション、またはアプリケーションがサーバ100のリソースを活用できるようにアプリケーションに多様な機能を提供するミドルウェアなどを示すために使用されてもよい。一実施形態において、プロセッサ110が特定の演算を実行するときに、メモリ130はプロセッサ110によって実行されて、特定の演算に対応する命令を記録してもよい。
一実施形態において、サーバ100は、プロセッサ110の演算結果によるデータ、通信インタフェース120によって受信したデータ、またはメモリ130に記録されたデータなどを外部装置に送信してもよい。外部装置は、受信したデータを表出、表示、または出力するための装置であってもよい。
一実施形態において、サーバ100は、入力部140をさらに含んでもよい。入力部140は、外部から受信したデータをサーバ100に含まれる少なくとも1つのコンポーネントに伝達するものであってもよい。例えば、入力部140は、マウス、キーボード、またはタッチパッドのうちの少なくとも1つを含んでもよい。
一実施形態において、サーバ100は、出力部150をさらに含んでもよい。出力部150は、サーバ100で処理される情報を表示(出力)したり、外部に送信(配信)してもよい。例えば、出力部150は、サーバ100で処理される情報を視覚的に表示してもよい。出力部150は、UI(User Interface)情報またはGUI(Graphic User Interface)情報などを表示してもよい。この場合、出力部150は、液晶ディスプレイ(Liquid Crystal Display:LCD)、薄膜トランジスタ液晶ディスプレイ(Thin Film Transistor-Liquid Crystal Display:TFT-LCD)、有機発光ダイオード(Organic Light-Emitting Diode:OLED)、フレキシブルディスプレイ(Flexible Display)、3次元ディスプレイ(3D Display)、電子ペーパーディスプレイ(E-ink Display)のうち少なくとも1つを含んでもよい。また、例えば、出力部150は、サーバ100で処理される情報を聴覚的に表示してもよい。出力部150は、任意のオーディオファイルフォーマット(例えば、MP3、FLAC、WAVなど)方式によるオーディオデータを音響装置によって表示してもよい。この場合、出力部150は、スピーカー、ヘッドセット、ヘッドホンのうちの少なくとも1つを含んでもよい。また、例えば、出力部150は、サーバ100で処理される情報を外部の出力装置に送信してもよい。出力部150は、サーバ100で処理される情報を、通信インタフェース120を利用して外部の出力装置に送信または配信してもよい。出力部150は、サーバ100で処理される情報を、別途の出力用通信インタフェースを利用して外部の出力装置に送信または配信してもよい。
一実施形態において、サーバ100は、撮影部(図示せず)をさらに含んでもよい。撮影部は、例えば、カメラや顕微鏡装置を備えたカメラなどであってもよい。プロセッサ110は、撮影部を制御することによって対象物(例えば、試料)のイメージを撮影し、撮影したイメージを取得したりメモリ130に記録してもよい。または、サーバ100が出力部150を含む場合、プロセッサ110は、撮影部を制御して対象物のイメージを撮影し、撮影したイメージを出力部150に表示してもよい。他の実施形態において、サーバ100は、撮影されたイメージを外部の撮影装置から取得してもよい。
図3は、本明細書で開示する内容の一実施形態における、ユーザ端末200を示したブロック図である。ユーザ端末200は、1つ以上のプロセッサ210、通信インタフェース220、またはメモリ230をコンポーネントとして含んでもよい。また、ユーザ端末200は、入力部240または出力部250の少なくとも1つをさらに含んでもよい。
プロセッサ210は、ソフトウェア(例えば、命令やプログラムなど)を実行し、プロセッサ110と接続するユーザ端末200の少なくとも1つのコンポーネントを制御してもよい。また、プロセッサ210は、多様な演算、処理、データ生成または加工などの動作を実行してもよい。さらに、プロセッサ210は、データなどをメモリ230からロードしたり、メモリ230に記録してもよい。
通信インタフェース220は、ユーザ端末200と他の装置(例えば、サーバ100または他のユーザ端末)との無線または有線通信を実行してもよい。例えば、通信インタフェース220は、eMBB、URLLC、MMTC、LTE、LTE-A、NR、UMTS、GSM、CDMA、WCDMA、WiBro、WiFi、ブルートゥース、NFC、GPS、またはGNSSなどの方式による無線通信を実行してもよい。また、例えば、通信インタフェース220は、USB、HDMI、RS-232、またはPOTSなどの方式による有線通信を実行してもよい。
メモリ230は、多様なデータを記録してもよい。メモリ230に記録されるデータは、ユーザ端末200の少なくとも1つのコンポーネントによって取得されたり、処理されたり、または使用されるデータであって、ソフトウェア(例えば、命令やプログラムなど)を含んでもよい。メモリ230は、揮発性または不揮発性メモリを含んでもよい。メモリ230という用語は、文脈上で明らかに異なる表現がない限り、1つ以上のメモリの集合を意味してもよい。本明細書に記述する「メモリ230に記録される命令の集合」または「メモリ230に記録されるプログラム」という表現は、ユーザ端末200のリソースを制御するためのオペレーティングシステム、アプリケーション、またはアプリケーションがユーザ端末200のリソースを活用できるようにアプリケーションに多様な機能を提供するミドルウェアなどを示すために使用されてもよい。一実施形態において、プロセッサ210が特定の演算を実行するときに、メモリ230は、プロセッサ210によって実行されて特定の演算に対応する命令を記録してもよい。
一実施形態において、ユーザ端末200は、入力部240をさらに含んでもよい。入力部240は、外部から受信したデータをユーザ端末200に含まれる少なくとも1つのコンポーネントに伝達するものであってもよい。例えば、入力部240は、マウス、キーボード、またはタッチパッドのうちの少なくとも1つを含んでもよい。
一実施形態において、ユーザ端末200は、出力部250をさらに含んでもよい。出力部250は、ユーザ端末200で処理される情報を表示(出力)したり、外部に送信(配信)してもよい。例えば、出力部250は、ユーザ端末200で処理される情報を視覚的に表示してもよい。出力部250は、UI(User Interface)情報またはGUI(Graphic User Interface)情報などを表示してもよい。この場合、出力部250は、液晶ディスプレイ(LCD)、薄膜トランジスタ液晶ディスプレイ(TFT-LCD)、有機発光ダイオード(OLED)、フレキシブルディスプレイ(Flexible Display)、3次元ディスプレイ(3D Display)、電子ペーパーディスプレイ(E-ink Display)のうちの少なくとも1つを含んでもよい。また、例えば、出力部250は、ユーザ端末200で処理される情報を聴覚的に表示してもよい。出力部250は、任意のオーディオファイルフォーマット(例えば、MP3、FLAC、WAVなど)方式よるオーディオデータを音響装置によって表示してもよい。この場合、出力部250は、スピーカー、ヘッドセット、ヘッドホンのうちの少なくとも1つを含んでもよい。また、例えば、出力部250は、ユーザ端末200で処理される情報を外部の出力装置に送信してもよい。出力部250は、ユーザ端末200で処理される情報を、通信インタフェース220を利用して外部の出力装置に送信または配信してもよい。出力部250は、ユーザ端末200で処理される情報を、別途の出力用通信インタフェースを利用して外部の出力装置に送信または配信してもよい。
一実施形態において、ユーザ端末200は、撮影部(図示せず)をさらに含んでもよい。撮影部は、例えば、カメラや顕微鏡装置を備えたカメラなどであってもよい。プロセッサ210は、撮影部を制御することによって対象物(例えば、試料)のイメージを撮影し、撮影されたイメージを取得したり、メモリ230に記録してもよい。ユーザ端末200は、撮影されたイメージを出力部250に表示してもよい。ユーザ端末200は、撮影されたイメージをサーバ100に送信してもよい。また、ユーザ端末200は、外部の撮影装置から撮影されたイメージを取得してもよい。
以下の説明では、説明の便宜上、動作の主体を省略することもある。この場合、それぞれの動作は、サーバ100によって実行されるものと理解されてもよい。ただし、本開示に係る方法は、ユーザ端末200によって実行されてもよいし、方法に含まれる動作の一部がユーザ端末200で実行され、残りがサーバ100で実行されてもよい。
図4は、従来のイメージ処理方法で生体分子を標識するために使用される蛍光物質の特性に関する例示図である。一般的に、1つの生体試料(Sample)で複数の生体分子を観察するためには、複数の生体分子を異なる蛍光物質で標識(labeling)した後に、各生体分子のイメージを個別に取得する必要がある。本開示において、生体試料は「試料」とも称する。試料に含まれる各生体分子に対するイメージは、例えば、蛍光物質が反応する特定の波長の光を蛍光物質に照射し、その結果として励起した(excited)蛍光物質が発光する光を対応する発光フィルタでフィルタリングし、発光フィルタを通過した光を撮影することによって取得してもよい。本開示において、「発光フィルタ」とは、特定の波長帯の光を通過させるフィルタ(Filter)であってもよい。
蛍光物質が発光する光の発光スペクトルに関する第1グラフ401は、複数の蛍光物質(Alexa405、Alexa488、Alexa546、Alexa647)の発光スペクトルを例示的に示している。
蛍光物質「Alexa405」は、特定の波長帯の光を吸収した後、約400nmと500nmの間の波長を有する光を発光する蛍光物質であってもよい。蛍光物質「Alexa405」によって染色された生体分子のイメージは、蛍光物質「Alexa405」が発光する光を第1発光フィルタでフィルタリングし、第1発光フィルタを通過する波長帯の光を撮影することによって取得されてもよい。第1発光フィルタを通過する波長帯410は、例えば、470nm以上520nm以下であってもよい。
蛍光物質「Alexa488」は、特定の波長帯の光を吸収した後、約500nmと600nmの間の波長を有する光を発光する蛍光物質であってもよい。このとき、蛍光物質「Alexa488」によって染色された生体分子のイメージは、蛍光物質「Alexa488」が発光する光を第2発光フィルタでフィルタリングし、第2発光フィルタを通過した波長帯430の光を撮影することによって取得されてもよい。第2発光フィルタを通過する波長帯430は、例えば、500nm以上560nm以下であってもよい。
蛍光物質「Alexa546」は、特定の波長帯の光を吸収した後、約550nmと650nmの間の波長を有する光を発光する蛍光物質であってもよい。このとき、蛍光物質「Alexa546」によって染色された生体分子のイメージは、蛍光物質「Alexa546」が発光する光を第3発光フィルタでフィルタリングし、第3発光フィルタを通過した波長帯450の光を撮影することによって取得されてもよい。第3発光フィルタを通過する波長帯450は、例えば、565nm以上590nm以下であってもよい。
蛍光物質「Alexa647」は、特定の波長帯の光を吸収した後、約650nmと750nmの間の波長を有する光を発光する蛍光物質であってもよい。このとき、蛍光物質「Alexa647」によって染色された生体分子のイメージは、蛍光物質「Alexa647」が発光する光を第4発光フィルタでフィルタリングし、第4発光フィルタを通過する波長帯470の光を撮影することによって取得されてもよい。第4発光フィルタを通過する波長帯470は、例えば、660nm以上740nm以下であってもよい。
第1グラフ401に示される各蛍光物質が励起するために吸収する光の波長帯は、それぞれ異なってもよい。また、第1グラフ401を参照しながら上述した、各蛍光物質の発光スペクトルに関する具体的な数値範囲は、説明のための例示に過ぎず、これによって本開示が限定されてはならない。
一実施形態において、試料に複数の生体分子が含まれ、複数の生体分子をそれぞれ標識する蛍光物質(すなわち、各生体分子と結合する蛍光物質)が、互いに特定の波長の光(例えば、350nm以上400nm以下)に同じように反応すると仮定する。このとき、試料に含まれる複数の生体分子それぞれに対するイメージを得るためには、通常、複数の生体分子それぞれを標識するための蛍光物質の発光スペクトルが互いにまったく重ならないか、ほぼ重ならないようにする必要がある。その理由は、互いに異なる蛍光物質からそれぞれ発光される光のスペクトルが互いに多く重なるようになると、互いに異なる生体分子が分離されず、同一の1つのイメージ内に含まれる可能性があるためである。
例えば、図4の蛍光物質が発光する光の発光スペクトルに関する第2グラフ403において、蛍光物質「Alexa546」は約550nmと650nmの間の波長を有する光を発光し、蛍光物質「CF594」は約575nmと700nmの間の波長を有する光を発光すると仮定する。このような仮定において、2つの蛍光物質の発光スペクトルは、575nm以上650nm以下の区間を互いに共通して含む。このとき、蛍光物質「Alexa546」によって標識された生体分子のイメージを取得するために第3発光フィルタを用いてイメージを撮影する場合、第3発光フィルタを通過する波長帯450は約565nm以上590nm以下であるため、撮影されたイメージ内には蛍光物質「CF594」によって標識された生体分子の少なくとも一部が含まれるようになる。より具体的に、撮影装置が、蛍光物質「Alexa46」から発光される光のうちで第3発光フィルタを通過する波長帯450の光を取得することにより、蛍光物質「Alexa546」によって標識された生体分子に対するイメージを撮影する過程において、撮影装置は、蛍光物質「CF594」から発光される光の信号も少なくとも一部を取得することができる。この結果、蛍光物質「Alexa546」によって標識された生体分子に関するイメージは、蛍光物質「CF594」によって標識された他の生体分子を少なくとも部分的に含むようになる。図4の図面符号451は、撮影装置が第3発光フィルタを用いて蛍光物質「Alexa546」で標識された生体分子のイメージを撮影するときに取得する、他の蛍光物質(例えば、「CF594」)の光の信号を示している。また、蛍光物質「CF594」で標識された生体分子のイメージを取得するために、約610nm以上630nm以下の波長を有する光を通過させる第5発光フィルタを用いてイメージを撮影する場合にも、撮影されたイメージには、蛍光物質「Alexa546」によって標識された生体分子の少なくとも一部が含まれるようになる。すなわち、撮影装置が、蛍光物質「CF594」から発光される光のうちで第5発光フィルタを通過する波長帯の光を取得することによって、蛍光物質「CF594」によって標識された生体分子のイメージを撮影する過程において、蛍光物質「Alexa546」から発光される光の信号の少なくとも一部が含まれるようになる。この結果、蛍光物質「CF594」によって標識された生体分子に関するイメージには、蛍光物質「Alexa546」によって標識された他の生体分子の少なくとも一部が含まれるようになる。図5の図面符号491は、撮影装置が第5発光フィルタを用いて蛍光物質「CF594」で標識された生体分子のイメージを撮影するときに取得する、他の蛍光物質(例えば、「Alexa546」)の光の信号を示している。
このような従来技術によると、試料に含まれる複数の生体分子を観察するためには、発光スペクトルが極力重ならないようにしなければならないという制約があり、これにより、同時に使用することが可能な蛍光物質は、最大で4つに限られるという限界があった。
図5は、本開示の一実施形態における、複数の未分離イメージから複数の分離イメージを生成する過程を示した概念図である。
本開示に係る未分離イメージ510は、1つ以上の未分離イメージを含んでよい。本開示に係る実施形態において、未分離イメージ510が2つ以上の未分離イメージを含む場合、それぞれの未分離イメージは、第1未分離イメージ510-1、第2未分離イメージ510-2、...、第nの未分離イメージ510-nなどに区分されてもよい(nは、2以上の自然数)。
未分離イメージ510は、試料に含まれる生体分子が蛍光物質で標識された後、サーバ100が試料を撮影することによって取得したイメージであってもよい。上述したように、生体試料に含まれる生体分子を蛍光物質で染色(すなわち、生体分子と蛍光物質が物理的または化学的に結合)した後、染色した生体試料に光を照射すると、生体試料に含まれる蛍光物質が特定の波長帯の光を吸収することによって励起し、特定の波長帯の光を発光する。このとき、蛍光物質が発光する光を撮影することにより、生体試料に関する未分離イメージ510を取得することができる。未分離イメージ510は、本開示に係るイメージ処理方法を実行する対象となるイメージであり、本開示のイメージ処理方法によって生成される「分離イメージ530」とは区別される。すなわち、未分離イメージ510は、本開示に係るイメージ処理方法が実行されていないイメージであり、目的とする生体分子以外に、他の生体分子(例えば、類似の発光スペクトルを有する他の蛍光物質で標識された生体分子や、以前に染色ラウンドで染色された生体分子など)がさらに表示されたイメージであってもよい。本開示において、「未分離イメージ」という用語は、「入力イメージ」と互換的に使用されてもよい。
本開示に係る分離イメージ530は、1つ以上の分離イメージを含んでもよい。本開示に係る実施形態において、分離イメージ530が2つ以上の分離イメージを含む場合、それぞれの分離イメージは、第1分離イメージ530-1、第2分離イメージ530-2、...、第n分離イメージ530-nなどに区別されてもよい(nは、2以上の自然数)。
分離イメージ530は、未分離イメージ510に対して本開示のイメージ処理方法を実行した結果として取得されるイメージであってもよい。分離イメージ530は、目的とする生体分子を表示するイメージであってもよい。本開示において「特定の生体分子の分離イメージ」とは、この生体分子だけが表現されるイメージを意味してもよい。例えば、「A」生体分子に対する分離イメージは、試料に含まれる「A」生体分子の形状、大きさ、形態、または色などを示すイメージであってもよい。分離イメージ530は、生体分子それぞれに対応するように生成されてもよい。
本開示の多様な実施形態において、複数の未分離イメージ510-1、510-2、...、510-n、または複数の分離イメージ530-1、530-2、...、530-nそれぞれは、1つのチャネルを有する単一チャネル(Single-Channel)イメージであってもよい。単一チャネルイメージとは、各ピクセル(Pixel)に対して単一の値(例えば、0以上255以下の定数)を有するイメージを意味してもよい。単一チャネルイメージに該当する未分離イメージの各ピクセルが有するピクセル値は、撮影部が光を取得することによって未分離イメージを撮影するときに、蛍光物質が発光する光の強度を指示する値であってもよい。単一チャネルイメージに該当する分離イメージの各ピクセルが有するピクセル値は、本開示に係るイメージ処理方法の実行結果、特定の生体分子のイメージを表現するために各ピクセルが有する光の強度を指示する値であってもよい。また、本開示において、複数の未分離イメージ510-1、510-2、...、510-nまたは複数の分離イメージ530-1、530-2、...、530-nがマルチチャネル(Multi-Channel)イメージに含まれると表現する場合、マルチチャネルイメージの各チャネルは、複数の未分離イメージ510-1、510-2、...、510-nまたは複数の分離イメージ530-1、530-2、...、530-nそれぞれに対応してもよい。例えば、単一チャネルイメージである未分離イメージを3つ含む複数の未分離イメージを「マルチチャネル未分離イメージ」と称する場合、このマルチチャネル未分離イメージの各チャネルは、複数の未分離イメージに含まれるそれぞれの未分離イメージに対応してもよい。また、本開示によって、個別に取得した複数の未分離イメージまたは複数の分離イメージをそれぞれの1つのチャネルに対応させることによってマルチチャネル未分離イメージまたはマルチチャネル分離イメージとして表示する場合、複数の未分離イメージまたは複数の分離イメージは、1つのマルチチャネルイメージ上に同時に表示されてよい。例えば、3つの未分離イメージをRedチャネル、Greenチャネル、Blueチャネルそれぞれに対応させて3つのチャネルを有するRGBイメージとして表示する場合、3つの未分離イメージはRGBイメージ上で同時に表示されてよい。
本開示のイメージ処理方法は、未分離イメージ510から分離イメージ530を生成することができる。
一実施形態において、サーバ100は、複数の未分離イメージ510-1、510-2、...、510-nを分離するための少なくとも1つのパラメータに基づいて複数の未分離イメージ510-1、510-2、...、510-nを分離することによって、複数の分離イメージ530-1、530-2、...、530-nを生成してもよい。説明のために、複数の未分離イメージが2つの未分離イメージを含むと仮定するとき、少なくとも1つのパラメータに基づいて複数の未分離イメージから生成された2つの分離イメージは、以下の数式(1)のように表現されてもよい。
数式(1)において、Y1とY2は未分離イメージを、θ12とθ21は分離イメージを生成するために必要なパラメータを、X1とX2は分離イメージを示している。このとき、θ12とθ21は、各未分離イメージの加重値(または、寄与率)を決定するためのパラメータであってもよい。プロセッサ110は、少なくとも1つのパラメータ(θ12またはθ21)に基づいて未分離イメージを加重合算(または、線形重畳)し、これに応じて分離イメージを生成してもよい。例えば、数式(1)によると、分離イメージX1は、1倍のY1とθ12倍のY2を線形重畳した結果として生成され、分離イメージX2は、θ21倍のY1と1倍のY2を線形重畳した結果として生成されてもよい。
本開示において「少なくとも1つのパラメータに基づいて複数の未分離イメージを分離する演算」は、行列に基づいて表現されてもよい。このような行列は、本開示において「アンミキシング行列(Unmixing Matrix)と称され、複数の未分離イメージから生体分子それぞれに対する複数の分離イメージを生成するための少なくとも1つの要素を含んでもよい。すなわち、アンミキシング行列は、複数の未分離イメージ間の線形重畳率を決定する少なくとも1つの要素を含んでもよい。前記数式(1)を行列に基づいて表現する場合、以下の数式(2)のように例示してもよい。
一実施形態において、サーバ100は、複数の未分離イメージ510-1、510-2、...、510-nそれぞれから予め決定された定数(または、「定数オフセット(Constant Offset)」とも呼ばれる)を引いた後、予め決定された定数分だけ各ピクセルの値が引かれた複数の未分離イメージを加重合することによって、複数の分離イメージ530-1、530-2、...、530-nを生成してもよい。
数式(3)において、θb1とθb2はそれぞれ、未分離イメージY1とY2に対応する定数オフセットを示す。サーバ100は、定数オフセットを未分離イメージに含まれる各ピクセル値から引いた後、(Y1-θb1)と(Y2-θb2)の加重合算結果に基づいてそれぞれの分離イメージを生成してもよい。
上述した数式(1)~(3)では、複数の未分離イメージが2つの未分離イメージを含むものと仮定して説明したが、本開示がこれに限定されてはならず、複数の未分離イメージが3つ以上の未分離イメージを含んでもよい。
図6は、本開示の一実施形態における、試料に関する複数の未分離イメージからアンミキシング行列を用いて複数の生体分子それぞれの分離イメージを生成するサーバ100の動作を示したフローチャートである。
サーバ100は、複数の生体分子を含む試料に関する複数の未分離イメージを取得してもよい(S610)。より具体的に、プロセッサ110は、サーバ100のユーザが入力部140を介して複数の未分離イメージを入力する動作に基づいて、複数の未分離イメージを取得してもよい。また、プロセッサ110は、サーバ100の撮影部(図示せず)を介して試料のイメージを撮影し、これによって複数の未分離イメージを取得してもよい。また、プロセッサ110は、通信インタフェース120を介して、外部の装置またはユーザ端末200から複数の未分離イメージを取得してもよい。複数の未分離イメージ(入力イメージ)は、例えば、数式(4)のように行列で表現されてもよい。
数式(4)において、Yは、複数の未分離イメージ(すなわち、複数の入力イメージ)に関する行列を示す。複数の入力イメージは、試料の染色過程において、試料をn回染色して撮影した結果として取得した複数の未分離イメージであってもよい。数式(4)において、(ith input img)jは、i番目の入力イメージのj番目のピクセルの値を示している。数式(4)において、行列が有する行の大きさは、複数の入力イメージの数と同じであってもよい。例えば、複数の入力イメージの数がn個の場合、行列(Y)が有する行の大きさはnであってもよい。数式(4)において、行列が有する列の大きさは、それぞれの入力イメージに含まれるピクセルの数と同じであってもよい。例えば、入力イメージが2次元イメージであり、1024(横方向のピクセル数)×1024(縦方向のピクセル数)の解像度を有することによって入力イメージに含まれるピクセルの数が1048576(=1024*1024)個である場合、行列(Y)が有する列の大きさは1048576となる。すなわち、行列(Y)が有する列の大きさがnであり、行の大きさがmである場合(すなわち、nxm行列である場合)、行列(Y)は、入力イメージそれぞれがm個のピクセルを含むn個の入力イメージに関する行列であると解釈されてもよい。
次に、サーバ100は、アンミキシング行列を利用して、複数の未分離イメージから複数の生体分子それぞれに対応する複数の分離イメージを生成してもよい(S620)。本開示に係るアンミキシング行列は正方行列であり、行(Row)と列(Column)の大きさが同じである正方行列であってもよいし、行と列の大きさが異なる長方行列であってもよい。アンミキシング行列は、例えば、以下の数式(5)のように表現されてもよい。
数式(5)において、αijは、アンミキシング行列のi行j列の要素(または、パラメータ)の値を示している。アンミキシング行列(U)の列の大きさは、行列演算の対象となる未分離イメージの数と同じであってもよい。例えば、n個の未分離イメージに対するアンミキシング行列の列の大きさは、未分離イメージの数と同様に、nであってもよい。アンミキシング行列(U)の行の大きさ(すなわち、k)は、アンミキシング行列(U)の列の大きさ(n)と同じであってもよいし異なってもよい。アンミキシング行列(U)の行(Row)の大きさ(すなわち、k)は、アンミキシング行列(U)の列の大きさ(n)よりも小さくてもよいし同じであってもよい。
プロセッサ110は、アンミキシング行列を利用して複数の未分離イメージを演算することによって、複数の分離イメージを生成してもよい。前記数式(4)による未分離イメージと前記数式(5)によるアンミキシング行列に基づいて生成された複数の分離イメージは、以下の数式(6)のように表現されてもよい。
数式(6)において、Xは、アンミキシング行列(U)と複数の未分離イメージに対する行列(Y)を行列乗算(matrix multiplication)した結果として取得される行列を示している。複数の分離イメージに対する行列(X)が有する行の大きさは、生成された分離イメージの数を示してもよい。複数の分離イメージに対する行列(X)が有する列の大きさは、各分離イメージに含まれるピクセルの数を示してもよい。それぞれの分離イメージは、対応する特定の生体分子のイメージであってもよい。数式(6)において、(ith unmixed img)jは、i番目の分離イメージのj番目のピクセルの値を示している。例えば、第1分離イメージ(First unmixed image)は、試料に含まれる生体分子「A」のイメージを示してよく、第n分離イメージ(nth unmixed image)は、試料に含まれる生体分子「B」のイメージを示してもよい。
上述したように、プロセッサ110は、複数の未分離イメージを取得し、アンミキシング行列を用いて複数の未分離イメージに対する行列演算を実行することによって、複数の生体分子それぞれに対応する複数の分離イメージを生成することができる。
一実施形態において、アンミキシング行列は、行と列のサイズが同じである正方行列(Square Matrix)であってもよい。例えば、正方行列であるアンミキシング行列は、以下の数式(7)のように表現されてよい。
数式(7)において、アンミキシング行列(U)は、行と列の大きさがそれぞれn(nは、1以上の自然数)と同じである正方行列であってもよい。プロセッサ110は、このようなアンミキシング行列(U)に基づいてn個の未分離イメージに対する行列演算を実行することによって、n個の分離イメージを取得してもよい。
以下では、図7~10を参照しながら、マルチチャネルイメージからヒストグラムまたは確率分布関数を決定する方法について説明する。
図7は、本開示の一実施形態における、マルチチャネルイメージから互いに異なる方法で決定されたヒストグラム(Histogram)を示した例示図である。第1イメージ710は、例えば、複数の未分離イメージを含むマルチチャネルイメージであってもよい。第1イメージ710の各チャネルは、複数の未分離イメージそれぞれに対応してもよい。以下、本開示において、第1イメージ710は、2つのチャネルを有するマルチチャネルイメージであるとして説明するが、これは説明の便宜のための仮定に過ぎず、本開示がこれに限定されてはならない。例えば、第1イメージ710に含まれる1つ目のイメージ(または、第1イメージの第1チャネル)は、試料に含まれる生体分子「A1」を蛍光物質「A2」で染色し、蛍光物質「A2」が発光する光を撮影したイメージ(または、チャネル)であってもよい。また、例えば、第1イメージ710に含まれる2つ目のイメージ(または、第1イメージの第2チャネル)は、試料に含まれる生体分子「B1」を蛍光物質「B2」で染色し、蛍光物質「B2」が発光する光を撮影したイメージ(または、チャネル)であってもよいし、試料に含まれる生体分子「A1」および「B1」をそれぞれ蛍光物質「A2」および「B2」で染色し、蛍光物質「A2」および蛍光物質「B2」が発光する両方の光を撮影したイメージ(または、チャネル)であってもよい。
プロセッサ110は、複数の単一チャネルイメージを含むマルチチャネルイメージに基づいて、互いに異なる方法によって2つ以上のヒストグラムを決定してもよい。例えば、プロセッサ110は、複数の単一チャネルイメージ内の互いに同じ位置のピクセルの値に基づいて1つのヒストグラムを決定し、また、この複数の単一チャネルイメージ内の互いに異なる位置のピクセルの値に基づいて他の1つのヒストグラムを決定してもよい。例えば、図7に示すように、第1-1ヒストグラム730または第1-2ヒストグラム750はそれぞれ、第1イメージ710に関して互いに異なる方法で決定されたヒストグラムであってもよい。一実施形態において、第1-1ヒストグラム730は、第1イメージ710に含まれる複数の未分離イメージ内の互いに同じ位置のピクセルの値に基づいて決定されたヒストグラムであってもよく、第1-2ヒストグラム750は、第1イメージ710に含まれる複数の未分離イメージ内の互いに異なる位置のピクセルの値に基づいて決定されたヒストグラムであってもよい。以下、図8および図9を参照しながら、本開示に係るヒストグラム決定方法について詳しく説明する。
図8は、本開示の一実施形態における、複数の単一チャネルイメージそれぞれに含まれる互いに同じ位置のピクセルの値に基づいてヒストグラムを決定するサーバ100の動作を示したフローチャートである。図8では、複数の単一チャネルイメージを含むマルチチャネルイメージの一例として、図7の第1イメージ710を例に挙げて説明する。
プロセッサ110は、複数の単一チャネルイメージそれぞれに含まれる互いに同じ位置のピクセルの値を取得してもよい(S810)。例えば、プロセッサ110は、第1イメージ710に含まれる1つ目のイメージ(第1イメージの第1チャネル)内の第1位置711からピクセル値(例えば、0.9)を取得してもよい。また、プロセッサ110は、第1イメージ710に含まれる2つ目のイメージ(第1イメージの第2チャネル)内の第1位置711からピクセル値(例えば、0.8)を取得してもよい。上述したように、プロセッサ110は、第1イメージ710に含まれる複数の未分離イメージそれぞれに含まれる互いに同じ位置(すなわち、第1位置)のピクセルのピクセル値を取得してもよい。
次に、プロセッサ110は、複数の単一チャネルイメージそれぞれから取得した互いに同じ位置のピクセルの値に基づいて、チャネル値シーケンスペアを生成してもよい(S820)。チャネル値シーケンスペアは複数の要素を含んでもよい。例えば、第1イメージ710に対するチャネル値シーケンスペアは2つの要素を含んでもよい。第1イメージ710に対するチャネル値シーケンスペアは、例えば、(v1、v2)のように表現されてもよい。このとき、チャネル値シーケンスペア(v1、v2)に含まれる第1要素(v1)は、第1イメージ710の第1チャネルに含まれるピクセルの値であってもよく、第2要素(すなわち、v2)は、第1イメージ710の第2チャネルに含まれるピクセルの値であってもよい。チャネル値シーケンスペアに含まれる各要素の値は、光の強度を意味する値であり、所定の区間(例えば、0以上1以下)に含まれる実数(Real Number)であってもよい。第1イメージ710の第1チャネル内の第1位置711から取得したピクセル値が0.9であり、第1イメージ710の第2チャネル内の第1位置711から取得したピクセル値が0.8である場合、プロセッサ110は、(0.9、0.8)の値を有するチャネル値シーケンスペアを生成してもよい。
次に、プロセッサ110は、チャネル値シーケンスペアを生成する動作を所定の回数だけ繰り返すことによって、複数のチャネル値シーケンスペアを生成してもよい(S830)。例えば、プロセッサ110は、上述したS810およびS820を順に所定の回数だけ繰り返すことによって、繰り返された回数分のチャネル値シーケンスペアを生成してもよい。
次に、プロセッサ110は、複数のチャネル値シーケンスペアのうちで同じ値を持つチャネル値シーケンスペアの数を決定してもよい(S840)。例えば、生成されたチャネル値のシーケンスペアが[(0.9,0.8)、(0.8,0.2)、(0.6,0.0)、(0.9,0.8)、(0.9,0.8)、(0.9,0.8)、(0.8,0.2)、(0.6,0.0)、(0.8,0.2)、(0.6,0.0)]であると仮定するとき、プロセッサ110は、シーケンスペア(0.9,0.8)4つ、シーケンスペア(0.8,0.2)3つ、シーケンスペア(0.6,0.0)3つのように、同じ値を有するチャネル値のシーケンスペアの数を決定してもよい。
次に、プロセッサ110は、チャネル値シーケンスペアの数に基づいてヒストグラムを生成してもよい(S850)。一実施形態において、ヒストグラムは、2次元座標軸上に表現されてもよい。すなわち、ヒストグラムは、チャネル値シーケンスペアの第1要素に対応する横軸(x軸)を有し、チャネル値シーケンスペアの第2要素に対応する縦軸(y軸)を含んでもよい。ヒストグラム上でそれぞれのチャネル値シーケンスペアに対応するピクセルは、該当となるチャネル値シーケンスペアの数に基づいて互いに異なる色または互いに異なる明るさなどを有するように表現されてもよい。例えば、ヒストグラム上の各チャネル値シーケンスペアに対応するピクセルは、チャネル値シーケンスペアの数が多いほど明るく表現されたり、第1色(例えば、青)から第2色(例えば、赤)に近づくように表現されてもよい。図7を参照しながら説明すると、第1-1ヒストグラム730は、プロセッサ110が第1イメージ710に対して上述したS810~S850を実行した結果として生成されたヒストグラムであってもよい。また、図面符号731で示されるピクセルは、第1-1ヒストグラム730上でx値として0.3、y値として0.2を有するピクセルであり、チャネル値シーケンスペア(0.3、0.2)に対応するピクセルであってもよい。図面符号733で示されるピクセルは、第1-1ヒストグラム730上でx値として0.6、y値として0.6を有するピクセルであり、チャネル値シーケンスペア(0.6、0.6)に対応するピクセルであってもよい。第1イメージ710から生成されたチャネル値シーケンスペアのうちで(0.3、0.2)の値を有するチャネル値シーケンスペアの数が(0.6、0.6)の値を有するチャネル値シーケンスペアの数よりも多いと仮定する場合、第1-1ヒストグラム730上では、チャネル値シーケンスペア(0.3、0.2)に対応するピクセル731がチャネル値シーケンスペア(0.6、0.6)に対応するピクセル733よりも明るい色で表現されてもよい。
他の一実施形態において、ヒストグラムは、3次元座標軸上に表現されてもよい。このとき、ヒストグラムは、チャネル値シーケンスペアの第1要素に対応する第1軸(x軸)、チャネル値シーケンスペアの第2要素に対応する第2軸(y軸)、およびチャネル値シーケンスペアの数に対応する第3軸(z軸)を含んでもよい。
プロセッサ110は、S850を実行した後、生成されたヒストグラムから確率分布関数を決定する動作をさらに実行してもよい。以下、本開示において、「確率分布関数」は、「確率分布」とも称する。例えば、プロセッサ110は、S850の実行結果によって生成されたヒストグラムを正規化することによって、近似的に確率分布を決定してもよい。図7を参照しながら説明すると、第1-1ヒストグラム730から決定された確率分布は、第1-1ヒストグラム730と類似のデータ分布を有する連続確率分布であってもよい。
図9は、本開示の一実施形態における、複数の単一チャネルイメージそれぞれに含まれる互いに異なる位置のピクセルの値に基づいてヒストグラムを決定するサーバ100の動作を示したフローチャートである。図9では、複数の単一チャネルイメージを含むマルチチャネルイメージの一例として、図7の第1イメージ710を例に挙げて説明する。
プロセッサ110は、複数の単一チャネルイメージそれぞれに含まれる互いに異なる位置のピクセルの値を取得してもよい(S910)。例えば、プロセッサ110は、第1イメージ710に含まれる1つ目のイメージ(第1イメージの第1チャネル)内の第2-1位置713aからピクセル値(例えば、0.5)を取得してもよい。また、プロセッサ110は、第1イメージ710に含まれる1つ目のイメージ(第1イメージの第1チャネル)内の第2-2位置713bからピクセル値(例えば、0.1)を取得してもよい。第2-1位置713aおよび第2-2位置713bは、互いに異なる座標値を有する位置であってもよい。上述したように、プロセッサ110は、第1イメージ710に含まれる複数の未分離イメージそれぞれに含まれる互いに異なる位置のピクセルのピクセル値を取得してもよい。
次に、プロセッサ110は、複数の単一チャネルイメージそれぞれから取得した互いに異なる位置のピクセルの値に基づいてチャネル値シーケンスペアを生成してもよい(S920)。例えば、第1イメージ710の第1チャネル内の第2-1位置713aから取得したピクセルの値が0.5であり、第1イメージ710の第2チャネル内の第2-2位置713bから取得したピクセルの値が0.1である場合、プロセッサ110は、(0.5、0.1)の値を有するチャネル値シーケンスペアを生成してもよい。
次に、プロセッサ110は、チャネル値シーケンスペアを生成する動作(すなわち、S910およびS920)を所定の回数だけ繰り返すことによって複数のチャネル値シーケンスペアを生成し(S930)、複数のチャネル値シーケンスペアのうちで同一の値を有するチャネル値シーケンスペアの数を決定し(S940)、チャネル値シーケンスペアの数に基づいてヒストグラムを生成してもよい(S950)。S930~S950は、プロセッサ110によって上述したS830~S850と同一または類似するように実行されるため、重複する内容の説明は省略する。図7の第1-2ヒストグラム750は、プロセッサ110が第1イメージ710に対して上述したS910~S950を実行した結果として生成されたヒストグラムであってもよい。
プロセッサ110は、S950を実行した後、生成されたヒストグラムから確率分布関数を決定する動作をさらに実行してもよい。例えば、プロセッサ110は、S950の実行結果によって生成されたヒストグラムを正規化することによって、近似的に確率分布を決定してもよい。図7を参照して説明すると、第1-2ヒストグラム750から決定された確率分布は、第1-2ヒストグラム750と類似のデータ分布を有する連続確率分布関数であってもよい。
本開示に係るサーバ100は、図8および図9を参照しながら説明したように、複数の単一チャネルイメージを含むマルチチャネルイメージに基づいて、互いに異なる方法により、該当となるイメージのヒストグラムまたは確率分布を決定することができる。
本開示において、複数のイメージ間の「依存性」または「類似性」という用語は、複数のイメージに含まれる情報が互いにどのくらい関連しているかを示す用語であり、確率的独立性に対比する意味として使用されてもよい。複数のイメージが互いに高い依存性を有する場合、それぞれのイメージで互いに同じ位置に対応するピクセルは、ピクセル値の間に特定の傾向性を有することがある。例えば、それぞれのイメージで互いに同一する位置に対応するピクセル値のうちで1つ目のチャネルのピクセル値が低い場合、高い確率で2つ目のチャネルのピクセル値が高くなり、これとは逆に、1つ目のチャネルのピクセル値が高い場合、高い確率で2つ目のチャネルのピクセル値が高くなる。この反面、複数のイメージが互いに低い依存性を有する場合、それぞれのイメージで互いに同じ位置に対応するピクセルであっても、そのピクセルのピクセル値の間には特定の傾向性がないことがある。本開示において、複数のピクセル値の間に「特定の傾向性がない」というのは、複数のピクセル値が互いに影響を与えず、複数のピクセル値の大きさに関する大小関係がランダム(random)に決定されることを意味する。また、本開示において、「独立性(Independency)」という用語は、複数のイメージに含まれる情報が互いにどれだけ独立的であるかを示す用語として使用されてよい。すなわち、依存性と独立性は相反する概念であり、複数のイメージの間の依存性が高いほど独立性は低く、依存性が低いほど独立性は高いと表現されてよい。本開示に係る複数の未分離イメージは、互いに高い依存性(dependency)を有する。また、複数の未分離イメージから生成された複数の分離イメージは、低い依存性を有する。
再び図7を参照すると、第1イメージ710は、複数のチャネルがそれぞれ複数の未分離イメージに含まれた1つの未分離イメージに対応する場合のマルチチャネルイメージであってもよい。複数の未分離イメージは、上述したように、互いに高い依存性を有してもよく、それぞれの未分離イメージに含まれる互いに同一する位置のピクセルは、互いに同一あるいは類似の大きさのピクセル値を有してもよい。したがって、複数の未分離イメージそれぞれに含まれる互いに同じ位置のピクセルの値に基づいてヒストグラムを決定する場合、チャネル値のシーケンスペアに含まれる第1要素の大きさと第2要素の大きさは、代替的に同一あるいは類似する。例えば、複数の未分離イメージそれぞれに含まれる互いに同じ位置のピクセルの値に基づいて生成された第1-1ヒストグラム730のように、第1要素の値と第2要素の値の間には特定の相関関係が示されることがある。
本開示において、複数の単一チャネルイメージそれぞれに含まれる互いに同じ位置のピクセルの値に基づいて生成されたヒストグラムは、このイメージに対する「結合ヒストグラム(Joint Histogram)とも呼ばれる。また、結合ヒストグラムから決定された確率分布関数は、「結合確率分布」とも呼ばれる。例えば、第1-1ヒストグラム730は、第1イメージ710に含まれる複数の未分離イメージに対する結合ヒストグラムであってもよい。
第1イメージ710に含まれる複数の未分離イメージ内で互いに異なる位置のピクセルの値に基づいてヒストグラムを生成する場合、チャネル値シーケンスペアに含まれる第1要素の大きさと第2要素の大きさの間には特定の傾向性がないことがある。例えば、複数の未分離イメージそれぞれに含まれる異なる位置のピクセルの値に基づいて生成された第1-2ヒストグラム750のように、チャネル値シーケンスペアに含まれる第1要素の値と第2要素の値の間には特定の相関関係が示されないことがある。
本開示において、複数の単一チャネルイメージそれぞれに含まれる互いに異なる位置のピクセルの値に基づいて生成されたヒストグラムは、そのイメージに対する「周辺ヒストグラム(Marginal Histogram)」とも呼ばれる。また、周辺ヒストグラムから決定された確率分布関数は「周辺確率分布」とも呼ばれる。例えば、第1-2ヒストグラム7500は、第1イメージ710に含まれる複数の未分離イメージに対する周辺ヒストグラムであってもよい。
以下、図10を参照しながら、マルチチャネルイメージに含まれる複数のチャネルがそれぞれ分離イメージである場合に決定される、2つ以上のヒストグラムについて説明する。
図10は、本開示の他の一実施形態における、マルチチャネルイメージから互いに異なる方法で決定されたヒストグラムを示した例示図である。第2イメージ1010は、例えば、複数の分離イメージを含むマルチチャネルイメージであってもよい。第2イメージ1010は、プロセッサ110がアンミキシング行列を利用して複数の未分離イメージを演算した結果として生成された複数の分離イメージを含むマルチチャネルイメージであってもよい。以下、本開示において、第2イメージ1010は、2つのチャネルを有するマルチチャネルイメージであると説明するが、これは説明の便宜のための仮定に過ぎず、本開示がこれによって限定されてはならない。例えば、第2イメージ1010に含まれる1つ目のイメージ(または、第2イメージの第1チャネル)は、試料に含まれる生体分子「A1」に対するイメージであってもよい。また、例えば、第2イメージ1010に含まれる2つ目のイメージ(または、第2イメージの第2チャネル)は、試料に含まれる生体分子「B1」に対するイメージであってもよい。
第2-1ヒストグラム1030および第2-2ヒストグラム1050はそれぞれ、図7を参照しながら説明した第1-1ヒストグラム730および第1-2ヒストグラム750と類似の方法によって第2イメージ1010に関して決定されたヒストグラムであってもよい。例えば、第2-1ヒストグラム1030は、第2イメージ1010に含まれる複数の単一チャネルイメージ内で互いに同じ位置のピクセルの値に基づいて決定された結合ヒストグラムであり、第2-2ヒストグラム1050は、第2イメージ1010に含まれる複数の単一チャネルイメージ内で互いに異なる位置のピクセルの値に基づいて決定された周辺ヒストグラムであってもよい。複数の分離イメージにおいて、互いに同じ位置に対応するピクセルそれぞれが有するピクセル値の間には特定の傾向性がないことがある。すなわち、互いに低い依存性を有する複数の分離イメージに対して決定されたヒストグラムには、特定の相関関係が示されないことがある。例えば、複数の分離イメージを含む第2イメージ1010に対して第2-1ヒストグラム1030および第2-2ヒストグラム1050をそれぞれ生成する場合、生成された2つのヒストグラムにおいて、チャネル値シーケンスペアに含まれる第1要素の大きさと第2要素の大きさの間には特定の傾向性がないことがある。
図11は、本開示の一実施形態における、アンミキシング行列のパラメータを更新するサーバ100の動作を示したフローチャートである。
プロセッサ110は、複数の生体分子を含む試料に関する複数の未分離イメージを取得してもよい(S1110)。プロセッサ110は、第1アンミキシング行列を利用して、複数の未分離イメージから複数の生体分子それぞれに対応する複数の分離イメージを生成してもよい(S1120)。S1110またはS1120は、プロセッサ110によって、図6で説明したS610またはS620と同一あるいは類似するように実行されてよい。
次に、プロセッサ110は、アンミキシング行列によって生成された複数の分離イメージに基づいて、複数の分離イメージ間の依存性を評価してもよい(S1130)。複数の分離イメージ間の依存性は、プロセッサ110によって実行される特定のアルゴリズムに基づいて評価されてもよいし、プロセッサ110が人工ニューラルネットワークモデルを利用して所定の演算を実行することによって評価されてもよい。また、プロセッサ110は、依存性評価結果に基づいて、複数の分離イメージ間の依存性が低くなるようにアンミキシング行列のパラメータを修正してもよい(S1140)。
本開示の多様な実施形態によると、プロセッサ110は、複数の分離イメージに対して生成されたヒストグラムに基づいて、複数の分離イメージ間の依存性を評価してもよい。具体的に、プロセッサ110は、複数の分離イメージに対して生成されたヒストグラムに基づいて、予め定められたアルゴリズム(または、数式)によって複数の分離イメージ間の依存性を指示する値(以下、「依存性評価値」とも称する)を算出してもよい。
複数の分離イメージに対して生成されたヒストグラムに基づいて複数の分離イメージ間の依存性を評価する第1実施形態において、プロセッサ110は、複数の分離イメージ間の相互情報量(Mutual Information)を算出することによって依存性を評価してもよい。「相互情報量」とは、情報理論から発生した値であって、2つの変数間の相互情報量は2つの変数が共有している情報の総量を意味してもよく、例えば、2つのランダム変数(two random variables)間の相互情報量は0であってもよい。プロセッサ110は、複数の分離イメージに基づいて生成される結合ヒストグラムまたは周辺ヒストグラムに基づいて相互情報量を算出してもよい。2つの分離イメージに対する相互情報量は、例えば、以下の数式(8)のように表現されてよい。
複数の分離イメージに対して生成されたヒストグラムに基づいて複数の分離イメージ間の依存性を評価する第2実施形態において、プロセッサ110は、複数の分離イメージ間のカルバック・ライブラー情報量(Kullback-Leibler Divergence)値を算出することによって依存性を評価してもよい。「カルバック・ライブラー情報量」は、互いに異なる2つの確率分布の差を計算するときに使用可能な関数であり、この関数の値は互いに異なる2つの確率分布の情報エントロピーの差を示す。カルバック・ライブラー情報量値が大きいほど互いに異なる2つの確率分布は差が大きく、適切に区別することができる。カルバック・ライブラー情報量値は、下記の数式(9)のように定義されてもよい。
数式(9)において、Xは、複数の分離イメージ間の結合ヒストグラムまたは結合確率分布を示している。複数の分離イメージに対する結合ヒストグラムまたは結合確率分布は、例えば、プロセッサ110が複数の分離イメージに対して上述した図8の各段階を実行した結果として生成されてもよい。また、Yは、複数の分離イメージ間の周辺ヒストグラムまたは周辺確率分布を示している。複数の分離イメージに対する周辺ヒストグラムまたは周辺確率分布は、例えば、プロセッサ110が複数の分離イメージに対して上述した図9の各段階を実行した結果として生成されてもよい。プロセッサ110は、数式(9)に示したカルバック・ライブラー情報量値に基づいて、複数の分離イメージ間の依存性を算出してもよい。
複数の分離イメージに対して生成されたヒストグラムに基づいて複数の分離イメージ間の依存性を評価する第3実施形態において、プロセッサ110は、複数の分離イメージ間の交差エントロピー値を算出することによって依存性を評価してもよい。「交差エントロピー」は、2つの確率分布を区別するために必要な平均ビット数を意味し、この値は互いに異なる2つの確率分布の差を示す。交差エントロピー値が大きいほど互いに異なる2つの確率分布は差が大きく、適切に区別することができる。交差エントロピー値は、下記の数式(10)のように定義されてもよい。
数式(10)において、Xは、複数の分離イメージ間の結合ヒストグラムまたは結合確率分布を示している。複数の分離イメージに対する結合ヒストグラムまたは結合確率分布は、例えば、プロセッサ110が複数の分離イメージに対して上述した図8の各段階を実行した結果として生成されてもよい。また、Yは、複数の分離イメージ間の周辺ヒストグラムまたは周辺確率分布を示している。複数の分離イメージに対する周辺ヒストグラムまたは周辺確率分布は、例えば、プロセッサ110が複数の分離イメージに対して上述した図9の各段階を実行した結果として生成されてもよい。プロセッサ110は、数式(10)に示す交差エントロピー値に基づいて、複数の分離イメージ間の依存性を算出してもよい。
複数の分離イメージに対して生成されたヒストグラムに基づいて複数の分離イメージ間の依存性を評価する第4実施形態において、プロセッサ110は、複数の分離イメージ間のランド指数(Rand Index)を算出することによって依存性を評価してもよい。「ランド指数」は、2つのデータセット間の類似度を示す値である。ランド指数が大きいほど互いに異なる2つのデータセットは差が大きく、適切に区別することができる。例えば、2つのデータセット(XとY)がそれぞれX={X,X12,...,Xi}とY={Y,Y12,...,Yj}のように表現されると仮定するとき、2つのデータセット間の重畳は以下の表1のように示されてもよい。
例えば、データセットXは、複数の分離イメージ間の結合ヒストグラムまたは結合確率分布のデータを含んでよく、データセットYは、複数の分離イメージ間の周辺ヒストグラムまたは周辺確率分布のデータを含んでよい。このような表1に基づくランド指数は、以下の数式(11)のように定義されてよい。
例えば、データセットXは、複数の分離イメージ間の結合ヒストグラムまたは結合確率分布のデータを含んでよく、データセットYは、複数の分離イメージ間の周辺ヒストグラムまたは周辺確率分布のデータを含んでよい。このような表1に基づくランド指数は、以下の数式(11)のように定義されてよい。
プロセッサ110は、数式(11)に示したランド指数に基づいて、複数の分離イメージ間の依存性を算出してもよい。
上述した依存性評価に関する第1~4実施形態は、プロセッサ110が複数の分離イメージ間の依存性を評価する方法を具体的に説明するための例示に過ぎず、本開示がこれによって限定されてはならない。本開示のプロセッサ110は、多様な方法によって、複数の分離イメージに対して生成されたヒストグラムに基づいて依存性(または、類似性)を評価してもよい。
本開示に係るサーバ100は、算出された依存性評価結果に基づいて、アンミキシング行列に含まれる少なくとも1つのパラメータを修正してもよい。以下では、上述した依存性評価に関する第1~4実施形態を再び参照しながら、具体的なパラメータ修正方法について説明する。
相互情報量に基づいて複数の分離イメージ間の依存性を評価する前記第1実施形態において、プロセッサ110は、算出された相互情報量が少なくなる方向にアンミキシング行列のパラメータを修正してもよい。本開示において、「複数の分離イメージに対して算出される特定の値が少なくなる方向にアンミキシング行列のパラメータを修正する」という表現は、複数の未分離イメージから複数の分離イメージを生成するための基礎となるアンミキシング行列のパラメータを修正した結果、修正後のアンミキシング行列によって生成された複数の分離イメージに対して算出された特定の値が、修正前のアンミキシング行列によって生成された複数の分離イメージに対して算出された特定の値よりも小さくなることを意味してもよい。以下では、「特定の値が少なくなる方向にアンミキシング行列のパラメータを修正する」という表現を、「特定の値が少なくなるようにアンミキシング行列のパラメータを修正する」という表現と互換的に使用する。プロセッサ110は、相互情報量が少なくなる方向にアンミキシング行列のパラメータを修正するために、例えば、下記の数式(12)のような損失関数を使用してもよい。数式(12)は、上述した数式(8)による、一実施形態における損失関数を示している。
カルバック・ライブラー情報量値に基づいて複数の分離イメージ間の依存性を評価する前記第2実施形態において、プロセッサ110は、カルバック・ライブラー情報量値が少なくなる方向にアンミキシング行列のパラメータを修正するために、例えば、以下の数式(13)のような損失関数を使用してもよい。数式(13)は、上述した数式(9)による、一実施形態における損失関数を示している。
複数の分離イメージが2つであると仮定するとき、数式(13)のX’は、イメージ(X1-α×X2)とイメージ(X2)の間で決定される結合確率分布を示してよく、Y’は、イメージ(X1)とイメージ(X2-β×X1)の間で決定される周辺確率分布を示してもよい。
交差エントロピー値に基づいて複数の分離イメージ間の依存性を評価する前記第3実施形態において、プロセッサ110は、交差エントロピー値が少なくなる方向にアンミキシング行列のパラメータを修正するために、例えば、以下の数式(14)のような損失関数を使用してもよい。数式(14)は、上述した数式(10)による、一実施形態における損失関数を示している。
複数の分離イメージが2つであると仮定するとき、数式(14)のX’は、イメージ(X1-α×X2)とイメージ(X2)の間で決定される結合確率分布を示してよく、Y’は、イメージ(X1)とイメージ(X2-β×X1)の間で決定される周辺確率分布を示してもよい。
ランド指数に基づいて複数の分離イメージ間の依存性を評価する前記第4実施形態において、プロセッサ110は、ランド指数が少なくなる方向にアンミキシング行列のパラメータを修正するために、例えば、以下の数式(15)のような損失関数を使用してもよい。数式(15)は、上述した数式(11)による、一実施形態における損失関数を示している。
複数の分離イメージが2つであると仮定するとき、数式(15)のX’は、イメージ(X1-α×X2)とイメージ(X2)の間で決定される結合確率分布を示してよく、Y’は、イメージ(X1)とイメージ(X2-β×X1)の間で決定される周辺確率分布を示してもよい。
プロセッサ110は、以下の数式(16)に基づいて、上述した数式(12)~(15)のような多様な損失関数を最小化する少なくとも1つのパラメータ(例えば、数式(12)~(15)のαまたはβ)を決定してもよい。
上述したように、本開示に係るサーバ100は、算出した依存性評価結果に基づいて、アンミキシング行列に含まれる少なくとも1つのパラメータを修正することができる。
本開示の追加のいくつかの実施形態によると、プロセッサ110は、人工ニューラルネットワークモデルに基づいて複数の分離イメージ間の依存性を評価し、依存性評価結果に基づいてアンミキシング行列のパラメータを修正してもよい。本開示によってプロセッサ110が人工ニューラルネットワークモデルに基づいてアンミキシング行列のパラメータを修正する方法については、以下の図面を参照しながら具体的に説明する。
次に、プロセッサ110は、予め定められた臨界条件を満たしているかどうかを判断してもよい(S1145)。
一実施形態において、予め定められた臨界条件は、アンミキシング行列の更新回数による条件であってもよい。例えば、予め定められた臨界条件が、アンミキシング行列をN(Nは1以上の自然数)回だけ修正した場合に満たされる条件であると仮定する。このとき、プロセッサ110は、アンミキシング行列を更新するたびに更新回数をカウントし、カウントした更新回数がN回である場合、予め定められた臨界条件が満たされていると判断してもよい。
プロセッサ110が複数の分離イメージ間の依存性評価値を算出する一実施形態において、予め決定された臨界条件は、計算される依存性評価値の大きさによる条件であってもよい。例えば、予め定められた臨界条件は、複数の分離イメージ間で計算される依存性評価値の大きさが0.2以下である場合に満たされる条件であると仮定する。このとき、プロセッサ110は、S1130を実行した結果、複数の分離イメージ間で計算される依存性評価値の大きさが0.2以下である場合、予め定められた臨界条件が満たされていると判断してもよい。
また、プロセッサ110が人工ニューラルネットワークモデルに基づいて依存性を評価する一実施形態において、予め定められた臨界条件は、人工ニューラルネットワークモデルの学習回数、出力値の大きさ、または損失値(Loss値、出力値とグラウンドトゥルースの誤差)の少なくとも1つに基づく条件であってもよい。例えば、予め定められた臨界条件が、人工ニューラルネットワークモデルの損失値が0.1以下の場合に満たされる条件であると仮定する。このとき、プロセッサ110は、人工ニューラルネットワークモデルの損失値が0.1以下である場合、予め定められた臨界条件が満たされていると判断してもよい。
プロセッサ110によって予め定められた臨界条件が満たされているかどうかを判断した結果、条件が満足されていない場合、プロセッサ110は、事前決定された臨界条件が満たされるまで、上述したS1120~S1140を繰り返してもよい。
プロセッサ110が予め定められた臨界条件が満たされているかどうかを判断した結果、条件が満たされている場合、プロセッサ110は、アンミキシング行列の更新を終了してもよい。更新されたアンミキシング行列は、更新前のアンミキシング行列と比べて少なくとも1つのパラメータが修正された行列であってもよい。
図12は、本開示の一実施形態における、人工ニューラルネットワークモデル1250に基づいて複数の分離イメージ1210間の依存性を評価する過程を示した概念図である。人工ニューラルネットワークモデル1250は、入力データの入力を受け、入力された入力データの種類を決定するための出力データを生成する人工ニューラルネットワークモデル(以下、「分類モデル」とも称する)であってもよい。以下、図12を参照しながら、説明の便宜上、複数の分離イメージ1210が3つの分離イメージを含むものと仮定して説明するが、本開示がこれに限定されてはならない。
プロセッサ110は、複数の分離イメージ1210に基づいて、人工ニューラルネットワークモデル1250に入力される少なくとも1つの入力データを生成してもよい。一実施形態において、プロセッサ110は、複数の分離イメージ1210に関する互いに異なる2つ以上の確率分布のうちの少なくとも1つの確率分布からデータをサンプリング(Sampling)することによって入力データを生成してもよい。本開示において、「サンプリング」という用語は、特定の確率分布に含まれる各要素が有する確率値に基づいて所定の数の要素を選択したり抽出する動作を意味するものであってもよい。例えば、特定の確率分布に含まれる第1要素が第2要素よりも高い確率値を有し、この特定の確率分布から1つの要素をサンプリングする場合、第1要素が選択される確率は第2要素が選択される確率よりも高くなることがある。また、例えば、特定の確率分布に含まれるすべての要素が同一の確率値を有し、この特定の確率分布から1つの要素をサンプリングする場合、すべての要素は選択される確率が等しくなることがある。本開示において、プロセッサ110がデータをサンプリングするための一確率分布は、例えば、複数の分離イメージ1210それぞれに含まれる互いに同じ位置のピクセルの値に基づいて決定される確率分布(以下、「第1確率分布」とも称する)であってもよい。第1確率分布は、プロセッサ110が、複数の分離イメージ1210に対して図8を参照しながら説明した方法を実行することによって決定されてもよい。プロセッサ110は、第1確率分布からデータをサンプリングすることによって一入力データを生成してもよい。また、プロセッサ110がデータをサンプリングするための一確率分布は、例えば、複数の分離イメージ1210それぞれに含まれる互いに異なる位置のピクセルの値に基づいて決定される確率分布(以下、「第2確率分布」とも称する)であってもよい。第2確率分布は、プロセッサ110が、複数の分離イメージ1210に対して図9を参照しながら説明した方法を実行することによって決定されてもよい。プロセッサ110は、第2確率分布からデータをサンプリングすることによって一入力データを生成してもよい。
一実施形態において、第1確率分布からサンプリングされる入力データ1231は、以下の数式(17)のように表現されてもよい。
一実施形態において、第2確率分布からサンプリングされる入力データ1233は、以下の数式(18)のように表現されてよい。
一実施形態において、プロセッサ110は、入力データを分類モデルに入力し、分類モデルの出力データに基づいて入力データの種類を決定してもよい。入力データが、複数の分離されたイメージに関して互いに異なるように決定された2つ以上の確率分布のうちの1つにしたがってサンプリングされたデータである場合、分類モデルは、入力データの基となる特定の確率分布を決定するための出力データを生成してもよい。例えば、分類モデルに対する入力データは、第1確率分布からサンプリングされる入力データ1231または第2確率分布からサンプリングされる入力データ1233であってもよい。このとき、分類モデルの出力データは、入力データと関連する確率分布を決定するデータであってもよい。すなわち、入力データが第1確率分布からサンプリングされた入力データ1231である場合、分類モデルは、その入力データに対する出力データとして第1確率分布を示す情報を出力してもよい。また、入力データが第2確率分布からサンプリングされた入力データ1233である場合、分類モデルは、入力データに対する出力データとして第2確率分布を示す情報を出力してもよい。
本開示の一実施形態に係る分類モデルである人工ニューラルネットワークモデル1150を学習させるために、プロセッサ110は、第1確率分布からサンプリングされる入力データ1131および第2確率分布からサンプリングされる入力データ1133を互いに異なようにラベリングすることによって学習データを生成してもよい。例えば、プロセッサ110は、第1確率分布からサンプリングされる入力データ1131にはグラウンドトゥルース(ground truth)として「1」をラベリングし、第2確率分布からサンプリングされる入力データ1133にはグラウンドトゥルース(ground truth)として「0」をラベリングしてもよい。このように生成された学習データに基づいて分類モデルが学習される場合、プロセッサ110は、学習データに含まれる入力データを分類モデルに入力し、分類モデルによって出力される出力データ(例えば、0から1の実数)を取得し、この入力データに対してラベリングされたグラウンドトゥルースと分類モデルの出力データの差に基づいて、逆伝搬(Backpropagation)技法によって、分類モデルに含まれる少なくとも1つのパラメータの値を更新することによって、分類モデルを学習させてもよい。
図13は、本開示の他の一実施形態における、人工ニューラルネットワークモデル1350に基づいて複数の分離イメージ1310間の依存性を評価する過程を示した概念図である。人工ニューラルネットワークモデル1350は、複数の入力データの入力を受け、複数の入力データと関連する特定の値を予測するための出力データを生成する人工ニューラルネットワークモデル(以下、「予測モデル」とも称する)であってもよい。以下、図13を参照しながら、説明の便宜上、複数の分離イメージ1310が2つの分離イメージを含むものと仮定して説明するが、これによって本開示が限定されてはならない。
プロセッサ110は、複数の分離イメージ1310に基づいて、人工ニューラルネットワークモデル1350に入力される複数の入力データを生成してもよい。プロセッサ110は、複数の分離イメージ1310に基づいて決定された互いに異なる確率分布からそれぞれサンプリングされた複数の入力データを生成してもよい。以下では、人工ニューラルネットワークモデル1350が2つの入力データを入力するものと仮定して説明するが、これによって本開示が限定されてはならず、本開示の人工ニューラルネットワークモデル1350は、3つ以上の入力データの入力を受けるものであってもよい。一実施形態において、プロセッサ110は、複数の分離イメージ1310に関する互いに異なる2つの確率分布それぞれからデータをサンプリングすることによって2つの入力データを生成してもよい。複数の分離イメージ1310に関する互いに異なる2つの確率分布は、例えば、複数の分離イメージ1310それぞれに含まれる互いに同じ位置のピクセルの値に基づいて決定される確率分布(以下、「第3確率分布」とも称する)、または複数の分離イメージ1310それぞれに含まれる互いに異なる位置のピクセルの値に基づいて決定される確率分布(以下、「第4確率分布」とも称する)であってもよい。このとき、第3確率分布は、プロセッサ110が、複数の分離イメージ1310に対して図8を参照しながら説明した方法を実行することによって決定されてもよく、第4確率分布は、プロセッサ110が、複数の分離イメージ1310に対して図9を参照しながら説明した方法を実行することによって決定されてもよい。プロセッサ110は、第3確率分布から入力データ1331をサンプリングし、第4確率分布から入力データ1333をサンプリングすることによって、人工ニューラルネットワークモデル1350に入力する複数の入力データを生成してもよい。
プロセッサ110は、複数の入力データを人工ニューラルネットワークモデル1350に入力し、人工ニューラルネットワークモデル1350が予測する複数の入力データと関連する特定の値を取得してもよい。人工ニューラルネットワークモデル1350が予測する複数の入力データに関連する「特定の値」とは、複数の入力データの入力を受け取った人工ニューラルネットワークモデル1350が出力する値を意味してもよい。
プロセッサ110は、取得した特定の値に基づいて、複数の分離イメージに対する依存性評価値を算出してもよい。人工ニューラルネットワークモデルに基づいてプロセッサ110が算出する依存性評価値の種類は、上述したように、多様な実施形態によって決定されてよい。以下では、説明の便宜上、人工ニューラルネットワークモデルに基づいて算出される依存性評価値の一例として、プロセッサ110が、上述した「相互情報量」を算出するものと仮定する。一実施形態では、予測モデルが予測する特定の値に基づいて算出される複数の分離イメージ間の相互情報量は、以下の数式(19)のように表現されてよい。
上述したような予測モデルとしての人工ニューラルネットワークモデル1350を学習させるために、プロセッサ110は、予測モデルが出力する特定の値に基づいて相互情報量を算出し、算出した相互情報量が最大化するように予測モデルを学習させてもよい。すなわち、予測モデルが複数の分離イメージからサンプリングされた複数の入力データに対して特定の値を予測するときに、予測モデルに含まれる少なくとも1つのパラメータの値は、複数の分離イメージに対する相互情報量が最大化する方向に特定の値を予測するように更新されてもよい。例えば、プロセッサ110は、予め決定された相互情報量算出式に対して勾配降下法(または、勾配上昇法)を適用することにより、連鎖法則(Chain Rule)によって予測モデルに含まれる少なくとも1つのパラメータの値が更新されるようにしてもよい。
本開示のアンミキシング行列および人工ニューラルネットワークモデルは、互いに敵対的に学習(Adversarial Training)されてもよい。本開示において、2つのオブジェクトが「敵対的に学習される」という表現は、2つのオブジェクトが相反する課題(task)を解決するように学習されることによって、それぞれのオブジェクトに含まれる少なくとも1つのパラメータの値が変更されることを意味してもよい。
本開示に係る敵対的学習に関する一実施形態において、人工ニューラルネットワークモデルが分類モデルに該当する場合、アンミキシング行列に含まれる少なくとも1つの要素の値は、分類モデルに入力される第1入力データと第2入力データが人工ニューラルネットワークモデルによって適切に区別されないように更新され、人工ニューラルネットワークモデルに含まれる少なくとも1つのパラメータの値は、入力される第1入力データと第2入力データが適切に区別されるように更新されてもよい。例えば、第1入力データは第1確率分布からサンプリングされたデータであり、第2入力データは第2確率分布からサンプリングされたデータであってもよい。分類モデルは、上述したように、複数の分離イメージから互いに異なるように決定された確率分布それぞれからサンプリングされた複数の入力データの入力を受けて各入力データと関連する確率分布を決定する人工ニューラルネットワークモデルであってもよい。また、アンミキシング行列は、各入力データを生成するための基礎となる複数の分離イメージを生成してもよい。すなわち、アンミキシング行列は、複数の未分離イメージから複数の分離イメージを生成し、分類モデルは、複数の分離イメージそれぞれからサンプリングされた入力データの種類を決定してもよい。したがって、分類モデルは、複数の入力データを互いに適切に区別するように学習する反面、アンミキシング行列は、複数の分離イメージそれぞれからサンプリングされた複数の入力データが分類モデルによって適切に区別されないように学習することにより、分類モデルとアンミキシング行列は互いに適合的に学習されるようになる。
一実施形態において、分類モデルに入力される2種類の入力データが分類モデルによって適切に区別される場合、プロセッサ110は、分類モデルの学習が不十分であると判断し、分類モデルの学習をさらに実行してもよい。この場合、アンミキシング行列を利用して複数の未分離イメージから生成される複数の分離イメージは、互いに依存的であると判断されてもよい。これとは逆に、分類モデルに入力される2種類の入力データが分類モデルによって適切に区別されない場合、プロセッサ110は、分類モデルの学習が十分であると判断し、分類モデルの学習を中断してもよい。この場合、アンミキシング行列を利用して複数の未分離イメージから生成される複数の分離イメージは、互いに独立的であると判断されてもよい。
本開示において、「分類モデルに入力される2種類の入力データが分類モデルによって適切に区別される」または「分類モデルに入力される2種類の入力データが分類モデルによって適切に区別されない」は、定量的または数値的に判断されてもよい。例えば、分類モデルが入力データの種類を決定するための出力データを生成するときに、プロセッサ110は、所定の数の入力データに対してグラウンドトゥルースがラベリングされたテストデータセットを用いて分類モデルの正確度(または、信頼度)を評価してもよい。具体的に、プロセッサ110は、テストデータセットに含まれる入力データのうちの特定の数または特定の割合以上の入力データに対してグラウンドトゥルースと誤差範囲内の分類結果を出力する場合、分類モデルの学習が十分であると判断してもよい。あるいは、学習が進むにつれて分類モデルの正確度の変化が閾値以下になる場合、分類モデルの学習が十分であると判断してもよい。上述した分類モデルの正確度評価方法は、説明のための一例に過ぎず、これによって本開示が限定されてはならない。
本開示に係る敵対的学習に関する他の一実施形態において、人工ニューラルネットワークモデルが予測モデルに該当する場合、予測モデルに含まれる少なくとも1つのパラメータの値は、複数の分離イメージに対する依存性評価値(例えば、相互情報量、カルバック・ライブラー情報量値、交差エントロピー値、ランド指数など)が最大化する方向に特定の値を予測するように更新され、アンミキシング行列に含まれる少なくとも1つの要素の値は、複数の分離イメージに対する依存性評価値が最小化する方向に複数の分離イメージを生成するように更新されてもよい。予測モデルは、上述したように、複数の分離イメージから互いに異なるように決定された確率分布それぞれに基づいてサンプリングされた複数の入力データの入力を受け、入力された複数の入力データと関連する特定の値を予測する人工ニューラルネットワークモデルであってもよい。また、アンミキシング行列は、複数の入力データを生成するための基礎となる複数の分離イメージを生成してもよい。すなわち、アンミキシング行列は、複数の未分離イメージから複数の分離イメージを生成し、予測モデルは、複数の分離イメージそれぞれからサンプリングされた複数の入力データの入力を受けて、複数の入力データと関連する特定の値を予測してもよい。また、予測モデルによって予測された特定の値は、複数の分離イメージに対する依存性評価値を算出するための基礎となる値であってもよい。したがって、予測モデルは、複数の分離イメージに対する依存性評価値が最大化する方向に学習され、アンミキシング行列は、複数の分離イメージに対する依存性評価値が最小化する方向に学習されることによって、予測モデルとアンミキシング行列は互いに適合的学習されるようになる。
一実施形態では、予測モデルが出力する特定の値に基づいて算出される依存性評価値が予め定められた閾値を超えない場合、プロセッサ110は、予測モデルの学習が不十分であると判断し、予測モデルの学習をさらに実行してもよい。この場合、アンミキシング行列を利用して複数の未分離イメージから生成される複数の分離イメージは、互いに依存的であると判断されてもよい。これとは逆に、予測モデルが出力する特定の値に基づいて算出される依存性評価値が予め定められた閾値を超える場合、プロセッサ110は、予測モデルの学習が十分であると判断し、予測モデルの学習を中断してもよい。この場合、アンミキシング行列を利用して複数の未分離イメージから生成される複数の分離イメージは、互いに独立的であると判断されてもよい。一方、プロセッサ110は、予測モデルが学習された回数、例えば、学習エポック(epoch)の数などに基づいて、予測モデルの学習の程度を決定してもよい。
上述したように、本開示の多様な実施形態によると、プロセッサ110は、複数の分離イメージに対して依存性を評価し、評価結果に基づいてアンミキシング行列のパラメータを決定することができる。このように決定されたアンミキシング行列に基づいて、本開示に係るプロセッサ110は、試料を撮影した複数の未分離イメージから試料に含まれる各生体分子の分離イメージを生成することができる。
以下、本開示の内容の一実施形態における、複数の未分離イメージを取得する方法について説明する。
図4を参照しながら説明したように、複数の生体分子を含む試料から各生体分子のイメージを取得する従来の方法は、各生体分子に標識される蛍光物質の発光スペクトルが極力重ならないようにしなければならないという制約があり、これによって最大4つの蛍光物質しか同時に使用することができないという限界があった。また、4つの蛍光物質を使用して試料に含まれる4つの生体分子に対するイメージを取得した後、この試料に含まれる他の生体分子に対するイメージを取得するためには、他の生体分子を新たに標識する前に既存の蛍光物質を除去する後処理過程を実施しなければならなかった。蛍光物質を除去する後処理工程には、例えば、蛍光物質を不活性化する工程や、蛍光物質によって標識された抗体あるいは生体分子を蛍光物質で標識するために使用された物質を剥離する工程などが含まれてもよい。
この反面、本開示に係るイメージ処理方法は、従来の方法が要求していた蛍光物質の不活性化または除去プロセスを必要としない。これにより、本開示の一実施形態において、複数の未分離イメージは、従来の方法とは異なる方法で取得することができる。
本開示の一実施形態に係る複数の未分離イメージは、試料に対して染色と撮影を実施する1つのサイクルを2回以上実行することによって順に生成されてもよい。また、本開示に係る複数の未分離イメージは、蛍光物質を除去する後処理工程を経ず、染色と撮影を実施する1つのサイクルを2回以上実行することによって順に生成されてもよい。このように、本開示に係るイメージ処理方法は、従来の蛍光物質を除去する工程を経ずに複数の分離イメージを生成することにより、迅速かつ効果的に各生体分子に対する分離イメージを生成することができるという効果がある。
図14は、本開示の一実施形態における、複数のイメージを順に取得する過程を示した概念図である。図14の試料1400には、N個(Nは、1以上の自然数)の生体分子が含まれると仮定する。このとき、1回目の染色によって試料1400に含まれる第1生体分子1401が染色されると、プロセッサ110は、撮影部によって1回目の染色後の試料1400を撮影することによって第1未分離イメージ1410を取得してもよい。第1未分離イメージ1410上には、1回目の染色によって染色された第1生体分子1401が表示され、染色されていない残りの生体分子は表示されない。次に、2回目の染色によって試料1400に含まれる第2生体分子1402が染色されると、プロセッサ110は、撮影部によって2回目の染色後の試料1400を撮影することによって第2未分離イメージ1420を取得してもよい。第2未分離イメージ1420上には、1回目の染色によって染色された第1生体分子1401と2回目の染色によって染色された第2生体分子1402が表示され、染色されていない残りの生体分子は表示されない。このような過程を繰り返すことによって、プロセッサ110は、N回目の染色によって試料1400に含まれる第N生体分子1404が染色されると、撮影部によってN回目の染色後の試料1400を撮影することによって第N未分離イメージ1430を取得してもよい。第N未分離イメージ1430上には、1回目の染色によって染色された第1生体分子1401、2回目の染色によって染色された第2生体分子1402、...、およびN回目の染色によって染色された第N生体分子1404が含まれるように表現されてもよい。このように、複数の未分離イメージが順に取得される場合、「i+1」回目の染色後に取得した未分離イメージには、「i」回目の染色後に取得した未分離イメージよりも1つの生体分子がさらに多く表現されるようになる。以下、本開示では、「i」回目の染色後に取得した未分離イメージと比較するとき、「i+1」回目の染色後に取得した未分離イメージ上に追加で表現される1つの生体分子を「i+1回目の染色過程で標識された生体分子」と呼ぶことにする(iは、1以上の自然数)。例えば、図14の第1未分離イメージ1410と比較して第2未分離イメージ1420上に追加で表現される第2生体分子1402は、「2回目の染色過程で標識された生体分子」と称されてよく、第N-1回目の未分離イメージと比較して第N回目の未分離イメージ1430上に追加で表現される第N個の生体分子1403は、「N回目の染色過程で標識された生体分子」と称されてよい。
本開示に係るイメージ処理方法は、図14で説明したように、順に取得した複数の未分離イメージのうちの連続する2つ以上の未分離イメージに基づいて、特定の生体分子に対する分離イメージを生成してもよい。本開示において、「連続して順に取得した2つ以上の未分離イメージ」または「試料に含まれる複数の生体分子を順に染色することによって取得した2つ以上の未分離イメージ」などの表現は、生体分子に対する染色および撮影を含むサイクルを試料に含まれる複数の生体分子それぞれに対して順に実行することによって取得した2つ以上の未分離イメージを意味してもよい。例えば、連続して順に取得した2つの未分離イメージは、i回目(iは、1以上の自然数)の染色後に撮影された未分離イメージおよびi+1回目の染色後に撮影された未分離イメージを含んでもよい。また、例えば、連続して順に取得された3つの未分離イメージは、i回目の染色後に撮影された未分離イメージ、i+1回目の染色後に撮影された未分離イメージ、およびi+2回目の染色後に撮影された未分離イメージを含んでもよい。以下では、説明の便宜上、「連続して順に取得した複数の未分離イメージ」という表現は、「連続する複数の未分離イメージ」という表現と互換的に使用する。
図15は、本開示の一実施形態における、順に取得した複数の未分離イメージのうちの連続する2つの未分離イメージから少なくとも1つの生体分子に対する分離イメージを取得する方法を例示的に示した概念図である。本開示に係るプロセッサ110は、連続する2つの未分離イメージ、すなわち、「i」回目の染色後に取得した未分離イメージと「i+1」回目の染色後に取得した未分離イメージに対して演算を実行することによって、「i+1」回目の染色過程で標識された生体分子の分離イメージを生成してもよい。
一実施形態において、プロセッサ110は、1回目の染色によって試料に含まれる一生体分子(例えば、タンパク質A)を染色して試料を撮影することによって、第1未分離イメージ1510を取得してもよい。また、プロセッサ110は、後続する2次染色によって試料に含まれる他の生体分子(例えば、タンパク質B)を染色して試料を撮影することによって、第2未分離イメージ1530を取得してもよい。また、プロセッサ110は、後続する3次染色によって試料に含まれるさらに他の生体分子(例えば、タンパク質C)を染色して試料を撮影することによって、第3未分離イメージ1550を取得してもよい。プロセッサ110は、少なくとも1つのパラメータに基づいて、連続する2つの未分離イメージに対する演算を実行し、少なくとも1つの生体分子それぞれに対する分離イメージを生成してもよい。例えば、プロセッサ110は、第1未分離イメージ1510および第2未分離イメージ1530に対する演算を実行することによって、2回目の染色工程で標識された生体分子(すなわち、タンパク質B)の分離イメージ1520を生成してもよい。また、プロセッサ110は、第2未分離イメージ1530および第3未分離イメージ1550に対する演算を実行することによって、3回目の染色過程で標識された生体分子(すなわち、タンパク質C)に対する分離イメージ1540を生成してもよい。一方、1回目の染色過程で標識された生体分子(すなわち、タンパク質A)に対する分離イメージは、第1未分離イメージ1510として取得されてよい。
図16は、本開示の一実施形態における、順に取得した複数の未分離イメージのうちの連続する3つの未分離イメージから少なくとも2つの生体分子の分離イメージを取得する方法を例示的に示した概念図である。図16に示す第1未分離イメージ1610、第2未分離イメージ1630、および第3未分離イメージ1650は、図15の第1未分離イメージ1510、第2未分離イメージ1530、および第3未分離イメージ1550とそれぞれ同じ方法で取得されてもよい。プロセッサ110は、少なくとも1つのパラメータに基づいて連続する3つの未分離イメージに対する演算を実行し、少なくとも2つの生体分子それぞれの分離イメージを生成してもよい。例えば、プロセッサ110は、第1未分離イメージ1610、第2未分離イメージ1620、および第3未分離イメージ1630を同時に演算することによって、2回目の染色過程で標識された生体分子(すなわち、タンパク質B)に対する分離イメージ1620と、3回目の染色過程で標識された生体分子(すなわち、タンパク質C)に対する分離イメージ1640を生成してもよい。一方、1回目の染色過程で標識された生体分子(すなわち、タンパク質A)に対する分離イメージは、第1未分離イメージ1610として取得されてよい。
図15または図16では、連続する2つまたは3つの未分離イメージに基づいて生体分子に対する分離イメージを取得する方法について説明したが、これによって本開示が限定されてはならず、本開示は、連続する2つ以上の任意の数の未分離イメージに基づいて生体分子に対する分離イメージが生成されてもよい。以下では、説明の便宜上、連続する2つの未分離イメージに基づいて分離イメージを取得する方法について説明する。
図17は、本開示の一実施形態における、連続する2つの未分離イメージに基づいて少なくとも1つの生体分子の分離イメージを生成するサーバ100の動作を示したフローチャートである。
プロセッサ110は、第1蛍光物質で標識された第1生体分子および標識されていない第2生体分子を含む試料の第1未分離イメージを取得してもよい(S1710)。図17で説明する実施形態において、第1生体分子は、試料に対するi回目の染色工程(すなわち、i回目の染色工程)において特定の蛍光物質で標識された生体分子であってもよい。プロセッサ110は、撮影部(図示せず)によって第1生体分子が染色された試料に対する未分離イメージを取得してもよいし、外部装置またはユーザ端末200から第1生体分子が染色された試料に対する未分離イメージを受信して未分離イメージを取得してもよい。
次に、プロセッサ110は、第1蛍光物質で標識された第1生体分子および第2蛍光物質で標識された第2生体分子を含む試料の第2未分離イメージを取得してもよい(S1720)。図17で説明する実施形態において、第2生体分子は、試料に対するi+1回目の染色工程(すなわち、i+1回目の染色工程)において、特定の蛍光物質で標識された生体分子であってもよい。すなわち、S1710で取得する第1未分離イメージおよび第2未分離イメージは、連続して順に取得した2つのイメージであってもよい。すなわち、第1生体分子はi回目の染色過程で標識された生体分子であり、第2生体分子はi+1回目の染色過程で標識された生体分子であってもよい。プロセッサ110は、撮影部(図示せず)によって第2生体分子が染色された試料に対する未分離イメージを取得してもよいし、外部装置またはユーザ端末200から第2生体分子が染色された試料に対する未分離イメージを受信して未分離イメージを取得してもよい。
以下、文脈上で明らかに異なる表現がない限り、第1未分離イメージは、特定の試料に対するi番目の染色工程において第1生体分子を第1蛍光物質で標識した後に撮影された未分離イメージを示してもよく、第2未分離イメージは、同じ特定の試料に対するi+1番目の染色工程において第2生体分子を第2蛍光物質で標識した後に撮影された未分離イメージを示してもよい。このような第1未分離イメージ上で、第1生体分子は表示され、第2生体分子は表示されなくてよい。また、第2未分離イメージ上で、第1生体分子および第2生体分子の両方が表示されてよい。
次に、プロセッサ110は、第1未分離イメージおよび第2未分離イメージに基づいて、第2生体分子の分離イメージを生成してもよい(S1730)。一実施形態において、プロセッサ110は、アンミキシング行列を用いて第1未分離イメージおよび第2未分離イメージを演算し、演算の結果に基づいて第2生体分子の分離イメージを生成してもよい。また、アンミキシング行列に含まれる少なくとも1つの要素の値は、学習された人工ニューラルネットワークモデルに基づいて決定されてもよい。アンミキシング行列または人工ニューラルネットワークモデルに関する共通の説明は上述したとおりであるため、以下では重複する内容の説明は省略し、相違点のみ説明する。
一実施形態において、同一の試料に対して連続して取得された第1未分離イメージおよび第2未分離イメージはそれぞれ、試料から同一の特定の波長帯の光を検出することによって撮影されたイメージであってもよい。より具体的に、第1未分離イメージは、第1蛍光物質で標識された第1生体分子を含む試料が発光する光のうちで第1波長帯の光を検出することによって撮影されたイメージであり、第2未分離イメージは、第2蛍光物質で標識された第2生体分子を含む試料が発光する光のうちで第2波長帯の光を検出することによって撮影されたイメージであってもよい。このとき、第1波長帯と第2波長帯が互いに同一である場合、第1未分離イメージと第2未分離イメージは、互いに同一の特定の波長帯の光を検出することによって撮影されたイメージであってもよい。本開示において、「特定の波長帯の光」という用語は、特定の区間の波長を有する光を意味してもよい。例えば、特定の波長帯の光は、400nm以上450nm以下の波長を有する光を意味してもよい。特定の波長帯の光を検出することによって未分離イメージを撮影するためには、撮影部が検出する光の波長範囲を調整したり、試料に特定の波長帯の光を照射したり、または撮影部と試料の間に所定のフィルタを設置してもよい。
一実施形態において、同一の試料に対して順に取得された第1未分離イメージと第2未分離イメージはそれぞれ、同一の発光フィルタ(以下、「第6発光フィルタ」とも称する)に基づいて取得されるイメージであってもよい。
図18は、複数の蛍光物質が有する発光スペクトルおよび特定の発光フィルタを通過する波長帯を示した例示図である。上述したように、未分離イメージは、蛍光物質が反応する特定の波長の光を蛍光物質に照射し、この結果として励起された(excited)蛍光物質が発光する光を対応する発光フィルタによってフィルタリングし、発光フィルタが通過させた光を撮影することによって取得されてもよい。例えば、第1未分離イメージが、試料に含まれる第1生体分子を蛍光物質「Alexa405」、「CF405S」、または「ATTO390」のうちの1つで標識した後に取得されたイメージであり、第2未分離イメージが、同じ試料に含まれる第2生体分子を蛍光物質「Alexa405」、「CF405S」、または「ATTO390」のうちの1つで標識した後に取得されたイメージであると仮定する。このとき、第1未分離イメージと第2未分離イメージは、例えば、同一の第6発光フィルタに基づいて取得されたイメージであってもよい。第6発光フィルタが通過させる波長帯1800が、例えば、図18で点線区間で示されるような場合、第1未分離イメージおよび第2未分離イメージはいずれも、第6発光フィルタが通過させる波長帯1800の光が同一となるように検出されることによって取得されてもよい。
本開示の一実施形態によると、第1未分離イメージを取得するために使用される第1蛍光物質と第2未分離イメージを取得するために使用される第2蛍光物質は、互いに同一の蛍光物質であってもよい。例えば、第1蛍光物質および第2蛍光物質は、「Alexa405」、「Alexa488」、「Alexa546」、「Alexa647」、「CF594」、「CF405S」、「ATTO390」、またはこの他の多様な蛍光物質のうちの1つの蛍光物質であって、互いに同一の蛍光物質であってもよい。
本開示の一実施形態によると、第1未分離イメージを取得するために使用される第1蛍光物質および第2未分離イメージを取得するために使用される第2蛍光物質は、互いに類似する発光スペクトルを有する蛍光物質であってもよい。本開示において、互いに類似する発光スペクトルを有する2つ以上の蛍光物質は、「互いに類似する発光スペクトルを有する蛍光物質の組み合わせ」として表現されてもよい。以下、図19を参照しながら、「互いに類似する発光スペクトルを有する蛍光物質の組み合わせ」を決定する方法について説明する。図19は、複数の蛍光物質が有する発光スペクトルおよび各発光スペクトルにおいて信号の強度が最大となる波長値を示した例示図である。
プロセッサ110は、各蛍光物質の発光スペクトル内の信号の強度に基づいて、互いに類似する発光スペクトルを有する蛍光物質の組み合わせを決定してもよい。以下では、説明の便宜上、互いに類似する発光スペクトルを有する蛍光物質の組み合わせが2つの蛍光物質で構成されるものと仮定して説明する。
プロセッサ110は、2つの蛍光物質それぞれの発光スペクトル内で発光信号の強度が最大となる波長値が所定の条件(以下、「蛍光物質組み合わせ条件」とも称する)を満たす場合、2つの蛍光物質を互いに類似する発光スペクトルを有する蛍光物質の組み合わせとして決定してもよい。より具体的に、第1未分離イメージは、試料に含まれる第1生体分子を第1蛍光物質で標識した後に撮影されたイメージであり、第2未分離イメージは、試料に含まれる第2生体分子を第2蛍光物質で標識した後に撮影されたイメージであると仮定するとき、第1蛍光物質の発光スペクトル内で発光信号の強度が最大となる第1波長値と第2蛍光物質の発光スペクトル内で発光信号の強度が最大となる第2波長値が所定の条件を満たす場合、第1蛍光物質および第2蛍光物質は、互いに類似する発光スペクトルを有する蛍光物質の組み合わせに該当してもよい。
蛍光物質組み合わせ条件に関する一実施形態において、プロセッサ110は、第1蛍光物質の発光スペクトル内で発光信号の強度が最大となる第1波長値と第2蛍光物質の発光スペクトル内で発光信号の強度が最大となる第2波長値が予め決定された閾値以下である場合、蛍光物質組み合わせ条件を満たすものと判断してもよい。例えば、図19に示すように、「Alexa405」の発光スペクトル内で発光信号の強度が最大となる波長値(以下、「Alexa405の最大波長値」とも称する)は約420nmであってよく、「CF405S」の発光スペクトル内で発光信号の強度が最大となる波長値(以下、「CF405Sの最大波長値」とも称する)は約430nmであってもよい。また、「ATTO390」の発光スペクトル内で発光信号の強度が最大となる波長値(以下、「ATTO390の最大波長値」とも称する)は、約480nmであってもよい。
図19に関する一実施形態において、プロセッサ110が有する所定の閾値が20nmである場合、Alexa405の最大波長値(例えば、420nm)とCF405Sの最大波長値(例えば、430nm)の差は10nmであり、所定の閾値以下であるため、Alexa405およびCF405Sは蛍光物質の組み合わせ条件を満たしていると判断されてもよい。この反面、Alexa405の最大波長値とATTO390の最大波長値(例えば、480nm)の差は60nmであり、予め定められた閾値以下でないため、Alexa405およびATTO390は蛍光物質の組み合わせ条件を満たしていないと判断されてもよい。同じように、CF405SおよびATTO390もそれぞれの最大波長値の差が50nmであるため、蛍光物質の組み合わせ条件を満たしていないと判断されてもよい。
図19に関する一実施形態において、プロセッサ110が有する所定の閾値が60nmである場合、Alexa405の最大波長値(例えば、420nm)とCF405Sの最大波長値(例えば、430nm)の差は10nmであり、所定の閾値以下であるため、Alexa405およびCF405Sは蛍光物質の組み合わせ条件を満たしていると判断されてもよい。また、Alexa405の最大波長値とATTO390の最大波長値(例えば、480nm)の差は60nmであり、予め決定された閾値以下であるため、Alexa405およびATTO390は蛍光物質の組み合わせ条件を満たしていると判断されてもよい。同じように、CF405SおよびATTO390もそれぞれの最大波長値の差が50nmであるため、蛍光物質の組み合わせ条件を満たしていると判断されてよい。蛍光物質の組み合わせ条件に関する他の一実施形態において、プロセッサ110は、第1蛍光物質の発光スペクトル内で発光信号の強度が最大となる第1波長値と第2蛍光物質の発光スペクトル内で発光信号の強度が最大となる第2波長値のうちでより大きな波長値に対するより小さな波長値の比率が予め定められた閾率以上である場合、蛍光物質の組み合わせ条件を満たしていると判断されてもよい。例えば、プロセッサ110が有する予め定められた閾率が0.95である場合、Alexa405の最大波長値とCF405Sの最大波長値のうちでより大きな波長値に対するより小さな波長値の比率は約0.977(=420/430)であり、予め定められた閾比以上であるため、Alexa405およびCF405Sは蛍光物質組み合わせ条件を満たしていると判断されてもよい。この反面、Alexa405の最大波長値とATTO390の最大波長値のうちでより大きな波長値に対するより小さな波長値の比率は0.875(=420/480)であり、予め定められた閾比未満であるため、Alexa405およびATTO390は蛍光物質の組み合わせ条件を満たしていないと判断されてもよい。同じように、CF405SおよびATTO390も、各最大波長値の比率が約0.896(=430/480)であり、予め定められた閾率未満であるため、蛍光物質の組み合わせ条件を満たしていないと判断されてもよい。
このように予め定められた閾値または予め定められた閾率の具体的な数値は例示的なものに過ぎず、これによって本開示が限定されてはならない。予め定められた閾値または予め定められた閾率は、染色過程で使用される蛍光物質の種類によって多様な実数値が設定されてもよい。
図4を参照しながら説明した従来のイメージ処理方法によると、複数の生体分子それぞれに対して正確なイメージを取得するためには、複数の生体分子それぞれを標識する蛍光物質の発光スペクトルが極力重ならないように蛍光物質を選択する必要があった。この反面、本開示に係るイメージ処理方法によると、複数の未分離イメージから複数の分離イメージを生成する場合、上述したような従来の方法の制約を大幅に軽減することができる。さらに、試料に含まれる複数の生体分子を順に染色して連続的に未分離イメージを取得する過程において、各染色ごとに互いに同一の蛍光物質または互いに類似する蛍光物質を使用することもできる。これにより、本開示において、連続して順に取得した複数の未分離イメージは、上述したいくつかの実施形態のような方法によって互いに同一または類似する特定の波長帯の光に基づいて取得することができ、発光フィルタの交換や蛍光物質の除去などの追加の工程を経なくても、従来の方法よりも迅速かつ容易に複数の未分離イメージを取得することができる。
本明細書の開示に係る追加の実施形態において、複数の未分離イメージが、試料に含まれる複数の生体分子を順に染色することによって取得されたイメージである場合、アンミキシング行列は三角行列であってもよい。
本開示の三角行列に関する一実施形態において、複数の未分離イメージが2つの未分離イメージを含む場合、三角行列であるアンミキシング行列は、以下の数式(20)のように表現されてもよい。
数式(20)のアンミキシング行列(U)に含まれるパラメータαは、未分離イメージの加重合のためのパラメータであってもよい。数式(20)の例において、2つの未分離イメージはそれぞれ、i回目の染色過程で試料に含まれる第1生体分子を染色して撮影された第1未分離イメージ(Y1)、i+1回目の染色過程で同一の試料に含まれる第2生体分子を染色して撮影された第2未分離イメージ(Y2)と呼ぶことにする(iは、1以上の自然数)。プロセッサ110は、三角行列であるアンミキシング行列を利用して第1未分離イメージ(Y1)および第2未分離イメージ(Y2)を加重合算することによって、第2生体分子に対する分離イメージを取得するための演算を実行してもよい。例えば、プロセッサ110は、数式(20)のアンミキシング行列(U)に基づいてX2=αY1+Y2のように表現される式を演算し、演算の結果、第2生体分子に対する分離イメージ(X2)を取得してもよい。一方、第1未分離イメージ(Y1)が、試料に対する最初の染色(すなわち、1回目の染色)過程において試料に含まれる第1生体分子を染色した後に得られたイメージである場合、第1生体分子に対する分離イメージ(X1)は、第1未分離イメージ(Y1)として取得されてもよい。
本開示の三角行列に関する他の一実施形態において、複数の未分離イメージが3つの未分離イメージを含む場合、三角行列であるアンミキシング行列は、以下の数式(21)のように表現されてもよい。
数式(21)のアンミキシング行列(U)に含まれる複数のパラメータα、β、γはそれぞれ、未分離イメージの加重合のためのパラメータであってもよい。数式(21)の例において、3つの未分離イメージはそれぞれ、i回目の染色過程で試料に含まれる第1生体分子を染色して撮影された第1未分離イメージ(Y1)、i+1回目の染色過程で同一の試料に含まれる第2生体分子を染色して撮影された第2未分離イメージ(Y2)、およびi+1回目の染色過程で同一の試料に含まれる第3生体分子を染色して撮影された第3未分離イメージ(Y3)と呼ばれてもよい(iは、1以上の自然数)。プロセッサ110は、三角行列であるアンミキシング行列を利用して、第1未分離イメージ(Y1)、第2未分離イメージ(Y2)、および第3未分離イメージ(Y3)を加重合算することによって、第2生体分子に対する分離イメージと第3生体分子に対する分離イメージを取得するための演算を実行してもよい。例えば、プロセッサ110は、数式(21)のアンミキシング行列(U)に基づいてX2=αY1+Y2とX3=βY1+γY2+Y3のように表現される式を演算し、演算の結果として第2生体分子に対する分離イメージ(X2)および第3生体分子に対する分離イメージ(X3)を取得してもよい。一方、第1未分離イメージ(Y1)が、試料に対する最初の染色(すなわち、1回目の染色)過程で試料に含まれる第1生体分子を染色した後に取得されたイメージである場合、この第1生体分子に対する分離イメージ(X1)は、第1未分離イメージ(Y1)として取得されてもよい。
上述した数式(20)および(21)に基づいた具体的な説明において、アンミキシング行列としての三角行列は下三角行列(Lower Triangular Matrix)と記載したが、本開示がこれに限定されてはならず、本開示の三角行列は上三角行列(Upper Triangular Matrix)であってもよい。このように、複数の未分離イメージが、試料に含まれる複数の生体分子を順に染色することによって取得されたイメージである場合、本開示に係るアンミキシング行列は三角行列であってもよく、これにより、プロセッサ110は、より迅速に行列演算を実行することによって少なくとも1つの生体分子に対する分離イメージを取得することができる。
本明細書の開示内容に係るフローチャートにおいて、方法またはアルゴリズムの各段階は順次的な順序にしたがって説明したが、各段階は、順に実行されることはもちろん、任意の組み合わせによる順に実行されてもよい。本明細書のフローチャートに関する説明は、方法またはアルゴリズムに変更または修正を加えることを排除するものではなく、任意の段階が必須であったり好ましいことを意味するものではない。一実施形態において、少なくとも一部の段階は、並列的、反復的、またはヒューリスティックに実行されてもよい。一実施形態において、少なくとも一部の段階が省略されてもよいし、他の段階が追加されてもよい。
本明細書の開示内容に係る多様な実施形態は、機器(Machine)が読み取り可能な記録媒体(Machine-readable Storage Medium)にソフトウェアとして実現されてもよい。ソフトウェアは、本明細書の多様な実施形態を実現するためのソフトウェアであってもよい。ソフトウェアは、本明細書の開示内容が属する技術分野のプログラマーによって、本明細書の多様な実施形態から推論されてもよい。例えば、ソフトウェアは、装置が読み取り可能な命令(例えば、コードまたはコードセグメント)を含むプログラムであってもよい。機器は、記録媒体から呼び出された命令にしたがって動作が可能な装置であって、例えば、コンピュータであってもよい。一実施形態において、機器は、本明細書の多様な実施形態に係るコンピューティング装置であってもよい。一実施形態において、機器のプロセッサは、呼び出された命令を実行し、機器のコンポーネントがこの命令に該当する機能を実行できるようにしてもよい。一実施形態において、プロセッサは、本明細書の実施形態に係るプロセッサ110、210であってもよい。記録媒体は、機器によって読み取り可能なデータが記録されるすべての種類の記録媒体(Recording Medium)を意味してもよい。記録媒体は、例えば、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ記録装置などを含んでもよい。一実施形態において、記録媒体は、メモリ130、230であってもよい。一実施形態において、記録媒体は、ネットワークに接続するコンピュータシステムなどに分散された形態で実現されてもよい。ソフトウェアは、コンピュータシステムなどに分散して格納されて、実行されてもよい。記録媒体は、非一時的(non-transitory)な記録媒体であってもよい。非一時的な記録媒体は、データが半永久的または一時的に記録されることとは関係なく実在する媒体(Tangible Medium)を意味し、一時的(transitory)に伝播される信号(Signal)を含まない。
以上、多様な実施形態によって本明細書の開示内容に係る技術的思想を説明したが、本明細書の開示内容に係る技術的思想は、本明細書の開示内容が属する技術分野において通常の知識を有する者によって理解される範囲内で可能となる多様な置換、変形、および変更を含む。また、このような置換、変形、および変更は、添付の特許請求の範囲内に含まれるものと理解されなければならない。
Claims (20)
- 1つ以上のプロセッサ、および前記1つ以上のプロセッサによって実行される命令が記録された1つ以上のメモリを含む電子装置で実行されるイメージ処理方法であって、
第1蛍光物質で標識された第1生体分子および標識されていない第2生体分子を含む試料(sample)の第1未分離イメージを取得すること、
前記第1蛍光物質で標識された前記第1生体分子および第2蛍光物質で標識された前記第2生体分子を含む前記試料の第2未分離イメージを取得すること、および
前記第1未分離イメージと前記第2未分離イメージに基づいて、前記第2生体分子の分離イメージを生成することを含む、方法。 - 前記第1未分離イメージおよび前記第2未分離イメージはそれぞれ、前記試料から同一の特定の波長帯の光を検出することによって撮影されたイメージである、請求項1に記載の方法。
- 前記第1未分離イメージおよび前記第2未分離イメージはそれぞれ、同一の発光フィルタに基づいて取得されたイメージであり、
前記発光フィルタは、特定の波長帯の光を通過させる、請求項1に記載の方法。 - 前記第1蛍光物質および前記第2蛍光物質は、互いに同一の蛍光物質である、請求項1に記載の方法。
- 前記第1蛍光物質および前記第2蛍光物質は、
前記第1蛍光物質の発光スペクトル(spectrum)内で発光信号の強度が最大となる第1波長値、および
前記第2蛍光物質の発光スペクトル内で発光信号の強度が最大となる第2波長値が所定の条件を満たすように決定される、請求項1に記載の方法。 - 前記所定の条件は、
前記第1波長値と前記第2波長値の差値が予め定められた閾値以下である場合に満たされる条件である、請求項5に記載の方法。 - 前記所定の条件は、
前記第1波長値と前記第2波長値のうちのより大きな波長値に対するより小さな波長値の比率が予め定められた閾率以上である場合に満たされる条件である、請求項5に記載の方法。 - 前記第2未分離イメージは、
前記試料の前記第1未分離イメージを撮影した後、前記試料に含まれる前記第2生体分子を前記第2蛍光物質で標識してから前記試料を撮影することによって取得される、請求項1に記載の方法。 - 前記分離イメージを生成することは、
アンミキシング(Unmixing)行列を利用して、前記第1未分離イメージおよび前記第2未分離イメージを演算することを含む、請求項1に記載の方法。 - 前記アンミキシング行列に含まれる少なくとも1つの要素の値は、学習された人工ニューラルネットワークモデルに基づいて決定される、請求項9に記載の方法。
- 前記第1蛍光物質で標識された前記第1生体分子、前記第2蛍光物質で標識された前記第2生体分子、および第3蛍光物質で標識された第3生体分子を含む前記試料の第3未分離イメージを取得することをさらに含み、
前記生成することは、
追加的に前記第3未分離イメージに基づいて、前記第3生体分子の分離イメージを生成することを含み、
前記第1未分離イメージは、標識されていない前記第2生体分子および標識されていない前記第3生体分子を含む試料を撮影することによって取得したイメージであり、
前記第2未分離イメージは、標識されていない前記第3生体分子を含む試料を撮影することによって取得したイメージである、請求項1に記載の方法。 - 前記第2未分離イメージは、
前記試料の前記第1未分離イメージを撮影した後、前記試料に含まれる前記第2生体分子を前記第2蛍光物質で標識してから前記試料を撮影することによって取得され、
前記第3未分離イメージは、
前記試料の前記第2未分離イメージを撮影した後、前記試料に含まれる前記第3生体分子を前記第3蛍光物質で標識してから前記試料を撮影することによって取得される、請求項11に記載の方法。 - 電子機器であって、
1つ以上のプロセッサ、および
前記1つ以上のプロセッサによって実行される命令が記録されている1つ以上のメモリ
を含み、
前記1つ以上のプロセッサは、
第1蛍光物質で標識された第1生体分子および標識されていない第2生体分子を含む試料(sample)の第1未分離イメージを取得し、
前記第1蛍光物質で標識された前記第1生体分子および第2蛍光物質で標識された前記第2生体分子を含む前記試料の第2未分離イメージを取得し、
前記第1未分離イメージおよび前記第2未分離イメージに基づいて、前記第2生体分子の分離イメージを生成する、電子装置。 - 前記第1未分離イメージおよび前記第2未分離イメージはそれぞれ、前記試料に対して同一の特定の波長帯の光を検出することによって撮影されたイメージである、請求項13に記載の電子装置。
- 前記第1未分離イメージおよび前記第2未分離イメージはそれぞれ、同一の発光フィルタに基づいて取得されたイメージであり、
前記発光フィルタは、特定の波長帯の光を通過させる、請求項13に記載の電子装置。 - 前記第1蛍光物質および前記第2蛍光物質は、互いに同一の蛍光物質である、請求項13に記載の方法。
- 前記第1蛍光物質および前記第2蛍光物質は、
前記第1蛍光物質の発光スペクトル(spectrum)内で発光信号の強度が最大となる第1波長値、および
前記第2蛍光物質の発光スペクトル内で発光信号の強度が最大となる第2波長値が所定の条件を満たすように決定される、請求項13に記載の電子装置。 - 前記第2未分離イメージは、
前記試料の前記第1未分離イメージを撮影した後、前記試料に含まれる前記第2生体分子を前記第2蛍光物質で標識してから前記試料を撮影することによって取得される、請求項13に記載の電子装置。 - 前記電子機器は、
撮影部をさらに含み、
前記1つ以上のプロセッサは、
前記第1蛍光物質で標識された前記第1生体分子および標識されていない前記第2生体分子を含む前記試料を前記撮影部によって撮影することによって前記第1未分離イメージを取得し、
前記第1蛍光物質で標識された前記第1生体分子および前記第2蛍光物質で標識された前記第2生体分子を含む前記試料を前記撮影部によって撮影することによって前記第2未分離イメージを取得する、請求項13に記載の電子装置。 - 1つ以上のプロセッサによる実行時に、前記1つ以上のプロセッサに動作を実行させる命令を記録した非一時的なコンピュータ読み取り可能な記録媒体であって、
前記命令は、前記1つ以上のプロセッサによって、
第1蛍光物質で標識された第1生体分子および標識されていない第2生体分子を含む試料(sample)の第1未分離イメージを取得し、
前記第1蛍光物質で標識された前記第1生体分子および第2蛍光物質で標識された前記第2生体分子を含む前記試料の第2未分離イメージを取得し、
前記第1未分離イメージおよび前記第2未分離イメージに基づいて、前記第2生体分子の分離イメージを生成する、コンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0123583 | 2021-09-16 | ||
KR20210123583 | 2021-09-16 | ||
KR1020220111591A KR20230040890A (ko) | 2021-09-16 | 2022-09-02 | 이미지를 처리하는 장치 및 방법 |
KR10-2022-0111591 | 2022-09-02 | ||
PCT/KR2022/013762 WO2023043211A1 (ko) | 2021-09-16 | 2022-09-15 | 이미지를 처리하는 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024538518A true JP2024538518A (ja) | 2024-10-23 |
Family
ID=85603256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024516784A Pending JP2024538518A (ja) | 2021-09-16 | 2022-09-15 | イメージを処理する装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240257346A1 (ja) |
EP (1) | EP4403902A1 (ja) |
JP (1) | JP2024538518A (ja) |
WO (1) | WO2023043211A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7026694B2 (ja) * | 2017-09-27 | 2022-02-28 | 富士フイルム株式会社 | 画像解析装置、方法およびプログラム |
GB2567155B (en) * | 2017-10-02 | 2022-03-02 | Room4 Group Ltd | Histopathological image analysis |
KR102351249B1 (ko) * | 2020-01-03 | 2022-01-14 | 한국과학기술원 | 분자 다중 이미징 방법 및 장치 |
-
2022
- 2022-09-15 JP JP2024516784A patent/JP2024538518A/ja active Pending
- 2022-09-15 WO PCT/KR2022/013762 patent/WO2023043211A1/ko active Application Filing
- 2022-09-15 EP EP22870295.7A patent/EP4403902A1/en active Pending
-
2024
- 2024-03-12 US US18/602,661 patent/US20240257346A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4403902A1 (en) | 2024-07-24 |
WO2023043211A1 (ko) | 2023-03-23 |
US20240257346A1 (en) | 2024-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Masud et al. | Leveraging deep learning techniques for malaria parasite detection using mobile application | |
US10692001B2 (en) | Processing cell images using neural networks | |
Graziani et al. | Concept attribution: Explaining CNN decisions to physicians | |
Lanusse et al. | Cmu deeplens: deep learning for automatic image-based galaxy–galaxy strong lens finding | |
CN110288082B (zh) | 卷积神经网络模型训练方法、装置和计算机可读存储介质 | |
JP6629762B2 (ja) | 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法 | |
Alnussairi et al. | Malaria parasite detection using deep learning algorithms based on (CNNs) technique | |
JP2021513435A (ja) | 胃腸腫瘍を診断するシステム及び方法 | |
US20220222540A1 (en) | Predicting brain data using machine learning models | |
JP2022548160A (ja) | 機械学習アルゴリズムを使用したトレーニングデータセットの準備 | |
Dhar et al. | Evaluation of the benchmark datasets for testing the efficacy of deep convolutional neural networks | |
WO2020097461A1 (en) | Convolutional neural networks with reduced attention overlap | |
Prezja et al. | Improving performance in colorectal cancer histology decomposition using deep and ensemble machine learning | |
JP2024538518A (ja) | イメージを処理する装置および方法 | |
NL2024236B1 (en) | Method and device of generating opposed sample image | |
KR20230040890A (ko) | 이미지를 처리하는 장치 및 방법 | |
Gildenblat et al. | Certainty pooling for multiple instance learning | |
JP7471514B2 (ja) | 多様な人分析のための勾配分割によるマルチタスク学習 | |
CN117957435A (zh) | 图像处理装置及方法 | |
Rodriguez-Meza et al. | Recurrent neural networks for deception detection in videos | |
Paul et al. | A review on computational methods based on machine learning and deep learning techniques for malaria detection | |
KR20240031123A (ko) | 인공 신경망 모델을 이용하여 이미지를 처리하는 장치 및 방법 | |
Zakaria et al. | Improved Image Classification Task Using Enhanced Visual Geometry Group of Convolution Neural Networks | |
Zhao et al. | Inferring single-cell spatial gene expression with tissue morphology via explainable deep learning | |
Loke et al. | Human visual cortex and deep convolutional neural network care deeply about object background |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240510 |