CN112862742A - 利用光动力学技术的人工智能的细胞检测方法及其系统 - Google Patents
利用光动力学技术的人工智能的细胞检测方法及其系统 Download PDFInfo
- Publication number
- CN112862742A CN112862742A CN202010493873.6A CN202010493873A CN112862742A CN 112862742 A CN112862742 A CN 112862742A CN 202010493873 A CN202010493873 A CN 202010493873A CN 112862742 A CN112862742 A CN 112862742A
- Authority
- CN
- China
- Prior art keywords
- cells
- time point
- cell
- images
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 64
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 210000004027 cell Anatomy 0.000 claims description 187
- 210000002257 embryonic structure Anatomy 0.000 claims description 33
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 210000004602 germ cell Anatomy 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 210000002459 blastocyst Anatomy 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 238000010219 correlation analysis Methods 0.000 claims 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000010191 image analysis Methods 0.000 claims 1
- 210000001161 mammalian embryo Anatomy 0.000 description 56
- 208000000509 infertility Diseases 0.000 description 12
- 230000036512 infertility Effects 0.000 description 12
- 231100000535 infertility Toxicity 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 230000035935 pregnancy Effects 0.000 description 4
- 238000000338 in vitro Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 108010000912 Egg Proteins Proteins 0.000 description 2
- 102000002322 Egg Proteins Human genes 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000032823 cell division Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003776 cleavage reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004720 fertilization Effects 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 208000021267 infertility disease Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000004681 ovum Anatomy 0.000 description 2
- 230000007017 scission Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003054 hormonal effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000009027 insemination Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000016087 ovulation Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种利用光动力学技术的人工智能的细胞检测方法及其系统,所述方法包含取得多个细胞;在第一时间点以及第二时间点之间,取样该些细胞的N张图像;决定每一个细胞的分析区域;依据该些细胞的N张图像,对每一个细胞的分析区域进行图像处理程序,以产生多个光动力学向量参数;依据该些光动力学向量参数,产生该些细胞在第一时间点以及第二时间点之间的形变向量信息;依据形变向量信息,取得该些细胞的至少一个关键形变向量特征数值;将形变向量信息及至少一个关键形变向量特征数值输入至类神经网络,以检测细胞品质。
Description
技术领域
本发明描述一种利用光动力学技术的人工智能的细胞检测方法及其系统,尤指一种具有检测细胞品质以及识别细胞功能的人工智能的细胞检测方法及其系统。
背景技术
随着科技日新月异,适逢生育年龄的妇女常会因为工作压力、饮食习惯、文明病、排卵功能异常、荷尔蒙失调或是一些慢性病而导致不孕。在现今,不孕症是高自费的疗程,在中国以及国际市场需求巨大,且其需求每年是高度成长。许多妇女会选择体外人工受孕(In Vitro Fertilization,IVF)来治疗不孕症的问题。体外人工受孕是将卵子与精子取出,在人为操作下进行体外受精,并培养成胚胎,再将胚胎植回母体内。然而,现有的不孕症疗程的成功率仅三成。不孕症的疗程的重点在于胚胎的选择。然而,现有选择胚胎的方法主要还是由胚胎医师利用胚胎照片或是延时影片的数据,以主观方式判断胚胎的优劣。以目前的技术而论,由于缺乏一种系统化以及自动化的方式判断胚胎的良劣,故在不孕症疗程中,由医师主观地选择植入胚胎,其植入成功率仍低,故也是目前不孕症疗程的瓶颈。
换句话说,在目前的不孕症疗程下,医生仅能以主观的方式观察胚胎在分裂时的情况。例如,医生会以主观的方式,依据胚胎在发育中的细胞数目、细胞分裂的均匀程度以及分裂时的碎片程度,将胚胎由优到劣区分为多个等级。例如,均匀地分裂为双数细胞的胚胎较优,而产生不完整的单数细胞分裂以及碎片越多的胚胎,生长潜力较差。然而,如前述提及,由于目前判断胚胎的优劣主要还是依据医生的经验,以主观的判断方式来选择较佳胚胎。因此,目前技术治疗不孕症的成功率很难提升,且容易受到不同医生的主观见解而影响成功率(例如误判)。
发明内容
本发明一实施例提出一种利用光动力学技术的人工智能的细胞检测方法。利用光动力学技术的人工智能的细胞检测方法包含取得多个细胞,在第一时间点以及第二时间点之间,取样该些细胞的N张图像,决定每一个细胞的分析区域,依据该些细胞的N张图像,对每一个细胞的分析区域进行图像处理程序,以产生多个光动力学向量参数,依据该些光动力学向量参数,产生该些细胞在第一时间点以及第二时间点之间的形变向量信息,依据形变向量信息,取得该些细胞的至少一个关键形变向量特征数值,将形变向量信息及至少一个关键形变向量特征数值输入至类神经网络,以训练类神经网络,以及利用类神经网络,以人工智能的程序建立细胞品质检测模型,以检测细胞品质及/或识别细胞。第一时间点在第二时间点之前,且N为大于2的正整数。
本发明另一实施例提出一种利用光动力学技术的人工智能的细胞检测系统。利用光动力学技术的人工智能的细胞检测系统包含载具、透镜模块、图像采集装置、处理器及存储器。载具具有容置槽,用以放置多个细胞。透镜模块面对载具,用以放大该些细胞的细节。图像采集装置面对透镜模块,用以透过透镜模块取得该些细胞的图像。处理器耦接于透镜模块及图像采集装置,用以调整透镜模块的放大倍率以及处理该些细胞的图像。载具的容置槽放置该些细胞后,处理器控制图像采集装置,透过透镜模块在第一时间点以及第二时间点之间,取样该些细胞的N张图像,处理器决定每一个细胞的分析区域,依据该些细胞的N张图像,对每一个细胞的分析区域进行图像处理程序,以产生多个光动力学向量参数,依据该些光动力学向量参数,产生该些细胞在第一时间点以及第二时间点之间的形变向量信息,依据形变向量信息,取得该些细胞的至少一个关键形变向量特征数值。处理器包含类神经网络。形变向量信息及至少一个关键形变向量特征数值用以训练类神经网络。处理器利用类神经网络,以人工智能的程序建立细胞品质检测模型,以检测细胞品质及/或识别细胞。第一时间点在第二时间点之前,且N为大于2的正整数。
附图说明
图1为本发明的利用光动力学技术的人工智能的细胞检测系统的实施例的方块图。
图2为图1的利用光动力学技术的人工智能的细胞检测系统执行细胞检测方法的流程图。
图3为图1的利用光动力学技术的人工智能的细胞检测系统中,加入额外步骤以增强细胞检测的精确度的示意图。
图4为图1的利用光动力学技术的人工智能的细胞检测系统中,具有类神经网络的处理器的输入数据以及输出数据的示意图。
附图标记:
100:利用光动力学技术的人工智能的细胞检测系统
10:载具
11:透镜模块
12:图像采集装置
13:处理器
14:存储器
S201至S208:步骤
S301至S302:步骤
D1:形变向量信息
D2:至少一个关键形变向量特征数值
D3:边缘特征数据
D4:分裂个数
D5:分裂时间点
D6:细胞品质输出数据
具体实施方式
图1为本发明的利用光动力学技术的人工智能的细胞检测系统100的实施例的方块图。为了简化描述,利用光动力学技术的人工智能的细胞检测系统100后文称为“细胞检测系统100”。细胞检测系统100包含载具10、透镜模块11、图像采集装置12、处理器13以及存储器14。载具10具有容置槽,用以放置多个细胞。举例而言,载具10可为培养皿,其内部的容置槽可包含一些培养液。多个细胞可在培养液中发育。多个细胞可为多个生殖细胞、多个胚胎或是任何欲观察且可分裂的多个细胞。透镜模块11面对载具10,用以放大该些细胞的细节。透镜模块11可为任何具有光学或是数字变焦能力的透镜模块,例如显微镜模块。图像采集装置12面对透镜模块11,用以透过透镜模块11取得该些细胞的图像。在细胞检测系统100中,图像采集装置12可为具有感光元件的相机或是高光谱仪。换句话说,图像采集装置12透过透镜模块11取得该些细胞的图像,可为灰阶图像、高光谱图像或是景深合成图像。若图像采集装置12为高光谱仪,该些细胞的图像可为:(A)高光谱仪图像中的任意一个波长对应的细胞图像,(B)高光谱图像各波长的细胞图像所合成的灰阶细胞图像。任何合理的图像格式都属于本发明所揭露的范畴。处理器13耦接于透镜模块11及图像采集装置12,用以调整透镜模块11的放大倍率以及处理该些细胞的图像。处理器13可为中央处理器、微处理器、或是任何的可编程处理单元。处理器13具有类神经网络,例如深度神经网络(Deep NeuralNetworks,DNN),可以执行机器学习以及深度学习的功能。因此,处理器13的类神经网络可以被训练,可视为人工智能的处理核心。存储器14耦接于处理器13,用以储存训练数据以及图像处理时的分析数据。
在细胞检测系统100中,载具10的容置槽在放置该些细胞后,处理器13控制图像采集装置12,透过透镜模块11在第一时间点以及第二时间点之间,取样该些细胞的N张图像。接着,处理器13决定每一个细胞的分析区域,依据该些细胞的N张图像,对每一个细胞的分析区域进行图像处理程序,以产生多个光动力学向量参数。处理器13依据该些光动力学向量参数,产生该些细胞在第一时间点以及第二时间点之间的形变向量信息,并依据形变向量信息,取得该些细胞的至少一个关键形变向量特征数值。如前述提及,处理器13包含可训练的类神经网络。因此,形变向量信息及至少一个关键形变向量特征数值可用以训练类神经网络。在类神经网络训练完成后,处理器13可以利用类神经网络,以人工智能的程序建立细胞品质检测模型,以检测细胞品质及/或识别细胞。在细胞检测系统100中,第一时间点在第二时间点之前,且N为大于2的正整数。换句话说,细胞检测系统100可以用两个不同时间点之间的时间序列的细胞图像信息来训练类神经网络。在类神经网络训练完成后,细胞检测系统100即具备人工智能的细胞检测功能,具有自动化地检测细胞品质及/或识别细胞的能力。细胞检测系统100如何训练类神经网络以执行人工智能的细胞检测功能的细节,将描述于后文。
图2为利用光动力学技术的人工智能的细胞检测系统100执行细胞检测方法的流程图。细胞检测方法可包含步骤S201至步骤S208。任何合理的步骤变化或是技术更动都属于本发明所揭露的范畴。步骤S201至步骤S208的内容描述于下:
步骤S201:取得多个细胞;
步骤S202:在第一时间点以及第二时间点之间,取样该些细胞的N张图像;
步骤S203:决定每一个细胞的分析区域;
步骤S204:依据该些细胞的N张图像,对每一个细胞的分析区域进行图像处理程序,以产生多个光动力学向量参数;
步骤S205:依据该些光动力学向量参数,产生该些细胞在第一时间点以及第二时间点之间的形变向量信息;
步骤S206:依据形变向量信息,取得该些细胞的至少一个关键形变向量特征数值;
步骤S207:将形变向量信息及至少一个关键形变向量特征数值输入至类神经网络,以训练类神经网络;
步骤S208:利用类神经网络,以人工智能的程序建立细胞品质检测模型,以检测细胞品质及/或识别细胞。
为了描述简化,后文的“细胞”仅以“胚胎”为实施例进行说明,然而本发明并不限于此,细胞的定义可为生殖细胞、神经细胞、组织细胞、动植物细胞或是任何需要研究及观察的细胞。在步骤S201中,研究人员或是医疗人员可先取得多个胚胎。在步骤S202中,处理器13可以控制图像采集装置12,在第一时间点以及第二时间点之间,取样该些胚胎的N张图像。图像采集装置12可用任何方式取得两个不同时间点之间的N张图像。举例而言,图像采集装置12可在一段时间内(第一时间点以及第二时间点之间),以录影的方式(如30fps或是60fps)取得多张帧(Frames)构成的图像集合。或是,图像采集装置12可在一段时间内(第一时间点以及第二时间点之间),周期性地对多个胚胎拍照,以取得该些胚胎的N张图像。并且,第一时间点以及第二时间点可为该些胚胎于培养液中发育且分裂的观察周期中的任两时间点。举例而言,第一时间点以及第二时间点可以分别选为第一天以及第五天,以观察该些胚胎发育以及分裂的状况。换句话说,图像采集装置12可以在第0个小时到第120小时之内对该些胚胎连续地拍照,以取得N张图像。在步骤S203中,处理器13可以决定每一个胚胎的分析区域。医疗人员或是研究人员也可以用手动的方式决定每一个胚胎的分析区域。于此,每一个胚胎的分析区域可选为两胚胎之间差异性最大的区域、或是优等胚胎与劣等胚胎之间差异性最大的区域。举例而言,分析区域可为该些胚胎中每一个胚胎的囊胚(Blastocyst)区域或自定义区域。并且,分析区域的范围小于单一胚胎的尺寸。
接着,在步骤S204中,处理器13可依据该些胚胎的N张图像,对每一个胚胎的分析区域进行图像处理程序,以产生多个光动力学向量参数。举例而言,处理器13可依据该些胚胎的N张图像,对每一个胚胎的分析区域进行数字图像相关(Digital Image Correlation,DIC)技术的分析。数字图像相关(DIC)技术为一种于前后时间点的时间区间内,分析物体特征变化以计算物体形变量的技术。换句话说,在DIC技术下,该些光动力学向量参数可为在N张图像中,依据第M-1张图像(前)及第M张图像(后)的该些胚胎的形变量变化而得,且M≤N。并且,在细胞检测系统100中,该些光动力学向量参数可包含位移向量信息、应变向量信息与变形速度向量信息,说明如下。在步骤S204中,处理器13可依据该些胚胎的N张图像,对每一个胚胎的分析区域进行DIC技术的分析。利用DIC技术将N张图像分析之后,处理器13可以得到前后图像(第M-1张图像及第M张图像)内,每一个胚胎的垂直位移信息、水平位移信息、应变向量分布信息以及变形速度向量信息。垂直位移信息可定义为胚胎在两张图像之间,其分析区域的垂直位移的距离以及坐标。水平位移信息可定义为胚胎在两张图像之间,其分析区域的水平位移的距离以及坐标。应变向量分布信息可定义为胚胎在两张图像之间,将分析区域扩张或是收缩的程度量化。变形速度向量信息可以依据位移距离和应变量除上时间差推导出来。例如,第M-1张图像及第M张图像的时间差为t,水平位移距离为p,则变形速度向量的水平分量的数值为p/t。第M-1张图像及第M张图像的时间差为t,垂直位移距离为q,则变形速度向量的垂直分量的数值为q/t。第M-1张图像及第M张图像的时间差为t,应变量为r,则变形速度向量的应变分量的数值为r/t。接着,于步骤S205中,处理器13可以依据该些光动力学向量参数,产生该些胚胎在第一时间点以及第二时间点之间的形变向量信息。形变向量信息可由上述的该些光动力学向量参数以线性或是非线性的公式产生。
接着,在步骤S206中,处理器13可以依据形变向量信息,取得该些胚胎的至少一个关键形变向量特征数值。举例而言,处理器13可以依据该些胚胎的N张图像,对每一个胚胎的分析区域进行DIC技术的分析,以在该些胚胎的形变向量信息中,取得至少一个局部极大值(Local Maximum)的应变量。类似地,处理器13可以依据该些胚胎的N张图像,对每一个胚胎的分析区域进行DIC的分析,以在该些胚胎的形变向量信息中,取得至少一个局部极小值(Local Minimum)的应变量。并且,至少一个关键形变向量特征数值可包含至少一个局部极大值的应变量及/或至少一个局部极小值的应变量。为了便于理解,表T1中描述了不同时间点下的应变量,如下所示。
时间 | 0-00 | 0-01 | 0-02 | 0-03 |
最大应变量 | 0.0795 | 0.227 | 0.113 | 0.336 |
最小应变量 | 0.002 | -0.013 | -0.006 | -0.01 |
应变分布 | 应变大 | 应变大 | ||
胚胎行为连结 | 无分裂 | 无分裂 | 无分裂 | 无分裂 |
时间 | 0-04 | 0-05 | 0-06 | 0-07 |
最大应变量 | 0.104 | 0.147 | 0.061 | 0.138 |
最小应变量 | -0.001 | -0.016 | -0.0065 | -0.014 |
应变分布 | ||||
胚胎行为连结 | 无分裂 | 无分裂 | 无分裂 | 无分裂 |
表T1
依据表T1,在时间点0-01时,最大应变量为0.227。0.227明显高于时间点0-00的最大应变量0.0795以及时间点0-02的最大应变量0.113。因此,时间点0-01的最大应变量0.227可以被定义为局部极大值(Local Maximum)的应变量。因此,对应时间点0-01的应变分布指向“应变大”的注记。类似地,在时间点0-03时,最大应变量为0.336。0.336明显高于时间点0-02的最大应变量0.113、时间点0-04的最大应变量0.104、时间点0-05的最大应变量0.147、时间点0-06的最大应变量0.061以及时间点0-07的最大应变量0.138。因此,时间点0-03的最大应变量0.336可以被定义为局部极大值的应变量。因此,对应时间点0-03的应变分布指向“应变大”的注记。类似地,至少一个局部极小值(Local Minimum)的应变量也可以由统计而得。处理器13可将表T1、至少一个局部极大值的应变量、至少一个局部极小值的应变量的数据存入存储器14中。
如前述提及,处理器13具有类神经网络,例如深度神经网络(DNN),可以执行机器学习以及深度学习的功能。因此,处理器13的类神经网络可以被训练。为了训练处理器13的类神经网络,于步骤S207中,细胞检测系统100可将形变向量信息及至少一个关键形变向量特征数值输入至处理器13内的类神经网络,以训练类神经网络。在类神经网络被训练完成后,依据步骤S208,处理器13可以利用类神经网络,以人工智能的程序建立细胞品质检测模型,以检测胚胎品质及/或识别胚胎。换句话说,细胞检测系统100利用人工智能检测胚胎品质及/或识别胚胎可包含两个阶段。第一阶段为训练阶段,细胞检测系统100可将时间序列的整个数据量,或是缩减时间的数据量的特征数值输入至类神经网络中,也可进一步将至少一个关键形变向量特征数值输入至类神经网络中,以建立细胞品质检测模型。第二阶段为人工智能的检测阶段。在类神经网络训练完成后,处理器13可以利用已经训练完成的类神经网络的细胞品质检测模型,判断胚胎品质以及识别胚胎。因此,本发明的细胞检测系统100可以避免医疗人员或是研究人员以主观的方式来判断胚胎的优劣,因此针对不孕症的疗程,其受孕成功率能够大幅度地提升。
图3为利用光动力学技术的人工智能的细胞检测系统100中,加入额外步骤以增强细胞检测的精确度的示意图。为了进一步加强判断胚胎品质以及识别胚胎的精确度,细胞检测系统100还可以引入型态学的检测技术来强化类神经网络的细胞检测能力,如下所示。
步骤S201:取得多个细胞;
步骤S301:利用型态学的边缘检测技术检测该些细胞于第一时间点以及第二时间点之间的边缘特征数据,并将边缘特征数据输入至类神经网络,以训练类神经网络;
步骤S302:利用型态学的椭圆检测方法,依据边缘特征数据,检测该些细胞于第一时间点以及第二时间点之间,每一个细胞的分裂时间点以及分裂个数,并将每一个细胞的分裂时间点以及分裂个数输入至类神经网络,以训练类神经网络。
类似地,为了描述简化,后文的“细胞”仅以“胚胎”为实施例进行说明,然而本发明并不限于此,细胞的定义可为生殖细胞、神经细胞、组织细胞、动植物细胞或是任何需要研究及观察的细胞。为了进一步加强判断胚胎品质以及识别胚胎的精确度,细胞检测系统100在前述步骤S201取得多个细胞(胚胎)后,依据步骤S301,处理器13可以利用型态学的边缘检测技术检测该些胚胎于第一时间点以及第二时间点之间的边缘特征数据,并将边缘特征数据输入至类神经网络。边缘特征数据可为胚胎整体或是某一个特定部分(例如囊胚)的轮廓,其数据格式可用多个坐标的方式表示。例如在二维平面上,单一胚胎的轮廓可为封闭型的线段,可用(X1,Y1)至(XL,YL)表示,L为正整数且L越大解析度越高。接着,在步骤S302中,处理器13可以利用型态学的椭圆检测方法,依据边缘特征数据,检测该些胚胎于第一时间点以及第二时间点之间,每一个胚胎的分裂时间点以及分裂个数,并将每一个胚胎的分裂时间点以及分裂个数输入至类神经网络,以训练类神经网络。于此说明,处理器13可以预先设定好至少一个椭圆的曲线拟合函数。当前述步骤S301检测出至少一个封闭线段对应的坐标(X1,Y1)至(XL,YL)后,处理器13可以用至少一个椭圆的曲线拟合函数去匹配其坐标(X1,Y1)至(XL,YL)是否符合椭圆形的封闭曲线。因此,处理器13可以得出在某个时间点下的图像中,拟合成功的椭圆形的封闭曲线的个数。处理器13可将拟合成功的椭圆形的封闭曲线的个数视为胚胎的分裂个数。因此,依据不同时间点下的N张图像的信息,处理器13可以检测出每一个胚胎的分裂时间点以及分裂个数。换句话说,对比于图2所述的步骤S201至步骤S208的细胞检测方法,细胞检测系统100可以引入额外的步骤S301至步骤S302,以获取更多的信息(如边缘特征数据、每一个胚胎的分裂时间点以及分裂个数)来训练类神经网络。因此,类神经网络的训练会更加优化,从而增加了人工智能检测细胞品质的精确度。
图4为利用光动力学技术的人工智能的细胞检测系统100中,具有类神经网络的处理器13的输入数据以及输出数据的示意图。如前述提及,图像采集装置12可以在两个不同时间点之间,对多个胚胎拍照,以产生N张图像。细胞检测系统100可以利用DIC技术,对N张图像进行分析,以产生该些光动力学向量参数。并且,该些光动力学向量参数可用于产生形变向量信息D1以及至少一个关键形变向量特征数值D2。产生形变向量信息D1以及至少一个关键形变向量特征数值D2可用于训练处理器13内的类神经网络。当类神经网络训练完成后,处理器13即可利用人工智能的程序判断胚胎品质及/或识别胚胎。处理器13可输出细胞品质输出数据D6。应当理解的是,N张图像中的每一张图像可为二维图像或三维图像。若N张图像中的每一张图像为二维图像时,该些光动力学向量参数、形变向量信息及至少一个关键形变向量特征数值为K维数据的格式。举例而言,在时间点T、高光谱仪的特定波长λ下,坐标(x,y)的像素S1的光信号可以表示为S1(λ,T,x,y)。像素S1的光信号S1(λ,T,x,y)为四个维度的信号格式。同理,若N张图像中的每一张图像为三维图像时,该些光动力学向量参数、该形变向量信息及该至少一个关键形变向量特征数值为(K+1)维数据的格式。举例而言,在时间点T、高光谱仪的特定波长λ下,坐标(x,y,z)的像素S2的光信号可以表示为S2(λ,T,x,y,z)。像素S2的光信号S2(λ,T,x,y,z)为五个维度的信号格式。K为大于2的正整数。因此可预期地,当细胞检测系统100的数据格式为较高的维度时,运算复杂度将变高。当细胞检测系统100的数据格式为较低的维度时,运算复杂度将变低。
并且,如前述提及,处理器13的类神经网络,可以利用边缘特征数据D3及每一个胚胎的分裂时间点D5以及分裂个数D4进行训练后,类神经网络可以利用人工智能的程序优化细胞品质检测模型。因此,如图4所示,处理器内的类神经网络可以接收形变向量信息D1、至少一个关键形变向量特征数值D2、边缘特征数据D3、分裂个数D4、分裂时间点D5。并且,当处理器内的类神经网络训练完成后,处理器即可利用人工智能的程序对不孕症妇女的取卵/胚胎进行遴选,以输出细胞品质输出数据D6。细胞品质输出数据D6可为任何形式的数据格式,如输出胚胎优劣的分级数据、输出至少一个胚胎的优劣排序百分率、或是输出至少一个胚胎的细胞品质。细胞品质可为细胞的详细化学成分数值含量多寡、遗传基因优劣,也可以为细胞于特定时间内的发育状态的优劣,或是细胞是否发生病变而定。若为生殖细胞也可为怀孕与否、新生儿健康以及性别而定。
综上所述,本发明描述一种利用光动力学技术的人工智能的细胞检测方法及其系统。细胞检测系统的应用族群可为不孕症的妇女。医疗人员可先依据大量细胞数据,建立人工智能的细胞品质检测模型后,即可对不孕症的妇女进行疗程。并且,人工智能的类神经网络可以接收光动力学及型态学相关的各种参数,例如形变向量信息、至少一个关键形变向量特征数值、边缘特征数据、分裂个数、分裂时间点。因此,类神经网络的使用可以避免医疗人员或是研究人员以主观的方式来判断胚胎的优劣。不孕症的妇女可以先进行多个胚胎培养,细胞检测系统利用人工智能的细胞品质间检测模型决定最佳胚胎后,再以人工的方式植入母体子宫,以增加受孕的成功率。
以上所述仅为本发明的较佳实施例,凡依本发明权利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (12)
1.一种利用光动力学技术的人工智能的细胞检测方法,其特征在于,包含:
取得多个细胞;
在第一时间点以及第二时间点之间,取样该些细胞的N张图像;
决定每一个细胞的一分析区域;
依据该些细胞的N张图像,对每一个细胞的该分析区域进行一图像处理程序,以产生多个光动力学向量参数;
依据该些光动力学向量参数,产生该些细胞在该第一时间点以及该第二时间点之间的形变向量信息;
依据该形变向量信息,取得该些细胞的至少一个关键形变向量特征数值;
将该形变向量信息及该至少一个关键形变向量特征数值输入至一类神经网络,以训练该类神经网络;及
利用该类神经网络,以一人工智能的程序建立一细胞品质检测模型,以检测细胞品质及/或识别细胞;
其中该第一时间点在第二时间点之前,且N为大于2的正整数。
2.如权利要求1所述的方法,其特征在于,该些细胞为多个生殖细胞,且该第一时间点以及该第二时间点为该些生殖细胞于培养液中发育且分裂的一观察周期中的任两时间点。
3.如权利要求1所述的方法,其特征在于,该些细胞为多个胚胎,且该分析区域为该些胚胎中每一个胚胎的一囊胚区域或一自定义区域,且该分析区域的一范围小于单一细胞的尺寸。
4.如权利要求1所述的方法,其特征在于,对该每一个细胞的该分析区域进行该图像分析,以产生该些光动力学向量参数,为对该每一个细胞的该分析区域进行一数字图像相关技术的分析,且该些光动力学向量参数为在该N张图像中,依据第M-1张图像及第M张图像的该些细胞的形变量变化而得,M≤N。
5.如权利要求4所述的方法,其特征在于,该些光动力学向量参数包含位移向量信息、应变向量信息与变形速度向量信息。
6.如权利要求1所述的方法,其特征在于,还包含:
依据该些细胞的N张图像,对该每一个细胞的该分析区域进行一数字图像相关技术的分析,以在该些细胞的该形变向量信息中,取得至少一个局部极大值的应变量;
其中该至少一个关键形变向量特征数值包含该至少一个局部极大值的应变量。
7.如权利要求4所述的方法,其特征在于,还包含:
依据该些细胞的N张图像,对该每一个细胞的该分析区域进行该数字图像相关技术的分析,以在该些细胞的该形变向量信息中,取得至少一个局部极小值的应变量;
其中该至少一个关键形变向量特征数值包含该至少一个局部极小值的应变量。
8.如权利要求1所述的方法,其特征在于,该N张图像中的每一张图像为一二维图像或一三维图像,若该N张图像中的该每一张图像为该二维图像时,该些光动力学向量参数、该形变向量信息及该至少一个关键形变向量特征数值为K维数据的格式,且若该N张图像中的该每一张图像为该三维图像时,该些光动力学向量参数、该形变向量信息及该至少一个关键形变向量特征数值为K+1维数据的格式,K为大于2的正整数。
9.如权利要求1所述的方法,其特征在于,该N张图像中的每一张图像为一灰阶图像、一高光谱图像或一景深合成图像。
10.如权利要求1所述的方法,其特征在于,还包含:
利用一型态学的一边缘检测技术检测该些细胞于该第一时间点以及该第二时间点之间的边缘特征数据,并将该边缘特征数据输入至该类神经网络,以训练该类神经网络;及
利用该型态学的一椭圆检测方法,依据该边缘特征数据,检测该些细胞于该第一时间点以及该第二时间点之间,每一个细胞的一分裂时间点以及一分裂个数,并将该每一个细胞的该分裂时间点以及该分裂个数输入至该类神经网络,以训练该类神经网络。
11.如权利要求10所述的方法,其特征在于,该类神经网络利用该边缘特征数据及该每一个细胞的该分裂时间点以及该分裂个数进行训练后,该类神经网络利用该人工智能的程序优化该细胞品质检测模型。
12.一种利用光动力学技术的人工智能的细胞检测系统,其特征在于,包含:
一载具,具有一容置槽,用以放置多个细胞;
一透镜模块,面对该载具,用以放大该些细胞的细节;
一图像采集装置,面对该透镜模块,用以透过该透镜模块取得该些细胞的图像;
一处理器,耦接于该透镜模块及该图像采集装置,用以调整该透镜模块的一放大倍率以及处理该些细胞的图像;及
一存储器,耦接于该处理器,用以储存训练数据以及图像处理的分析数据;
其中该载具的该容置槽放置该些细胞后,处理器控制该图像采集装置,透过该透镜模块在第一时间点以及第二时间点之间,取样该些细胞的N张图像,该处理器决定每一个细胞的一分析区域,依据该些细胞的N张图像,对每一个细胞的该分析区域进行一图像处理程序,以产生多个光动力学向量参数,依据该些光动力学向量参数,产生该些细胞在该第一时间点以及该第二时间点之间的形变向量信息,依据该形变向量信息,取得该些细胞的至少一个关键形变向量特征数值,且该处理器包含一类神经网络,该形变向量信息及该至少一个关键形变向量特征数值用以训练该类神经网络,该处理器利用该类神经网络,以一人工智能的程序建立一细胞品质检测模型,以检测细胞品质及/或识别细胞,该第一时间点在第二时间点之前,且N为大于2的正整数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962941612P | 2019-11-27 | 2019-11-27 | |
US62/941,612 | 2019-11-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112862742A true CN112862742A (zh) | 2021-05-28 |
Family
ID=75996128
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010493873.6A Pending CN112862742A (zh) | 2019-11-27 | 2020-06-03 | 利用光动力学技术的人工智能的细胞检测方法及其系统 |
CN202010498111.5A Pending CN112862743A (zh) | 2019-11-27 | 2020-06-04 | 利用高光谱数据分析的人工智能的细胞检测方法及其系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010498111.5A Pending CN112862743A (zh) | 2019-11-27 | 2020-06-04 | 利用高光谱数据分析的人工智能的细胞检测方法及其系统 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN112862742A (zh) |
TW (2) | TWI781408B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050207633A1 (en) * | 2003-04-02 | 2005-09-22 | Nick Arini | Method of, and computer software for, classification of cells into subpopulations |
US20080247628A1 (en) * | 2005-10-14 | 2008-10-09 | Unisense Fertilitech A/S | Determination of a Change in a Cell Population |
JP2009229274A (ja) * | 2008-03-24 | 2009-10-08 | Nikon Corp | 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置 |
US20100260406A1 (en) * | 2004-05-13 | 2010-10-14 | Paul Sammak | Methods and systems for imaging cells |
US20140128667A1 (en) * | 2011-07-02 | 2014-05-08 | Unisense Fertilitech A/S | Adaptive embryo selection criteria optimized through iterative customization and collaboration |
EP2890781A1 (en) * | 2012-08-30 | 2015-07-08 | Unisense Fertilitech A/S | Automatic surveillance of in vitro incubating embryos |
BR112013032938A2 (pt) * | 2011-09-16 | 2017-01-24 | Ave Science & Technology Co Ltd | dispositivo e método para realizar análise morfológica para eritrócitos |
US20170249548A1 (en) * | 2016-02-26 | 2017-08-31 | Google Inc. | Processing cell images using neural networks |
CN108550133A (zh) * | 2018-03-02 | 2018-09-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
WO2018229802A1 (en) * | 2017-06-16 | 2018-12-20 | Ge Healthcare Bio-Sciences Ab | Method for predicting outcome of and modelling of a process in a bioreactor |
CN110136775A (zh) * | 2019-05-08 | 2019-08-16 | 赵壮志 | 一种细胞分裂及抗干扰检测系统及方法 |
CN110390676A (zh) * | 2019-07-26 | 2019-10-29 | 腾讯科技(深圳)有限公司 | 显微镜下医学染色图像的细胞检测方法、智能显微镜系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1563947A (zh) * | 2004-03-18 | 2005-01-12 | 中国科学院上海技术物理研究所 | 显微高光谱成像系统 |
US8744775B2 (en) * | 2007-12-28 | 2014-06-03 | Weyerhaeuser Nr Company | Methods for classification of somatic embryos comprising hyperspectral line imaging |
WO2009119330A1 (ja) * | 2008-03-24 | 2009-10-01 | 株式会社ニコン | 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置 |
EA201290006A1 (ru) * | 2009-06-25 | 2012-12-28 | Йиссум Рисерч Дивелопмент Компани Оф Зе Хебрю Юниверсити Оф Иерусалим Лтд. | Гиперспектральное распознавание оплодотворенности яиц и пола зародыша в яйце |
EP3207499A4 (en) * | 2014-10-17 | 2018-09-19 | Cireca Theranostics, LLC | Methods and systems for classifying biological samples, including optimization of analyses and use of correlation |
CN106226247A (zh) * | 2016-07-15 | 2016-12-14 | 暨南大学 | 一种基于高光谱显微成像技术的细胞检测方法 |
CA3045333A1 (en) * | 2016-12-01 | 2018-06-07 | Berkeley Lights, Inc. | Automated detection and repositioning of micro-objects in microfluidic devices |
CN106815566B (zh) * | 2016-12-29 | 2021-04-16 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
CN107064019B (zh) * | 2017-05-18 | 2019-11-26 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
TWI664582B (zh) * | 2018-11-28 | 2019-07-01 | 靜宜大學 | 細胞檢測方法、裝置與系統 |
CN109883966B (zh) * | 2019-02-26 | 2021-09-10 | 江苏大学 | 一种基于多光谱图像技术检测中华绒螯蟹熟化程度的方法 |
-
2020
- 2020-05-28 TW TW109117840A patent/TWI781408B/zh active
- 2020-05-28 TW TW109117822A patent/TWI754945B/zh active
- 2020-06-03 CN CN202010493873.6A patent/CN112862742A/zh active Pending
- 2020-06-04 CN CN202010498111.5A patent/CN112862743A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050207633A1 (en) * | 2003-04-02 | 2005-09-22 | Nick Arini | Method of, and computer software for, classification of cells into subpopulations |
US20100260406A1 (en) * | 2004-05-13 | 2010-10-14 | Paul Sammak | Methods and systems for imaging cells |
US20080247628A1 (en) * | 2005-10-14 | 2008-10-09 | Unisense Fertilitech A/S | Determination of a Change in a Cell Population |
CN102254150A (zh) * | 2005-10-14 | 2011-11-23 | 尤尼森斯繁殖技术公司 | 细胞群的变化的测定 |
JP2009229274A (ja) * | 2008-03-24 | 2009-10-08 | Nikon Corp | 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置 |
US20140128667A1 (en) * | 2011-07-02 | 2014-05-08 | Unisense Fertilitech A/S | Adaptive embryo selection criteria optimized through iterative customization and collaboration |
BR112013032938A2 (pt) * | 2011-09-16 | 2017-01-24 | Ave Science & Technology Co Ltd | dispositivo e método para realizar análise morfológica para eritrócitos |
EP2890781A1 (en) * | 2012-08-30 | 2015-07-08 | Unisense Fertilitech A/S | Automatic surveillance of in vitro incubating embryos |
US20170249548A1 (en) * | 2016-02-26 | 2017-08-31 | Google Inc. | Processing cell images using neural networks |
WO2018229802A1 (en) * | 2017-06-16 | 2018-12-20 | Ge Healthcare Bio-Sciences Ab | Method for predicting outcome of and modelling of a process in a bioreactor |
CN108550133A (zh) * | 2018-03-02 | 2018-09-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
CN110136775A (zh) * | 2019-05-08 | 2019-08-16 | 赵壮志 | 一种细胞分裂及抗干扰检测系统及方法 |
CN110390676A (zh) * | 2019-07-26 | 2019-10-29 | 腾讯科技(深圳)有限公司 | 显微镜下医学染色图像的细胞检测方法、智能显微镜系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112862743A (zh) | 2021-05-28 |
TW202120906A (zh) | 2021-06-01 |
TWI781408B (zh) | 2022-10-21 |
TWI754945B (zh) | 2022-02-11 |
TW202121241A (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7072067B2 (ja) | 胚の生存率を推定するためのシステムおよび方法 | |
CN109564680B (zh) | 信息处理方法和系统 | |
Dhondt et al. | Cell to whole-plant phenotyping: the best is yet to come | |
JP5740101B2 (ja) | 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法 | |
JP5816415B2 (ja) | 細胞評価装置、インキュベータ、プログラム、および、培養方法 | |
CN110763678A (zh) | 一种病理切片判读方法及系统 | |
US20240249540A1 (en) | Image feature detection | |
EA025172B1 (ru) | Способ оценки способности достижения одним или более эмбрионами человека стадии бластоцисты | |
US20220383986A1 (en) | Complex System for Contextual Spectrum Mask Generation Based on Quantitative Imaging | |
AU2017220648A1 (en) | Microscope assembly | |
Wang et al. | A deep learning framework design for automatic blastocyst evaluation with multifocal images | |
JP2010152829A (ja) | 細胞培養管理システム | |
US20210256692A1 (en) | Complex system for contextual mask generation based on quantitative imaging | |
Lau et al. | Embryo staging with weakly-supervised region selection and dynamically-decoded predictions | |
CN112862742A (zh) | 利用光动力学技术的人工智能的细胞检测方法及其系统 | |
JP2022547900A (ja) | 生殖補助手順に用いられる品質保証の評価指標の自動評価 | |
US9123120B2 (en) | Progressive decision for cellular process selection | |
JP2018125019A (ja) | 画像処理装置及び画像処理方法 | |
Betegón-Putze et al. | MyROOT: A novel method and software for the semi-automatic measurement of plant root length | |
Eswaran et al. | Deep Learning Algorithms for Timelapse Image Sequence-Based Automated Blastocyst Quality Detection | |
JP6329651B1 (ja) | 画像処理装置及び画像処理方法 | |
Isa et al. | NTS-CAM classification model with channel attention mechanism for grading In-Vitro Fertilization (IVF) blastocyst quality | |
Mai et al. | Identification of Adipogenic and Osteogenic Differentiation using transfer learning of ResNet-18 | |
Sharma et al. | Exploring Embryo Development at the Morula Stage-an AI-based Approach to Determine Whether to Use or Discard an Embryo | |
Teng et al. | Tasselyzer, a machine learning method to quantify anther extrusion in maize, based on PlantCV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240228 Address after: Hsinchu City, Taiwan China Guangfu Road two No. 101 Applicant after: Wang Weizhong Country or region after: Taiwan, China Address before: Taichung City, Taiwan, China Applicant before: PROVIDENCE University Country or region before: Taiwan, China Applicant before: Wang Weizhong |
|
TA01 | Transfer of patent application right |