CN103518224B - 用于分析微生物生长的方法 - Google Patents

Abstract

本发明涉及一种用于分析固体培养基上微生物的生长的方法，该方法包括：获得固体培养基以及任何的微生物生长的图像数据、生成通过对图像数据应用一个或多个滤波器而获得的值的关联特征矢量、使用分类器基于关联特征矢量对图像数据中的多个像素中的各个像素进行分类、分析各所述像素的像素分类结果以求出固体培养基以及任何微生物生长的微生物学评估并且输出微生物学评估。

Description

用于分析微生物生长的方法

本申请要求与2011年3月4日提交的澳大利亚临时专利申请2011900786号的优先权，其内容通过引用包含于此。

技术领域

本发明涉及一种用于分析在固体培养基上的微生物生长的方法和软件，特别是随着利用微生物学样本对固体培养基的接种和培养而生长的分离菌落形式的微生物生长。设想本发明的方法和软件将能够用于微生物学实验室。

背景技术

微生物(特别是细菌)的单个菌落的分离是许多微生物学实验室中重要的过程。细菌的分离通常是由专业的实验室技术人员手动完成或者通过机器划线设备自动完成。在任何一种情况下，微生物样本首先被分配到固体培养基的表面上，随后微生物样本传播到培养基的整个表面(称为“划线”)。典型地，跨固体培养基进行稀释度增加的多个划线。

通常，稀释度增加的划线朝向划线的尾部趋于提供在接种后允许分离的微生物菌落的生长的若干单个细胞。然后，这些分离的菌落可以用于例如菌落形态的各种物理特征的分析，并且可以进行染色以及确定例如微生物样本中的之前未知的微生物的属、种和/或菌株所需要的其它过程。

传统上，在微生物学实验室中由专业的技术人员从视觉上进行该分析，结果是技术人员作出微生物学评估。该评估可以基于对细菌菌落的存在或不存在的检测、对各菌落类型的颜色的检测、用以确定是否存在可能归因于发酵或溶血的颜色变化的对颜色分布的映射、群集和分离的菌落生长之间的区分、菌落纹理或粘度的测量、以及二维和三维形状的确定和/或不同类型的菌落的枚举。

按照现行规章要求，在识别出潜在致病的细菌的生长的情况下，使固体培养基进展到实验室工作流程的下一步，并且固体培养基成为进一步验证性识别和抗生素敏感性测试的目标。

本发明的目的是提供一种用于分析图像以提供微生物学评估的方法和软件，其中在没有任何(或者仅需要很少)的人工操作员干预的情况下生成该评估。

在进入发明内容的部分之前，应当理解，仅作为用来解释本发明的场景的背景而提供了上述对现有技术的说明。不应当视为承认所引用的任何材料已公开或已知，或者是澳大利亚或其它地方的公知常识的一部分。

发明内容

本发明提供了一种用于分析固体培养基上微生物的生长的方法，该方法包括：

获得固体培养基以及任何微生物生长的图像数据，

对于图像数据中的多个像素，生成通过对图像数据应用一个或多个滤波器所获得的值的关联特征矢量，

使用分类器基于关联特征矢量对多个像素中的各个像素分类，

分析各所述像素的像素分类结果以求出对固体培养基以及任何微生物的生长的微生物学评估，以及

输出微生物学评估。

本领域技术人员将理解，针对短语“在固体培养基上”，所使用的词“上”包括在固体培养基的表面和在固体培养基内的微生物生长。在本说明书中，以下经常将术语“固体培养基”简称为“培养基”。例如，将理解微生物样本(下文常简称为“样本”)可以分配在培养基的表面或者培养基内，以使得微生物生长可以跟随利用样本对培养基的接种和培养而生长。也就是说，培养基上的微生物生长是在培养基上对诸如尿液样本、肠道样本、血样本、淋巴样本、组织样本、水样本、食物样本或者其它相关的样本等的样本进行接种和培养的结果。

另外，本领域技术人员也将理解培养基通常是例如琼脂，并且通常包含在诸如皿以及在更特定的示例中、可能有盖的Petri培养皿等的容器内。在本说明书中，以下将培养基和皿的组合称为“培养皿”，这在本领域中有时可能称为“琼脂皿”。

本发明使用用于对有或没有微生物生长的培养基的图像中的像素分类的分类器以提供微生物学评估。需要很少的或不需要人工操作员干预。这可以允许节约整理培养皿的时间，并且可以允许更有效地利用能够被转移至其它任务的专业的人力资源。例如，本方法包括基于像素分类的结果对培养基上的微生物生长分类。

在其它例子中，方法还包括基于像素分类的结果枚举微生物生长的一个或多个菌落。然后本方法可以使用例如连通分量算法来分析像素分类的结果以确定表示微生物生长的预测菌落的一系列区域。在这种情况下，本方法还包括根据各所述区域的大小和/或形状来从一系列区域中枚举微生物生长的菌落的步骤。

例如，微生物的生长可以包括：一个或多个细菌的生长、真菌的生长、病毒斑块或原生生物的生长，而生长所采取的形式可以为菌落、菌丝体、菌丝、斑块或其它可见的微生物的结构。在一些实施方式中，每一个微生物的生长可以是起源于单一微生物的生长(例如，微生物样本以稀释的方式被施加到固体培养基，以使得单个微生物分离)。

培养基可以包括任何支持微生物生长的培养基。因此，培养基可以含有包括例如碳源、氮源、必需元素和/或必需维生素的一种或多种微生物营养成分。典型地，培养基也含有例如包括明胶、琼脂、结冷胶、琼脂糖或者琼脂凝胶等的胶凝剂。

在一些实施方式中，培养基可以包括在本技术领域中通常所知的选择性培养基，其中，该选择性培养基包括在允许某些微生物的生长同时抑制其它微生物的生长的具有有限制的营养成分的介质或包含抗生素的介质等。

在一些实施例中，用于分析的样本被布置在多于一个培养皿上或具有多于一个分段的分割培养皿上。在这些实施例中，通过跨不同培养皿或分段来拍摄图像进行微生物生长的分析，并且分析上述像素分类的结果以使得可以基于不同培养皿上或分段上的微生物生长的比较而进行微生物学评估。

将理解一些微生物样本在特定的培养基上可能不能导致微生物生长。例如，微生物样本可能不包括能够在有选择性的培养基(例如包含限制一些微生物生长的特别的抗生素或营养成分的培养基)上生长的微生物，或者微生物样本可能无菌(例如不包括任何微生物)。在这些情况下，获得的培养基的图像数据可能不包括培养基上的微生物生长(例如阴性结果)。

在示例中，微生物学评估可以用来识别培养皿是否落入以下四个类别之一：1.作废(例如，培养皿未显示病原体)，2.需要重新培养，3.识别出潜在致病的细菌(例如，培养皿显示阳性结果并且需要按照规章审查)，或者4.用于人工审查(例如，计算机无法在诸如1至3类中做出清晰的决定，或者专业操作员将培养皿导向所要求的输出站)。

如上所述，根据图像数据的分析对培养基以及任何微生物生长的评估表示由专业技术人员进行的评估。即，该评估包括对培养基中微生物生长菌落的检测，并且可以包括例如对诸如细菌菌落等的这些菌落的分类、以及用以确定可能归因于发酵或溶血的颜色变化的存在的对培养基颜色分布的映射、在群集和分离的菌落生长之间的区分，对菌落纹理或粘度的测量，以及对二维和三维形状的确定和/或培养基上的不同种类的菌落的枚举。

针对培养基和在培养基上的任何微生物生长的图像数据可以包括使用诸如高分辨率彩色数字照相机、激光测距仪或者任何其它合适的装置等的摄像装置所拍摄的一个或多个图像。在一个示例中，从例如出于其它目的所拍摄的现有图像获得图像数据。在其它示例中，从使用专用于本方法的摄像装置所拍摄的图像获得图像数据。无论怎样，可以处理图像以产生图像数据，例如可以对多个包括相同的微生物生长的图像进行求平均、去马赛克以及颜色校准。图像数据可以包括一系列例如使用不同的照明配置所拍摄的这种处理过的图像。以下将给出图像拍摄和处理的进一步细节。

分类器可以是提升分类器(boosted classifier)。或者，分类器可以是决策树、随机森林，或者可以使用线性判别分析(LDA)或任何其它技术来对像素分类。提升分类器将一组“弱”分类器(分类准确度低，但是好于随机)的输出组合以产生具有高准确度的单个“强”分类器。在组合弱分类器时，优选为根据弱分类器的正确性的置信度对各个弱分类器的结果加权。用于创建提升分类器的适合的提升算法的例子是离散AdaBoost，以下将更详细地说明。离散AdaBoost是在Yoav Freund and Robert E.Schapire.“A decision-theoreticgeneralization of on-line learning and an application to boosting.”J.Comput.Syst.Sci.,55:119–139,August 1997中所描述的AdaBoost的变体，其内容通过引用包含于此。离散AdaBoost通过在训练下一个弱分类器时给予被弱分类器错误分类的例子更高的权重来自适应地改进分类器的性能。作为替代，可以使用诸如实AdaBoost、平缓AdaBoost或者滤波器Boost等的其它提升算法。这些变体使用不同的方法对弱分类器进行加权和训练。

在一个实施例中，用于分类像素的分类器是提升决策树分类器。在该实施例中，使用的弱分类器是决策树。决策树是二叉树，其中各个节点包含规则，各个分割表示规则的结果、因此就是决策，并且各个叶子表示分类。在该配置下，各个规则是以x_i＜t的形式对特征矢量中的值的测试，其中x_i是来自特征矢量x＝(x1,…,xn)的值并且t是阈值。从根节点遍历树以对单个特征矢量分类。通常的配置为在通过测试的情况下遍历了节点的左分割，否则遍历节点的右分割。

提升决策树分类器可以是多类别分类器。例如，可以使用AdaBoost.MH(多标签汉明)过程以将像素分类为多个类别之一。在Jerome Friedman,Trevor Hastie,and RobertTibshirani.“Additive logistic regression:a statistical view of boosting.”Annals of Statistics,28:2000,1998中描述了AdaBoost.MH算法，其内容通过引用包含于此。

为了更快的分类速度和更好的性能，可以作为二阶段过程进行分类。例如，本方法可以包括使用第一分类器将各个像素初步分类为第一多个类别中的一个，并且随后使用第二分类器将第一多个类别中的一个或多个类别的各个像素分类为第二多个类别中的一个。结果为非独立分类器的链，其中第一分类器的输出用于在训练第二分类器时增强特征矢量或者是限制可应用的像素。第一分类器可以是二元级联分类器以将各个像素初步分类为背景或者非背景，并且第二分类器可以是用以将各个非背景像素分类为第二多个类别中之一的多类别提升决策树分类器。

对背景像素的初步粗分类减少了需要更准确地分类为菌落类型之一的像素的数量。由于可以在下一阶段将被错误分类的像素正确地分类，因此初步二元分类可以具有高的伪阳性率(将背景像素分类为非背景像素)。适合的初步二元分类器可以遵循在PaulViola and Michael Jones“Robust real-time object detection”,SecondInternational Workshop on Statistical and Computational Theories of Vision,July 13 2001中描述的级联分类器方法，其内容通过引用包含于此。

类别可以表示生物体的属、种、或菌株、琼脂类型、背景、非背景。类别是灵活的，从而允许不同的终端用户可能感兴趣的不同的琼脂类型和生物体类型。

本方法还可以包括对各个像素分类分配置信度值。置信度值表示对像素正确分类的概率。

本方法还可以包括应用后处理算法以改进像素分类的结果。可以应用一系列不同的算法以移除虚假的标签或者不确定的区域。例如，后处理算法可以包括诸如扩张或侵蚀或者作为代替、图割等的形态学操作。在Yuri Boykov,Olga Veksler,and Ramin Zabih“Fast approximate energy minimization via graph cuts”IEEE Trans.PatternAnal.Mach.Intell.,23:1222–1239,November 2001.中给出了适合的图割算法的例子，其内容通过引用包含于此。图割算法计算出将图划分为两个以上的集合的最优划分。图割算法的应用可能导致图像数据中的某些像素的重新分类。应用图割算法可以包括：

(a)构造具有多个节点和多个标签的图，其中各个节点与图像数据中的多个像素之一对应，并且各个标签与类别对应，

(b)在与图像数据中相邻的像素相对应的节点之间添加边，

(c)在各个节点与各个标签之间添加边，并且

(d)使用图割算法切割到节点的边，并且将图划分成类别，其中图割算法是基于针对与该节点相对应的像素和相邻像素的像素分类结果。

应用图割算法可以针对分类器已给出低置信度的像素分类来改进分类结果。图割算法可以考虑针对与该节点相对应的像素的像素分类的置信度值和/或针对相邻像素的像素分类的置信度值。这在空间上平滑了结果，减少了最终分类的噪声。特别地，高置信度值的标注通常将被保留，而低置信度的标注可能被替换掉以获得更加均匀的输出。例如，在具有高置信度的相邻像素所包围的低置信度像素被分类为与高置信度像素相同的类别的情况下，低置信度像素的分类就能够有更高的置信度。同理，在相邻像素被分类为与高置信度像素不同的类别的情况下，就存在充足的理由把低置信度像素的分类改变至高置信度像素的类别。

图割算法可以是将图划分为三个以上的集合的多类别图割算法。这是比二元图割更复杂的算法，但是由于可以将像素更加具体地分类，因此允许提供更有意义的评估。这样的算法可以是alpha扩展流程。在alpha扩展中，进行一系列图割，其中，每次在用于各个节点的当前标签与来自可能的标签集的候选标签之间进行分割。重复该过程，经由各个可能的标签进行迭代，直至收敛。在构造该图时，在具有不同标签的相邻节点间加入辅助节点，以在切割时包括加标签的成本。

关于合适的图割算法的进一步细节在相同申请人的共同未决的并具有相同申请日的标题为“Method for Improving Classification Results of a Classifier”的国际申请中，其内容通过引用包含于此。

现在转向输入到分类器中的特征矢量x＝(x1,…,xn)。特征矢量可以包括从通过对样本的图像数据应用一个或多个滤波器所创建的特征图像中取得的值。获得特征图像是中间步骤，并且将理解作为替代、特征矢量也可以由通过基于每个像素应用滤波器而得到的值组成。术语“滤波器”应理解为包含将部分或全部图像数据转换为可以输入分类器的一个或多个值的任何图像处理或其它算法。

可以从包括以下滤波器的组中选择一个或多个滤波器：

RGB滤波器，创建至多3个特征图像，一个用于红色通道、一个用于绿色通道并且一个用于蓝色通道。

LAB滤波器，创建至多3个以上LAB色彩空间中的图像，其中L表示亮度并且A和B包含彩色信息。

有向高斯滤波器，在各种方向上将一维高斯核应用于图像。还可以使用高斯核的一阶以及二阶导数。

位置滤波器，例如创建示出各个像素相对于培养皿边缘的距离的特征图像。在前一个分类器的输出可用的情况下应用滤波器时，其它位置滤波器可以示出各个像素相对于特定标签的距离。

颜色量化滤波器，通常通过直方图减小图像中的颜色的数量以帮助定位颜色相似的区域，以及

纹理滤波器，创建测量各个像素周围的纹理的一个或多个特征图像。

滤波器可以增强在菌落和培养基以及皿自身之间的区别。一些滤波器包括反馈机制，通过该反馈机制可以将前一个分类器的输出用作输入。

可以使用任何数量的滤波器来构造特征矢量。例如，用于像素的特征矢量可以包括9个值：与针对该像素的红色、绿色以及蓝色通道值相对应的x1、x2和x3，与该像素的L、A和B值相对应的x4、x5和x6，与像素到皿边缘的距离相对应的x7，以及与在x和y方向上的图像梯度对应的的x8和x9。将理解可以使用任何数量的特征值，并且可以从针对相同的生长的不同(例如，由顶灯或者底灯照明的)图像数据中取得特征值。

相对于纹理对图像数据应用一个或多个滤波器可以包括通过如下方式测量图像数据的纹理：

(a)提取图像中各个像素的梯度值，以及

(b)计算各个像素周围的窗口内的梯度值的协方差矩阵的迹。

可以通过使用Sobel核在图像数据的x方向和y方向上卷积获得梯度值。对Sobel核的使用在提取梯度信息的同时平滑图像。对图像梯度的协方差矩阵的迹的计算测量了梯度在区域内的变化性并且因而测量了纹理的程度，从而提供了平滑性的度量。

可以通过对图像数据中的多个像素稀疏采样来减少在训练期间所需要的计算。这对于大图像特别有用。可以使用的两种算法包括密集采样或稀疏采样。密集采样每N个像素取1个像素，而稀疏采样方法从图像数据中加标签的像素的可用池中随机地取出N个像素。在训练中，稀疏采样方法针对正在训练的各个类别构造一个单独的池，使得对于各个类别都有N个像素可用。密集方法针对全部类别构造单个池，因此各个类别中的像素的数量将依赖于该类别在图像中的分布。

该方法也可以将培养基识别为阴性控制。例如，分类器可以将像素分类为背景或者无生长。该方法可以判断已分类为背景的像素数量是否超过了使图像拍摄以及分析有效的预定的最小数量。必须分类为背景(例如仅是琼脂)的像素的预定最小数量可以通过依赖于在培养皿上识别出的琼脂及其它细菌的类型的值的表来求出。注意，最大值就是在图像中处于培养皿上的像素的数量。

作为对图像拍摄和分析的完整性的进一步检查，可以检查分类的置信度。如果存在具有一致的低置信度的足够大的区域，则在培养皿上可能存在未知物。在这种情况下，可以警告操作员，或者将培养皿标记用于检查。

为了生成评估，分析像素分类的结果。如上所述，这可能涉及到处理像素分类以提取诸如菌落计数、菌落大小、培养皿上出现微生物的范围、生长图案、溶血、人造物、污染物、琼脂缺陷等的额外的元数据。

使用被称为定量的过程对各种类型的菌落的数量计数(枚举)。本领域的技术人员将理解，由于许多菌落可能未彼此分离，因此对菌落计数是困难的任务。因此提出三种方式：

1.基本计数，其中通过针对各种类型的琼脂上的各种微生物类型确定菌落的平均大小来估计菌落计数。可以用在特定培养皿上检测到的各种微生物的像素的数量除以这个数字以得到菌落数量。

2.基于密度的计数，其中在计数算法中包括相对于各个菌落的边缘的距离。这是基于应当将大面积的生长计数为若干个不同的菌落这一观察。因此对在菌落中央的内部像素分配更高的权重以实现这样的结果。通过手动测量许多菌落计数并且将结果相对于该度量制表，形成表格。接着，在看不到的培养皿上进行评估的情况下，该表格可以用于通过该度量获得菌落计数。

3.基于图像处理的计数，其中首先通过连通分量算法分析包含标签的图像。依次检查由该算法检测到的各个分量。如果通过预设的阈值表认为特定的菌落过大，则应用作为第1种所提出的方法。如果认为菌落过小，则将其计数为单个菌落。否则，可以考虑分量的形状。在分量的形状表现为圆形的情况下，将其计数为单个菌落。否则，应用分水岭算法以将分量分割成单独的菌落，这些菌落各自使菌落计数递增。

随后，算法将对培养皿上检测出的各个菌落类型的适当枚举进行计算。对于领域内的专家来说，这样的枚举是有用的，并且可以采用诸如“1+”等的象限说明的形式，或者是诸如10³cfu/ml等的对每毫升溶液菌落数量的估计。接着，合并一个或多个培养皿的枚举以求出对样本的评估。

在生成评估期间，该方法也可以使用临床规则来解释分类器所生成的分类和/或如上描述所生成的定量(枚举)。这些临床规则可以评估患者的年龄或者临床状况、所分析的患者样本的类型、识别出的细菌类型、当地实验室的实践或者将会推翻分类器的正常决策的一系列其它定制的用户自定义条件。临床规则提供了从由软件所提供的诸如精确菌落计数和大小等的低水平评估到仅报告重要信息、具有适于实验室技术人员的格式的典型高水平评估的桥。

在相同申请人的共同未决的并具有相同提交日期的标题为“Image Capture andLighting Apparatus”的国际申请中提供了可以与该方法一起使用的合适设备的细节，其内容通过引用包含于此。

将理解，本方法并不限于与该设备一起使用，并且针对培养基的图像数据可以通过具有一个或多个照明装置的一个或多个摄像装置(例如照相机)的任何适合的配置来获得。

图像数据可以包括培养基的表面、包含培养基的皿以及培养基附近区域的图像。理想地，将图像数据与包括皿条形码数据、图像获取参数、时间/日期戳以及摄像装置规格数据的相关皿数据一起存储在数据库中。

为了对表示微生物生长的图像数据进行正确的分析，需要高质量和精确的图像数据。可以采取步骤将来自摄像装置的原始图像处理为适合的格式。处理所拍摄图像可以包括对一系列拍摄图像求平均，随后进行去马赛克、白平衡以及颜色校正，以获得适于分析的图像数据。

在相同申请人的共同未决的并具有相同提交日期的标题为“Colour CalibrationMethod for an Image Capture Device”的国际申请中描述了可以使用的色彩校准方法的细节，其内容通过引用包含于此。

在示例中，设备和方法能够提供完整的图像获取和分析功能，并且能够作为完整的包提供给实验室。另外，图像数据可以来自远离进行本发明的方法步骤的场所的其它供应者、位置或国家，并且因此用于获得图像数据的任何图像获取设备也可以位于远离进行图像数据分析的场所。

本发明扩展至用于与包括处理器和用于存储软件的存储器的计算机一同使用的软件，该软件包括处理器可执行的一系列指令以根据上述的任何一个实施例执行方法。

本发明还扩展至包括软件在内的计算机可读取介质，以及包括处理器、存储器以及位于处理器可访问的存储器内的软件的设备，该软件可以由处理器执行以根据以上描述的任何一个实施例执行方法。

在其它方面，本发明提供了一种用于训练分类器以用于分析固体培养基上的微生物生长的方法，该方法包括：

获得针对固体培养基上的微生物生长的多个样本的图像数据；

对于图像数据中的多个像素中的各个像素，生成通过对图像数据应用一个或多个滤波器所获得的值的关联特征矢量；以及

使用关联特征矢量训练分类器以根据与图像数据中的像素相关联的标签对多个像素中的各个像素分类。

优选为分析各所述像素的像素分类结果以得到对固体培养基上的微生物生长的微生物学评估。

附图说明

现在将参考附图仅以示例的方式描述本发明的实施例。将理解，附图的特殊性不能取代本发明的先前描述的一般性。

图1是用于分析培养皿中固体培养基上的微生物生长的设备的示意图。

图2(a)是用户拍摄图像用的GUI(图形用户接口)的屏幕截图，图2(b)至2(e)是图2(a)的屏幕截图左侧的细节的近视图。

图3是示出用于在图像中输入培养皿的位置的GUI的一系列屏幕截图。

图4是示出用于拍摄固体培养基及其上的任何微生物生长的图像的方法的流程图。

图5是示出用于处理所拍摄的图像的方法的流程图。

图6是示出用于估计从表观颜色到实际颜色的映射的方法的流程图。

图7是示出用于校正所拍摄的图像的亮度的示例曲线的图。

图8是示出在圆形色相空间内的多个控制点的HSV空间图。

图9是用于特定的摄像装置的(a)跨色相/饱和度空间的映射，(b)分离的色相映射函数，以及(c)分离的饱和度映射函数的图形表示。

图10是示出映射精确度的图。

图11是(a)颜色校准前和(b)颜色校准后的颜色图的两张照片。

图12是说明用于将表观颜色映射到实际颜色的方法的流程图。

图13是示出针对分割的培养皿所运行的摄像流水线的流程图。

图14是示出用于训练用于分析固体培养基上的微生物生长的分类器的方法的流程图。

图15是(a)针对固体培养基上的微生物生长的图像数据、(b)红色通道特征图像、(c)绿色通道特征图像、以及(d)蓝色通道特征图像的一系列表示。

图16是(a)L特征图像、(b)A特征图像、(c)B特征图像、(d)在11×11的窗口特征图像中L的方差、(e)在11×11的窗口特征图像中A的方差、(f)在11×11的窗口特征图像中B的方差、(g)在11×11的窗口特征图像中L的均值、(h)在11×11的窗口特征图像中A的均值以及(i)在11×11的窗口特征图像中B的均值的一系列表示。

图17是针对分割的培养皿的位置特征图像的表示。

图18是(a)在x方向上的梯度值的特征图像、(b)在y方向上的梯度值的特征图像、(c)5×5窗口的平滑特征图像、(d)13×13窗口的平滑特征图像以及(e)21×21窗口的平滑特征图像的一系列表示。

图19是决策树的例子。

图20是用于分析固体培养基上微生物生长的一系列图像的方法的流程图。

图21是用于应用图割算法以改进提升分类器的分类结果的方法的流程图。

图22示出(a)初始图以及(b)示出在已应用图割算法后加标签的划分图。

图23示出了以用于alpha扩展过程的辅助节点所构造的图。

图24是示出在alpha扩展过程中所能做出的可能的切割的图的集合。

具体实施方式

计算机软件的概述

本软件有四个主要组件：

·用于存储并且管理信息和过程的数据资料库，

·具有在服务器上执行的命令行程序的形式的用于训练提升分类器的软件，以及

·在台式机上运行的GUI程序，用于拍摄和处理图像并且生成针对未知培养皿的报告，以及

·在台式机上运行以提供训练标签并且操作元数据的GUI程序。

在库中，使用可扩展标记语言(XML)文件来存储元数据并且使用便携网络图形(PNG)格式存储图像。所有的文件可以直接存储在硬盘上或者数据库中。将元数据存储为三种主要的XML文件类型：图像元数据文件、皿元数据文件、以及用于存储附加元数据并且将图像和皿元数据文件链接在一起的主元数据文件。该库可以连接到实验室信息管理系统(LIMS)以访问关于患者和样本的信息。

图像数据以四种形式存储：图像元数据文件、未处理图像(从照相机读取的原始值)、已处理图像(已进行去马赛克和颜色校正)、以及预览图像(具有更小的大小)。图像元数据文件捕捉了一系列信息。以下示出示例图像元数据文件：

列表1：示例图像元数据文件

存储的元数据包括曝光时间、拍摄日期、光信息、用于校正图像和照相机数据的颜色变换。可以使用文件中的属性集以定位和验证特定的图像。第一个属性是路径，其提供了与主元数据文件的位置相关的图像文件的位置，将在下文讨论。接着，将图像宽度和高度与图像在磁盘上的大小一起以字节为单位存储。最后，存储了MD5校验和，以保证数据在拍摄后没有被修改。可以在图像加载时检查这些属性。另外，对XML文件进行加密签名以防止修改。

皿元数据文件的例子在下文示出：

列表3：示例皿元数据文件

由于Petri培养皿可以分割为在一个培养皿中具有2个以上不同的琼脂，所以培养皿可以具有若干相互关联的皿元数据。存储的元数据包括琼脂的类型，针对该琼脂所包含的样本类型的合适的生长信息，由操作员或自动分析过程所定义的微生物类型的列表。微生物列表将微生物的名称与标签序号相关联，从而提供了用于解释加标签的图像的方式。最后，提供用于培养皿的掩模，以使得软件读取加标签的图像的适当部分。针对单个Petri培养皿使用单个加标签的图像，但是，由于一个皿可以包含多个琼脂并且因此包含多个皿元数据文件，所以使用掩模来确定哪个标签与哪个琼脂相关联。

以下示出示例主元数据文件。

列表2：示例主元数据文件

存储的元数据包括培养皿的内部ID、(完整或分割的)培养皿的类型、患者ID(意图从培养皿上的条码读取)、拍摄的日期、在图像拍摄时使用软件的操作员的名称、放置在培养皿上的样本类型(例如尿液或肠道)、以及皿元数据文件的引用列表。接着，记录针对培养皿的诊断，其中该诊断的来源可以是操作员或自动分析软件。允许的诊断值为阳性、阴性、培养、或监测。操作员也可以输入存储在笔记签中的任意文本。以相对性的格式存储培养皿的位置。为了获得培养皿的像素位置，x和y坐标必须分别乘以图像宽度w和高度h。半径必须乘以接着，经由图像的图像元数据文件来引用培养皿所附加的各张图像。还经由到图像的PNG文件的路径来引用加标签的图像。主元数据文件也可以包括对计算出的标签的引用，但是这是可选的。

为了保证加标签的一致性，也可以使用列出特定元数据实例的琼脂、样本及微生物类型的可接受值的生物学数据库。数据库的精确内容依赖于部署该系统的实验室。生物学数据库首先按样本类型、然后按琼脂类型来组织。于是各琼脂类型包含有效的微生物的列表。数据库中的每个条目包含至少三个域：名称、简短描述以及描述。在需要针对实体的机器可读的名称的情况下使用名称，并且名称用作进入数据库的钥匙。简短描述意图在GUI中的诸如菜单或者其它用户接口元素等适合这种文本的位置使用。描述可以是任意长度，并且是针对特定实体的完整的技术名称。

摄像

图1示出了用于分析琼脂皿形式的培养皿102中的培养基上的微生物生长的设备100的实施例。设备100包括以下组件：

·形式为带有适当的固定焦距镜头108的具有机器视觉质量的高分辨率数字照相机106的摄像装置104。照相机106定位在环形灯110上方约200mm处。

·环形灯110相对于培养皿102的直径具有大直径。在本例中，环形灯的直径是180mm。环形灯110包含漫射器和配置成圆形阵列的数百个白色LED。该灯提供了低角度、漫射的侧面照明以使得培养皿可以被均匀的照明。环形灯110放置于形成框架118的一部分的不透明盖112上方大约40mm处，并且因此在培养皿102上方大约30mm处。环形灯110的使得从白色LED发出的光以较低角度打在培养皿102表面的定位防止了LED的来自摄像装置104所拍摄的培养基中央表面的镜面反射。

·具有基于漫射器后方的白色LED阵列的平板灯的形式的照明装置114。照明装置114位于不透明盖112下方约150mm处。选择这个距离以使得从环形灯110发出的光落在挡板上而不是灯114上，以减少培养皿102的后部照明。

·用于在摄像装置104的直接视场中支撑培养皿102的支撑件116。支撑件116是3毫米厚的透明玻璃台。在玻璃随着时间变得刮花的情况下可以更换玻璃。支撑件116包括用于在支撑件上定位培养皿102的两个以上的三角形的透明定位元件。三角形的顶点朝向用于放置培养皿102的支撑件的中央，以使得顶点接触培养皿102的外周。

·框架118将摄像装置104、支撑件116、环形灯110以及照明装置114彼此相对地布置。框架118由减少入射到设备100的光量的诸如金属薄板或者塑料薄板等的不透明材料制成。设备100的内表面在可能的位置涂黑以减少来自内表面的光进入镜头108的反射。

·框架118包括用以提供人工操作员将培养皿102放置在支撑件116上的进入路径的门120。或者，机器人皿处理装置可以使用该进入路径将培养皿102精确地放置在支撑件116上以用于摄像，并且接着将培养皿移出至指定输出通道/滑道。例如，培养皿可以放置在表示如上描述的直至四个类别之一的输出通道中。

·不透明盖112是跨框架118的宽度伸展并且将框架118有效地分割成顶部壳体122和底部壳体124的铝板。不透明盖112包括洞126以使得来自照明装置114的光透过到培养皿102。洞126的宽度略大于培养皿102的宽度(本例中为90mm，并且典型地在88mm至100mm之间)，并且小于环形灯110的直径。这防止了从环形灯110发射的光从框架118的底面128或者平板灯114的表面反射并且经由培养皿102反射回去。

·框架118还包括位于不透明盖112下方的光挡板130。

·还设置有形式为齿轮齿条组件的用于改变环形灯110相对于支撑件116的位置的部件131。

·框架118、不透明盖112以及光挡板130限定了内腔132，以使得支撑件116将培养皿102支撑在摄像装置104和内腔132之间。支撑件(玻璃台)116密封内腔132并且防止不想要的材料落入内腔132中。在环形灯110照明并且照明装置114关闭的情况下，不透明盖112防止来自环形灯110的光对内腔132的可见区域照明。在此结构中，内腔132看起来像黑色背景。

·侧角度灯134用于从一定角度照明培养皿102以突出琼脂上的诸如浅凹或粒状纹理等的任何表面形貌。侧角度灯134的替代是仅启动环形灯110的一些LED，以使得仅从一个方向对培养皿102照明。

·诸如计算机136等的处理部件通过物理接口或无线接口与摄像装置104、环形灯110以及照明装置114相连接。计算机136可以包括处理器138以及存储用于启动不同组件、拍摄原始数据及处理该数据的软件142的存储器140。

·图像、元数据以及其它信息的库可以存储在计算机136，或者可以由计算机136通过网络访问。类似地，LIMS可以通过计算机136访问。

将理解不同的组件可以替代装置的任意上述组件，并且组件之间的距离和组件的位置可以调整。例如，尽管照相机106和镜头108在框架118内部示出，但在其它示例中，它们可以在镜头108经由框架118的顶面中的洞突出的情况下定位在框架118的外部。此外，可以减小框架118的宽度以减少设备100的总体大小。

现在将描述使用设备100的图像获取过程。该过程可能适用于获得以下图像，该图像用于使用已训练的机器学习分类器对培养皿102上的微生物生长分类、或者用于训练这样的分类器。将描述手动过程，其中许多步骤由人工操作员进行，但是将理解过程的许多步骤可以自动化，并且由软件或者机器人装置进行。

首先，由用户将已接种并培养的培养皿102放置在支撑件116上的三角形止动件内。培养皿102通常存储于实验室中，琼脂面向下(以防止盖上的凝结落到并损害琼脂表面)，因此，将培养皿102放置在支撑件上可能包括移除培养皿102的盖子并将培养皿转动成琼脂面朝上。

启动软件142以开始摄像过程。软件142要求用户扫描培养皿102上的条形码或者手动输入数字。条形码与样本ID连接，这将培养皿与特定样本并且通过LIM系统与特定患者连接。一旦已输入条形码，照相机输出的实时视频预览就出现在图2(a)中示出的窗口中。用户可以基于实时视频流提供的反馈来调整培养皿102的位置或者镜头108的焦距或光圈。

接着，需要用户选择培养皿类型(例如分割的或完整的)、样本类型(例如尿液、肠道、血液或者组织)以及琼脂类型(例如血或者产色)。图2(a)的左上角和图2(b)示出了皿数据选择选项的例子。在替代方案中，可以基于输入的条形码从LIM系统中提取这些信息，而不是要求用户选择培养皿、样本以及琼脂类型。

在已输入数据后，输入培养皿位置。用户可以采用两种方法输入该信息。第一种是通过允许输入皿的x、y位置及其半径的传统的滑块集。在皿是分割皿的情况下，用户还必须输入分割的位置。图2(a)的左下部以及图2(c)示出此例子。第二种方法是通过针对实时视频预览操作标记集。用户经由用户能交互地移动的三个点将圆放置在琼脂周围。这三个点唯一地定义了圆。第四个控制点使得用户在适当的情况下指定中央分割的位置。控制点快速且容易非常精确地放置。图3示出了这种交互可能发生的方式的例子。在以机器人放置培养皿的系统中，将已知培养皿的位置，并且能够计算出分割的位置。

可以基于所选择的培养皿、样本以及琼脂的类型从数据库获得曝光和光的设置。

正确的曝光对于优质的摄像是重要的。在测试照相机106期间，由于培养皿可能包含的不同种类琼脂的不同透明度，因此判断为对分割培养皿的各个侧需要分别曝光。对照明的选择也严重影响所需要的曝光设置，因此用户也能够以在启动顶灯或底灯的情况下的任何可用配置预览图像。图2(d)示出可以用于选择启动顶灯或者底灯的单选按钮。尽管没有示出，但是作为替代，用户还可以选择启动侧角度灯。

例如，可以由用户使用可利用诸如图2(e)所示等的下拉菜单来选择的一系列自动曝光算法来调整曝光设置。各个自动曝光算法具有相同的核。给定目标亮度b_tgt以及测量到的亮度b_meas，新的曝光e_new计算为：

换言之，在亮度太高(图像饱和)的情况下，无条件地将曝光降至其先前值的80％。否则，将该改变箝位在0.5至2之间。在两次连续的曝光设置彼此相差在10微秒之内的情况下，停止调整。典型地，两个亮度测量值表示为0至1之间的数，其中0是黑色(没有亮度)并且1是白色(全亮)。

各种自动曝光算法之间的区别在于它们如何计算当前图像的亮度。可以使用的不同算法包括：

均值：在该模式中，计算图像中所有像素的平均亮度。

中心加权均值：中心加权均值计算所有像素的平均亮度，但是给予在中央的之内的像素额外的权重(将各个中央样本计数8次)。

点：该方法也计算平均亮度，但是仅仅计算在中央的之内的像素。由于中央点没有特殊的意义，因此这种方法对琼脂皿不那么适合。

中位数：该方法通过计算直方图计算整个图像的亮度中位数。直方图的各小区间为4级宽，因此在输入图像为16比特的情况下，直方图有16384个小区间。图像真正的比特深度也可以从照相机读取并提供给算法。

绿色：该方法与均值相同，但是单独用绿色通道计算亮度。该方法因为两个原因而具有优势。第一，在Bayer马赛克图像中真绿像素的数量是红色或蓝色像素的两倍。第二，人眼对绿色敏感，因此使用它调整图像在概念上应当提供高质量的图像。

软件142还可以包括例如通过使像素在其正常颜色和红色之间脉动的用于辅助用户选择良好曝光设置的处理。这帮助识别可以通过降低目标图像亮度来修正的过曝光或者饱和的像素。

初始的曝光设置从数据库中加载，并且在各次拍摄前使用前述算法之一进行调整。一旦在给定的照明配置下完成了曝光设置，就使用图4所示方法进行摄像。在步骤164，对拍摄进行初始化，在步骤166，启动照明结构(例如，环形灯110)。在步骤168，由摄像装置104使用该照明结构拍摄图像。对各个培养皿重复图像拍摄若干次，其中各次具有相同的曝光(步骤170)。在处理阶段对各个图像求平均以减少图像噪声。五个图像的序列就足够了。在分割培养皿的情况下对培养皿的另一侧重复该过程(步骤172)，并且对于例如对于底灯装置114的其它照明结构重复该过程(步骤174)。在步骤176，将拍摄到的图像移交以用于数据处理，并且接着图像拍摄完成(步骤178)。作为例子，拍摄分割培养皿的图像可能需要5×2×2＝20张图像，假定照相机106以每秒9帧来工作，则需要花费大约2秒钟。

一旦已拍摄图像，就可以把图像移交给分开的用于异步处理的执行线程。接着，拍摄窗口恢复为等待输入条形码。每次拍摄了培养皿图像时，将图像以及任何重要的元数据存储在库中。

将理解尽管在以上描述的软件中，需要用户定位培养皿并且输入元数据，但是该过程可以自动化。例如，机器臂可以在图像拍摄前将培养皿放置在支撑件上，并且在图像拍摄后将其移除。软件可以自动地检测培养皿在图像中的位置并且检测培养皿是分割的还是完整的。机器人系统可以用于读取培养皿上的标识符或者条形码。条形码或者其它标识符可以允许访问诸如培养皿类型、样本类型以及琼脂类型等的信息从而不需要由用户来输入该信息。在软件的以全自动处理为目标的版本中，用户将不调整曝光或目标亮度设置。

图像处理

一旦以良好的曝光拍摄了图像，处理来自摄像装置的原始数据以针对样本获得更准确的图像，其中，该图像能够用于生成用于生成提升分类器的提升算法所使用的特征图像。将理解尽管该实施例描述了提升算法的使用，但是作为替代，可以使用不同的技术来生成分类器。

参考图5中示出的方法，图像处理在步骤163开始，并且包括在步骤165对由摄像装置拍摄的图像求平均、在步骤167对平均图像进行去马赛克、在步骤169对得到的图像做颜色校正、在步骤171计算特征矢量以及在步骤173停止处理。

对图像求平均以将以相同曝光拍摄的五张(或其它数目)图像合并为单个总体图像。使用五张平均图像减少了噪声的影响。

由于大多数照相机具有的传感器在各物理位置处仅能够测量一个颜色，因此，例如使用Bayer配置的颜色滤波器进行去马赛克。这意味着来自照相机的原始数据是红色、绿色以及蓝色像素各自的马赛克图案。用于去马赛克的适合的方法包括：

·最近邻域：最近邻域是用于产生快速、低质量的结果的简单方法。在该方法中，各个2×2的块一起处理。将红色和蓝色值从其原始位置复制到缺少相应值的其它三个像素中。接着，将绿色值垂直或水平地复制。这使得各个2×2块在所有位置处具有全部通道。

·降采样：降采样方法以分辨率为代价产生可以说是最好的结果。在此方法中，将各个2×2块折叠为单个像素。对2个绿色值求平均，并且简单地分配红色和蓝色值。该方法不需要插值，并且因此最忠实于原始的像素数据。

·适应性同质导向(Adaptive-Homogeneity-Directed,AHD)去马赛克：已经发现该算法是最适合的。AHD处理的细节可以在K.Hirakawa and T.W.Parks.“Adaptivehomogeneity-directed demosaicing algorithm”ICIP,2003中找到，其内容通过引用包含于此。在本质上，AHD通过对绿色通道垂直和水平地插值以产生2个图像。接着，通过平滑在红色与绿色通道之间的差以及在蓝色与绿色通道之间的差，对各个图像添加红色和蓝色通道。最后，通过识别同质的区域并在各点处选择对取出像素最合适的图像，来合并两张图像。该处理导致非常高质量的结果。

图像的颜色校正涉及校正白平衡和亮度，以及使用预先计算出的映射以将平均图像的表观颜色映射到真实颜色。白平衡和颜色校正对于保证琼脂和菌落颜色的正确判断有益，其中该判断对于物种形成以及诸如发酵和溶血等的现象的检测是重要的。因此高质量的颜色校准是重要的。

用于校正图像的白平衡和颜色校正参数针对摄像装置和照明配置是特定的，并且使用颜色图预先计算出来。参考图6(a)，在步骤180，拍摄基准颜色图的图像。该图可以是标准的“gretagmacbeth ColorChecker^TM颜色再现图”，其具有24个色片，各个色片具有相关联的基准红色通道、绿色通道以及蓝色通道值。可以手动或者通过使用软件142发出的电信号来启动照相机106以拍摄该图像。通过照相机传感器拍摄到的数据在颜色校准关闭的情况下通过物理或无线连接传送到计算机36。

在步骤182中，用户指示基准颜色图中每个色片的位置。例如，软件可以让GUI显示来自照相机106的图像的预览，并且用户可以以特定顺序点击颜色图中四角的方块以使得能够确定色片的位置。在其它替代方案中，色片的位置可以使用不同的用户接口、机器视觉技术或者通过将基准颜色图放置在相对于照相机的固定距离的特定已知位置处来确定。

在步骤184，以21×21的像素窗口拍摄各个位置处的平均颜色，并且将该平均颜色用于块颜色。当然将理解，可以使用不同大小的像素窗口以计算平均颜色。

在步骤186，根据单个色片、即基准颜色图中第三暗的灰色片计算白平衡。假定在该中性灰色片中R、G和B值相等。白平衡表示为：

其中w_g隐式定义为1。计算权重w_r和w_b以产生与g’值相等的r’和b’值。计算出的白平衡值w＝[w_r，1，w_b]将用于校正照相机所拍摄的图像的白平衡。

一旦已计算出白平衡，在步骤188，计算出将表观灰色颜色值尽可能映射到一起的曲线C。这提供了用于照相机的亮度映射。曲线的形式为g′＝ag^b+c，其中g是输入颜色，g’是输出并且a、b以及c是计算出的曲线C的参数。图7示出了从该过程获得的示例曲线。一旦估计出了曲线，该曲线就可以对每个颜色通道独立应用。颜色映射功能的最后阶段(步骤190)的目的是提供针对各个像素的色相和饱和度的映射。

在步骤190，基于经过白平衡和颜色校正的图像来测量多个色片的表观色相和饱和度，并且计算色相和饱和度映射。使用一系列控制点将表观色相值映射到实际色相值来提供色相映射。这使用立方插值(或其它更高阶插值方法)来实现。各个控制点包含圆形色相空间中的固定的位置，以及在优化期间计算出的角度偏移。对偏移进行立方插值以针对特定的色相值提供会把特定的色相值映射成实际色相的偏移。

饱和度映射函数使用一系列控制点来缩放饱和度值。这些控制点可以与用于映射色相值的控制点相同或者不同。饱和度映射函数可以使用与色相映射函数相同的插值方案。注意饱和度必须在范围[0,1]内，并且因此对该函数的输出值箝位以确保执行该范围。在替代方案中，饱和度映射可以通过应用与亮度校正曲线相似的曲线来完成。

如图8所示，在亮度和饱和度映射函数中使用的控制点可以沿圆形色相空间的边缘均匀地散布。该圆形色相空间包括通过有色圆圈表示(例如控制点192)的16个控制点。例如，色相为0度并且饱和度为1的有色圆圈可以是红色，色相90度并且饱和度为1的有色圆圈可以是绿色，色相180度并且饱和度为1的有色圆圈可以是蓝色，并且色相270度并且饱和度为1的有色圆圈可以是紫色。角度偏移194以及标度196的方向也在图8中示出。控制点的角度位置由它们的色相值定义，并且控制点的径向位置由它们的饱和度定义。示出两个环的控制点，内环具有饱和度0.5，并且外环具有饱和度1。在单个环的控制点的情况下，只要求与色相对应的单个值选择合适的点。色相表示为角度并且函数在选择控制点的情况下必须考虑这一点。

控制点数量的最大值由可用的颜色样本的数量定义。各个控制点具有两个参数，并且各个样本提供三个剩余。因此，n个颜色样本最多可以有3n/2个控制点。然而在实践中，测量过程导致颜色测量中的误差。选择控制点可能包括使用不同数量的控制点计算针对一系列候选映射的误差，并且基于生成可接受误差的最小数量的点从该系列映射中选择出映射。已经发现12个控制点对于具有24个色片的图是充分的。

由于已经估计了亮度曲线，假定亮度值是正确的，因此不需对其调整。优化角度偏移和标度以将来自图像的色片的表观颜色最佳映射到基准颜色图中的等价色片的实际颜色。这通过计算映射f(p)以使得真实颜色和映射颜色之间的距离最小来实现：

其中p_i是真实颜色，并且是测量颜色。颜色可以在例如RGB、YUV、LAB或者XYZ的任何颜色空间中表示。

成本函数包括用于确保标度维持在1附近以及偏移在0附近的值的项，以防止非常大的改变(诸如大于360°的偏移等)。给出下面的误差测量：

其中δ_i是针对控制点的偏移量，并且s_i是针对控制点的标度。试图选择δ_i和s_i以最小化∈，也就是，

可以使用Levenberg-Marquardt算法获得此等式的解，尽管任何其它非限定的最小化器也足矣。成本函数试图在保持色相偏移接近0并且饱和度接近1的情况下使将颜色一起映射时的误差最小化。

总之，针对各个点确定角度偏移194和标度196，以使得针对各个片的每个变换后的表观颜色(例如RGB)与基准颜色(例如RGB)之间的距离的平方和最小化，同时保持角度偏移接近0并且标度接近1(使1减去标度最小化)。

图9示出对于特定照相机的(a)跨色相/饱和度空间的映射、(b)分离的色相映射函数与(c)分离的饱和度映射函数的图形表示。图10提供了关于映射精确度的一些细节。y轴上的各个位置表示24个色片之一并且x轴表示各自可以在0和1之间的颜色值。在图11中示出使用映射对图像进行颜色校正的例子。第一张图像(a)示出了在用户选择色片的位置之后的如照相机所拍摄的输入图像。注意在这个例子中，白平衡已经大致正确了。第二张图像(b)示出了校正后的颜色。色片上可见的小的有色方块示出了各个片的真实颜色。

接着，可以将此映射用于对使用相同(或相同类型)的摄像装置所拍摄的图像进行颜色校正。参考图12，用于将表观颜色映射为实际颜色的方法包括在步骤181使用照相机拍摄图像。可以确定各个像素的外观RGB颜色值，并且这些颜色值可以使用先前计算出的权重/曲线进行白平衡以及亮度校正。接着，该方法涉及在步骤183对于图像中的一个或多个像素确定像素的表观色相和饱和度(步骤185)，在圆形色相空间中的两个以上控制点的角度偏移之间插值以确定与表观色相关联的角度偏移(步骤187)，在圆形色相空间中的两个以上控制点的标度之间插值以确定与表观饱和度相关联的标度(步骤189)，将角度偏移应用到表观色相上(步骤191)以及将标度应用到表观饱和度上(步骤193)。

一旦已应用映射，HSV空间的颜色就可以变换回RGB空间，或者变换到所期望的其它任何输出空间。

线性方法也可以替代HSV的方法，其中经由

对颜色进行映射，其中T是一个3×3的变换矩阵，并且其余变量是标量。

图13示出了对于具有一半血琼脂以及一半产色琼脂的分割培养皿的总体摄像流水线。流水线运行两次，其中针对各个照明配置(顶灯照明与底灯照明)运行一次。流水线也有两个分割以分别拍摄培养皿的各侧的图像，其中各个分割针对琼脂的类型而优化。在给定输入培养皿200的情况下，针对产色202的一半或者血204的一半设置曝光，接着从照相机拍摄原始图像206、208并且去马赛克210、212以产生两个不同的RGB图像。把去马赛克图像的相关的一半拼在一起构成复合图像214，其中对该复合图像进行颜色校正216。作为替代，可以将原始图像复合在一起，并且对该复合图像去马赛克，从而减少了需要的计算。

一旦图像已经求平均、去马赛克并且颜色校准，结果就是针对培养基的图像数据。同样的拍摄和处理图像的过程可以用于获得用于训练分类器的图像数据和用于将培养皿分类的图像数据。

图像加标签

出于训练分类器的目的，图像数据由有经验的微生物学家加标签。这可以不在现场并且远离摄像和照明设备来完成。加标签是为特定的培养皿的图像数据提供正确的标签的过程。标签的选择对于不同的琼脂和感兴趣的细菌类型可以是不同的。在加标签时，操作员也可以检查针对培养皿的元数据以保证元数据是正确的。

加标签可以通过任何绘画软件中典型的简单绘图工具来完成。加标签程序可以加载与特定图像相关联的元数据，并且使用元数据来确定何种微生物适用于特定的培养皿。接着，在培养皿是可能改变可用的微生物集的分割培养皿的情况下，用户可以选择他们希望加标签的培养皿侧。在实施例中，在已选择要绘画的微生物的情况下，用户有三种可用的用于绘画的主要工具：刷子工具、填充工具以及橡皮擦。刷子工具是可变大小的圆形刷子。填充工具从光标下的点进行填色。填充工具根据在点击时光标下的内容，为连续区域填充背景色或特定的标签颜色。橡皮擦与刷子工具同样运作，但是橡皮擦写入“未知”标签而不是微生物标签。

也可以提供给用户其它工具：滴管、检查器、以及皿定位工具。滴管用于将当前所选择的微生物改变为光标下的微生物。当在屏幕上到处移动鼠标时，滴管还将窗口状态设置为在光标下的微生物的名称。检查器将窗口状态设置为光标下的当前颜色以及光标在图像上以像素表示的位置。检查器还突出显示光标下的任何微生物，并且提供这些微生物以像素表示的大小。皿定位工具与摄像窗口中的工具相同，并且用于调整培养皿在图像中的位置。

在微生物学家选择了图像数据中的要给予特定标签的区域的情况下，向所选择区域内的各个像素指定该标签。已加标签的图像数据和从标签中提取的元数据一起存储在库中。

训练

使用用户提供的用于图像集的标签以及特征矢量(将在下文描述)，训练提升决策树分类器以对皿自身和细菌生长进行区分，以及对不同类型的生长进行区分。

参考图14，用于训练分类器的方法包括在步骤220，获得针对微生物生长的多个样本的已加标签图像数据，在步骤222对于各个已加标签图像数据：对于图像数据中的多个像素，生成通过对图像数据应用一个或多个滤波器所获得的值的特征矢量(步骤224)，并且在步骤226，使用特征矢量来训练提升分类器以根据与已加标签图像数据中的像素相关联的标签对多个像素中的各个像素分类。

应用一个或多个滤波器以转换图像数据并且提取能够用于训练分类器的信息，以使得分类器能够学习各个类型的细菌生长的独特特征。滤波器从各个像素及其周围提取关于培养皿的颜色和纹理的信息。滤波器的输出可以是特征图像集。滤波器及其结果特征图像的一些例子在下面给出：

RGB滤波器：一些生长类型可以通过它们的颜色容易地区分。RGB滤波器是最简单的滤波器类型，并且将图像数据的RGB通道复制到特征矢量中，从而对各个像素给出R、G以及B值。图15示出原始图像数据(a)、红色通道特征图像(b)、绿色通道特征图像(c)以及蓝色通道特征图像(d)。

LAB滤波器：LAB滤波器提供附加颜色信息。这个滤波器主要将RGB图像数据转换到LAB颜色空间(其中L通道表示亮度，并且A和B通道包含颜色信息)。该空间使得在一些细菌类型的颜色之间能够更容易地区分。此外，该滤波器可以用于测量L、A和B在不同大小的窗口内的均值和方差。已经发现5×5、11×11以及21×21的窗口提供良好的结果。这个与在像素的邻域中的颜色有关的附加信息可以帮助在具有相似外观的类型之间进行区分，其中这些类型针对个别像素可能共用颜色，但是在更大的区域所见的颜色的范围不同。图16示出L特征图像(a)、A特征图像(b)、B特征图像(c)、11×11窗口特征图像中L的方差(d)、11×11窗口特征图像中A的方差(e)、11×11窗口特征图像中B的方差(f)、11×11窗口特征图像中L的均值(g)、11×11窗口特征图像中A的均值(h)以及11×11窗口特征图像中B的均值(i)。

有向高斯滤波器：在各种方向上向图像应用一维高斯核。也可以利用高斯核的一阶和二阶导数。

位置滤波器：位置滤波器将各个像素到培养皿边缘的距离提供给分类器。该特征是出于以下观察，在琼脂的弯月面上或是在皿的塑料脚上方的培养皿的边缘，经常出现很困难的情况。该位置信息的存在使得分类器能够适应培养皿在到边缘不同距离处的变化的外观。各个像素到边缘的距离通过对图像掩模进行距离变换获得。图17中示出位置特征图像的例子。

颜色量化滤波器，其中通常经由直方图减少图像内的颜色的数量，以帮助定位颜色相似的区域。

纹理滤波器：纹理信息帮助分类器区别具有相似的颜色、但是不同的表面纹理的类型。应用纹理滤波器时，首先将图像转换为灰度级。接着，为了减少噪声，通过使用高斯核进行卷积来平滑图像。二维高斯核定义为：

由于该核是线性可分割的，因此在实践中此卷积通过首先在x方向上利用一维高斯核卷积，接着在y方向上利用一维核来进行卷积，其中σ＝4:0。接着，纹理滤波器提取边缘信息，返回在各个像素处的灰度级x和y图像梯度。针对像素的梯度值通过利用Sobel核进行卷积来提取，

以及

图18(a)中示出在x方向上的梯度值特征图像，并且图18(b)中示出在y方向上的梯度值特征图像。

滤波器还在像素周围的5×5、13×13以及21×21像素窗口计算“平滑度”度量，从而测量培养皿在该区域内的纹理程度。使用的平滑度度量为各个窗口中梯度值的协方差矩阵的迹，从而给出了对梯度值在该窗口中的总方差的测量。图18(c)、(d)和(e)中分别示出针对5×5、13×13以及21×21窗口的平滑度特征图像的例子。

一旦已经创建特征图像，就根据这些特征图像生成针对多个像素中的各个像素的特征值的矢量x＝(x₁,…,x_n)，并将其传递给分类器。在培养皿有多于一张图像的情况下(例如使用顶灯结构拍摄的第一图像集，以及使用底灯结构拍摄的第二图像集)，特征矢量可以包括来自利用其中一个图像集或两个图像集所创建的特征图像的值。还将与各个像素相关联的标签y传递给分类器。

特征矢量可以针对图像数据中的每个像素生成，或者仅仅与像素的样本相关联地生成。对像素采样减少了所需的计算，并且因此减少了用于训练分类器的时间。可以使用随机采样过程从完整的已加标签像素集中选取用于训练的示例集。这可以是稀疏采样或者是密集采样过程。稀疏采样方法对正在训练中的各个类别构建单独的池，从该池中选择N个样本。在按类别的已加标签的像素数小于此指定的样本数量的情况下，像素以替换的方式采样。对各个类别训练相同大小的示例集防止了分类器偏向于对更常见的类型具有更好的性能。密集采样方法在每N个样本中提取一个样本。在训练背景分类器时，阴性示例集包括各个生长类型的示例。对于N个阴性样本以及J个生长类型，选择各个类型的N/J个样本。

为了将各个像素分类、因而将像素加标签为皿背景或者加标签为生长类型集之一，必须训练分类器。在本实施例中，使用决策树作为弱分类器来训练提升分类器。在训练中，以根节点开始，通过在各个节点处找到给出将输入数据最优地分割为阳性和阴性样本的测试、接着根据该测试划分数据并且对数据的子集针对各个子节点重复该过程，递归地创建决策树。分割子节点直到树已达到最大指定深度、节点中的全部样本属于同一类别、不能找到比数据的随机分离更好的分割或者节点具有的样本太少以至于不能进行有意义的分割为止。图19示出了决策树示例。

本实施例中使用的提升过程是离散AdaBoost。如下给出离散AdaBoost的伪代码：

算法1离散AdaBoost

离散AdaBoost迭代地训练一系列T弱分类器h_t(x)，以适应于通过各个附加分类器改进训练性能。利用与各个示例相关联的表示该示例的相对重要性的权重w_i，在N个已加标签的训练示例(x,y)上训练各个分类器。各个训练示例(x，y)包含值的特征矢量x＝(x₁,…,x_n)以及表示是阳性(+1)示例还是阴性(-1)示例的标签y∈{-1,1}。优化弱分类器以最小化误差其中该误差是分类器错误分类的示例的权重之和。

在使用给定的权重集训练最优分类器后，更新权重以对由当前分类器集误分类的示例给予更高的权重，以改进下一个分类器在这些示例上的性能。这通过基于分类器的误差对误分类的示例增大权重并且正规化所有例子的权重来完成。

为了使用二元分类器针对多于两个类型分类，可以使用AdaBoost.MH过程。在该算法中，为各个像素的特征矢量添加附加的特征值，其具有表示训练样本的类别的整数值(1,…,J)。对于J个类别，在当J是该样本的类别时将示例集的标签y设置为1、否则为-1的情况下，各个训练示例重复J次。对像素分配具有最强的分类器结果的类别。可以根据最强分类器的相对强度对该像素设置置信度值。例如，在利用有J个类别的多类别分类器中正确分类的概率的公式所计算出的、向特征矢量x_i分配标签l_i时的置信度值pl_i(X_i)可以使用下面的等式求出：

可以并列地独立运行一些分类器以获得对于特定的菌落类型、介质类型、背景杂波、附加菌落属性或者其它区别特征的结果。

为了更好的分类速度和性能，可以作为两阶段过程进行分类。在第一阶段，区分背景像素与所有其它类型的二元分类器快速地分类出大多数背景像素。接着，多类别分类器对剩余的像素分类。

初始的二元分类器可以遵循级联分类器方法。该分类器的目的在于快速分类出大部分背景，而在下一阶段进行更准确的分类。这样，由于误分类的像素可以在下一阶段中被正确地分类，因此相对高的假阳性率(将背景像素分类成前景)是可接受的。然而，由于无法在下一阶段纠正，因此假阴性率应当非常低。为了快速分类，将分类器使用的树的数量保持为尽可能小。训练初始分类器，并且针对所指定的最大假阳性率来测试其分类性能。在分类性能大于此阈值的情况下，训练新的分类器，并且继续该过程直到分类器的组合具有期望的假阳性率为止。随着各个分类器的添加，调整分类为前景所用的阈值，以实现对于该分类器级所要求的假阴性率。

用于训练级联分类器的伪代码给出如下：

算法2级联

其中f是每个阶段的最大可接受假阳性率、d是每层的最小可接受真阳性率、F_i是级i的假阳性率、D_i是级i的真阳性率、F_target是最大总体假阳性率、P是阳性示例集、N是阴性示例集并且t_i是针对各层的分类阈值，其中超过该阈值则认为分类器在该级作出的预测为阳性。

来自训练级的输出为能够用于在新样品的图像数据中对像素分类的提升分类器。

为了改进分类结果，可以编辑已加标签的图像数据中的标签以主要用于校正分类器错误，并且重新训练分类器，以创建反馈环路。这可以重复任意次，但是在实践中，两次或三次通常足够了。分类器的结果也可以用作滤波器的输入，以创建用于如上所述训练新的分类器的特征矢量。

分类器可以在服务器上利用训练图像数据库来训练。可以执行训练程序，并且在结束后写出分类器以及来自训练运行的各种统计数据和结果。于是，分类器可以用于对新的培养皿上的像素自动加标签。

自动皿分析

图20中示出用于分析具有未知微生物生长的新的培养皿的方法。在步骤250，设置培养皿的元数据。可以由用户输入元数据，或者从如上描述的LIM系统获得元数据。用于元数据值的选项可以从生物数据库252中选择。在步骤254，拍摄培养皿的图像(或者在批处理培养皿的情况下拍摄多个培养皿的图像)。可以由操作员通过如上描述的GUI程序进行图像拍摄。接着，软件在步骤256取得图像、对图像去马赛克并且检测培养皿位置，在步骤258对去马赛克后的图像运行图像滤波器集，并且接着在步骤260将结果输入合适的分类器。在必要的情况下迭代滤波和分类步骤。接着，分类器生成对培养皿上的细菌的逐像素估计，该估计包括预测的标签以及标签的置信度。在步骤262，对该估计运行图割，并且在步骤264，使用图割的输出以生成报告。

图割算法计算出将图划分成两个以上集合的最优划分。图21中示出用于改进像素分类结果的方法。在步骤270，利用与图像数据中的像素(或者像素的样本之一)相对应的各个节点构造图。还添加标签，其中各个标签与类别相对应。在步骤272，在与邻接像素或者邻域像素相对应的节点之间添加边，并且在步骤274，在各个节点与各个标签之间添加边。在步骤276，图割算法用于切割到节点的边并将图划分为类别，其中图割算法使用与该节点相对应的像素以及相邻像素的像素分类结果作为输入。

图22示出初始图(a)的示例以及示出分割后的加标签的划分图(b)。在图22中，源节点S和汇节点T与可能的节点标签相对应。图割针对各个节点确定标签，从而切割在各个节点与源或汇之间的边，并且切割在具有不同的标签的邻接节点之间的边。在每次切割特定链接时都发生成本。在计算最小成本切割时，图割过程使具有以下形式的能量函数最小化：

其中l是标签集、N是节点集、M是所有邻域节点集、x是特征数据、U(l_i；x_i)针对各个可能的标签分配向各个节点分配成本(实现为与切割到源或汇的边有关的成本)、并且V(l_p,l_q)对各边分配成本以用于对附加的节点分配不同标签。

U(l_i，x_i)＝min(-log(1.0-pl_i(x_i))，20.0)

pl_i(x_i)是给特征矢量x_i分配标签l_i的置信度，使用在具有J个类别的多类别分类器中正确分类的概率的公式计算该置信度，其中h(x,k)是对类别k的分类结果：

而

图割算法的其它输入可以包括图像颜色以及边缘数据。此外，可以在U(l_i；x_i)成本分配中包括针对加标签的期望菌落大小。其它可以考虑的因素是诸如对不会彼此相邻出现或者可能一同出现的菌落类型的定义等的、来自专家系统的预定规则。这可以包括在平滑项V(l_p,l_q)中。

在可能的标签数量大于2的情况下，使用alpha扩展过程来从二元加标签进行多类别加标签。Alpha扩展过程的伪代码见Yuri Boykov,Olga Veksler,and Ramin Zabih“Fastapproximate energy minimization via graph cuts”IEEE Trans.PatternAnal.Mach.Intell.,23:1222–1239,November 2001的第2页，如下所示：

1.Start with an arbitrary labeling f

2.Set success：＝0

3.

3.1.

one α-expansion of f(Section 4)

3.2.

and success：＝1

4.If success＝1 goto 2

5.Return f

该过程针对例如细菌类别或者背景的各个可能的类别在步骤3.1和3.2进行迭代，从而检查是否可以在不增加图的总能量E的情况下将不同类别的标签切换成该类别。一旦已对各个类别重复该过程并且不可能进一步减少能量，则返回最优的加标签。

在构造图时，在具有不同标签的邻接节点之间添加辅助节点，以在切割时包括加标签的成本。图23示出在节点p和q之间辅助节点的添加，并且对该图给予边权重。切割的成本是它的边权重的和。如图24所示，对于各对像素，切割必须切割三组边之一。该图取自Yuri Boykov,Olga Veksler,and Ramin Zabih的论文第6页。Alpha扩展过程确定三组之中具有最小边权重的组并且切割这些边。在切割将像素与标签alpha分离的情况下，对该像素分配标签alpha。

一旦已经进行图割，就可以分析像素的分类结果以输出评估。这可以包括对加标签为各个类别的像素计数以确定培养皿上的生长的类型和数量。它可以包括评估特定类别的像素数量是否超过预定数量。

提出用于对菌落计数的三种方法：

1.基本计数，其中通过为各种琼脂上各种微生物类型确定菌落的平均大小来估计菌落计数。可以将在特定培养皿上检测到的各种微生物的像素的数量除以这个数字以得到菌落数量。

2.基于密度的计数，其中在计数算法中包括到各个菌落的边缘的距离。这是基于应当将大面积的生长计数为若干个不同的菌落这一观察。因此对在菌落中心的内部像素分配更高的权重以实现这样的结果。通过手动测量许多菌落计数并且将结果相对于此度量制表，形成表格。接着，在看不到的培养皿上进行评估的情况下，这个表格可以用于通过该度量获得菌落计数。

3.基于图像处理的计数，其中首先通过连通分量算法分析包含标签的图像。依次检查由该算法检测到的各个分量。在通过预设的阈值表认为特定的菌落过大的情况下，则应用作为第1种所提出的方法。在认为菌落过小的情况下，将其计数为单个菌落。否则，可以考虑分量的形状。在分量的形状表现为圆形的情况下，将其计数为单个菌落。否则，应用分水岭算法以将分量分割成单个菌落，其中各个菌落使菌落计数递增。

接着，量化计数以产生对微生物学专家有意义的生长的测量。

评估可以包括将培养基识别为阴性控制。该方法为裸琼脂的面积确定期望值(例如，对分类为背景的像素的预定的最小数量)，并且该值必须超过某个最小面积以使图像拍摄和分析有效。从依赖于培养皿上识别出的琼脂和其它细菌的类型的值的表格来求出裸琼脂的必须可见的精确面积。

使用临床规则来分析像素分类和/或定量的结果并且生成评估。临床规则可以包括包含了患者样本类别、琼脂类别、已识别出的细菌的混合、国家标准、当地实验室的实践以及一些用户可定制的规则的表格。

可以更新主元数据和皿元数据文件，以反映评估并且加入从分类所提取的进一步信息。

此外，在实施例中，基于评估，各个培养皿可以接着送到设备100(图中未示出)的四个输出皿堆之一：(1)作废、(2)重新培养、(3)潜在致病的细菌识别或者(4)需要人工审查。可以预想这些堆中的某些堆可以以某些形式合并为单个堆。在任何情况下，操作员能够接着从输出皿堆中移除培养皿用于进一步操作。一旦已经处理了所有的培养皿，则可以重复整个工作流或者可以关闭系统。

应当理解，可以在不偏离本发明的范围的情况下对前述部分作出各种改变、增加和/或修改，并且根据上面的教导，本发明可以以技术人员所能理解的各种方式来使用软件、固件和/或硬件实现。

Claims (19)

1.一种用于分析固体培养基上的微生物生长的方法，所述方法包括：

获得所述固体培养基以及任何微生物生长的图像数据，

对于所述图像数据中的多个像素，生成通过对所述图像数据应用一个或多个滤波器所获得的值的关联特征矢量，

使用分类器以基于所述关联特征矢量对所述多个像素中的各个像素分类，以及

基于所述像素分类的结果枚举所述微生物生长的一个或多个菌落，

所述方法的特征在于，还包括：

分析每个所述像素的像素分类的结果以及所述一个或多个菌落的枚举结果以求出对所述固体培养基以及任何微生物生长的微生物学评估，

其中，对所述固体培养基以及任何微生物生长的所述微生物学评估，包括基于将所述一个或多个菌落划分为菌落类型的分类以及对每个菌落类型的枚举，对潜在致病的细菌的识别，以及

输出所述微生物学评估。

2.根据权利要求1所述的方法，其中，所述微生物学评估还包括以下步骤：

根据所述菌落的分类，对所述固体培养基上的菌落数量进行计数。

3.根据权利要求2所述的方法，其中，还包括使用连通分量算法分析所述像素分类的结果以确定表示所述微生物生长的预测菌落的一系列区域。

4.根据权利要求3所述的方法，其中，还包括基于各所述区域的大小和/或形状从所述一系列区域枚举所述微生物生长的所述一个或多个菌落。

5.根据权利要求1至4中的任何一项所述的方法，其中，所述分类器是用于将所述像素分类成三个以上类别的多类别分类器。

6.根据权利要求1至4中的任何一项所述的方法，其中，所述分类器是提升分类器。

7.根据权利要求6所述的方法，其中，所述提升分类器是提升决策树分类器。

8.根据权利要求1至4中的任何一项所述的方法，其中，使用所述分类器对所述多个像素中的各个像素分类包括：

使用第一分类器将各个像素初始分类为第一多个类别之一，以及

随后使用第二分类器将所述第一多个类别的一个或多个类别中的各个像素分类为第二多个类别之一。

9.根据权利要求8所述的方法，其中，所述第一分类器是用于将各个像素初始分类为背景或者非背景的二元级联分类器，并且所述第二分类器是用于将各个非背景像素分类为所述第二多个类别之一的多类别提升决策树分类器。

10.根据权利要求1至4中的任何一项所述的方法，其中，还包括：

对各所述像素分类分配置信度值。

11.根据权利要求10所述的方法，其中，还包括：

应用后处理算法以改进所述像素分类的结果。

12.根据权利要求11所述的方法，其中，所述后处理算法为图割算法。

13.根据权利要求12所述的方法，其中，还包括：

构造具有多个节点和多个标签的图，其中各个节点与所述图像数据中的所述多个像素之一相对应，并且各个标签与类别相对应，

在与所述图像数据中的邻域像素相对应的节点之间添加边，

在各个节点和各个标签之间添加边，以及

使用所述图割算法以切割到节点的边、并且将所述图划分成类别，其中所述图割算法基于对与该节点相对应的所述像素以及邻域像素的所述像素分类的结果。

14.根据权利要求13所述的方法，其中，所述图割算法还基于对与该节点相对应的像素的像素分类的所述置信度值。

15.根据权利要求14所述的方法，其中，所述图割算法还基于对邻域像素的像素分类的所述置信度值。

16.根据权利要求1至4中的任何一项所述的方法，其中，所述评估包括将所述固体培养基识别为阴性控制。

17.根据权利要求1至4中的任何一项所述的方法，其中，还包括使用临床规则来分析所述像素分类的结果并求出所述评估。

18.一种用于训练根据权利要求1所述的用于分析固体培养基上的微生物生长的方法中所使用的分类器的方法，所述方法包括：

获得针对所述固体培养基上的微生物生长的多个样本的图像数据；

针对所述图像数据中的多个像素中的各个像素，生成通过对所述图像数据应用一个或多个滤波器所获得的值的关联特征矢量；以及

使用所述关联特征矢量来训练分类器，以根据与所述图像数据中的像素相关联的标签对所述多个像素中的各个像素分类。

19.根据权利要求18所述的方法，其中，从所述图像数据稀疏采样得到所述多个像素。