CN113822852A - 图像处理方法、程序以及记录介质 - Google Patents

Abstract

本发明的图像处理方法包括：对细胞块进行光学相干断层拍摄，并获取表示细胞块的三维图像的三维图像数据的工序(步骤S111)；基于三维图像数据，获取在每个位置表示细胞块中的面向外部空间的外侧表面与面向空洞的内侧表面之间的细胞块的厚度的厚度分布的工序(步骤S116)；以及基于厚度分布的获取结果，检测厚度比周围的区域突出的突起部位的工序(步骤S118)。根据在内部具有空洞的细胞块的OCT图像数据，能够求出对细胞块的表面结构的分析有用的定量信息。

Description

图像处理方法、程序以及记录介质

技术领域

本发明涉及用于对细胞块，尤其是内部具有空洞的细胞块进行拍摄并分析其结构的图像处理。例如，涉及用于根据与通过对受精卵进行断层拍摄而获得的三维图像相对应的数据，提供对于评价该受精卵的用户有用的信息的图像处理技术。

背景技术

例如在以不育治疗为目的的生殖辅助医疗中，将在体外受精并培养了一定期间的胚胎(受精卵)返回至体内。但是，生殖辅助医疗中的妊娠成功率并未必会高，患者的精神以及经济上的负担也大。为了解决该问题，探索准确地判断培养的胚胎的状态的方法。

例如，在发展到胚泡期的胚胎中，在内部产生被称为“泡胚腔”的空洞结构，并且被称为“营养外胚层”的细胞的层覆盖该空洞结构的周围。构成营养外胚层的细胞的数量是评价胚胎的状态的指标，因此，需要非侵入式地对其数量进行计数的技术。

以往，关于胚胎培养是否良好地进展的评价，通常由例如医师、胚胎培养人员通过显微镜观察来目视进行。作为其判断指标，例如Veeck分类、Gardner分类等被广泛应用。但是，这些只不过是表示针对胚胎的形态学特征的大致判断基准，现状是，最终评价依赖于评价者的主观判断。因此，需要能够客观并定量地评价的技术。

另外，例如，已知肠管上皮的类器官(Organoid)构成在内部具有空洞的细胞群。在将其用作细胞膜输送系统的评价模型的情况下，理想的是形成由一层细胞层覆盖的空洞。但是，实际上经常在空洞的周围形成有多层的细胞层。因此，需要定量地评价肠管上皮类器官的表面的细胞层的结构，具体而言为细胞如何形成覆盖空洞的细胞层的技术。

作为期待满足这种要求的技术，公开了本申请的申请人先前申请的专利文献1、2。在日本特开2019-133429号公报(专利文献1)中，记载了从利用根据光学相干断层拍摄(Optical Coherence Tomography；OCT)等非侵入性的断层拍摄技术拍摄的胚胎(受精卵)的三维图像中识别并分割营养外胚层和内细胞块的方法。另外，在日本特开2019-132710号公报(专利文献2)中，记载了将OCT拍摄的胚胎作为二维图来进行可视化的技术。具体而言，记载了如下的技术：由以胚胎的重心位置为原点的极坐标表示胚胎，并通过将各矢径方向上的反射光强度置换为亮度值，辅助观察者进行胚胎的评价作业。

上述的现有技术是以观察者易于理解的方式呈现观察对象物的三维结构的技术。然而，尚未达到为了辅助观察、评价作业而自动地提取有效的定量信息。在这一点上，在上述现有技术中留有改良的余地。更具体而言，需要能够获取与胚泡期的胚胎、肠管上皮类器官等在内部具有空洞的细胞块的表面结构相关的定量信息的技术。

在胚泡期的胚胎(受精卵)中作为主要的评价对象的构成要素，除了上述的营养外胚层以及内细胞块之外，还有透明带。然而，在专利文献1、2中没有提及提取与透明带相对应的区域的技术。作为现实问题，在胚胎中，营养外胚层以粘贴在透明带的内侧的方式分布，而且，在OCT图像中两者的亮度信息几乎没有差异。因此，难以从OCT图像中辨别营养外胚层和透明带。

如上所述，未确立在OCT图像中将营养外胚层与透明带明确地区分处理的方法，在上述的专利文献1、2中所记载的技术中也未对应这一点。因此，为了提供对于想要单独评价它们的用户来说有用的信息，需要能够在OCT图像中更高精度地识别营养外胚层和透明带的技术。

发明内容

本发明鉴于上述问题而提出，其目的在于，提供一种在将内部具有空洞的细胞块的图像作为处理对象物的图像处理中，根据由OCT拍摄获得的图像数据，能够求出对于细胞块的表面结构的分析有用的定量信息的技术。例如，其目的在于，通过使用由OCT拍摄获得的胚胎的图像数据来识别营养外胚层和透明带，从而有效地辅助用户进行胚胎的评价作业。

为了实现上述目的，本发明的一个实施方式的图像处理方法，将在内部具有空洞的细胞块的图像作为处理对象，其中，包括：对所述细胞块进行光学相干断层拍摄，并获取表示所述细胞块的三维图像的三维图像数据的工序；基于所述三维图像数据，获取在每个位置表示所述细胞块中的面向外部空间的外侧表面与面向所述空洞的内侧表面之间的所述细胞块的厚度的厚度分布的工序；以及基于所述厚度分布的获取结果，检测厚度比周围的区域突出的突起部位的工序。

由于细胞核等的细胞的内部结构，各个细胞具有与周缘部相比中央部膨胀的结构。因此，在细胞之间互相横向地连接而形成的细胞层中，由于各个细胞的形状而产生凹凸。尤其是像胚泡期的胚胎(受精卵)那样，在以覆盖内部的空洞的方式由一层细胞构成的细胞层中，与一个一个的细胞相对应的突起部位在该层出现。因此，突起部位的数量能够成为表示构成层的细胞的位置、数量的指标。另外，突起部位的间隔能够成为表示各个细胞的大小的指标。

在上述发明中，根据OCT拍摄所得的细胞块的三维图像数据，求出细胞块的外侧表面与面向内部的空洞的内侧表面之间的细胞块的厚度的分布。该厚度分布能够在每个位置表示覆盖空洞的细胞层的厚度。细胞层的厚度不必一定均匀，例如在由一层的细胞构成的细胞层中，各个细胞的中央部分厚，周缘部更薄。因此，若根据求出的厚度分布检测与周围相比厚度大的突起部位，则可以说该部位是表示一个细胞的位置的部位的可能性高。

如上所述，通过求出覆盖内部的空洞的细胞层的厚度分布，并检测包含在其中的突起部位，能够获取定量地表示构成细胞层的细胞的位置、数量、大小等的信息。

另外，为了实现上述目的，本发明的一个实施方式的图像处理方法，包括：获取对胚泡期的受精卵进行光学相干断层拍摄所得的三维图像数据和进行光学显微镜拍摄所得的二维图像数据的工序；根据三维图像数据，确定与受精卵的结构体相对应的结构区域的工序；根据二维图像数据，确定与受精卵的透明带相对应的区域，并求出其平均厚度的工序；以及将结构区域分割为从外缘起朝向结构区域的内部处于平均厚度的范围的区域和除此之外的区域。

详细说明如后述，特别地，哺乳动物的胚泡期的胚胎(受精卵)的外形为大致球形，并且其表面被具有大致恒定厚度的透明带覆盖。并且，在透明带的内表面，根据位置而具有各种厚度的营养外胚层以粘贴的方式分布。另外，在由光学相干断层拍摄(OCT)而获得的胚胎的三维图像中，在营养外胚层与透明带之间几乎看不到亮度的差异。即，在OCT图像中，仅通过亮度值难以区分营养外胚层与透明带。

因此，在本发明中，通过结合使用OCT图像和光学显微镜图像，能够在OCT图像中区分营养外胚层和透明带。具体而言，根据OCT图像，确定与胚胎(受精卵)的结构体相对应的结构区域。此时，无需区分营养外胚层、透明带以及内细胞块，只要确定受精卵的三维图像中某个结构体所占据的区域即可。这里，若基于透明带的厚度大致恒定的见解，则能够假定根据OCT图像确定的结构区域中的从其外缘起朝向内侧一定的距离的范围由透明带所占据。

另一方面，根据通过对相同受精卵进行光学显微镜拍摄而获得的图像，估计透明带的厚度。在光学显微镜图像中，基于营养外胚层和透明带的亮度的差异来识别营养外胚层和透明带，这比OCT图像更容易。利用该情况，能够根据光学显微镜图像估计透明带的厚度。

根据这些信息，能够在OCT图像中区分营养外胚层和透明带。即，在由OCT拍摄获得的受精卵的三维图像中，从其外缘起算与根据光学显微镜图像求出的透明带的厚度相对应的范围能够被视为透明带所占据的区域。另一方面，在OCT图像中的不能与透明带区分的结构体中，从外缘起算比与透明带的厚度相对应的范围更靠内侧的区域能够被视为营养外胚层所占据的区域。

如上所述，通过将由OCT拍摄获得的受精卵的三维图像分割为从外缘朝向结构区域的内部处于从光学显微镜图像导出的透明带的厚度的范围的区域和除此之外的区域，从而能够区分透明带和除此之外的结构体。

另外，本发明的另一实施方式是用于使计算机执行上述各个工序的程序。另外，本发明的另一实施方式是非暂时性地存储上述程序的计算机可读取的记录介质。

如上所述，根据本发明，根据对在内部具有空洞的细胞块进行OCT拍摄而获得的图像数据，能够求出对细胞块的表面结构的分析有用的与各个细胞的位置、数量等相关的定量信息。例如，组合从OCT图像中获得的信息和从光学显微镜图像中获得的信息，能够在胚胎(受精卵)的OCT图像中高精度地识别透明带所占据的区域和其他区域。

附图说明

图1是表示适合作为本发明的图像处理方法的执行主体的图像处理装置的结构例的图。

图2A是示意性地表示在本实施方式中作为试样的胚胎的结构的图。

图2B是示意性地表示在本实施方式中作为试样的胚胎的结构的图。

图3是表示本实施方式中的图像处理的流程图。

图4是表示用于构建分类模型的具体方法的一例的流程图。

图5A是表示焦点深度与提取的透明带的面积之间的关系的图。

图5B是表示焦点深度与提取的透明带的面积之间的关系的图。

图6是表示用于选择对焦于透明带的图像的处理的流程图。

图7A是示意性地表示本实施方式的区域分割的情况的图。

图7B是示意性地表示本实施方式的区域分割的情况的图。

图8是表示XYZ正交坐标系与极坐标系之间的对应关系的图。

图9A是例示营养外胚层的厚度的求出方法的图。

图9B是例示营养外胚层的厚度的求出方法的图。

图10是表示求出营养外胚层的厚度的处理的流程图。

图11A是表示二维映射方法的一例的图。

图11B是表示二维映射方法的一例的图。

图12A是表示二维映射方法的另一例的图。

图12B是表示二维映射方法的另一例的图。

图13A是表示三维映射方法的示例的图。

图13B是表示三维映射方法的示例的图。

图14A是表示峰值检测处理的原理的图。

图14B是表示峰值检测处理的原理的图。

图14C是表示峰值检测处理的原理的图。

图15是表示峰值检测处理的流程图。

图16A是表示在二维图上检测的峰值位置的示例的图。

图16B是表示在二维图上检测的峰值位置的示例的图。

图17A是表示在三维图上检测的峰值位置的示例的图。

图17B是表示在三维图上检测的峰值位置的示例的图。

具体实施方式

图1是表示适合作为本发明的图像处理方法的执行主体的图像处理装置的结构的图。该图像处理装置1对担载在液体中的试样，例如在培养液中培养的胚胎(受精卵)进行断层拍摄。然后，对获得的断层图像进行图像处理，并制作表示试样的一个截面的结构的截面图像。另外，根据多个截面图像制作试样的立体图像。为了表示附图的方向，如图1所示，设置XYZ正交坐标轴。这里，XY平面表示水平面。另外，Z轴表示铅垂轴，更详细地说，(-Z)方向表示铅垂向下的方向。

图像处理装置1包括保持部10。保持部10以水平姿势保持容纳作为拍摄对象物的试样S的试样容器11。试样容器11例如是被称为“盘”的平底浅盘形状的容器。或者，例如，试样容器11是在板状构件的上表面形成有多个能够担载液体的凹部(孔)的孔板。培养液等培养基M被注入试样容器11中，并在培养基M的内部担载试样S。

在由保持部10保持的试样容器11的下方设置有拍摄部20。在拍摄部20中使用能够以非接触、非破坏(非侵入性)的方式拍摄被拍摄物的断层图像的光学相干断层拍摄(Optical Coherence Tomography；OCT)装置。详细说明如后述，OCT装置即拍摄部20包括产生向被拍摄物的照明光的光源21、光纤耦合器22、物体光学系统23、参照光学系统24、分光器25和光检测器26。

拍摄部20还包括用于进行光学显微镜拍摄的显微镜拍摄单元28。更具体而言，显微镜拍摄单元28包括拍摄光学系统281和拍摄元件282。拍摄光学系统281包括物镜，物镜的焦点聚焦在试样容器11内的试样S上。另外，作为拍摄元件282，例如能够使用CCD拍摄元件、CMOS传感器等。作为显微镜拍摄单元28，优选能够进行明场拍摄或相位差拍摄的显微镜拍摄单元。物体光学系统23和显微镜拍摄单元28由能够在水平方向上移动的支撑构件(图示省略)支撑，并能够改变水平方向上的位置。

图像处理装置1还包括控制装置的动作的控制单元30和驱动拍摄单元20的可动部的驱动部(图示省略)。控制单元30包括CPU(Central Processing Unit：中央处理单元)31、A/D转换器32、信号处理部33、拍摄控制部34、接口(IF)部35、图像存储器36以及存储器37。

CPU31通过执行规定的控制程序来控制装置整体的动作。CPU31执行的控制程序、在处理中生成的数据被保存至存储器37。A/D转换器32将从拍摄单元20的光检测器26以及拍摄元件282根据受光光量而输出的信号转换为数字数据。信号处理部33基于从A/D转换器32输出的数字数据进行后述的信号处理，并制作被拍摄物的图像。以这种方式制作的图像数据由图像存储器36适当地存储保存。

拍摄控制部34控制拍摄部20的各部分使其执行拍摄处理。具体而言，拍摄控制部34将OCT拍摄用的物体光学系统23和光学显微镜拍摄用的显微镜拍摄单元28选择性地定位在将被拍摄物即试样S收纳于拍摄视野的规定的拍摄位置。在物体光学系统23被定位在拍摄位置时，拍摄控制部34使拍摄部20执行后述的OCT拍摄处理，并获取表示试样S的立体结构的三维图像数据。另一方面，当将显微镜拍摄单元28定位在拍摄位置时，拍摄控制部34使显微镜拍摄单元28获取表示通过拍摄光学系统281在拍摄元件282的受光面上成像的试样S的平面像的二维图像数据。

接口部35负责图像处理装置1与外部之间的通信。具体而言，接口部35具有用于与外部设备进行通信的通信功能和用于接受来自用户的输入操作或向用户通知各种信息的用户接口功能。为了实现该目的，输入设备351和显示部352与接口部35连接。输入设备351由能够接受与装置的功能选择、动作条件设定等相关的输入操作的例如键盘、鼠标以及触摸面板等构成。另外，显示部352由显示由信号处理部33制作的断层图像、立体图像等各种处理结果的例如液晶显示器构成。

在拍摄部20中，从例如具有发光二极管或超发光二极管(SLD)等的发光元件的光源21发射包含宽带的波长成分的低相干光束。在拍摄细胞等试样的目的中，为了使入射光到达试样的内部，优选使用例如近红外线。

光源21与构成光纤耦合器22的光纤之一即光纤221连接。从光源21射出的低相干光被光纤耦合器22分支成向两个光纤222、224的光。光纤222构成物体系统光路。更具体而言，从光纤222的端部射出的光向物体光学系统23入射。

物体光学系统23包括准直透镜231和物镜232。从光纤222的端部射出的光经由准直透镜231向物镜232入射。物镜232具有使来自光源21的光(观察光)会聚于试样的功能和使从试样射出的反射光聚光并朝向光纤耦合器22的功能。在附图中示出了单个物镜232，但也可以是多个光学元件的组合。来自被拍摄物的反射光经由物镜232、准直透镜231作为信号光向光纤222入射。物镜232的光轴与试样容器11的底面正交，在该例子中，光轴方向与铅垂轴方向一致。

CPU31向拍摄控制部34发出控制指令。对应于此，拍摄控制部34使拍摄部20进行向规定方向的移动。更具体而言，拍摄控制部34使拍摄部20在水平方向(XY方向)以及铅垂方向(Z方向)上移动。通过拍摄部20的水平方向的移动，拍摄范围在水平方向上变化。另外，通过拍摄部20的铅垂方向的移动，物镜232的光轴方向上的焦点位置相对于被拍摄物即试样S变化。

从光源21入射至光纤耦合器22的光的一部分经由光纤224向参照光学系统24入射。参照光学系统24包括准直透镜241和参照镜243。这些与光纤224一起构成参照系统光路。具体而言，从光纤224的端部射出的光经由准直透镜241向参照镜243入射。被参照镜243反射的光作为参照光向光纤224入射。

参照镜243被通过来自拍摄控制部34的控制指令进行动作的进退构件(图示省略)支撑，并且能够在Y方向上进退移动。参照镜243在Y方向上，即在接近和远离准直透镜241的方向上移动，由此来调整被参照镜243反射的参照光的光路长度。

被试样的表面或内部的反射面反射的反射光(信号光)和被参照镜243反射的参照光在光纤耦合器22混合并经由光纤226向光检测器26入射。此时，在信号光与参照光之间产生因相位差引起的干涉，但干涉光的分光光谱根据反射面的深度而不同。即，干涉光的分光光谱具有被拍摄物的深度方向的信息。因此，通过针对每个波长对干涉光进行分光并检测光量，并将检测的干涉信号进行傅里叶变换，能够求出被拍摄物的深度方向上的反射光强度分布。基于这种原理的OCT拍摄技术被称为“傅里叶域(Fourier Domain)OCT(FD-OCT)”。

在本实施方式的拍摄部20中，在从光纤226至光检测器26的干涉光的光路上设置有分光器25。作为分光器25，例如能够使用利用棱镜的分光器、利用衍射光栅的分光器等。干涉光由分光器25按照波长成分分光并被光检测器26接收。

根据光检测器26检测的干涉光对从光检测器26输出的干涉信号进行傅里叶变换，由此，求出试样中的照明光的入射位置的深度方向，即Z方向的反射光强度分布。通过沿X方向扫描入射至试样容器11的光束，求出与XZ平面平行的平面上的反射光强度分布。根据该结果，能够制作以该平面作为截面的试样的断层图像。由于该原理是众所周知的，从而省略详细说明。

另外，通过一边多阶段地变更Y方向上的光束入射位置一边对各个位置进行断层图像的拍摄，能够获得在与XZ平面平行的截面对试样进行断层拍摄的大量断层图像。若减小Y方向的扫描间距，则能够获得足以掌握试样的立体结构的分辨率的图像数据。根据这些断层图像数据，能够制作与试样的立体图像相对应的三维图像数据(所谓的体素数据(voxel data))。

这样，该图像处理装置1具有获取与培养基M一起担载于试样容器11的试样S的图像的功能。作为图像，能够获取由光学显微镜拍摄获得的二维图像数据、由OCT拍摄获得的断层图像数据以及基于断层图像数据的三维图像数据。

以下，对能够使用如上所述地构成的图像处理装置1执行的本发明的图像处理方法的一实施方式进行说明。本实施方式的图像处理具有从拍摄作为试样S的胚泡期的受精卵(以下，被简称为“胚胎”)的图像中单独地提取与构成该胚胎的主要结构体即透明带、营养外胚层以及内细胞块相对应的区域的内容。

基于由此获得的数据，能够有效地辅助用户(具体而言为医师或胚胎培养人员)进行胚胎的评价作业。例如，在以不育治疗为目的的胚胎的培养中，以得到用于判断培养是否良好地进行的见解为目的，能够应用本实施方式的图像处理方法。

图2A和图2B是示意性地表示在本实施方式中作为试样的胚胎的结构的图。众所周知，卵子受精时开始卵裂并经过被称为“桑椹胚”的状态而形成胚泡。图2A是示意性地表示胚泡期的胚胎的内部结构的图。在胚泡期，胚胎E在内部具有被称为“泡胚腔B”的空洞。更具体而言，进行卵裂的细胞在胚胎的表面上作为薄层排列并形成营养外胚层T，由营养外胚层T包围的内部空间形成泡胚腔B。另外，在内部空间的一部分形成有大量细胞密集的内细胞块I。

此外，以覆盖营养外胚层T的外侧表面的方式形成透明带ZP。透明带ZP是以糖蛋白为主体的具有大致均匀的厚度的膜。另一方面，大量细胞聚集而形成的营养外胚层T根据位置而具有各种厚度，并以粘贴至整个透明带ZP的内侧表面的方式分布。如图2B所示，营养外胚层T通过大量细胞C沿着透明带ZP的内表面排列而形成。由于各个细胞C的形状、大小不同，因此，营养外胚层T成为根据位置而厚度不同的层。需要说明的是，在图2A中，比实际更多地强调了营养外胚层T的厚度的偏差。

构成胚胎E的这些结构体即透明带ZP、营养外胚层T以及内细胞块I作为胚胎的评价中的关注区域而具有重要意义。因此，从拍摄的图像中自动地提取与这些结构体相对应的区域的技术在辅助用户进行胚胎的评价作业上具有重大意义。然而，在由OCT拍摄获得的断层图像或三维图像中，这些结构体之间的亮度信息几乎没有差异。因此，在根据单纯的亮度差异而进行的分离中，难以高精度地分离这些结构体。

这样，从OCT图像中自动地分离透明带ZP、营养外胚层T以及内细胞块I的技术到目前为止尚未建立。鉴于这样的问题，本申请的申请人先前公开的专利文献2能够从OCT图像中分离与营养外胚层和内细胞块相对应的区域。但是，即使采用这种技术，也不能说将透明带与营养外胚层明确地分离。具体而言，通过该技术提取的作为营养外胚层的区域有可能包含与透明带相对应的区域。

在本实施方式的图像处理中，利用从由光学显微镜拍摄获得的二维图像中获得的信息分析OCT图像，由此，将透明带ZP和营养外胚层T分离。然后，在三维图像中分别单独地确定透明带ZP、营养外胚层T以及内细胞块I所占的区域是第一目的。另外，第二目的是形成构成以这种方式分离的营养外胚层T的细胞的个数。

在由光学显微镜拍摄获得的明场图像或相位差图像中，根据其亮度以及质地的差异能够比较容易地区分透明带ZP和营养外胚层T。然后，在良好地培养的胚泡期的胚胎中，透明带ZP具有大致均匀的厚度。换言之，能够认为在胚胎中，从其表面至一定的深度的区域被透明带ZP占据。由此，能够根据由光学显微镜拍摄获得的二维图像数据确定透明带ZP的厚度。然后，根据由OCT拍摄获得的三维图像数据，确定从胚胎E的表面观察至相当于透明带ZP的厚度的深度的区域，由此能够将与透明带ZP相对应的区域与营养外胚层T分离并提取。另外，对于内细胞块I的分离，例如能够应用专利文献2中记载的方法。通过这些，能够实现第一目的。

如图2B所示，以这种方式从其他结构体分离的营养外胚层T具有因各个细胞C的形状而引起的凹凸。更具体而言，在营养外胚层T的面向泡胚腔B的表面产生因各个细胞C的形状而引起的突起。因此，若检测到这样的突起部位并对其数量进行计数，则能够知道构成营养外胚层T的细胞C的个数。这样能够实现第二目的。

图3是表示本实施方式的图像处理的流程图。该处理通过CPU31执行预先准备的控制程序从而使装置的各部分进行规定的动作来实现。在将容纳有作为评价对象的胚胎的试样容器11安置于保持部10时(步骤S101)，将该胚胎作为被拍摄物，执行由拍摄部20进行的光学显微镜拍摄和OCT拍摄。

在图3中，步骤S102至S105表示光学显微镜拍摄以及使用了由此获得的二维图像数据的数据处理。另一方面，步骤S111以及S112表示OCT拍摄以及使用了由此获得的三维图像数据的图像处理。这两个处理可以在时间序列上前后进行，在这种情况下，先进行哪一个处理是任意的。另外，也可以通过并行地进行这些处理，来实现处理时间的缩短。

首先，说明步骤S102至S105的处理的概要。在该处理中，通过对胚胎进行光学显微镜拍摄来获取胚胎的二维图像数据，并基于图像数据计算透明带的厚度。具体而言，将显微镜拍摄单元28定位至拍摄位置，并将焦点位置在深度方向(Z方向)上多阶段地变更设定，并且每次进行拍摄。由此，获取焦点深度彼此不同的多个二维图像的集合，即所谓的Z堆叠图像(步骤S102)。

从这些图像的每一张中提取与透明带ZP相对应的区域(步骤S103)。然后，在多个图像中，选出最佳对焦于透明带ZP的一张(步骤S104)。基于选出的图像计算透明带ZP的厚度(步骤S105)。下述将详细说明这些处理，即，提取与透明带ZP相对应的区域的处理(步骤S103)、选出最对焦的图像的处理(步骤S104)以及计算透明带ZP的厚度的处理(步骤S105)。通过目前为止的处理，评价对象的胚胎E中的透明带ZP的厚度是已知的。

另一方面，在步骤S111中，将物体光学系统23定位在拍摄位置，一边扫描拍摄位置一边对胚胎E进行断层拍摄。由此，获取胚胎E的三维图像数据。由三维图像数据表示的各部分的亮度以规定的阈值被二值化(步骤S112)。由此，胚胎E的三维图像被分离为由较高密度的一些结构体占据的高亮度的区域(以下，称为“结构区域”)和较低密度的低亮度的区域。例如，培养基M在OCT图像中是低亮度的。

如上所述，作为占据结构区域的结构体能够包括透明带ZP、营养外胚层T以及内细胞块I。在步骤S113、S114中，使这些结构体相互分离。具体而言，在步骤S113中，使与透明带ZP相对应的区域与其他结构区域分离。然后，在步骤S114中，使营养外胚层T与内细胞块I分离。

通过目前为止的处理(步骤S101～S114)，实现了从胚胎E的三维图像中分别确定透明带ZP、营养外胚层T以及内细胞块I所占据的区域的第一目的。接下来的步骤S115～S118的处理是为了对构成分离的营养外胚层T的细胞的个数进行计数的第二目的的处理。关于为此的处理将在后面详细说明。

以下，依次分别说明用于执行上述处理的各工序(步骤S103～S105、S111)的各要素技术。需要说明的是，由于获取步骤S102的Z堆叠图像的处理是众所周知的，因此省略其说明。另外，对于步骤S114的处理也能够应用专利文献2所记载的技术，因此省略其说明。

在步骤S103中，从对胚胎E进行光学显微镜拍摄所获得的二维图像数据提取与透明带ZP相对应的区域。能够使用适当的图像处理技术来执行该处理。例如，能够应用从图像中提取具有确定的特征的区域的图案识别技术。具体而言，通过将预先获取的透明带的图像作为教师图像的带教师的学习来构件分类模型，并用此将评价对象的胚胎E的光学显微镜图像进行区域分割。通过这样，能够从图像中提取与透明带ZP相对应的区域。

作为区域分割处理的具体例，例如能够使用公知的语义分割法。语义分割法是使用通过深度学习算法而预先构建的分类模型，对图像中的各像素进行贴标签的技术。在本实施方式中，能够如下所述地使用该方法。

首先，用户准备透明带以良好的图像品质被拍摄的胚胎的光学显微镜图像，并对该图像中的与透明带相对应的区域的各像素进行表示该意思的贴标签。然后，通过将原始的显微镜图像作为输入数据并将标签图像作为正解数据执行深度学习，来构建分类模型。若将未知的图像作为输入数据提供给以这种方式预先构建的分类模型，则能够获得对该图像中与透明带相对应的区域贴付该意思的标签的输出图像。通过从输出图像中提取这样的区域，结果能够提取透明带。

图4是表示用于构建分类模型的具体方法的一例的流程图。该处理能够由具有显示图像的功能以及接受来自用户的输入操作的功能的各种计算机装置执行。例如，能够由图像处理装置1或个人计算机等的通用计算机装置执行。

首先，显示以对焦(聚焦)于透明带的状态预先拍摄的胚胎的光学显微镜图像(步骤S201)。在图像处理装置1中，能够使显示部352显示该图像。针对以这种方式显示的图像，接受用于指定与对焦的透明带相当的区域的来自用户的示教输入(步骤S202)。在这种情况下，期望用户是对胚胎的图像具有足够的见解的熟练者。另外，在使用图像处理装置1的情况下，能够经由输入设备351接受示教输入。

对被指定为透明带的区域赋予表示其意思的标签(步骤S203)。将以这种方式贴标签的图像作为正解数据，并将原始的图像作为输入数据来执行深度学习。通过这样，构建用于从图像中提取透明带的分类模型(步骤S204)。根据需要，也可以使用透明带以外的标签。

该分类模型是将对焦于透明带的图像作为输入图像而构建的模型。因此，将其应用于未知的测试图像并执行语义分割法时，从测试图像中提取具有作为透明带的强特征的区域。以这种方式提取透明带时，能够求出其厚度。为了高精度地求出厚度，期望在图像内的尽可能大的区域对焦于透明带。即，可以说期望透明带的厚度的计算基于由语义分割法提取的区域的面积尽可能大的图像来进行。需要说明的是，面积例如可以由像素数表示。

另一方面，评价对象的胚胎E具有立体的结构。因此，在适当地确定焦点深度并拍摄的图像中，可能存在对透明带ZP的对焦状态未必良好的情况。因此，从在深度方向(Z方向)的不同焦点位置获取的Z堆叠图像中，选出作为与透明带ZP相当的区域而提取的区域的面积最大的一个图像。然后，将该图像用于透明带ZP的厚度的计算。

在步骤S104中，从Z堆叠图像中选出最对焦于透明带ZP的图像。在本实施方式的语义分割法中，从图像中提取聚焦的透明带的区域。因此，可以说该区域的面积最大的图像是最对焦于透明带ZP的图像的可能性高。选出符合这样的条件的图像即可。

图5A以及图5B是表示焦点深度与提取的透明带的面积之间的关系的图。在图5A的上部示意性地表示在深度方向上的各个焦点位置拍摄的光学显微镜图像(Z堆叠图像)与从这些图像中通过语义分割法提取的区域(与透明带ZP相当的区域)之间的关系。另外，图5A的下部的曲线图例示了拍摄时的焦点位置与提取的区域的面积(像素数)之间的关系。如这些所示，在Z堆叠图像中的最佳对焦且透明带ZP鲜明的图像Ia中，提取的区域的面积最大。换言之，在Z堆叠图像中，能够将与提取的区域的面积最大的图像相对应的焦点位置视为对焦位置。因此，选出该图像Ia作为计算透明带ZP的厚度的基础图像即可。

但是，例如由于拍摄时的振动等而在图像中产生模糊，其结果，可能存在透明带的外观上的面积比实际大的图像出现的情况。图5B是表示这种状况的图。例如在图像Ib中，产生由于振动而引起的图像的模糊。这样一来，作为与透明带相当的区域而提取的面积在外观上变大，并且该位置可能被误判为对焦位置。

在该实施方式中，通过使用隔着提取的区域的周缘部的像素之间的亮度差，能够解决该问题。即，认为在良好地对焦的图像中，与透明带相对应的区域和其周围区域之间的边界清楚，因此，在这些区域的亮度之间也存在明确的对比度。另一方面，在未对焦的图像中，这些区域间的边界不明确，因此对比度也不鲜明。

由此，取代仅根据提取的区域的面积(像素数)的大小进行评价，而导入也反映该区域的边缘部分的亮度变化的大小即锐度的评价值。通过这样，认为能够减少如上所述的误判。作为将这种边缘变化量定量化的方法有多种，能够适当地选择这些方法并应用。

在本实施方式中。作为一例，将提取的区域的面积乘以反映边缘部分的亮度变化的大小的系数所得的值作为评价值。作为该系数，例如能够使用对隔着边缘的像素之间的亮度的差进行平方所得的值。更具体而言，求出与提取的区域中的边缘相邻的全部像素的亮度的平均值与在该边缘的外侧与边缘相邻的全部像素的启动的平均值之差，并通过将其平方而求出上述系数。

通过这样，如图5B下部的曲线图所示，峰值更鲜明，并能够降低因图像Ib中的模糊的影响而引起的提取面积的增大成为对焦位置的误判的原因的风险。需要说明的是，这里为了使系数为正值而对亮度差进行平方，但取而代之，也可以将亮度差的绝对值作为系数使用。

图6是表示用于选出对焦于透明带的图像的处理的流程图，该处理内容是与图3的步骤S104相当的处理。针对构成Z堆叠图像的各图像，在步骤S103中提取与透明带相当的区域。为了求出以这种方式提取的区域的面积，针对每个图像计数属于该区域的像素的数量(步骤S301)。然后，求出在提取的区域的边缘的内外分别相邻的像素的平均亮度，并计算其差值(步骤S302)。基于这些值，计算表示各图像的对焦度的评价值(步骤S303)。具体而言，通过将提取区域的像素数量乘以用在边缘内外的亮度差的平方表示的系数来计算评价值。选出以这种方式求出的评价值最大的图像作为最对焦于透明带的图像。

接下来，说明根据从Z堆叠图像中选出的一个光学显微镜图像计算透明带ZP的厚度的步骤S105的处理内容。针对选出的图像，在步骤S103中进行与透明带ZP相当的区域的提取。在良好地培养的胚胎E中，认为具有大致恒定的宽度的圆环状的区域被作为与透明带ZP相当的区域而提取。在对焦于透明带ZP的图像中，该圆环的宽度，即，圆环的内侧的边缘与外侧的边缘之间的距离与透明带ZP的厚度相对应。

可以考虑各种方法作为求出圆环的宽度的方法。作为一种简单的方法，例如具有利用在开源计算机视觉(OpenCV，Open Source Computer Vision)库中装备的距离变换(Distance Transform)函数的方法。通过将圆环的内侧边缘上的一个像素作为关注像素并应用Distance Transform函数，能够确定从该像素至最近的圆环的外侧边缘上的像素的距离。该距离表示该位置处的圆环的宽度，即透明带ZP的厚度。反之，也等价于将圆环的外侧边缘上的像素作为关注像素，并求出从该像素至内侧边缘的最短距离。能够将以这种方式在圆环上的各个位置求出的宽度的平均值作为透明带ZP的厚度的平均值。在下述中，该厚度的平均值由符号Tav表示。

以上，说明了步骤S103～S105的详细的处理内容。接下来，说明步骤S113中的透明带的分离处理。这里，在由OCT拍摄获得的胚胎E的三维图像中，将从表面至深度Tav的范围视为透明带ZP。因此，通过从三维图像中仅提取该范围，能够仅取出与透明带ZP相对应的结构体。另一方面，通过从三维图像中除去该范围的结构体，能够取出透明带ZP以外的结构体，即，取出营养外胚层T和内细胞块I。

针对除去与透明带ZP相当的区域的三维图像，如在专利文献2中记载，对于剩余的结构体执行例如使用了Local Thickness运算的区域分割处理。通过这样，能够将与营养外胚层T相当的区域和与内细胞块I相当的区域分离。这样，能够从胚胎E的三维图像分别提取透明带ZP、营养外胚层T以及内细胞块I所占的区域。

图7A和图7B是示意性地表示本实施方式的区域分割的情况的图。这里为了便于理解而将胚胎E表现为二维图像。然而，实际上是针对由OCT拍摄获得的三维图像的处理。如图7A所示，从胚胎E的像的表面Es至厚度Tav的范围内包含的区域被视为与透明带ZP相当的区域。

另外，如图7B所示，当对从胚胎E的三维图像中除去与透明带ZP相当的区域执行局部厚度(Local Thickness)运算时，表示为较小球体的集合体的区域被视为营养外胚层T，表示为较大球体的集合体的区域被视为内细胞块I。该区分例如能够如下所述地实现。即，对由Local Thickness运算生成的内切球的半径设置适当的阈值。然后，将由具有比该阈值小的半径的球表示的区域视为营养外胚层T。另一方面，将由具有比阈值大的半径的球表示的区域视为内细胞块I。

当需要进一步细分以这种方式分离的各区域时，如专利文献2所述，可以对于分离后的各区域，例如通过分水岭(Watershed)法执行区域分割。

这样一来，利用由对胚泡期的胚胎(受精卵)进行OCT拍摄而获得的三维图像数据和对相同胚胎进行光学显微镜拍摄而获得的二维图像数据所得的信息，能够将构成胚胎的结构体中的透明带与其他结构体分离，尤其是与在OCT图像中难以产生与透明带的亮度的差的营养外胚层分离。具体而言，根据在透明带与营养外胚层之间易于出现质地的差异的光学显微镜图像计算透明带的平均厚度，并将三维图像中的结构体中从其表面起平均厚度的范围内的区域视为透明带所占据的区域。利用透明带的厚度大致一样的情况，将根据光学显微镜图像求出的透明带的厚度的信息反映到三维图像中，来进行区域的分割。通过这样，能够高精度地分离透明带和营养外胚层。

接下来，说明为了实现本实施方式的第二目的，即，对构成营养外胚层T的细胞数进行计数的处理(图3的步骤S115～S119)。该处理的大概流程是计算营养外胚层T的各个位置的厚度分布，并检测求出的厚度分布中的峰值位置，并将明显的峰值作为与各个细胞相对应的峰值而对其个数进行计数。以下，依次说明各个工序。

在步骤S115中，由XYZ正交坐标系表示的三维图像数据被转换为极坐标表现。由于胚胎E为大致球形且内部为空洞，从而营养外胚层T具有接近球壳的形状。为了更简单地表现这样的结构，优选以胚胎E的中心为原点的极坐标(球坐标)来表示各个位置。因此，如图8所示，进行从XYZ正交坐标系向将一个矢径r以及两个偏角θ、φ作为坐标变量的rθφ极坐标系的坐标转换。

图8是表示XYZ正交坐标系与极坐标系之间的对应关系的图。众所周知，若原点O在正交坐标系中的点P的坐标(x、y、z)与球坐标系中的点P的坐标(r、θ、φ)之间是共通的，则具有下式的关系：

x＝r·sinθ·cosφ

y＝r·sinθ·sinφ

z＝r·cosθ

具体而言，根据三维图像数据确定胚胎E的中心位置，并将该中心位置作为球坐标系的原点O。该原点0不必与原始信号数据中的XYZ正交坐标系的原点一致。然后，通过适当的转换处理进行从正交坐标向球坐标的坐标转换。通过以这种方式进行坐标转换，能够由极坐标表现由XYZ正交坐标系确定的三维空间内的各个位置。

关于“胚胎的中心”，基于三维图像数据，例如能够如下所述地求出。在将由三维图像数据表示的胚胎E的三维图像的表面视为球面的情况下，能够以图像中的该球的重心作为胚胎的中心。在三维图像处理中，求出实心的物体的重心的方法是众所周知的，能够应用这种方法。另外，例如，也可以确定近似地表示胚胎的表面的球面或旋转椭圆面，并将该近似面的中心作为胚胎的中心。

在步骤S116中，根据以这种方式极坐标转换的三维图像数据，求出营养外胚层T的厚度分布。具体而言，通过计算极坐标空间内的一个矢径方向上的营养外胚层T的厚度，并对各个矢径方向进行该计算，能够求出营养外胚层T的厚度分布。

图9A和图9B是表示营养外胚层的厚度的求出方法的图。在图9A所示的例中，考虑从原点O延伸的一个矢径r1。将该矢径r1方向上的营养外胚层T的内侧表面即面对泡胚腔B的面Si与外侧表面即面对透明带ZP的面So之间的距离T1作为该矢径方向上的营养外胚层T的厚度。

另外，在图9B所示的例子中，着眼于矢径r1与营养外胚层T的内侧表面Si相交的点P1。将该点P1与营养外胚层T的外侧表面So之间的最短距离作为该矢径r1方向上的营养外胚层T的厚度。或者，也可以着眼于矢径r1与营养外胚层T的外侧表面So相交的点P2，并将该点P2与内侧表面Si之间的最短距离作为该矢径r1方向上的营养外胚层T的厚度。最短距离的计算与所述的透明带ZP的厚度计算处理相同，能够利用OpenCV库中的DistanceTransform函数。

图10是表示求出营养外胚层的厚度的处理的流程图。首先，选择一个矢径方向(步骤S401)。具体而言，通过适当地临时设置偏角θ、φ的值来确定一个矢径方向。接下来，在极坐标空间内与该矢径方向上的营养外胚层T的内侧表面Si的位置(图9B所示的点P1的位置)或外侧表面So的位置(图9B所示的点P2的位置)相对应的像素被确定为关注像素(步骤S402)。为了后面的处理，优选将从此时的原点O至关注像素的距离与由偏角θ、φ的组合确定的矢径方向建立关联并存储。表示该距离的信息由函数R(θ、φ)表示。

接下来，求出该矢径方向上的营养外胚层T的内侧表面Si与外侧表面So之间的距离，即营养外胚层T的厚度(步骤S403)。厚度例如能够通过图9A、图9B所示的方法中的任意一个方法求出。

将以这种方式求出的营养外胚层T的厚度与一个矢径方向建立关联，因此，能够表示为偏角θ、φ的函数。在下述中，将由偏角θ、φ的组合确定的一个矢径方向上的营养外胚层T的厚度表示为T(θ、φ)。求出的厚度T(θ、φ)被存储并保存在存储器37中(步骤S404)。通过对各个矢径方向反复进行上述处理(步骤S405)，能够获取表示各个方向上的营养外胚层T的厚度的厚度分布。

在图3的步骤S117中，制作表示以这种方式求出的营养外胚层T的厚度的空间分布的图。作为厚度分布图，可以考虑二维图和三维图。另外，作为二维图，可以考虑将全部方向收纳于一个图的方法和将极坐标空间分割成几个空间，并将它们分别收纳于各个图的方法。以下，说明这些映射方法的具体的制作例。

图11A和图11B是表示二维映射方法的一例的图。为了将由极坐标表现的各个方向在二维平面上映射，例如能够使用拟圆柱投影。即，如图11A所示，作为将偏角θ、φ分别相当于纬度、经度的投影，能够使用与在平面图上表现大致球体即地球表面的地形的情况相同的投影。已知几种这样的作图法，根据目的能够适当地进行选择。

这里使用了将偏角θ作为纬度、将偏角φ作为经度来处理，并能够在图上维持实体的面积的地图投影即桑生投影。在由偏角θ、φ的组合确定的图上的各点配置有具有与在各矢径方向上计算的营养外胚层T的厚度T(θ、φ)相对应的亮度值的像素。通过以这种方式在图上表示各个方向的厚度，能够使厚度分布可视化。图11B是将由亮度表示各点的营养外胚层T的厚度的图使用等亮度线表示，来取代直接通过亮度表现的图。也可以说仅由等高线表示各个方向的厚度。另外，也能够通过颜色、浓淡表示营养外胚层T的厚度。

需要说明的是，在图11B中，右上带有阴影的区域表示存在内细胞块I的区域。在内细胞块I与透明带ZP之间也存在营养外胚层T，但与内细胞块I接触的表面的形状未必会代表各个细胞的形状。因此，在本实施方式中，存在内细胞块I的区域被排出在厚度分布的导出对象之外。

在制作地图时也成为问题的是在由二维图表示大致球体的表面的情况下，不能准确地表现全部信息。例如在等积拟圆柱投影的一种即桑生投影的情况下，能够准确地表现地表的面积，但不能一定准确地表现距离、方向。在本实施方式的映射的情况下，尤其是图平面的周缘部的形变变大。

图12A和图12B是表示二维映射方法的另一例的图。如图12A所示，在极坐标空间中作为大致球面表示的营养外胚层T的三维图像由通过原点O并相互垂直的两个平面分割成四部分。然后，将分割的各分区Ta～Td分别表示在一个图上。此时，在与分区Ta相对应的图中，通过被分割的球面的中心，更具体而言，通过原点O并相对于两个平面分别以45度的角度相交的直线与球面的交点Ca在图中大致成为中心。其他分区Tb、Tc、Td也相同。

这样一来，如图12B所示，由极坐标空间4分割的营养外胚层T仅使用图平面的中央部来表现。因此，图具有四个面，在每个图中，在不使用形变变大的周缘部的情况下，能够高精度地表现营养外胚层T的整体的厚度分布。

需要说明的是，实际上，在考虑将与营养外胚层T相对应的球面的分割时使各分区部分地重叠，在映射时，如图12B中虚线所示，更优选不仅在分区Ta内，还在其外侧的一定范围内表示厚度分布。其理由如下所述。由于为了方便映射而被分割，但实际的营养外胚层T连续至各分区的外侧。通过进行映射至分区外的一定范围，能够表现各分区的外缘的厚度分布的连续性。

从这个意义上说，也可以考虑取代进行分割，而制作图的中心的位置不同的多个二维图，并仅使用这些图的中央部分。另外，分割数量也不限于上述的四个而是任意的。

如上所述的二维映射方法例如适用于在屏幕上或印刷纸面上鸟瞰整体的厚度分布的用途。但是，不能避免在其周缘部的准确性降低的情况。因此，在精度方面三维图更佳。在三维图中，能够保证极坐标空间中的全部方向的精度为相同程度。

在屏幕上显示三维图时，例如，若临时显示沿某一个视线方向投影的图，并根据用户操作改变视线方向，则能够提高用户的便利性。例如若设为与用户操作连动而视线方向实时变化的动画显示，则用户能够以宛如直接观察眼前的胚胎E那样的感觉进行评价作业。

作为营养外胚层T的三维映射的方法，例如考虑如下所述的方法。第一方法是将表示各个方向上的厚度分布的信息赋予至表示营养外胚层T的概略形状的近似球面(或旋转椭圆面)的方法。第二方法是将厚度分布的信息赋予至与实际的营养外胚层T的三维形状相当的曲面的方法。而且，在后者的情况下，能够选择使曲面的形状相当于营养外胚层T的内侧表面Si或相当于外侧表面So。

营养外胚层T的外侧表面So与透明带ZP接触，因此其表面形状比较平滑。从这个意义上说，与营养外胚层T的外侧表面So相当的曲面实质上与球面没有太大区别。另一方面，营养外胚层T的内侧表面Si具有与构成营养外胚层T的各个细胞的形状相对应的凹凸。因此，对与营养外胚层T的内侧表面Si相当的曲面进行映射具有更容易想像实际的凹凸形状的优点。

需要说明的是，作为利用图表面使厚度可视化的方法，与二维映射的情况相同，能够使用将厚度转换为亮度来表示的方法、通过等高线(等亮度线)、颜色区分、浓淡等表现方法等。在下述中，例示了在球面上进行映射的情况和在与营养外胚层T的内侧表面Si相当的曲面上进行映射的情况。假设使用等高线来作为映射方法。

图13A和图13B是表示三维映射方法的示例的图。图13A表示在球面上进行映射的示例。另外，图13B表示在与营养外胚层T的内侧表面Si相当的曲面上进行映射的示例。在此，三维图以投影至二维平面的状态示出，但实际上进行三维曲面上的映射。在向屏幕的显示输出的情况下，能够进行使视线方向各种不同的显示。需要说明的是，在这些图中，由阴影表示的区域与内细胞块I相对应。

例如，图13A的三维图能够通过在以极坐标空间中的原点O为中心的球面上的各个位置配置与通过该位置的矢径的方向上的厚度计算结果相对应的亮度的像素来制作。即，在由两个偏角(θ、φ)表示的矢径与球面之间的交点配置与厚度T(θ、φ)相对应的亮度值的像素即可。

在三维图中消除了在二维图中产生的形变的问题。在二维图中，除形变的问题之外，还具有矢径的长度，即距离原点O的距离的信息未反映在图中的问题。尤其是，在试样S的形状与球面偏差较大的情况下，在图上显示的凹凸可能无法良好地反映实际的形状。若为三维图，则例如通过将更接近试样的形状的旋转椭圆体作为近似曲面，从而能够降低这种偏差。

尤其是，如图13B所示，通过在反映实际的形状的曲面上进行映射，能够制作更符合实际的图。为了映射所需的信息是各矢径方向上的营养外胚层T的内侧表面Si(或外侧表面So)的位置(矢径的长度)和该方向上的营养外胚层T的厚度。这些信息在计算营养外胚层T的厚度的工序(图3的步骤S116)中，已经分别作为R(θ、φ)、T(θ、φ)而求出。因此，通过在极坐标空间中的由坐标(R(θ、φ)、θ、φ)表示的位置配置具有与厚度T(θ、φ)相对应的亮度值的像素，来制作三维图。

需要说明的是，在将图13B所示的三维图投影显示在二维的显示屏幕的情况下，需要可识别地显示图曲面的凹凸形状和在各个位置的营养外胚层T的厚度。尤其是，被投影的二维图形的外周部以外的曲面的形状可能难以从显示图像中读取。为了避免该问题，需要以不同的方法表现曲面的形状和在各点的厚度。例如通过等高线表示曲面的形状，另一方面，通过浓淡、颜色区分表示各部分的厚度即可。

回到图3，继续说明根据以这种方式映射的厚度分布，对构成营养外胚层T的细胞的数量进行计数的方法。以如上方式被可视化的营养外胚层T的表面的凹凸因各个细胞的形状而成。因此，在例如由亮度表现厚度的情况下，认为散布在图上的比周围亮度高的区域对应于在营养外胚层T内与每个细胞对应的突起部位。因此，若提取这种比周围厚即高亮度的区域，则能够推定各个细胞位于何处。另外，能够对构成营养外胚层T的细胞的个数进行计数。

因此，在营养外胚层T的厚度曲线(thickness profile)中出现的峰值是表示与构成营养外胚层T的各个细胞相对应的突起部位的峰值的可能性高。因此，在步骤S118中，搜索厚度曲线中的明显的峰值。通过这样，间接地检测突起部位。

图14A至图14C是表示峰值检测处理的原理的图。另外，图15是表示峰值检测处理的流程图。如图14A中的实线所示，沿着图上的某一方向绘制该方向的位置与亮度(即厚度)之间的关系(厚度曲线)。这样一来，在每个位置具有亮度的变化，从而亮度相对于周围突出而出现高的峰值。这些是与细胞的位置相对应的峰值的候补。

首先，如上所述，提取亮度比周围高的区域。具体而言，对由实线所示的厚度曲线执行最大值滤波处理(步骤S501)。通过适当地设置窗口尺寸并执行最大值滤波处理，如图14A中虚线所示，轮廓的峰值宽度膨胀。通过最大值处理，在峰值以外的位置亮度值上升，而在峰值位置亮度值不变化。因此，如上所述，将亮度值不变化的位置(在附图中由虚线表示)作为峰值候补而提取(步骤S502)。

图14B表示提取的峰值候补。在峰值处的亮度极高或极低的情况下，该峰值可能是图像噪声、不与细胞对应的峰值等与检测对象不同的峰值。因此，对亮度值设定阈值Lth1、Lth2。除去峰值候补中的亮度值超过规定上限值的阈值Lth1以及亮度值低于规定下限值的阈值Lth2(步骤S503)的峰值候补。在图15中将该处理记载为“上限/下限处理”。在图14B中，黑圈标记表示通过该处理除去的峰值候补。另外，白圈标记表示未被除去而剩余的峰值候补。

在确定构成营养外胚层T的各个细胞的本实施方式的目的中，对于阈值Lth1、Lth2，能够与作为构成营养外胚层T的细胞适当的尺寸的上限值以及下限值相对应地设定。由此，能够排除不能当作一个细胞那样的极端大或小的峰值候补。其结果，能够降低对细胞数的计数结果造成的误差。需要说明的是，这里对峰值亮度值设定了上限值以及下限值，但也可以设定任意一方。另外，只要不引起大的误差，也可以省略上限/下限处理。

另一方面，在沿着营养外胚层T的表面的方向上也具有适当的细胞的尺寸。换言之，若峰值候补适当地表示各个细胞，则这些峰值之间的距离应该在与细胞的尺寸相对应的规定的范围内。因此，计算剩余的峰值候补中的相互相邻的峰值之间的距离(步骤S504)，在具有非常接近的峰值候补的情况下，将其中一方视为噪声并除去(步骤S505)。现实中，在具有这种关系的峰值中，除去更小一方的峰值。图14C示出了除去相邻峰值之间的距离小于预先设置的最小距离Dmin的峰值候补的结果的示例。

这样一来，最终剩余了由图14C中的白圈标记所示的峰值。认为这些峰值位置表示与各个细胞相对应的突起部位的位置。即，通过目前为止的处理，检测到存在于包围泡胚腔B的营养外胚层T的突起部位。

需要说明的是，这里为了使概念易于理解，使用一维的厚度曲线进行原理说明，但实际的厚度曲线在使用二维图的情况下为二维，在使用三维图的情况下为三维。因此，在使用二维图的情况下，步骤S501中的最大值处理为二维滤波。为了在各个方向上应用恒定的窗口尺寸，而在这种情况下使用圆形滤波器。另外，峰值之间的距离也是二维图平面上的距离。

在二维图中，未反映矢径的长度的信息，另外，越靠近周缘部形变越大。因此，严格来说，不能说在圆形的滤波窗口中执行理想的滤波处理。然而，在检测与各个细胞位置相对应的峰值的目的中，在实用上能够获得足够的精度。尤其是，如图12A、图12B所示，在将对象物分割为多个进行映射的方法中，由于不使用形变变大的图的周缘部，从而能够充分抑制该由于这样的原因而引起的误差。通过使图12B中由虚线所示的范围至少大于滤波窗口的尺寸，来避免因滤波处理而产生的误差。

另外，在由三维图表示厚度曲线的情况下，滤波窗口为三维的球形。即，最大值滤波处理为球形滤波。另外，峰值之间的距离也是三维空间内的距离。

将在各个位置的营养外胚层T的厚度投影至球面的三维图(图13A)中，在处理中未反映从原点O至关注像素的矢径的长度的信息。这具有简化处理的效果，但也可能是滤波处理中的误差要因。另一方面，在向对应于营养外胚层T的表面形状的曲面投影的三维图(图13B)中，在关注像素的位置反映了距原点O的距离。因此，通过以该关注像素为中心的球形滤波处理，能够消除误差并适当地进行峰值检测。

图16A和图16B是表示在二维图上检测的峰值位置的示例的图。如图16A的虚线所示，在营养外胚层T的厚度与周围相比局部地突出的区域中，满足上述条件的区域作为明显的峰值(黑圈标记)被检测。认为这些峰值与构成营养外胚层T的细胞一一对应。图16B是仅将检测的明显的峰值绘制于二维图的图。如上所述，在检测与各个细胞相对应的明显的峰值时，通过对这些个数进行计数来求出突起部位的数量(步骤S119)。以这种方式，能够间接地知道构成营养外胚层T的细胞的数量。

在内细胞块I所占据的区域中，难以知道构成营养外胚层T的细胞的分布。但是，通过假设细胞以与其他区域相同程度的密度进行分布，能够推定作为胚胎E整体的细胞的个数。即，通过用被计数的细胞的个数除以除了与内细胞块I接触的部分之外的营养外胚层T的表面积，来求出细胞密度。然后，通过包含与内细胞块I接触的部分的营养外胚层T的表面积乘以细胞密度，能够估计构成营养外胚层T的整体的细胞的总数。

图17A和图17B是表示在三维图上检测的峰值位置的示例的图。在三维图中也与上述相同，在营养外胚层T的厚度与周围相比局部地突出的区域中，满足条件的区域作为与细胞相对应的明显的峰值(黑色圆圈)而被检测。通过在图曲面的整体中对其进行计数，能够推定构成营养外胚层T的细胞的数量。内细胞块I所占据的区域的处理也能够与二维图的情况相同。

如上所述，当评价覆盖内部的空洞的层中的细胞时，通过在从三维图像中求出的厚度曲线中检测比周围厚的突起部位，并将其视为与各个细胞相对应的部位，能够容易地进行细胞的定量的评价。在对象物的外形大致为球形的情况下，通过由极坐标空间表示图像数据，能够容易地进行处理。

需要说明的是，本发明不限于上述的实施方式，在不脱离其主旨的范围内能够进行上述的实施方式以外的各种变更。例如，上述实施方式的图像处理装置1具有将试样S进行OCT拍摄和光学显微镜拍摄的功能以及根据拍摄数据制作并输出输出图像的功能。然而，本发明的图像处理方法也能够由自身不具有拍摄功能的计算机装置执行。计算机装置只要取得通过具有拍摄功能的其他装置的拍摄而获得的拍摄数据即可。为了使其成为可能，也可以实施本发明作为用于使计算机装置执行图3的各个处理步骤中的步骤S101以外的软件程序。

这种程序的分发例如能够通过经由互联网等电气通信线路下载的形式来进行。另外，也能够通过分发记录该程序的计算机可读取的记录介质来进行。另外，通过经由接口将该程序读入既存的OCT拍摄装置，从而也能够通过该装置来实施本发明。

另外，例如，在上述实施方式中，在从胚胎E的三维图像中分离透明带之后，将剩余的结构体进一步分离成营养外胚层和内细胞块。然而，在本发明的主旨中，若能够将透明带与其他结构体分离就足够，进一步的分离不是必须的。另外，也可以对被分离成这些区域的图像进一步加工。

另外，例如，在上述实施方式中，通过将由OCT拍摄获得的三维图像二值化，将存在较高密度的结构体的结构区域与除此之外的区域分离。通过这样，使图像中的结构体的位置及其所占据的范围明确化，由此，例如具有能够在不受表面的精细结构、图像噪声等的影响的情况下明确地确定胚胎的表面的位置的优点。然而，也能够在不进行这种二值化的情况下执行透明带的分离。

另外，上述实施方式通过根据由OCT拍摄获得的三维图像将透明带所占据的区域与其他区域区分，提示对用户进行评价作业有用的信息。作为向用户的信息提示并不限于此，也可以是组合通过三维图像的分析而获得的各种定量信息并提示给用户的实施方式。

另外，在上述实施方式中，将三维图像数据转换为极坐标数据之后执行各种处理。然而，即使在不进行这种坐标转换的情况下，也能够与上述同样地检测突起部位。例如在厚度检测中使用Distance Transform函数的情况下，不必一定设定胚胎的中心(重心)。因此，能够根据由正交坐标系表示的营养外胚层的三维图像数据直接求出厚度。然后，在使用图13B所示的三维图的情况下，只要确定内侧表面或外侧表面的位置，就能够在XYZ正交坐标空间内制作图。因此，若是将这些组合的处理，则可以说不需要向极坐标系的转换。

另外，例如，在上述实施方式中，根据胚胎E的三维图像将透明带和营养外胚层分离之后，求出营养外胚层中的厚度分布。但是，例如若将透明带的厚度视为恒定，则即使在不将透明带和营养外胚层分离的情况下求出其厚度分布，在其上出现的厚度的变化实质上也反映营养外胚层的厚度。

另外，上述实施方式将本发明应用于胚泡期的胚胎的评价。然而，本发明的应用范围不限于此，能够应用于在内部具有空洞的各种细胞块的观察/评价。例如肠管上皮细胞的类器官在内部具有与上述相同的空洞，并且其表面被由细胞形成的层覆盖。本发明也能够优选应用于这种细胞层的评价。

以上，如以具体的实施方式作为例示进行的说明那样，在本发明的图像处理方法中，例如，能够求出沿着以细胞块的内部的一点为原点的矢径的细胞块的厚度。在细胞块具有近似于球体或旋转椭圆体的外形形状的情况下，通过如上所述地求出矢径方向上的厚度，能够容易地进行处理。

另外，例如，基于三维图像数据，制作将细胞块的各点的位置作为极坐标空间内的位置表示的极坐标数据，并基于极坐标数据能够求出细胞块的厚度分布。尤其是，优选将细胞块的重心作为极坐标空间的原点。根据这种结构，能够容易地对近似于球体或旋转椭圆体的形状的细胞块进行数据处理。

在这种情况下，例如，能够制作极坐标空间中的矢径方向与在该矢径方向上求出的细胞块的厚度建立关联的细胞块的厚度曲线，并基于此检测突起部位。根据这种结构，根据由厚度曲线表示的细胞块的厚度的变化，能够容易地检测相对于周围厚度突出的突起部位。

具体而言，例如能够对厚度曲线执行最大值滤波处理，并将在这前后值无变化的位置作为突起部位的位置。由于在突起部位的位置细胞块的厚度比周围大，因此，即使通过最大值滤波处理，厚度的值也不变化。另一方面，在具有比周围厚的部分的区域中，由于其厚度的影响，最大值滤波处理之后的值变化。利用这个，能够检测比周围厚度大的部位。

例如，能够由在与细胞块的内侧表面或外侧表面相对应的位置配置具有与该位置处的细胞块的厚度相对应的亮度值的像素的三维图，表示厚度曲线。另外，例如，能够由在极坐标空间内对细胞块进行球体近似而得到的近似球的表面的各个位置配置具有与通过该位置的矢径方向上的细胞块的厚度相对应的亮度值的像素的三维图，表示厚度曲线。在这些情况下，作为对以关注像素为中心的球形区域进行的空间滤波处理，能够执行最大值滤波处理。

另一方面，也能够由在以极坐标数据表示的两个偏角作为坐标轴的坐标平面配置具有与由该两个偏角在极坐标空间内确定的一个矢径方向上的细胞块的厚度相对应的亮度值的像素的二维图，表示厚度曲线。在这种情况下，作为对以二维图上的关注像素为中心的圆形区域的空间滤波处理，能够执行最大值滤波处理。需要说明的是，作为将在三维空间中的厚度分布由二维图表现的方法，例如能够使用拟圆柱投影。

另外，例如，也可以由通过原点的平面将极坐标空间分割为多个，并对被分割而成的空间的每一个单独地执行二维图的制作以及所述突起部位的检测。在将三维空间内的物体的形状用二维图表示的情况下，不能避免图上的物体发生形变。通过分割空间并单独制作图，能够避免在确定的位置发生大的形变，从而能够提高厚度分布的检测精度。

另外，例如，本发明的图像处理方法也可以还包括测量检测的突起部位的数量的工序。通过以这种方式求出定量信息，能够提供对用户来说更有用的信息。例如在对象物的细胞块为胚泡期的胚胎、肠管上皮细胞类器官的情况下，能够应用本发明对构成其表面的细胞进行计数。

另外，在将受精卵的图像作为处理对象的图像处理方法中，例如，能够使用将光学显微镜拍摄的透明带的图像作为教师图像预先机器学习的分类算法，进行与透明带相对应的区域的确定。根据这样的结构，通过使用适当的分类算法，能够从光学显微镜拍摄图像高精度地确定具有高的透明带的形态的特征的区域。

例如，作为分类算法，能够使用语义分割法。根据该方法，能够根据图像的特征使用像素单位将其分割。因此，能够从显微镜图像中高精度地确定透明带的区域，并准确地评价其厚度。

另外，例如，也可以在使焦点深度不同的情况下执行多次的受精卵的光学显微镜拍摄，并根据在这些图像中的与透明带相对应的区域的面积最大的图像，求出透明带的平均厚度。在大范围内确定透明带的图像是最对焦于透明带的，即在透明带鲜明的状态下拍摄的图像的可能性大。通过使用这种图像，能够高精度地求出透明带的厚度。

在这种情况下，例如，能够将使用分类算法确定的区域的面积乘以基于该区域的内部与外部之间的边界上的亮度变化的大小而确定的系数所得的值，作为表示与透明带相对应的区域的面积的值。例如，能够将边界的内部与外部的亮度值的差分的平方作为系数。根据这样的结构，能够降低将由于拍摄时的抖动等而外观上的透明带的面积变大的图像误判为对焦图像的风险。

另外，例如，能够将结构区域中从外缘起处于平均厚度的范围的区域视为透明带。在适当地培养的受精卵中，覆盖其表面的透明带的厚度大致均匀。因此，从三维图像中的受精卵的外缘观察时，可以说直到与从显微镜图像求出的平均厚度相对应的深度的区域是透明带所占据的区域。

在这种情况下，也可以进一步将结构区域中的透明带以外的区域视为内细胞块以及营养外胚层的区域。构成适当地培养的胚泡期的受精卵的主要结构体为透明带、营养外胚层以及内细胞块。因此，能够认为营养外胚层和内细胞块占据了结构区域中的透明带以外的区域。

另外，例如，也可以根据三维图像数据，确定具有规定值以上的亮度值的像素所占据的区域，并将该区域视为结构区域。在OCT图像中，较高密度的结构体的亮度高，其周围的低密度区域为低亮度。因此，若确定具有一定程度的亮度的区域，则该区域是高密度的结构体所占据的结构区域的可能性高。

工业上的可利用性

本发明适用于辅助在内部具有空洞的细胞块的观察以及评价作业，例如，能够应用于辅助评价培养的胚胎(受精卵)的状态的作业，选择生殖辅助医疗中的具有更高的妊娠成功率的良好的胚胎。

Claims (25)

1.一种图像处理方法，将在内部具有空洞的细胞块的图像作为处理对象，其中，

包括：

对所述细胞块进行光学相干断层拍摄，并获取表示所述细胞块的三维图像的三维图像数据的工序；

基于所述三维图像数据，获取在每个位置表示所述细胞块中的面向外部空间的外侧表面与面向所述空洞的内侧表面之间的所述细胞块的厚度的厚度分布的工序；以及

基于所述厚度分布的获取结果，检测厚度比周围的区域突出的突起部位的工序。

2.如权利要求1所述的图像处理方法，其中，

求出沿着以所述细胞块的内部的一点作为原点的矢径的所述细胞块的厚度。

3.如权利要求1或2所述的图像处理方法，其中，

根据所述三维图像数据，制作将所述细胞块的各点的位置作为极坐标空间内的位置表示的极坐标数据，

基于所述极坐标数据，求出所述细胞块的厚度分布。

4.如权利要求3所述的图像处理方法，其中，

所述细胞块的重心为所述极坐标空间的原点。

5.如权利要求3所述的图像处理方法，其中，

基于将所述极坐标空间的矢径方向与在该矢径方向上求出的所述细胞块的厚度建立关联的所述细胞块的厚度曲线，检测所述突起部位。

6.如权利要求5所述的图像处理方法，其中，

对所述厚度曲线执行最大值滤波处理，并将在该滤波处理的前后值不变化的位置作为所述突起部位的位置。

7.如权利要求6所述的图像处理方法，其中，

通过三维图表示所述厚度曲线，该三维图是通过在与所述内侧表面或所述外侧表面相对应的位置配置具有与该位置处的所述细胞块的厚度相对应的亮度值的像素而制作的，

所述最大值滤波处理作为对以关注像素为中心的球形区域进行的空间滤波处理而执行。

8.如权利要求6所述的图像处理方法，其中，

通过三维图表示所述厚度曲线，该三维图是通过在所述极坐标空间内对所述细胞块进行球体近似而得到的近似球的表面的各个位置配置具有与通过该位置的矢径方向上的所述细胞块的厚度相对应的亮度值的像素而制作的，

所述最大值滤波处理作为对以关注像素为中心的球形区域进行的空间滤波处理而执行。

9.如权利要求6所述的图像处理方法，其中，

通过二维图表示所述厚度曲线，该二维图是通过在将所述极坐标数据表示的两个偏角作为坐标轴的坐标平面配置具有与由该两个偏角在所述极坐标空间内确定的一个矢径方向上的所述细胞块的厚度相对应的亮度值的像素而制作的，

所述最大值滤波处理作为对以所述二维图上的关注像素为中心的圆形区域进行的二维滤波处理而执行。

10.如权利要求9所述的图像处理方法，其中，

通过拟圆柱投影制作所述二维图。

11.如权利要求9所述的图像处理方法，其中，

所述极坐标空间由通过原点的平面分割为多个，并对被分割而成的空间的每一个单独地执行所述二维图的制作以及所述突起部位的检测。

12.如权利要求1或2所述的图像处理方法，其中，

所述图像处理方法还包括对检测的所述突起部位的数量进行计测的工序。

13.一种程序，用于使计算机执行如下工序：

对在内部具有空洞的细胞块进行光学相干断层拍摄，并基于表示所述细胞块的三维图像的三维图像数据，获取在每个位置表示所述细胞块中的面向外部空间的外侧表面与面向所述空洞的内侧表面之间的所述细胞块的厚度的厚度分布的工序；以及

基于所述厚度分布的获取结果，检测厚度比周围的区域突出的突起部位的工序。

14.一种计算机可读取的记录介质，其非暂时性地存储权利要求13所述的程序。

15.一种图像处理方法，其中，

包括：

获取对胚泡期的受精卵进行光学相干断层拍摄所得的三维图像数据和进行光学显微镜拍摄所得的二维图像数据的工序；

根据所述三维图像数据，确定与所述受精卵的结构体相对应的结构区域的工序；

根据所述二维图像数据，确定与所述受精卵的透明带相对应的区域，并求出其平均厚度的工序；以及

将所述结构区域分割为从外缘起朝向所述结构区域的内部处于所述平均厚度的范围的区域和除此之外的区域。

16.如权利要求15所述的图像处理方法，其中，

与所述透明带相对应的区域的确定是使用将光学显微镜拍摄的所述透明带的图像作为教师图像预先机器学习的分类算法来进行的。

17.如权利要求16所述的图像处理方法，其中，

作为所述分类算法使用语义分割法。

18.如权利要求16或17所述的图像处理方法，其中，

在使焦点深度不同的情况下执行多次所述受精卵的光学显微镜拍摄，并根据这些图像中的与所述透明带相对应的区域的面积最大的图像，求出所述透明带的平均厚度。

19.如权利要求18所述的图像处理方法，其中，

使用所述分类算法确定的区域的面积乘以基于该区域的内部与外部之间的边界处的亮度变化的大小而确定的系数所得的值作为表示与所述透明带相对应的区域的面积的值。

20.如权利要求19所述的图像处理方法，其中，

所述系数为所述边界的内部与外部的亮度值的差分的平方。

21.如权利要求15至17中任一项所述的图像处理方法，其中，

所述结构区域中的从所述外缘起处于所述平均厚度的范围的区域被视为所述透明带。

22.如权利要求21所述的图像处理方法，其中，

所述结构区域中的所述透明带以外的区域被视为内细胞块和营养外胚层的区域。

23.如权利要求15至17中任一项所述的图像处理方法，其中，

根据所述三维图像数据，确定具有规定值以上的亮度值的像素所占据的区域，并将该区域视为所述结构区域。

24.一种程序，用于使计算机执行如下工序：

根据对胚泡期的受精卵进行光学相干断层拍摄所得的三维图像数据，确定与所述受精卵的结构体相对应的结构区域的工序；

根据对所述受精卵进行光学显微镜拍摄所得的二维图像数据，确定与所述受精卵的透明带相对应的区域，并求出其平均厚度的工序；以及

将所述结构区域分割为从外缘起朝向所述结构区域的内部处于所述平均厚度的范围的区域和除此之外的区域的工序。

25.一种计算机可读取的记录介质，其非暂时性地存储权利要求24所述的程序。

Images