[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110288568A - 眼底图像处理方法、装置、设备和存储介质 - Google Patents

眼底图像处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110288568A
CN110288568A CN201910443966.5A CN201910443966A CN110288568A CN 110288568 A CN110288568 A CN 110288568A CN 201910443966 A CN201910443966 A CN 201910443966A CN 110288568 A CN110288568 A CN 110288568A
Authority
CN
China
Prior art keywords
matrix
fundus image
image
network model
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910443966.5A
Other languages
English (en)
Inventor
杨叶辉
杨大陆
许言午
王磊
黄艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Confucius Health Technology Co ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910443966.5A priority Critical patent/CN110288568A/zh
Publication of CN110288568A publication Critical patent/CN110288568A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请提供一种眼底图像处理方法、装置、设备和存储介质，其中，该方法包括：将眼底图像输入到第一网络模型中，得到第一矩阵，眼底图像中包括多个图像块，第一矩阵中的每一个第一矩阵点与每一个图像块之间一一对应，每一个第一矩阵点的数值表征一种疑似病灶类型；对第一矩阵进行扩展处理得到第二矩阵；将第二矩阵与眼底图像进行结合得到加权病灶图；将加权病灶图输入到第二网络模型中，得到眼底图像分析结果，眼底图像分析结果包括眼底图像的病变级别和每一个图像块的病灶类型。由于融合了眼底图像的整体信息与局部的图像块中的细节信息，准确的对眼底图像进行分析和识别，得到较为准确的眼底图像分析结果，提升了眼底图像的分析和识别精准度。

Description

眼底图像处理方法、装置、设备和存储介质
技术领域
本申请实施例涉及图像技术领域，尤其涉及一种眼底图像处理方法、装置、设备和存储介质。
背景技术
随着图像技术的发展，图像技术开始应用到各个领域，例如应用到医疗领域、公共安全领域、人脸识别领域等等。其中，在医疗领域中，可以采用图像分析、处理和识别等方式，对医疗图像进行处理，得到图像分析结果；然后医护人员就可以根据图像分析结果，结合自身的医学经验进行判别，进而医护人员分析出病症和病灶。其中，对于眼底图像来说，采用图像分析的方式对眼底图像进行分析，已经开始得到较多的应用。
现有技术中，可以将眼底图像划分为图像块，然后采用现有的图像块级别标注的检测方式对图像块进行分析，得到眼底图像分析结果，眼底图像分析结果包括了眼底图像的病变级别和病灶类型；其中，病变级别例如为，轻度、中度、重度。
然而现有技术中，图像块级别标注的检测方式受限于对图像块的分析，忽略了图像块之外的眼底图像中的全局环境信息，进而得到的眼底图像分析结果并不准确，从而，眼底图像的分析和识别的精准度较低。
发明内容
本申请实施例提供一种眼底图像处理方法、装置、设备和存储介质，用于解决现有技术中的问题。
本申请第一方面提供一种眼底图像处理方法，包括：
将待处理的眼底图像输入到第一网络模型中，得到第一矩阵，其中，所述眼底图像中包括多个图像块，所述第一矩阵包括多个第一矩阵点，每一个所述第一矩阵点与每一个所述图像块之间一一对应，每一个所述第一矩阵点的数值表征了一种疑似病灶类型；
对所述第一矩阵进行扩展处理，得到第二矩阵，所述第二矩阵的大小与所述眼底图像的大小相同；
将所述第二矩阵与所述眼底图像进行结合，得到加权病灶图；
将所述加权病灶图输入到第二网络模型中，得到眼底图像分析结果，其中，所述眼底图像分析结果包括所述眼底图像的病变级别和每一个所述图像块的病灶类型。
可选的，在所述将待处理的眼底图像输入到第一网络模型中，得到第一矩阵之前，还包括：
采用预设的病灶类型数据对初始的第一网络模型进行预训练，得到预训练后的第一网络模型；
采用预设的病变级别数据对初始的第二网络模型进行预训练，得到预训练后的第二网络模型；
将所述预训练后的第一网络模型和所述预训练后的第二网络模型进行连接，并采用所述病变级别数据对连接后的第一网络模型和第二网络模型进行训练，得出训练后的第一网络模型和训练后的第二网络模型。
可选的，对所述第一矩阵进行扩展处理，得到第二矩阵，包括：
对所述第一矩阵中的每一个第一矩阵点进行全值拓展，得到所述第二矩阵，其中，所述第二矩阵包括多个矩阵块，每一个所述矩阵块与每一个所述第一矩阵点之间一一对应，每一个所述矩阵块中包括了多个第二矩阵点，每一个所述矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个所述矩阵块中的各第二矩阵点的数值为矩阵块所对应的第一矩阵点的数值。
可选的，所述将待处理的眼底图像输入到第一网络模型中，得到第一矩阵，包括：
将待处理的眼底图像输入到第一网络模型中，输出所述第一矩阵和第三矩阵，其中，所述第三矩阵包括多个第三矩阵点，每一个所述第三矩阵点与每一个所述第一矩阵点之间一一对应，每一个所述第三矩阵点的数值表征了第三矩阵点所对应的第一矩阵点的疑似病灶类型的概率；
对所述第一矩阵进行扩展处理，得到第二矩阵，包括：
将所述第一矩阵与所述第三矩阵进行结合，得到第四矩阵，其中，所述第四矩阵的大小与所述第一矩阵的大小相同，所述第四矩阵中包括多个第四矩阵点；
对所述第四矩阵中的每一个第四矩阵点进行全值拓展，得到所述第二矩阵，其中，所述第二矩阵包括多个矩阵块，每一个所述矩阵块与每一个所述第四矩阵点之间一一对应，每一个所述矩阵块中包括了多个第二矩阵点，每一个所述矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个所述矩阵块中的各第二矩阵点的数值为矩阵块所对应的第四矩阵点的数值。
可选的，所述第四矩阵为LP＝(L+1)⊙P；其中，L为所述第一矩阵，P为所述第三矩阵。
可选的，所述加权病灶图为WM＝W⊙Iori，其中，Iori为所述眼底图像，W为所述第二矩阵。
可选的，所述第一网络模型中的输出层的每个节点的感受野，只覆盖了所述每个节点所对应的图像块的范围。
可选的，在所述将待处理的眼底图像输入到第一网络模型中，得到第一矩阵之前，还包括：
采用预设的图像预处理方式，对所述待处理的眼底图像进行图像预处理，得到处理后的眼底图像，其中，所述图像预处理方式用于均衡所述待处理的眼底图像中的光照分布。
可选的，所述图像预处理方式为高斯平滑滤波方式；
所述处理后的眼底图像为其中，Iori为所述待处理的眼底图像，G(θ)为预设的高斯核，θ为预设的高斯核尺寸参数，α、β、γ为预设的超参数。
可选的，所述第一矩阵为三维矩阵，所述第二矩阵为三维矩阵，所述第三矩阵为三维矩阵，所述第四矩阵为三维矩阵。
本申请第二方面提供一种眼底图像处理装置，包括：
第一处理单元，用于将待处理的眼底图像输入到第一网络模型中，得到第一矩阵，其中，所述眼底图像中包括多个图像块，所述第一矩阵包括多个第一矩阵点，每一个所述第一矩阵点与每一个所述图像块之间一一对应，每一个所述第一矩阵点的数值表征了一种疑似病灶类型；
扩展单元，用于对所述第一矩阵进行扩展处理，得到第二矩阵，所述第二矩阵的大小与所述眼底图像的大小相同；
结合单元，用于将所述第二矩阵与所述眼底图像进行结合，得到加权病灶图；
第二处理单元，用于将所述加权病灶图输入到第二网络模型中，得到眼底图像分析结果，其中，所述眼底图像分析结果包括所述眼底图像的病变级别和每一个所述图像块的病灶类型。
可选的，所述装置，还包括：
第一训练单元，用于在所述第一处理单元将待处理的眼底图像输入到第一网络模型中，得到第一矩阵之前，采用预设的病灶类型数据对初始的第一网络模型进行预训练，得到预训练后的第一网络模型；
第二训练单元，用于采用预设的病变级别数据对初始的第二网络模型进行预训练，得到预训练后的第二网络模型；
第三训练单元，用于将所述预训练后的第一网络模型和所述预训练后的第二网络模型进行连接，并采用所述病变级别数据对连接后的第一网络模型和第二网络模型进行训练，得出训练后的第一网络模型和训练后的第二网络模型。
可选的，所述扩展单元，具体用于：
对所述第一矩阵中的每一个第一矩阵点进行全值拓展，得到所述第二矩阵，其中，所述第二矩阵包括多个矩阵块，每一个所述矩阵块与每一个所述第一矩阵点之间一一对应，每一个所述矩阵块中包括了多个第二矩阵点，每一个所述矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个所述矩阵块中的各第二矩阵点的数值为矩阵块所对应的第一矩阵点的数值。
可选的，所述第一处理单元，具体用于：
将待处理的眼底图像输入到第一网络模型中，输出所述第一矩阵和第三矩阵，其中，所述第三矩阵包括多个第三矩阵点，每一个所述第三矩阵点与每一个所述第一矩阵点之间一一对应，每一个所述第三矩阵点的数值表征了第三矩阵点所对应的第一矩阵点的疑似病灶类型的概率；
所述扩展单元，具体用于：
将所述第一矩阵与所述第三矩阵进行结合，得到第四矩阵，其中，所述第四矩阵的大小与所述第一矩阵的大小相同，所述第四矩阵中包括多个第四矩阵点；
对所述第四矩阵中的每一个第四矩阵点进行全值拓展，得到所述第二矩阵，其中，所述第二矩阵包括多个矩阵块，每一个所述矩阵块与每一个所述第四矩阵点之间一一对应，每一个所述矩阵块中包括了多个第二矩阵点，每一个所述矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个所述矩阵块中的各第二矩阵点的数值为矩阵块所对应的第四矩阵点的数值。
可选的，所述第四矩阵为LP＝(L+1)⊙P；其中，L为所述第一矩阵，P为所述第三矩阵。
可选的，所述加权病灶图为WM＝W⊙Iori，其中，Iori为所述眼底图像，W为所述第二矩阵。
可选的，所述第一网络模型中的输出层的每个节点的感受野，只覆盖了所述每个节点所对应的图像块的范围。
可选的，所述装置，还包括：
第三处理单元，用于在所述第一处理单元将待处理的眼底图像输入到第一网络模型中，得到第一矩阵之前，采用预设的图像预处理方式，对所述待处理的眼底图像进行图像预处理，得到处理后的眼底图像，其中，所述图像预处理方式用于均衡所述待处理的眼底图像中的光照分布。
可选的，所述图像预处理方式为高斯平滑滤波方式；
所述处理后的眼底图像为其中，Iori为所述待处理的眼底图像，G(θ)为预设的高斯核，θ为预设的高斯核尺寸参数，α、β、γ为预设的超参数。
可选的，所述第一矩阵为三维矩阵，所述第二矩阵为三维矩阵，所述第三矩阵为三维矩阵，所述第四矩阵为三维矩阵。
本申请第三方面提供一种眼底图像处理设备，包括：发送器、接收器、存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现第一方面任一实现方式提供的方法。
本申请第四方面提供一种存储介质，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现第一方面任一实现方式提供的方法。
本申请实施例提供的眼底图像处理方法、装置设备和存储介质，通过首先对眼底图像的每一个图像块进行分析，得到每一个图像块的疑似病灶类型，进而得到一个三维矩阵；然后，对三维矩阵的大小进行拓展，得到与眼底图像的大小相同的第二矩阵；将第二矩阵的信息与眼底图像的信息进行结合，得到加权病灶图，该加权病灶图中包括了眼底图像中的细节信息和全局整体信息；然后，对加权病灶图进行识别，得到眼底图像分析结果，进而得到眼底图像的病变级别和每一个图像块的病灶类型。从而，由于融合了眼底图像的整体信息与局部的图像块中的细节信息，可以准确的对眼底图像进行分析和识别，可以得到较为准确的眼底图像分析结果，提升了眼底图像的分析和识别精准度。进一步的，医护人员根据自身的医学经验，进一步的对眼底图像和眼底图像分析结果进行医学判断，进而确定出真正的病因和病灶。并且，本申请实施例采用的图像块进行分析，不采用像素级别的分析方式，可以降低图像分析的时间和成本，提高眼底图像的分析效率；并且，相较于端对端的黑盒分类模型，本申请实施例的第二网络模型可以直接输出病变级别和每一个像素块的病灶类型，本申请实施例可以得到更多的输出信息。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种眼底图像处理方法的流程图；
图2为本申请实施例提供的另一种眼底图像处理方法的流程图；
图3为本申请提供的图像处理流程图一；
图4为本申请提供的第一矩阵的示意图；
图5为本申请提供的图像处理流程图二；
图6为本申请实施例提供的一种眼底图像处理装置的结构示意图；
图7为本申请实施例提供的另一种眼底图像处理装置的结构示意图；
图8为本申请实施例提供的一种眼底图像处理设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
随着图像技术的发展，图像技术开始应用到各个领域，例如应用到医疗领域、公共安全领域、人脸识别领域等等。其中，在医疗领域中，可以采用图像分析、处理和识别等方式，对医疗图像进行处理，得到图像分析结果，然后医护人员就可以根据图像分析结果进行判别，进而医护人员分析出病症和病灶。其中，眼部的健康越来越受到人们的重视，可以获取眼底图像；然后对于眼底图像来说，采用图像分析的方式对眼底图像进行分析，已经开始得到较多的应用。
可以提供以下几种方式对对眼底图像进行分析。
第一种方式，采用端对端的黑盒分类模型，黑盒分类模型采用深度网络算法，将眼底图像输入到黑盒分类模型中，输出眼底分析结果；眼底分析结果包括了眼底图像的病变级别和眼底图像的病灶类型。
但是上述第一种方式，黑盒分类模型受限于模型本身的特性，无法准确的对眼底图像进行分析，无法准确的分析出病灶位于眼底图像的哪个位置；并且，黑盒分类模型依赖于黑盒深度学习模型自动学习对分级有价值的特征，在训练数据量有限的情况下，黑盒模型往往很难学习到具有泛化性能的特征。
第二种方式，采用基于图像块级别标注的检测算法，可以将眼底图像划分为多个图像块，然后对图像块进行分析，得到眼底图像分析结果。
但是上述第二种方式，由于是针对每一个眼底图像进行图像块的划分、图像分析，确认出每一个眼底图像的眼底图像分析结果；在图像分析过程中，受限于不同病灶外观的差异、分布差异、尺寸差异，同样受限于数据量，很难检测到准确的病灶，即，得到的眼底图像分析结果并不准确。并且，图像块级别标注的检测方式受限于对图像块的分析，忽略了图像块之外的眼底图像中的全局环境信息，即，容易被眼底图像中的复杂背景干扰，例如血管，视盘等所构成的图像组织。
第三种方式，采用基于像素级标注的分割算法，可对眼底图像中每一个像素点进行分析，得到眼底图像分析结果。
但是上述第三种方式，需要对眼底图像中每一个像素点进行图像分析，造成算法复杂，对每一个像素点进行标注的过程繁杂，得到分析结果的效率较低。
本申请提供一种眼底图像处理方法、装置设备和存储介质，用于解决上述技术问题。
图1为本申请实施例提供的一种眼底图像处理方法的流程图，如图1所示，该方法，包括：
S101、将待处理的眼底图像输入到第一网络模型中，得到第一矩阵，其中，眼底图像中包括多个图像块，第一矩阵包括多个第一矩阵点，每一个第一矩阵点与每一个图像块之间一一对应，每一个第一矩阵点的数值表征了一种疑似病灶类型。
在本步骤中，本实施例以执行主体可以是眼底图像处理装置、或者眼底图像处理设备、或者其他检测设备等等。
获取眼底图像Iori，眼底图像Iori是通过对眼部进行扫描而得到的彩色图像，其中，眼底图像Iori的宽度为M，眼底图像Iori的长度为N，即，眼底图像Iori的宽×长尺寸为M×N。
然后，将眼底图像Iori输入到预设的成熟的第一网络模型中，第一网络模型可以对眼底图像Iori进行图像分析和识别。具体的，眼底图像Iori可以由多个图像块构成，可以采用栅格将眼底图像Iori分割为n×n块，即，得到了n×n个图像块，每一个图像块中包括了多个像素点；第一网络模型是一种高级的神经网络模型，优选的，第一网络模型是灶级注意力生成网络(lesion attention net)模型；将眼底图像Iori输入到第一网络模型中，通过第一网络模型对眼底图像Iori进行整体的图像分析、并且对眼底图像Iori中的每一个图像块进行图像分析，对于每一个图像块输出一个第一矩阵点，并且第一矩阵点具有数值，第一矩阵点的数值表征了与第一矩阵点对应的图像块的疑似病灶类型；进而，由各个图像块对应的第一矩阵点，构成一个第一矩阵，进而可以输出一个第一矩阵L。可知，每一个第一矩阵点与每一个图像块之间是一一对应的，第一矩阵L的大小为n×n；第一矩阵L中的第(i,j)个第一矩阵点的数值m属于[0,k]，其中，m为整数，k为大于等于1的正整数，i∈[1,n]，j∈[1,n]，i、j为正整数；第(i,j)个第一矩阵点的数值m，表征了第(i,j)个第一矩阵点为第m种疑似病灶类型，即，表征了与第(i,j)个第一矩阵点对应的第(i,j)个图像块为第m种疑似病灶类型。
并且，优选的，由于眼底图像Iori是彩色图像，从而第一矩阵是一个三维矩阵，即，第一矩阵是一个三维数据。第一矩阵具有三个面，可以依次对应三种不同的图像维度，例如，依次对应于红(Red)、绿(Green)、蓝(Blue)三种颜色，或者，依次对应于色调(Hue)、饱和度(Saturation)、明度(Value)。举例来说，从RGB的角度讲，第一矩阵具有三个面，依次对应于红(Red)、绿(Green)、蓝(Blue)三种颜色，而每一面中的数据则分别是这三种颜色的强度值；例如，设定第一矩阵为X三维矩阵(256,256,3)，则X(:,:,1)代表红色的二维矩阵，X(:,:,2)代表绿色的二维矩阵，X(:,:,3)代表蓝色的二维矩阵，其中，第一维和第二维的取值范围为0-255，第三维的取值范围为1-3。从而，准确来说，第一矩阵L的大小为n×n×3。
S102、对第一矩阵进行扩展处理，得到第二矩阵，第二矩阵的大小与眼底图像的大小相同。
可选的，步骤S102具体包括：对第一矩阵中的每一个第一矩阵点进行全值拓展，得到第二矩阵，其中，第二矩阵包括多个矩阵块，每一个矩阵块与每一个第一矩阵点之间一一对应，每一个矩阵块中包括了多个第二矩阵点，每一个矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个矩阵块中的各第二矩阵点的数值为矩阵块所对应的第一矩阵点的数值。
在本步骤中，为了可以得到眼底图像中的细节信息和全局整体信息，需要生成一个加权病灶图。
首先，需要将对第一矩阵进行扩展处理，得到与眼底图像Iori的大小相同的第二矩阵。具体的，由于将大小为M×N的眼底图像Iori划分为了n×n个图像块，并且所得到第一矩阵L中的每一个第一矩阵点与每一个图像块之间一一对应；对于第一矩阵L中的每一个第一矩阵点，将第一矩阵点复制为多个第二矩阵点，由一个第一矩阵点而得到的多个第二矩阵点可以构成一个矩阵块；进而由各个矩阵块构成了第二矩阵。可知，图像块与第一矩阵点之间一一对应，第一矩阵点与矩阵块之间一一对应，则，图像块与矩阵块之间也是一一对应的；矩阵块中的第二矩阵点的个数，与矩阵块对应的图像块中的像素点的个数，两者是相同。并且，由于将第一矩阵点复制为多个第二矩阵点，则第二矩阵中属于同一个矩阵块的第二矩阵点的数值是相同的；并且，对于同一个矩阵块来说，矩阵块中的第二矩阵点的数值，是与矩阵块对应的第一矩阵点的数值。进而，每一个矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型。从而，将第一矩阵L中的每一个第一矩阵点以全值拓展的方式，进行矩阵点的个数拓展，得到大小为M×N的第二矩阵W，第二矩阵W是一个加权矩阵。
举例来说，将大小为1024×1024的眼底图像Iori，划分为了16×16个图像块；得到一个16×16的第一矩阵L；然后，对第一矩阵L中的每一个矩阵点拓展为64个相同的矩阵点，即，拓展为64个相同的第二矩阵点，64个相同的第二矩阵点构成一个矩阵块；各个矩阵块，构成了第二矩阵W，进而得到了大小为1024×1024的第二矩阵W。
并且，第一矩阵L是三维矩阵，由于准确来说，第二矩阵W也是三维矩阵，第二矩阵W的大小为M×N×3。
此外，在对第一矩阵L进行扩展处理的时候，还可以采用非权值拓展的方式。即，对于每一个第一矩阵点，根据第一矩阵点生成多个数值不同的第二矩阵点，第二矩阵点的数值可以属于[A,B]，其中，A当前第一矩阵点的数值，B为与当前第一矩阵点相邻的第一矩阵点的数值；由一个第一矩阵点而得到的多个第二矩阵点可以构成一个矩阵块；进而由各个矩阵块构成了第二矩阵；这种方式，也是得到了一个大小为M×N的第二矩阵W。但是这种方式，由于相邻的第一矩阵点对应了相邻的图像块，图像块之间是否具有病症关联是不确定，并不能构成以相邻的图像块对应的第一矩阵点的数值，作为第二矩阵点的取值的依据；从而，所得到的最终的图像分析结果，并不如全值拓展的方式所得到的图像分析结果。
S103、将第二矩阵与眼底图像进行结合，得到加权病灶图。
可选的，加权病灶图为WM＝W⊙Iori，其中，Iori为眼底图像，W为第二矩阵。
在本步骤中，为了可以得到眼底图像中的细节信息和全局整体信息，可以将上述第二矩阵W与眼底图像Iori进行结合，以得到一个加权病灶图。优选的，将第二矩阵W与眼底图像Iori，进行点对点相乘，得到加权病灶图WM＝W⊙Iori。从而，所得到加权病灶图WM包含了原始的眼底图像Iori中的整体图像信息，即，病灶周围的环境信息；所得到加权病灶图WM还包含了每一个图像块属于第m种疑似病灶类型的信息。
S104、将加权病灶图输入到第二网络模型中，得到眼底图像分析结果，其中，眼底图像分析结果包括眼底图像的病变级别和每一个图像块的病灶类型。
在本步骤中，将上述步骤所得到的加权病灶图WM，输入到预设的成熟的第二网络模型中；优选的，第二网络模型是糖网分级网络模型。糖网分级网络模型可以是任意的经典的分类网模型，例如是，Inception-v3模型、残差神经网络(Residual Neural Network，ResNet)模型、DenseNet模型等等。
然后，第二网络模型进一步的对加权病灶图WM进行分析处理，并且依据每一个图像块的疑似病灶类型，对加权病灶图WM进行进一步的分析和识别。第二网络模型输出眼底图像的病变级别；病变级别表征了眼底图像的病变级别，病变级别例如为轻度、中度、重度；或者，病变级别分为是否存在病变，即分为了两个级别；或者，病变级别分为五个级别。第二网络模型还可以输出眼底图像的每一个图像块的病灶类型，例如，第(i,j)个图像块的病灶类型，为第m种病灶类型。
举例来说，若对糖尿病的眼底图像进行分析，则眼底图像分析结果包括了眼底图像的糖网级别和每一个图像块的病灶类型；糖网级别例如是眼底图像是否存在糖网，或者，糖网级别例如是眼底图像的糖网级别为轻度、或中度、或重度；病灶类型例如是第m种糖网病灶类型。若对黄斑的眼底图像进行分析，则眼底图像分析结果包括了眼底图像的黄斑级别和每一个图像块的病灶类型；黄斑级别例如是眼底图像是否存在黄斑，或者，黄斑级别例如是眼底图像的黄斑级别为轻度、或中度、或重度；病灶类型例如是第m种黄斑病灶类型。
本实施例，通过将待处理的眼底图像输入到第一网络模型中，得到第一矩阵，其中，眼底图像中包括多个图像块，第一矩阵包括多个第一矩阵点，每一个第一矩阵点与每一个图像块之间一一对应，每一个第一矩阵点的数值表征了一种疑似病灶类型；对第一矩阵进行扩展处理，得到第二矩阵，第二矩阵的大小与眼底图像的大小相同；将第二矩阵与眼底图像进行结合，得到加权病灶图；将加权病灶图输入到第二网络模型中，得到眼底图像分析结果，其中，眼底图像分析结果包括眼底图像的病变级别和每一个图像块的病灶类型。通过首先对眼底图像的每一个图像块进行分析，得到每一个图像块的疑似病灶类型，进而得到一个三维矩阵；然后，对三维矩阵的大小进行拓展，得到与眼底图像的大小相同的第二矩阵；将第二矩阵的信息与眼底图像的信息进行结合，得到加权病灶图，该加权病灶图中包括了眼底图像中的细节信息和全局整体信息；然后，对加权病灶图进行识别，得到眼底图像分析结果，进而得到眼底图像的病变级别和每一个图像块的病灶类型。从而，由于融合了眼底图像的整体信息与局部的图像块中的细节信息，可以准确的对眼底图像进行分析和识别，可以得到较为准确的眼底图像分析结果，提升了眼底图像的分析和识别精准度。进一步的，医护人员根据自身的医学经验，进一步的对眼底图像和眼底图像分析结果进行医学判断，进而确定出真正的病因和病灶。并且，本申请实施例采用的图像块进行分析，不采用像素级别的分析方式，可以降低图像分析的时间和成本，提高眼底图像的分析效率；并且，相较于端对端的黑盒分类模型，本申请实施例的第二网络模型可以直接输出病变级别和每一个像素块的病灶类型，本申请实施例可以得到更多的输出信息。
图2为本申请实施例提供的另一种眼底图像处理方法的流程图，如图2所示，该方法，包括：
S201、采用预设的病灶类型数据对初始的第一网络模型进行预训练，得到预训练后的第一网络模型。
在本步骤中，本实施例以执行主体可以是眼底图像处理装置、或者眼底图像处理设备、或者其他检测设备等等。
首先需要得到成熟的第一网络模型和成熟的第二网络模型。
预先获取到了病灶类型数据，其中，病灶类型数据包括了多个眼底图像，每一个眼底图像由多个图像块构成，每一个图像块对应了一种病灶类型。将病灶类型数据，输入到初始的待训练的第一网络模型中；进而，采用病灶类型数据，对第一网络模型进行预训练，在第一网络模型收敛之后，得到预训练后的第一网络模型。优选的，第一网络模型，为病灶级注意力生成网络(lesion attention net)模型。
S202、采用预设的病变级别数据对初始的第二网络模型进行预训练，得到预训练后的第二网络模型。
在本步骤中，预先获取到了病变级别数据，其中，病变级别数据中包括了多个眼底图像，每一个眼底图像对应了一个病变级别。将病变级别数据，输入到初始的待训练的第二网络模型中；进而，采用病变级别数据对第二网络模型进行预训练，在第二网络模型收敛之后，得到预训练后的第二网络模型。优选的，第二网络模型，为糖网分级网络模型。
S203、将预训练后的第一网络模型和预训练后的第二网络模型进行连接，并采用病变级别数据对连接后的第一网络模型和第二网络模型进行训练，得出训练后的第一网络模型和训练后的第二网络模型。
在本步骤中，在步骤S202之后，还需要对预训练后的第一网络模型和预训练后的第二网络模型，进行进一步的训练，已得到成熟的第一网络模型和成熟的第二网络模型。
首先，将预训练后的第一网络模型和预训练后的第二网络模型进行连接，即，将预训练后的第一网络模型的输出层与预训练后的第二网络模型的输入层进行连接，进而，将预训练后的第一网络模型和预训练后的第二网络模型进行联合。
然后，采用病变级别数据，再次对连接后的第一网络模型和第二网络模型进行训练。即，采用病变级别数据同时训练连接后的两个网络模型，直至收敛，以得到成熟的病灶级注意力生成网络模型和成熟的糖网分级网络模型。
S204、采用预设的图像预处理方式，对待处理的眼底图像进行图像预处理，得到处理后的眼底图像，其中，图像预处理方式用于均衡待处理的眼底图像中的光照分布。
可选的，图像预处理方式为高斯平滑滤波方式；处理后的眼底图像为 其中，Iori为待处理的眼底图像，G(θ)为预设的高斯核，θ为预设的高斯核尺寸参数，α、β、γ为预设的超参数。
在本步骤中，获取眼底图像Iori，眼底图像Iori是通过对眼部进行扫描而得到的彩色图像，其中，眼底图像Iori的宽度为M，眼底图像Iori的长度为N，即，眼底图像Iori的宽×长尺寸为M×N。
然后，为了增强图像可读性、缓解光照分布给图像可读性带来的问题，需要对眼底图像Iori进行图像预处理。可以采用直方图均衡化、或者高斯平滑滤波等方式，对眼底图像Iori进行图像预处理，得到处理后的眼底图像I，从而均衡眼底图像Iori中的光照分布、缓解眼底图像中的光照不平衡的问题。
其中，图像预处理的方式，不限于直方图均衡化、高斯平滑滤波等方式；图像预处理的方式，只要可以够增强图像可读性、缓解光照分布给图像可读性带来的问题就可以。
举例来说，可以将眼底图像Iori输入到高斯平滑滤波器中，对眼底图像Iori进行图像预处理，得到处理后的眼底图像其中，为卷积操作，G(θ)为预设的高斯核，θ为预设的高斯核尺寸参数，α、β、γ为预设的超参数。例如，α＝4，β＝-4，γ＝128。高斯平滑滤波器可以增强眼底图像Iori的可读性。
S205、将处理后的眼底图像输入到第一网络模型中，得到第一矩阵和第三矩阵，其中，眼底图像中包括多个图像块，第一矩阵包括多个第一矩阵点，每一个第一矩阵点与每一个图像块之间一一对应，每一个第一矩阵点的数值表征了一种疑似病灶类型。第三矩阵包括多个第三矩阵点，每一个第三矩阵点与每一个第一矩阵点之间一一对应，每一个第三矩阵点的数值表征了第三矩阵点所对应的第一矩阵点的疑似病灶类型的概率。
可选的，第一网络模型中的输出层的每个节点的感受野，只覆盖了每个节点所对应的图像块的范围。
在本步骤中，在步骤S204之后，处理后的眼底图像I，输入到成熟的第一网络模型中，第一网络模型可以对处理后的眼底图像I进行图像分析和识别。
具体的，眼底图像Iori可以由多个图像块构成，其中，每个图像块的像素值表征了的病灶信息，即每个图像块包含有病灶信息。在对眼底图像Iori进行图像预处理之后，得到的处理后的眼底图像I与原始的眼底图像Iori的尺寸是相同的；并且，处理后的眼底图像I由多个图像块构成，可以采用栅格将眼底图像Iori分割为n×n块，即，得到了n×n个图像块，每一个图像块中包括了多个像素点，处理后的眼底图像I的图像块与原始的眼底图像Iori的图像块之间是一一对应的。
通过第一网络模型对处理后的眼底图像I进行整体的图像分析、并且对处理后的眼底图像I中的每一个图像块进行图像分析，得到一个第一矩阵L。其中，第一矩阵L，可以参见图1所示的步骤S101的介绍，不再赘述。
并且，在得到第一矩阵L的同时，第一网络模型对处理后的眼底图像I进行整体的图像分析、并且对处理后的眼底图像I中的每一个图像块进行图像分析，对于每一个图像块还可以输出一个第三矩阵点；，并且第三矩阵点具有数值，第三矩阵点的数值表征了与第三矩阵点对应的图像块，所属于的疑似病灶类型的概率；进而，由各个图像块对应的第三矩阵点，构成一个第三矩阵，进而可以输出一个第三矩阵P。可知，每一个第三矩阵点与每一个图像块之间是一一对应的，第三矩阵P的大小为n×n；并且，每一个第三矩阵点与每一个第一矩阵点之间一一对应。第三矩阵P中的第(i,j)个第三矩阵点的数值为Pi,j，且Pi,j∈[0,1]，同样的，i∈[1,n]，j∈[1,n]，i、j为正整数；第(i,j)个第三矩阵点的数值Pi,j，表征了第(i,j)个图像块为第m种疑似病灶类型的概率，即表征了第三矩阵点所对应的第一矩阵点的疑似病灶类型的概率。
并且，第一矩阵L是三维矩阵，第三矩阵P也是三维矩阵，准确来说，第三矩阵P的大小为n×n×3。
其中，第一网络模型，具有以下特征：需要保证到输出层(feature map)的每一个节点的感受野，只覆盖每一个节点所对应的与每一个第一矩阵点对应的图像块的范围；即，输出层(feature map)的每一个节点的感受野，只覆盖每一个节点所对应的图像块的范围，图像块为原始的眼底图像中的图像块。
为了保证第一网络模型的感受野，符合以上特征，需要设置第一网络模型的卷积层的卷积核尺寸、步长、padding、层数之间是有连动关系的。
举例来说，如果原始的眼底图像Iori的长宽尺寸为1024×1024，从而，图像预处理后的眼底图像I的长宽尺寸为1024×1024；设置栅格化参数n＝16，原始的眼底图像Iori具有1024×1024个图像块，眼底图像I具有1024×1024个图像块，上述每一个图像块的尺寸为64×64。此时，第一网络模型的卷积层，可以按照表1的方式进行设置。
表1 第一网络模型的卷积层
层类型 卷积核的尺寸与个数 步长 Padding 输出层(Feature map)尺寸
输入 … … … 1024*1024*3
卷积层1 5*5*32 1 2 1020*1020*32
卷积层2 2*2*32 2 0 512*512*32
卷积层3 2*2*64 2 0 256*256*64
卷积层4 2*2*128 2 0 128*128*128
卷积层5 2*2*256 2 0 64*64*256
卷积层6 2*2*512 2 0 32*32*1024
卷积层7 2*2*1024 2 0 16*16*1024
卷积层8 1*1*1024 1 0 16*16*1024
在上述示例中，第一网络模型具有8层卷积层；表1中“卷积核的尺寸与个数”中前两位是卷积核的尺寸，最后一位是卷积核的个数。在上述示例中，各个卷积层的卷积核尺寸、步长、padding、层数之间是有连动关系的，整个第一网络模型是整体的连动关系。如表1所示，在第7个卷积层和第8个卷积层输出的feature map中每一个节点的感受野，覆盖了眼底图像中的67×67个图像块；相邻的节点的感受野，所对应的图像块有3个像素的重叠，这里，是为了解决病灶出现在图像块边缘情况的问题。
如上述示例可知，第一网络模型的最后一个卷积层的卷积核尺寸是1*1。由于第一网络模型的最后一个卷积层的卷积核尺寸是1*1，所以输出层的每个节点的感受野，是只覆盖每个节点所对应的图像块的范围。进而保证得到的第一矩阵L中的每一个第一矩阵点与每一个图像块之间可以一一对应，并且对应位置不会产生错乱。
举例来说，图3为本申请提供的图像处理流程图一，如图3所示，将图像预处理后的图像I，输入到第一网络模型中，得到第一矩阵；然后根据第一矩阵，生成第二矩阵；再将第二矩阵与图像预处理后的图像I进行点乘，得到加权病灶图WM。在上述过程中，图像预处理后的图像I包括了多个图像块；根据本实施例提供的第一网络模型，可以使得第一矩阵L的每一个第一矩阵点与每一个图像块之间可以一一对应，并且，每一个第一矩阵点的位置，是根据与第一矩阵点对应的图像块的位置所确定的，第一矩阵点与图像块之间的对应位置不会产生错乱。图4为本申请提供的第一矩阵的示意图，如图4所示，给出了图3中所涉及的第一矩阵，该第一矩阵包括了多个第一矩阵点，每一个矩阵点的数值m表征出了第m种疑似病灶类型。
S206、将第一矩阵与第三矩阵进行结合，得到第四矩阵，其中，第四矩阵的大小与第一矩阵的大小相同，第四矩阵中包括多个第四矩阵点。
可选的，第四矩阵为LP＝(L+1)⊙P；其中，L为第一矩阵，P为第三矩阵，⊙为矩阵点乘算子。
在本步骤中，在得到第二矩阵之前，首先需要将用于指示疑似病灶类型的第一矩阵L与用于指示疑似病灶类型的概率的第三矩阵P进行结合，得到一个第四矩阵LP＝(L+1)⊙P。可知，第四矩阵LP的尺寸大小与第一矩阵L尺寸大小是相同的；第四矩阵LP中的第四矩阵点的个数与第一矩阵L中的第一矩阵点的个数是相同的。
并且，第一矩阵L是三维矩阵，第三矩阵P也是三维矩阵，第四矩阵LP也是三维矩阵，准确来说，第一矩阵L是三维矩阵为n×n×3，则第四矩阵LP的大小为n×n×3。
S207、对第四矩阵中的每一个第四矩阵点进行全值拓展，得到第二矩阵，其中，第二矩阵包括多个矩阵块，每一个矩阵块与每一个第四矩阵点之间一一对应，每一个矩阵块中包括了多个第二矩阵点，每一个矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个矩阵块中的各第二矩阵点的数值为矩阵块所对应的第四矩阵点的数值。
在本步骤中，需要将对第四矩阵进行扩展处理，得到与眼底图像I的大小相同的第二矩阵。具体的，由于将大小为M×N的眼底图像I划分为了n×n个图像块，并且所得到第四矩阵LP中的每一个第四矩阵点与每一个图像块之间一一对应；对于第四矩阵LP中的每一个第四矩阵点，将第四矩阵点复制为多个第二矩阵点，由一个第四矩阵点而得到的多个第二矩阵点可以构成一个矩阵块；进而由各个矩阵块构成了第二矩阵。可知，图像块与第四矩阵点之间一一对应，第四矩阵点与矩阵块之间一一对应，则，图像块与矩阵块之间也是一一对应的；矩阵块中的第二矩阵点的个数，与矩阵块对应的图像块中的像素点的个数，两者是相同。并且，由于将第四矩阵点复制为多个第二矩阵点，则第二矩阵中属于同一个矩阵块的第二矩阵点的数值是相同的；并且，对于同一个矩阵块来说，矩阵块中的第二矩阵点的数值，是与矩阵块对应的第四矩阵点的数值。进而，每一个矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，并且，每一个矩阵块中的各第二矩阵点的数值表征出了对应的图像块属于的疑似病灶类型的概率。从而，将第四矩阵LP中的每一个第四矩阵点以全值拓展的方式，进行矩阵点的个数拓展，得到大小为M×N的第二矩阵W。
第二矩阵W的尺寸与图像预处理后的眼底图像I的尺寸相同，并且，第二矩阵W的尺寸与眼底图像Iori的尺寸相同。
S208、将第二矩阵与眼底图像进行结合，得到加权病灶图。
可选的，加权病灶图为WM＝W⊙I，其中，I为处理后的眼底图像，W为第二矩阵。
在本步骤中，为了可以得到眼底图像中的细节信息和全局整体信息，可以将上述步骤S207得到的第二矩阵W与处理后的眼底图像I进行结合，以得到一个加权病灶图。优选的，将第二矩阵W与处理后的眼底图像I，进行点对点相乘，得到加权病灶图WM＝W⊙I。从而，所得到加权病灶图WM包含了处理后的眼底图像I中的整体图像信息，即，病灶周围的环境信息；所得到加权病灶图WM还包含了处理后的眼底图像I中的每一个图像块的疑似病灶类型的信息，即包含了每一个图像块属于第m种疑似病灶类型、且属于第m种疑似病灶类型的概率。
S209、将加权病灶图输入到第二网络模型中，得到眼底图像分析结果，其中，眼底图像分析结果包括眼底图像的病变级别和每一个图像块的病灶类型。
在本步骤中，将步骤S208所得到的加权病灶图WM，输入到步骤S203所的到的第二网络模型中，第二网络模型进一步的对加权病灶图WM进行分析处理，并且依据每一个图像块的疑似病灶类型，对加权病灶图WM进行进一步的分析和识别。第二网络模型输出眼底图像的病变级别、眼底图像的每一个图像块的病灶类型。
举例来说，图5为本申请提供的图像处理流程图二，如图5所示，将图像预处理后的图像I，输入到第一网络模型中进行图像分析和识别，得到第一矩阵，其中，第一矩阵可以参见图4所示；根据第一矩阵生成第二矩阵；根据第二矩阵和图像预处理后的图像I，得到加权病灶图，将加权病灶图输入到第二网络模型中进行识别，得到眼底图像分析结果。
从图5所示的第一网络模型和第二网络模型可知，第一网络模型与第二网络模型经过步骤S203中的联合训练，第二网络模型可以将病变级别返传给第一网络模型，进而完成联合训练，其中，病灶类型与病变级别之间是息息相关的；从而，将第一网络模型和第二网络模型的性能增强，各网络模型可以采用较少的训练数据就可以完成收敛。并且，在对眼底图像进行分析的过程中，第二网络模型可以向第一网络模型发送返传信息，该返传信息中包含有图像块的信和眼底图像的全局信息，其中，全局信息指的每一个图像块属于第m种疑似病灶类型、且属于第m种疑似病灶类型的概率。
本实施例，通过对眼底图像的每一个图像块进行分析，得到每一个图像块的疑似病灶类型，进而得到一个三维矩阵；然后，对三维矩阵的大小进行拓展，得到与眼底图像的大小相同的第二矩阵；将第二矩阵的信息与眼底图像的信息进行结合，得到加权病灶图，该加权病灶图中包括了眼底图像中的细节信息和全局整体信息；然后，对加权病灶图进行识别，得到眼底图像分析结果，进而得到眼底图像的病变级别和每一个图像块的病灶类型。从而，由于融合了眼底图像的整体信息与局部的图像块中的细节信息，可以准确的对眼底图像进行分析和识别，可以得到较为准确的眼底图像分析结果，提升了眼底图像的分析和识别精准度。进一步的，医护人员根据自身的医学经验，进一步的对眼底图像和眼底图像分析结果进行医学判断，进而确定出真正的病因和病灶。并且，由于第一网络模型的输出层的每个节点的感受野，是只覆盖每个节点所对应的图像块的范围；进而保证得到的第一矩阵中的每一个第一矩阵点与每一个图像块之间可以一一对应，并且对应位置不会产生错乱，保证眼底图像分析结果的准确性。所采用的第一网络模型和第二网络模型经过联合训练，从而各网络模型可以采用较少的训练数据就可以完成收敛；且对于眼底图像的分析和识别过程中，可以得到图像块的信息和眼底图像的全局信息，考虑了图像块信息、图像块之外的眼底图像中的全局环境信息，进而准确的确定出病灶类型和病变级别。
图6为本申请实施例提供的一种眼底图像处理装置的结构示意图，如图6所示，该装置，包括：
第一处理单元31，用于将待处理的眼底图像输入到第一网络模型中，得到第一矩阵，其中，眼底图像中包括多个图像块，第一矩阵包括多个第一矩阵点，每一个第一矩阵点与每一个图像块之间一一对应，每一个第一矩阵点的数值表征了一种疑似病灶类型。
扩展单元32，用于对第一矩阵进行扩展处理，得到第二矩阵，第二矩阵的大小与眼底图像的大小相同。
结合单元33，用于将第二矩阵与眼底图像进行结合，得到加权病灶图。
第二处理单元34，用于将加权病灶图输入到第二网络模型中，得到眼底图像分析结果，其中，眼底图像分析结果包括眼底图像的病变级别和每一个图像块的病灶类型。
本实施例提供的装置，同于实现前述任一实施例提供的眼底图像处理方法中的技术方案，其实现原理和技术效果类似，不再赘述。
图7为本申请实施例提供的另一种眼底图像处理装置的结构示意图，在图6所示实施例的基础上，如图7所示，该装置，还包括：
第一训练单元41，用于在第一处理单元31将待处理的眼底图像输入到第一网络模型中，得到第一矩阵之前，采用预设的病灶类型数据对初始的第一网络模型进行预训练，得到预训练后的第一网络模型。
第二训练单元42，用于采用预设的病变级别数据对初始的第二网络模型进行预训练，得到预训练后的第二网络模型。
第三训练单元43，用于将预训练后的第一网络模型和预训练后的第二网络模型进行连接，并采用病变级别数据对连接后的第一网络模型和第二网络模型进行训练，得出训练后的第一网络模型和训练后的第二网络模型。
扩展单元32，具体用于：对第一矩阵中的每一个第一矩阵点进行全值拓展，得到第二矩阵，其中，第二矩阵包括多个矩阵块，每一个矩阵块与每一个第一矩阵点之间一一对应，每一个矩阵块中包括了多个第二矩阵点，每一个矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个矩阵块中的各第二矩阵点的数值为矩阵块所对应的第一矩阵点的数值。
或者，第一处理单元31，具体用于：将待处理的眼底图像输入到第一网络模型中，输出第一矩阵和第三矩阵，其中，第三矩阵包括多个第三矩阵点，每一个第三矩阵点与每一个第一矩阵点之间一一对应，每一个第三矩阵点的数值表征了第三矩阵点所对应的第一矩阵点的疑似病灶类型的概率。
扩展单元32，具体用于：将第一矩阵与第三矩阵进行结合，得到第四矩阵，其中，第四矩阵的大小与第一矩阵的大小相同，第四矩阵中包括多个第四矩阵点；对第四矩阵中的每一个第四矩阵点进行全值拓展，得到第二矩阵，其中，第二矩阵包括多个矩阵块，每一个矩阵块与每一个第四矩阵点之间一一对应，每一个矩阵块中包括了多个第二矩阵点，每一个矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个矩阵块中的各第二矩阵点的数值为矩阵块所对应的第四矩阵点的数值。
第四矩阵为LP＝(L+1)⊙P；其中，L为第一矩阵，P为第三矩阵。
加权病灶图为WM＝W⊙Iori，其中，Iori为眼底图像，W为第二矩阵。
第一网络模型中的输出层的每个节点的感受野，只覆盖了每个节点所对应的图像块的范围。
本申请实施例提供的装置，还包括：
第三处理单元44，用于在第一处理单元31将待处理的眼底图像输入到第一网络模型中，得到第一矩阵之前，采用预设的图像预处理方式，对待处理的眼底图像进行图像预处理，得到处理后的眼底图像，其中，图像预处理方式用于均衡待处理的眼底图像中的光照分布。
图像预处理方式为高斯平滑滤波方式；处理后的眼底图像为其中，Iori为待处理的眼底图像，G(θ)为预设的高斯核，θ为预设的高斯核尺寸参数，α、β、γ为预设的超参数。
可选的，所述第一矩阵为三维矩阵，所述第二矩阵为三维矩阵，所述第三矩阵为三维矩阵，所述第四矩阵为三维矩阵。
本实施例提供的装置，同于实现前述任一实施例提供的眼底图像处理方法中的技术方案，其实现原理和技术效果类似，不再赘述。
图8为本申请实施例提供的一种眼底图像处理设备的结构示意图，如图8所示，该眼底图像处理设备，包括：发送器71、接收器72、存储器73和处理器74；
存储器73用于存储计算机指令；处理器74用于运行存储器73存储的计算机指令实现前述实施例提供任一实现方式的眼底图像处理方法的技术方案。
本申请还提供一种存储介质，包括：可读存储介质和计算机指令，计算机指令存储在可读存储介质中；计算机指令用于实现前述例提供的任一实现方式的眼底图像处理方法的技术方案。
在上述眼底图像处理设备的具体实现中，应理解，处理器74可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(英文：read-only memory，缩写：ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetictape)、软盘(英文：floppy disk)、光盘(英文：optical disc)及其任意组合。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种眼底图像处理方法，其特征在于，包括：
将待处理的眼底图像输入到第一网络模型中，得到第一矩阵，其中，所述眼底图像中包括多个图像块，所述第一矩阵包括多个第一矩阵点，每一个所述第一矩阵点与每一个所述图像块之间一一对应，每一个所述第一矩阵点的数值表征了一种疑似病灶类型；
对所述第一矩阵进行扩展处理，得到第二矩阵，所述第二矩阵的大小与所述眼底图像的大小相同；
将所述第二矩阵与所述眼底图像进行结合，得到加权病灶图；
将所述加权病灶图输入到第二网络模型中，得到眼底图像分析结果，其中，所述眼底图像分析结果包括所述眼底图像的病变级别和每一个所述图像块的病灶类型。
2.根据权利要求1所述的方法，其特征在于，在所述将待处理的眼底图像输入到第一网络模型中，得到第一矩阵之前，还包括：
采用预设的病灶类型数据对初始的第一网络模型进行预训练，得到预训练后的第一网络模型；
采用预设的病变级别数据对初始的第二网络模型进行预训练，得到预训练后的第二网络模型；
将所述预训练后的第一网络模型和所述预训练后的第二网络模型进行连接，并采用所述病变级别数据对连接后的第一网络模型和第二网络模型进行训练，得出训练后的第一网络模型和训练后的第二网络模型。
3.根据权利要求1所述的方法，其特征在于，对所述第一矩阵进行扩展处理，得到第二矩阵，包括：
对所述第一矩阵中的每一个第一矩阵点进行全值拓展，得到所述第二矩阵，其中，所述第二矩阵包括多个矩阵块，每一个所述矩阵块与每一个所述第一矩阵点之间一一对应，每一个所述矩阵块中包括了多个第二矩阵点，每一个所述矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个所述矩阵块中的各第二矩阵点的数值为矩阵块所对应的第一矩阵点的数值。
4.根据权利要求1所述的方法，其特征在于，所述将待处理的眼底图像输入到第一网络模型中，得到第一矩阵，包括：
将待处理的眼底图像输入到第一网络模型中，输出所述第一矩阵和第三矩阵，其中，所述第三矩阵包括多个第三矩阵点，每一个所述第三矩阵点与每一个所述第一矩阵点之间一一对应，每一个所述第三矩阵点的数值表征了第三矩阵点所对应的第一矩阵点的疑似病灶类型的概率；
对所述第一矩阵进行扩展处理，得到第二矩阵，包括：
将所述第一矩阵与所述第三矩阵进行结合，得到第四矩阵，其中，所述第四矩阵的大小与所述第一矩阵的大小相同，所述第四矩阵中包括多个第四矩阵点；
对所述第四矩阵中的每一个第四矩阵点进行全值拓展，得到所述第二矩阵，其中，所述第二矩阵包括多个矩阵块，每一个所述矩阵块与每一个所述第四矩阵点之间一一对应，每一个所述矩阵块中包括了多个第二矩阵点，每一个所述矩阵块中的各第二矩阵点的数值表征了一种疑似病灶类型，每一个所述矩阵块中的各第二矩阵点的数值为矩阵块所对应的第四矩阵点的数值。
5.根据权利要求4所述的方法，其特征在于，所述第四矩阵为LP＝(L+1)⊙P；其中，L为所述第一矩阵，P为所述第三矩阵。
6.根据权利要求1所述的方法，其特征在于，所述加权病灶图为WM＝W⊙Iori，其中，Iori为所述眼底图像，W为所述第二矩阵。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述第一网络模型中的输出层的每个节点的感受野，只覆盖了所述每个节点所对应的图像块的范围。
8.根据权利要求1-6任一项所述的方法，其特征在于，在所述将待处理的眼底图像输入到第一网络模型中，得到第一矩阵之前，还包括：
采用预设的图像预处理方式，对所述待处理的眼底图像进行图像预处理，得到处理后的眼底图像，其中，所述图像预处理方式用于均衡所述待处理的眼底图像中的光照分布。
9.根据权利要求8所述的方法，其特征在于，所述图像预处理方式为高斯平滑滤波方式；
所述处理后的眼底图像为其中，Iori为所述待处理的眼底图像，G(θ)为预设的高斯核，θ为预设的高斯核尺寸参数，α、β、γ为预设的超参数。
10.一种眼底图像处理装置，其特征在于，包括：
第一处理单元，用于将待处理的眼底图像输入到第一网络模型中，得到第一矩阵，其中，所述眼底图像中包括多个图像块，所述第一矩阵包括多个第一矩阵点，每一个所述第一矩阵点与每一个所述图像块之间一一对应，每一个所述第一矩阵点的数值表征了一种疑似病灶类型；
扩展单元，用于对所述第一矩阵进行扩展处理，得到第二矩阵，所述第二矩阵的大小与所述眼底图像的大小相同；
结合单元，用于将所述第二矩阵与所述眼底图像进行结合，得到加权病灶图；
第二处理单元，用于将所述加权病灶图输入到第二网络模型中，得到眼底图像分析结果，其中，所述眼底图像分析结果包括所述眼底图像的病变级别和每一个所述图像块的病灶类型。
11.一种眼底图像处理设备，其特征在于，包括：发送器、接收器、存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现权利要求1-9任一项所述的方法。
12.一种存储介质，其特征在于，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现权利要求1-9任一项所述的方法。
CN201910443966.5A 2019-05-27 2019-05-27 眼底图像处理方法、装置、设备和存储介质 Pending CN110288568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910443966.5A CN110288568A (zh) 2019-05-27 2019-05-27 眼底图像处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910443966.5A CN110288568A (zh) 2019-05-27 2019-05-27 眼底图像处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN110288568A true CN110288568A (zh) 2019-09-27

Family

ID=68002686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910443966.5A Pending CN110288568A (zh) 2019-05-27 2019-05-27 眼底图像处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110288568A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402246A (zh) * 2020-03-20 2020-07-10 北京工业大学 一种基于联合网络的眼底图像分类方法
CN111583184A (zh) * 2020-04-14 2020-08-25 上海联影智能医疗科技有限公司 图像分析方法、网络、计算机设备和存储介质
CN112927228A (zh) * 2021-04-14 2021-06-08 依未科技(北京)有限公司 图像评估方法和装置、模型训练方法和装置
CN116894805A (zh) * 2022-03-29 2023-10-17 山东第一医科大学附属省立医院(山东省立医院) 基于广角眼底图像的病变特征的识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103006215A (zh) * 2012-12-14 2013-04-03 中国科学院自动化研究所 基于局部平滑回归的脑功能区定位方法
CN107680684A (zh) * 2017-10-12 2018-02-09 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN108960257A (zh) * 2018-07-06 2018-12-07 东北大学 一种基于深度学习的糖尿病视网膜病变等级分级方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103006215A (zh) * 2012-12-14 2013-04-03 中国科学院自动化研究所 基于局部平滑回归的脑功能区定位方法
CN107680684A (zh) * 2017-10-12 2018-02-09 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN108960257A (zh) * 2018-07-06 2018-12-07 东北大学 一种基于深度学习的糖尿病视网膜病变等级分级方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YEHUI YANG ET AL.: "Lesion Detection and Grading of Diabetic Retinopathy via Two-Stages Deep Convolutional Neural Networks", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》 *
卢旭 等: "基于卷积神经网络的糖尿病视网膜眼底图像出血病变检测", 《视频应用与工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402246A (zh) * 2020-03-20 2020-07-10 北京工业大学 一种基于联合网络的眼底图像分类方法
CN111583184A (zh) * 2020-04-14 2020-08-25 上海联影智能医疗科技有限公司 图像分析方法、网络、计算机设备和存储介质
CN112927228A (zh) * 2021-04-14 2021-06-08 依未科技(北京)有限公司 图像评估方法和装置、模型训练方法和装置
CN116894805A (zh) * 2022-03-29 2023-10-17 山东第一医科大学附属省立医院(山东省立医院) 基于广角眼底图像的病变特征的识别系统
CN116894805B (zh) * 2022-03-29 2024-03-19 山东第一医科大学附属省立医院(山东省立医院) 基于广角眼底图像的病变特征的识别系统

Similar Documents

Publication Publication Date Title
CN109493346B (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN108510532B (zh) 基于深度卷积gan的光学和sar图像配准方法
CN110288568A (zh) 眼底图像处理方法、装置、设备和存储介质
WO2019178702A9 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
CN112528782B (zh) 水下鱼类目标检测方法及装置
CN106780485A (zh) 基于超像素分割和特征学习的sar图像变化检测方法
CN106296638A (zh) 显著性信息取得装置以及显著性信息取得方法
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN111161278A (zh) 一种基于深层网络聚合的眼底图像病灶分割方法
CN113807356B (zh) 一种端到端的低能见度图像语义分割方法
CN111967464A (zh) 一种基于深度学习的弱监督目标定位方法
CN115937552B (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
CN114187214A (zh) 一种红外与可见光图像融合系统及方法
CN110648331A (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN105590301A (zh) 自适应正斜双十字窗均值滤波的脉冲噪声消除方法
CN106504199B (zh) 一种眼底图像增强方法及系统
Lee et al. Tubule segmentation of fluorescence microscopy images based on convolutional neural networks with inhomogeneity correction
JPH1091782A (ja) 濃淡画像用特定部位抽出方法
Yang et al. Research on digital camouflage pattern generation algorithm based on adversarial autoencoder network
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN108509949B (zh) 基于注意力地图的目标检测方法
CN113191962B (zh) 基于环境背景光的水下图像颜色恢复方法、装置及存储介质
CN117854155B (zh) 一种人体骨骼动作识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200331

Address after: 100000 Room 220, 2nd Floor, Building 4, No. 1, Shangdi East Road, Haidian District, Beijing

Applicant after: Beijing Confucius Health Technology Co.,Ltd.

Address before: 100085 Beijing, Haidian District, No. ten on the ground floor, No. 10 Baidu building, layer 2

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.