CN102369541B - 执行图像信息的自动分类的方法 - Google Patents
执行图像信息的自动分类的方法 Download PDFInfo
- Publication number
- CN102369541B CN102369541B CN201080011107.6A CN201080011107A CN102369541B CN 102369541 B CN102369541 B CN 102369541B CN 201080011107 A CN201080011107 A CN 201080011107A CN 102369541 B CN102369541 B CN 102369541B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- classification
- classes
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 description 6
- 238000007621 cluster analysis Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003891 environmental analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明的方法的特征在于所述方法包括由一个计算机或几个互连的计算机执行的下列步骤：a)以像素组的形式将要被分类的第一图像存储到数字存储媒体上，该像素组中的每个像素与在光强的至少一个通道内的图像信息关联；b)执行对该图像的第一分类，第一分类基于每个相应像素的图像信息，使每个像素与在第一组类别内的某个类别关联，并将这些关联存储在第一数据库内；c)对于每个像素和对于第一组类别内的几个类别，计算该图像内所讨论的像素到在第一数据库内与所讨论的类别关联的最近的像素之间的最小距离，并且对于每个为之计算了距离的类别，将每个像素与为该像素所计算的最小距离之间的关联存储在第二数据库内；d)执行对在第二数据库内的数据的第二分类，第二分类基于每个像素到每个相应类别的最小距离，使每个像素与在第二组类别中的某个类别关联；以及e)以像素组的形式将经分类的图像存储到数字存储媒体上，其中，每个像素包括关于该像素与在第二组类别中的某个类别的关联的数据，以及其中，经分类的图像具有与第一图像相同的尺寸。
Description
技术领域
本发明涉及图像信息的自动分类。
背景技术
各种二维或多维成像技术现在都是许多技术领域的中心。例如，在人口统计、经济和环境分析中以及在城市规划内，将卫星图像作为原始图像或以经处理的形式用于测绘。而且在例如纳米技术领域内，例如，通过各种医学成像技术获得三维图像，用来分析人体，作为手术期间对外科医生的支持之类。所收集的图像数据经分析后用于控制机器人及其他技术设备的众多应用，以进行宇宙空间导航、对象选择和操纵以及与其他技术和人交互作用。此外，二维成像技术还用于显微技术。
通常，包含在这样的图像内的信息在使用前需要予以解释。这种解释的目的通常是识别：图像内的结构成分，诸如背景内的对象之类；划定一个到另一个或大量不同的色度、结构或在其他方面相互有所不同的界限的不同区段；或者是脱离常规的元。一些例子有：识别卫星图像中的道路、住宅、森林、农田等；判别人物摄影内的面部；区分人的三维核磁共振图像内的各种组织类型；以及根据所生产的零件的摄影识别材料偏差。
由于成本原因，通常所希望的是得到对图像的自动解释。执行这种解释的一种方式从由大量一个个像素构成的二维或更多维数字图像开始。然后，将每个像素与若干个设计成各自表示一定像素类型的类别中的某个相应像素类别关联。在将所有的像素各与各自的类别关联后，就可以为每个类别产生一个清单，从而得到一个所收集的只出现某个类型的图像像素的图片。在这里，将这种方法称为“分类”。于是，某个类别例如可以表示“道路”、“肌肉组织”或“材料缺陷”。
通常，用分类技术来定位对象和边界，诸如图像内的线条、曲线、区域之类。
已经作了一些努力，以得到对在开始分类前对图像内容的认识有限的图像实现自动执行各种有益分类的方法。
例如，已经提出了一种方法，用一个可移动的“窗口”扫描图像，通过研究位于窗口中心的像素的周围像素和用统计方法(基于核心的分割)将中心像素归入某个类别。对于有些类型的图像，这种方法可能是有效的，但是分类的结果通常是非常零散的，一些类别包括来自图像许多不同部分的像素。结果是，没有大量的手工劳动就难以从这种分类得到有用的信息。
也已提出一种图像的自动分类，用迭代方法并行考虑所有的像素(不依赖窗口的分类)。在这种方法中可以使用的算法的一个例子是K均值聚类分析。即使是这种方法在用于对数字存储的图像时往往也导致散布的分类。
在论文“Automated Segmentation of MR Images of BrainTumors”(Kaus，Michael R.，et al.，Radiology 2001；218：586-591)中揭示了一种对人头颅的三维MR再现的迭代分类。借助于局部分割策略和计算某个体元(三维像素)与某个类别之间的距离的距离变换，以及根据与再现部分的体元的灰度有关的信息，迭代地执行这种分类。
组成这种方法的大多数步骤必须手动执行，以便使最终分类结果具有足够的可靠性。此外，在开始分类之前需要对对象有比较可靠的认识，例如以例示“正常情况”的比较图像之类的形式。
发明内容
本发明解决了以上所揭示的问题。
因此，本发明涉及一种对图像分类的方法，其特征在于所述方法包括由一个计算机或几个互连的计算机执行的下列步骤：a)以像素组的形式将要被分类的第一图像存储到数字存储媒体上，该像素组中的每个像素与在光强的至少一个通道内的图像信息关联；b)执行对该图像的第一分类，第一分类基于每个相应像素的图像信息，使每个像素与在第一组类别内的某个类别关联，并将这些关联存储在第一数据库内；c)对于每个像素和对于第一组类别内的几个类别，计算该图像内所讨论的像素到在第一数据库内与所讨论的类别关联的最近的像素之间的最小距离，并且对于每个为之计算了距离的类别，将每个像素与为该像素所计算的最小距离之间的关联存储在第二数据库内；d)执行对在第二数据库内的数据的第二分类，第二分类基于每个像素到每个相应类别的最小距离，使每个像素与在第二组类别中的某个类别关联；以及e)以像素组的形式将经分类的图像存储到数字存储媒体上，其中，每个像素包括关于该像素与在第二组类别中的某个类别的关联的数据，以及其中，经分类的图像具有与第一图像相同的尺寸。
附图说明
下面将参照本发明的例示性实施例和附图对本发明进行详细说明，在这些附图中：
图1为一个局部展开区域的数字卫星摄影的灰度图像；
图2示出了对图1所例示的卫星图像的传统的基于核心的5类别分割；
图3示出了对图1所例示的卫星图像的传统的不依赖窗口的29类别分类；
图4为从每个相应像素到图3所示类别之一的最小距离分布的图形例示；
图5示出了按照本发明对图1所示卫星图像的10类别分类；以及
图6为例示本发明的方法的流程图。
具体实施方式
图1为例如摄影卫星图像，在一个局部展开的地理区域上像素分辨率为10×10m。在此所谓的“摄影图像”意指它是由图像传感器捕获和解释光而产生的图像。也就是说，图像可以通过读取在一个或几个波段内的光构成。图1中的图像是所谓的合成图像，基于三个不同的谱带，已以传统的方式转换成灰度。图像以数字格式存储在适当的存储媒体上，呈现为一个像素组，其中每个像素与光强的至少一个通道内的图像信息关联。图1中，示出了一个二维图像，其中像素排列在二维坐标系内，而每个像素与单个光强(灰度细微差别)通道关联。然而，可以理解，按照本发明，可以使用光强横跨多于一个通道(例如按照RGB标准存储的光强信息)的二维以上的图像。
所希望的是实现对这种图像的自动分类，以便简单而高精度地判别图像内不同类型的地貌，诸如道路、住宅、森林、农田、停车场之类。
图2所示的图像是与图1的相同的图像，只是这个图像已用传统的基于核心的分割处理过了。5×5个像素的窗口扫过了图像，而对于每个像素都已相对所讨论的像素的光强计算出标准离差。这些度量随后提供了传统的基于门限值分类的基础，产生所例示的分类结果。这结果例示于图2，其中不同的类别用不同的灰度示出。从图中可以清楚地看到，这种方法就发现不同的类别以便对于每个像素为像素指配与一个特定类别的关联来说是成功的。此外，构成不同类型的地貌(例如图1所示的图像内的“道路”之类)的许多像素由于它们与同一个类别关联而被组合。相反，在经分类的图像内有比较大的噪声。有太多的像素不同于在原始图像内组成相同地面类型的大多数像素与某些其他类别关联。因此，例如难以执行基于这种分类的自动映射。
图3以与图2的类似的方式例示了图1所示图像的分类，所不同的是图3中的分类是按照传统的不依赖窗口的29类K均值聚类分析执行的。如从图3中所看到的那样，这种分类有着与图2的同样的问题。
图6示出了例示本发明的方法的流程图。
于是，按照本发明，在第一步骤101，一个计算机或几个互连的计算机将图像以数字方式存储到数字存储媒体上，呈现为一个像素组，其中每个像素与在光强的至少一个通道内的图像信息关联。
在第二步骤102，这个或这些计算机执行对数字存储的图像的第一分类，并且将分类结果存储在第一数据库内。在所例示的这个实施例中，将图3所示的分类结果存储在第一数据库内。在这里，将这个分类的结果标为“第一分类”。数据库可以是正在工作的计算机的内部存储器，硬盘上的文件或其他类型的内部或外部数据库。重要的是，对于原始图像的每个像素，将与在第一分类中所使用的类别组(第一类别组)中的某个特定类别的关联存储在第一数据库内。
第一分类可以是K均值型的聚类分析，或者是任何适当的基于核心或不依赖窗口的分类，只要这种分类是基于所存储的每个相应像素的图像信息。第一分类可以基于一些预先规定的静态类别、预先规定的数目可变的类别，或者在分类过程中这些类别和它们的清晰度可以呈现为它们的最终形式。
第一分类还可以是受监督或不受监督的分类。受监督的分类包括两个步骤。在第一步骤，在一个有代表性的图像内标识一些典型区域，并且取得这些典型区域的属性的数字描述。在第二步骤，将典型区域的数字描述用作最终图像分类中的类别。在不受监督的分类中，将与某个图像内的每个像素与某个类别关联，其中所有类别的属性在这个过程期间确定，而不需要有关可能出现的图像区域的类型的先验知识。按照本发明，优选的使用不受监督的分类，因为它不需经专门修改就可以用于许多不同的图像。
有用的受监督的分类的例子有“到均值最小距离分类器”、“平行六面体分类器”、“高斯最大似然分类器”、“K最近邻”和“最大似然分类”。
有用的不受监督的分类的例子有各种分层聚类方法、分割聚类方法、“K均值”聚类和“自组织映射”。
在初始分类后，在按照本发明的第三步骤103，对于原始图像内的每个像素，计算机计算该图像内这个所讨论的像素到最近的在第一分类中已与在第一分类期间所使用的这些类别中的某个特定类别关联的像素之间的最小距离，优选的是最小欧几里德距离。将这样计算得的距离与每个相应像素关联，并将这关联存储在第二数据库内，第二数据库可以是与第一数据库相同的数据库或者是另一个数据库。在是另一个数据库的情况下，这个第二数据库可以是上面结合第一数据库所说明的那种类型的。
对于原始图像内的每个像素和对于在第一分类中的这些类别中的几个类别，计算这种最小距离。
图4以图形例示了所计算得的每个像素到图3所例示的这些类别中的一个类别之间的最小距离。每个相应像素与所讨论的类别之间的最小距离用灰度例示，像素的颜色越深，它离业最近的已与所讨论的类别关联的像素的距离越长。
此后，按照本发明的第四步骤104，计算机执行第二分类，这次是基于存储在第二数据库内的数据，优选的是对于和基于原始图像内的所有像素。按照本发明，第二分类的恰当度量，对于每个像素，为所计算的离一些类别的最小距离，如在步骤103中所计算得的。这些所计算的最小距离因此可以是每个像素一个或几个度量值，因为可能例如必需执行作为第二分类的一部分的多维聚类分析。
第二分类的适当分类类型是上面所说明的适合第一分类的那些，第二分类可以是与第一分类相同的类型，也可以是与第一分类不同的其他类型。然而，优选的是第二分类是不受监督类型的。此外，优选的是，无论第一分类是受监督或不受监督类型的，第二分类都是不受监督类型的。这样的方法允许对许多不同的原始图像进行自动和精确分类。
于是，第二分类的结果是在原始图像内每个相应像素与或者是预先规定的或者是在第二分类期间所规定的第二组类别中的某个特定类别之间的关联。
此后，按照本发明，这个计算机或这些互连的计算机在第五步骤105将每个相应像素的这种关联存储到一个数字存储媒体上，这个数字存储媒体可以是与存储原始图像的相同或不同的数字存储媒体，而其中存储技术可以是如上面就原始图像所说明的。重要的是，各与某个特定类别的关联的像素的集合以允许将这信息表示为一个经分类的图像的方式存储，其中，每个像素在经分类的图像内的位置与这个像素在原始图像内的位置相应，而各个像素的值，诸如在一个或几个通道内的色度，与所讨论的像素已关联的类别相应。结果，经分类的图像就具有与原始图像相同的像素尺寸。在以后的一些步骤，经分类的图像的分辨率当然可以予以调整。
图5例示了根据图1所示的原始图像这样的经最终分类的图像，其中不同的类别用不同的灰度表示。图5所示的分类因此是根据原始图像内每个像素离从第一分类得到的、在图3中所例示的每个类别的最小欧几里德距离。
第一分类后计算离一个或几个类别的最小距离再根据这些所计算的最小距离进行第二分类的这种方法解决了以上所揭示的问题。
由于用到某个类别的最小距离来进行第二分类，将附近像素与同一个最终类别关联的概率就会比较大。同样，一个与在最终分类中分在某个类别内的一组像素类似的但是就离图像内的这些其他像素的距离而言是孤立的像素被分在这个类别内的概率将很小。也就是说，按照本发明的方法将具有强烈的将附近的像素分入同一个类别的倾向，因此可以生成一些由与同一个类别关联的像素组成的连接区域。这些效果导致在最终经分类的图像内有低的散布。
另一方面，在第一分类中类别的组成在图像的一个区域内迅速改变的情况下，在附近的像素之间所计算的到某个类别的最小距离将迅速改变。这导致按照本发明的方法，以比较精确的方式，将产生最终类别之间的边界真实地表示原始图像内的恰当边界和过渡的最终分类。
应注意的是，第一分类的结果本身并不一定是有用的。类别中有些将可能达到以反映原始图像的实际组成的方式对像素分组。另一方面，在大多数情况下，至少有一个类别将时常以难以解释的多噪声方式对像素分组，如上面所说明的。然而，这种情况并不影响在第二分类后的最终结果，即使在这第二分类以同样方式使用第一分类的所有类别的情况下也是这样。
总之，可以用以上所说明的方法在没有广泛的对某个图像的内容先验知识的情况下自动实现散布低的恰当分类。
按照一个优选实施例，在步骤103对于每个像素计算到在第一分类期间所用的所有类别中每个类别的最小距离，并且在第一分类期间的所有类别在这种情况下也用于第二分类。这就充分利用了包含在原始图像内的信息。
按照一个优选实施例，第一分类包括使用K均值聚类分析的分类，以及随后的使用最大似然聚类分析的分类，其中将K均值分类得到的结果用作起始点。按照另一个优选实施例，第二分类包括K均值聚类分析。本发明人已发现这种方法可以得到良好的最终结果。
此外，在第一分类中的类别的数目或者预先设置在20到100之间的情况下，或者在第一分类使用数目可变的类别、而将在这种情况下的分类调整成所得到的类别的数目在20到100之间时，本发明人已得到良好的结果。按照一个特别优选的实施例，使用所谓的Akaike信息准则通过均衡模型的复杂性与每个类别内的方差来判定第一分类中最佳的类别数目。也就是说，将类别的数目选择成使得对于类别的数目如所选的分类来说Akaike信息准则达到最大。参见Akaike H.的“A new look at the statistical model identification”，IEEE Trans.Automat.Contr.AC-19：716-23，1974(Institute of StatisticalMathematics，Minato-ku，Tokyo，Japan)。
相应地，已发现在第二分类中类别的适当数目在5到20之间，特别是在第一分类中类别的数目在20到100之间时。取决于具体应用，这样的类别数目就可以得到对各个像素的恰当分类和大多数的类别内只有有限的噪声的最终分类图像。选择在第二分类中类别的数目一方面取决于希望从本发明的方法得到的结果的类型，另一方面取决于在以后的步骤中是否需执行对所实现的分类的附加处理。特别优选的是，在第二分类中也以与上面所说明的相应的方式使用判定类别的数目的Akaike准则。
按照一个优选实施例，将每个所计算的在一个像素到某个类别之间的最小距离加权后再存储在第二数据库内。通过这样的加权，可以使在所计算的到某个类别的最小距离中的差别在第二分类中有较大的影响。就此，优选的是执行这样的加权以使得较短的所计算的最小距离与较长的所计算的最小距离相比较多地影响第二分类。例如，这可以通过用凸函数对所有所计算的最小距离进行变换来实现。这样的变换的一个例子为
其中，
为所计算的在像素i到与类别j关联的最近的像素之间的最小距离，而为实际存储入第二数据库的在像素i到类别j之间的最小距离的值。
这样的加权增大了对像素的最终分类结果的恰当性。
在需计算在某个像素到某个类别之间的最小距离的情况下，而如果在第一数据库内像素已关联的类别与需计算最小距离的类别相同，也就是说在以上式子中i＝j时，有两个备选方案来考虑将什么认为是在像素到类别之间的最小距离。或者是，可以将最小距离设置为0，反映在所讨论的像素到本身之间的距离为0，或者是，将这距离设置为在像素到最近的与该像素所关联的同一个类别关联的另一个像素之间的最小距离。这两个备选方案可以用于不同的应用，但是通常优选的是，在i＝j的情况下将最小距离设置为0。
如以上所讨论的，按照本发明的方法可以有益地用来自动实现对二维图像的恰当分类，特别是对于摄影图像。已发现，对含有在一个通道内的图像信息(诸如灰度光强)的这种摄影图像的分类可以得到高质量的结果。在摄影图像具有在三个或更多个通道内的图像信息，诸如按照使用诸如RGB或NCS的三个通道的有些传统色系的色度信息或者由几个不同的通道表示不同波段上的色度的表示，的情况下，按照本发明的方法也是非常有用的。后面这种彩色信息模型例如用于卫星图像，而在这种情况下通常使用四个或更多个不同波长的通道。
从这样的二维摄影卫星图像出发，因此可以用按照本发明的方法例如作为测绘、人口统计或地理考察、环境分析等的自动化工具。在另一种二维摄影图像的情况下，可以用按照本发明的方法作为例如计算机视觉、生产零件、半成品或原材料的外观检查的系统的一部分，协助摄影的系统，以便能自动识别不同的对象和/或发现适当的焦点、数字图像处理、远距离显示、显微技术、数字图像分析和处理等。
此外还可以认识到，对于三维图像特别是如以上所讨论的在医学和兽医领域内表示人和动物的组织结构的三维图像的自动分类来说，按照本发明的方法也是有用的。这样的三维图像实际上通常是三维对象的三维描述，其中每个像素包括涉及在对象内与所讨论的像素相应的位置处的一个或几个物质特性的值的图像信息。物质特性例如可以是物质密度和/或是否存在标志物。常见的是，这样的图像只有它的在一个通道内的图像信息。可以特别有益地用经自动分割的三维描述来分析人体，作为在手术期间对外科医生的支持，以分析在微米和纳米技术领域内的三维描述。
为了改善第一分类的效用，按照一个优选实施例，在所述第一分类前，计算机对原始图像进行基于核心的操作，再将由此得到的结果与原始图像的图像信息一起用作第一分类的基础。这样做的一个例子是可以为每个像素计算对于在所讨论的像素周围的一个有限区域上例如一个以所讨论的像素为中心的9×9矩阵上的纹理的值，然后可以在执行第一分类前将这个所计算的值作为一个附加信息通道并入所讨论的像素的现有图像信息。这样，来自周围像素的一定信息将影响在第一数据库内某个像素所关联的类别，这在有些应用中可以增加最终分类的精度。
按照一个优选实施例，在第一分类前，将事先已知的附加信息添加给色度信息作为给每个像素的一个或一些附加通道。在要被分类的图像是卫星图像的情况下，这样的附加信息的例子包括诸如坚实地面的斜度、沉降、高度和分布之类的地理数据以及诸如人口密度和土地所有权之类的人口统计数据的局部测量值。此后将这附加信息以与上面对于纹理数据所说明的相应的方式用于第一分类。
按照另一个优选实施例，收集附加数据，但是不是以与色度数据相同的方式在第一分类中使用这附加数据。而是将附加数据用作分类的初始条件。这样做的一个例子是在最初步骤用诸如人口中心的地理延伸之类的某个值来区分那些满足诸如“像素处在人口中心的界限之外？”之类的某个条件的像素。此后，可以只对被区分的像素执行第二分类，而可以将没有被区分的像素，在前面的例子中为在原始图像内没有处在人口中心内的那些像素，分入在第一分类中所使用的类别之外的一个单独的类别。
在这里结合分类使用附加数据所述的情况对于第二分类也是有用的。这些选择将取决于实际应用和取决于为了进一步提高分类的精度可得到的是什么数据。
以上对优选实施例作了说明。然而，对于技术人员来说显而易见的是，在不背离本发明的思想的情况下可以对所说明的这些实施例进行许多修改。
举例来说，本方法可以迭代执行。也就是说，在第一分类、计算到一些类别的最小距离和第二分类后，可以执行对到从第二分类得到的这些类别中的一个或几个类别的最小欧几里德距离的附加计算，此后可以根据这些所计算的最小距离执行附加分类。后面的最小距离计算和分类可以在上面对这样的计算和对第二分类所说明的情况的范围内改变。对于有些实施例，这样的以几个迭代步骤进行分类可以得到甚至更好的结果。
因此，本发明不应被局限于所说明的这些实施例，而可以在所附权利要求书的范围内被改变。
Claims (16)
1.一种对图像分类的方法，其特征在于所述方法包括由一个计算机或几个互连的计算机执行的下列步骤：
a)以像素组的形式将要被分类的第一图像存储到数字存储媒体上，该像素组中的每个像素与在光强的至少一个通道内的图像信息关联；
b)执行对该图像的第一分类，第一分类基于每个相应像素的图像信息，使每个像素与在第一组类别内的某个类别关联，并将这些关联存储在第一数据库内；
c)对于每个像素和对于第一组类别内的几个类别，计算该图像内所讨论的像素到在第一数据库内与所讨论的类别关联的最近的像素之间的最小距离，并且对于每个为之计算了距离的类别，将每个像素与为该像素所计算的最小距离之间的关联存储在第二数据库内；
d)执行对在第二数据库内的数据的第二分类，第二分类基于每个像素到每个相应类别的最小距离，使每个像素与在第二组类别中的某个类别关联，所述第二组类别基于所计算的最小距离；以及
e)以像素组的形式将经分类的图像存储到数字存储媒体上，其中，每个像素包括关于该像素与在第二组类别中的某个类别的关联的数据，以及其中，经分类的图像具有与第一图像相同的尺寸。
2.按照权利要求1所述的方法，其特征在于：在步骤c)中计算每个像素到第一组类别中的所有类别之间的最小距离。
3.按照权利要求2所述的方法，其特征在于：第一分类包括K均值分类以及随后的最大似然分类，在该最大似然分类中将K均值分类得到的结果用作起始点。
4.按照权利要求1所述的方法，其特征在于：第二分类包括K均值分类。
5.按照权利要求1所述的方法，其特征在于：第一组类别中的类别的数目为使该分类的Akaike信息准则达到最大的数目。
6.按照权利要求1或5所述的方法，其特征在于：第一组类别中的类别的数目在20到100之间。
7.按照权利要求1所述的方法，其特征在于：第二组类别中的类别的数目是使该分类的Akaike信息准则达到最大的数目。
8.按照权利要求1或7所述的方法，其特征在于：第二组类别中的类别的数目在5到20之间。
9.按照权利要求1所述的方法，其特征在于：在步骤c)中所述计算机或互连的计算机将每个所计算的最小距离加权调整后再存储入第二数据库，其中，该加权被执行以使得在步骤d)的第二分类中较短的所计算的最小距离与较长的所计算的最小距离相比具有较强的影响。
10.按照权利要求1所述的方法，其特征在于：第一图像是二维摄影图像，并且每个像素包括在至少三个各含有某个波长谱的光强的通道内的图像信息。
11.按照权利要求10所述的方法，其特征在于：第一图像是卫星图像。
12.按照权利要求1所述的方法，其特征在于：第一图像是三维对象的三维图像，并且每个像素包括在一个通道内的图像信息，该图像信息给出在所述对象内与所讨论的像素相应的位置处的物质特性的值。
13.按照权利要求1所述的方法，其特征在于：所述计算机或互连的计算机使用事先计算的或在第一和/或第二分类中除了色度之外还为第一图像内的每个像素计算的信息，作为与所述通道或含有色度数据的那些通道一起的一个或几个附加通道。
14.按照权利要求1所述的方法，其特征在于：所述计算机或互连的计算机使用事先计算的或在第一和/或第二分类中除了色度之外还为第一图像内的每个像素计算的信息，以便在所讨论的分类开始前，将根据附加数据满足某个初始条件的像素与某个类别关联，然后只对其余像素执行所讨论的分类。
15.按照权利要求13或14所述的方法，其特征在于：第一图像是卫星图像，并且附加数据包括事先给定的变量中的至少一些，所述变量例如为坚实地面的斜度、沉降、高度、分布，人口密度或土地所有权，或者在已为之计算了纹理的像素的局部环境内的纹理计算值。
16.按照权利要求1所述的方法，其特征在于：所述最小距离为在图像内的最小欧几里德距离。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE0950140A SE534089C2 (sv) | 2009-03-10 | 2009-03-10 | Förfarande för klassificering av bildinformation |
| SE0950140-4 | 2009-03-10 | ||
| PCT/SE2010/050267 WO2010104462A1 (en) | 2009-03-10 | 2010-03-09 | Method for performing automatic classification of image information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102369541A CN102369541A (zh) | 2012-03-07 |
| CN102369541B true CN102369541B (zh) | 2014-04-09 |
Family
ID=42728571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080011107.6A Expired - Fee Related CN102369541B (zh) | 2009-03-10 | 2010-03-09 | 执行图像信息的自动分类的方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8781216B2 (zh) |
| EP (1) | EP2406755B1 (zh) |
| JP (1) | JP2012520503A (zh) |
| CN (1) | CN102369541B (zh) |
| BR (1) | BRPI1006283A2 (zh) |
| CA (1) | CA2755070A1 (zh) |
| SE (1) | SE534089C2 (zh) |
| WO (1) | WO2010104462A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE535070C2 (sv) | 2010-09-10 | 2012-04-03 | Choros Cognition Ab | Förfarande för att automatiskt klassificera en två-eller högredimensionell bild |
| US9384397B2 (en) * | 2013-08-22 | 2016-07-05 | Ut-Battelle, Llc | Model for mapping settlements |
| CN104794483A (zh) * | 2015-03-24 | 2015-07-22 | 江南大学 | 基于类间极大化的pcm聚类技术的图像分割方法 |
| CN109726639A (zh) * | 2018-12-07 | 2019-05-07 | 河北工程大学 | 一种基于非监督分类技术的地物信息提取方法 |
| CN109670425A (zh) * | 2018-12-07 | 2019-04-23 | 河北工程大学 | 一种基于多尺度思想的地物信息提取方法 |
| US10860897B2 (en) * | 2019-01-29 | 2020-12-08 | Victor Gorelik | Pattern recognition with AI maps |
| CN112766090B (zh) * | 2021-01-05 | 2022-07-05 | 深圳市数字城市工程研究中心 | 一种利用多季相Sentinel-2影像快速识别城郊闲置耕地的方法与系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7058197B1 (en) * | 1999-11-04 | 2006-06-06 | Board Of Trustees Of The University Of Illinois | Multi-variable model for identifying crop response zones in a field |
| US6549852B2 (en) * | 2001-07-13 | 2003-04-15 | Mzb Technologies, Llc | Methods and systems for managing farmland |
| US7200243B2 (en) * | 2002-06-28 | 2007-04-03 | The United States Of America As Represented By The Secretary Of The Army | Spectral mixture process conditioned by spatially-smooth partitioning |
| US8176786B2 (en) * | 2006-06-30 | 2012-05-15 | Carnegie Mellon University | Methods, apparatuses, and systems for damage detection |
| US8010589B2 (en) * | 2007-02-20 | 2011-08-30 | Xerox Corporation | Semi-automatic system with an iterative learning method for uncovering the leading indicators in business processes |
| WO2008118977A1 (en) * | 2007-03-26 | 2008-10-02 | Desert Research Institute | Data analysis process |
-
2009
- 2009-03-10 SE SE0950140A patent/SE534089C2/sv not_active IP Right Cessation
-
2010
- 2010-03-09 JP JP2011553988A patent/JP2012520503A/ja active Pending
- 2010-03-09 BR BRPI1006283A patent/BRPI1006283A2/pt not_active IP Right Cessation
- 2010-03-09 WO PCT/SE2010/050267 patent/WO2010104462A1/en active Application Filing
- 2010-03-09 US US13/255,686 patent/US8781216B2/en not_active Expired - Fee Related
- 2010-03-09 EP EP10751095.0A patent/EP2406755B1/en active Active
- 2010-03-09 CN CN201080011107.6A patent/CN102369541B/zh not_active Expired - Fee Related
- 2010-03-09 CA CA2755070A patent/CA2755070A1/en not_active Abandoned
Non-Patent Citations (8)
| Title |
|---|
| 《Clustering multispectral images: a tutorial》;Thanh N. Tran et al;《Chemometrics and Intelligent Laboratory Systems》;20050528;第77卷;第3-17页 * |
| 《FUZZY C-MEANS CLUSTERING USING SPATIAL INFORMATION WITH APPLICATION TO REMOTE SENSING》;Pornphan DULYAKARN et al;《22nd Asian Conference on Remote Sensing》;20011109;第502-512页 * |
| 《New Spatial FCM Approach with Application to SAR Target Clustering》;Seif El-Dawlatly et al;《ICSP2006 Proceedings》;20061231 * |
| 《Statistical and Structural Approaches to Texture》;ROBERT M. HARALICK;《PROCEEDINGS OF THE IEEE》;19790531;第67卷(第5期);第786-804页 * |
| Pornphan DULYAKARN et al.《FUZZY C-MEANS CLUSTERING USING SPATIAL INFORMATION WITH APPLICATION TO REMOTE SENSING》.《22nd Asian Conference on Remote Sensing》.2001, |
| ROBERT M. HARALICK.《Statistical and Structural Approaches to Texture》.《PROCEEDINGS OF THE IEEE》.1979,第67卷(第5期),第786-804页. |
| Seif El-Dawlatly et al.《New Spatial FCM Approach with Application to SAR Target Clustering》.《ICSP2006 Proceedings》.2006, |
| Thanh N. Tran et al.《Clustering multispectral images: a tutorial》.《Chemometrics and Intelligent Laboratory Systems》.2005,第77卷第3－17页. |
Also Published As
| Publication number | Publication date |
|---|---|
| BRPI1006283A2 (pt) | 2019-04-02 |
| CA2755070A1 (en) | 2010-09-16 |
| EP2406755A4 (en) | 2012-11-07 |
| EP2406755B1 (en) | 2019-05-01 |
| US8781216B2 (en) | 2014-07-15 |
| JP2012520503A (ja) | 2012-09-06 |
| SE0950140A1 (sv) | 2010-09-11 |
| EP2406755A1 (en) | 2012-01-18 |
| CN102369541A (zh) | 2012-03-07 |
| US20120002865A1 (en) | 2012-01-05 |
| WO2010104462A1 (en) | 2010-09-16 |
| SE534089C2 (sv) | 2011-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230329B (zh) | 基于多尺度卷积神经网络的语义分割方法 | |
| CN111027547B (zh) | 一种针对二维图像中的多尺度多形态目标的自动检测方法 | |
| CN109886179B (zh) | 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统 | |
| CN102369541B (zh) | 执行图像信息的自动分类的方法 | |
| Lv et al. | Iterative training sample expansion to increase and balance the accuracy of land classification from VHR imagery | |
| JP3877916B2 (ja) | デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体 | |
| US8170372B2 (en) | System and method to find the precise location of objects of interest in digital images | |
| WO2023000160A1 (zh) | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 | |
| US20090252429A1 (en) | System and method for displaying results of an image processing system that has multiple results to allow selection for subsequent image processing | |
| CN107567637B (zh) | 脑组织分类 | |
| Peng et al. | Object-based change detection from satellite imagery by segmentation optimization and multi-features fusion | |
| CN109034239B (zh) | 遥感影像分类方法、分布式风电场的选址方法和设备 | |
| CN107403434A (zh) | 基于两阶段聚类的sar图像语义分割方法 | |
| CN107292328A (zh) | 多尺度多特征融合的遥感影像阴影检测提取方法及系统 | |
| Martins et al. | Machine learning and SLIC for tree canopies segmentation in urban areas | |
| Tran et al. | Classification of image matching point clouds over an urban area | |
| JP5407897B2 (ja) | 画像分類方法、装置、及びプログラム | |
| US8300936B2 (en) | System and method for improving display of tuned multi-scaled regions of an image with local and global control | |
| Eshetae | Tree species classification using uav-rgb images and machine learning algorithms in a mixed temperate forest: a case study of Haagse Bos, Netherlands | |
| US9036924B2 (en) | Method for automatically classifying a two-or higher-dimensional image | |
| Prince et al. | Multifeature fusion for automatic building change detection in wide-area imagery | |
| Poonkuntran et al. | Efficient Classification of Satellite Image with Hybrid Approach Using CNN-CA | |
| Guan et al. | Urban thematic mapping by integrating LiDAR point cloud with colour imagery | |
| Maurya et al. | Hicf: a matlab package for hyperspectral image classification and fusion for educational learning and research | |
| FERREIRA | SEMANTIC SEGMENTATION OF HISTORICAL AERIAL IMAGES USING DEEP LEARNING |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140409 Termination date: 20200309 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |