[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113139980A - 图像边界的确定方法、装置及存储介质 - Google Patents

图像边界的确定方法、装置及存储介质 Download PDF

Info

Publication number
CN113139980A
CN113139980A CN202110521199.2A CN202110521199A CN113139980A CN 113139980 A CN113139980 A CN 113139980A CN 202110521199 A CN202110521199 A CN 202110521199A CN 113139980 A CN113139980 A CN 113139980A
Authority
CN
China
Prior art keywords
image
matrix
determining
compensation
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110521199.2A
Other languages
English (en)
Inventor
蒙双
杨思雨
邓林嘉
蔡登胜
孙金泉
金忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Liugong Machinery Co Ltd
Original Assignee
Guangxi Liugong Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Liugong Machinery Co Ltd filed Critical Guangxi Liugong Machinery Co Ltd
Priority to CN202110521199.2A priority Critical patent/CN113139980A/zh
Publication of CN113139980A publication Critical patent/CN113139980A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像边界的确定方法、装置及存储介质，涉及图像处理技术领域，可以实现对土石方物料堆图像的边界进行检测。该方法包括：对目标图像进行图像块的划分，提取图像块的图像纹理特征并根据图像纹理特征确定图像块的块分类结果，且根据块分类结果确定块分类矩阵；对目标图像进行分类，得到目标图像对应的分类结果；根据目标图像对应的分类结果，基于补偿卷积核和滤波卷积核对块分类矩阵进行卷积处理，得到补偿滤波矩阵；基于补偿滤波矩阵中的元素，确定目标图像的至少一个边界。其中，补偿滤波矩阵用于对块分类矩阵中的元素进行修正；块分类矩阵中的元素表征对应位置处的图像块的块分类结果。

Description

图像边界的确定方法、装置及存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像边界的确定方法、装置及存储介质。
背景技术
现有的，在确定图像边界时，常采用基于图像特征的边界检测方法、基于模型边界检测方法或者基于深度学习的边界检测方法，通过上述方法均可以确定出待检测图像的边界。
然而，对于复杂工况下的土石方物料堆图像，由于物料类别较多且物料着色较为接近，采用上述方法无法准确的对土石方物料堆图像的边界进行拟合，也即是采用现有的边界检测方法无法准确确定出土石方物料堆图像的边界。所有，亟待提出一种图像边界的确定方法，实现对土石方物料堆图像的边界进行检测。
发明内容
本申请提供一种图像边界的确定方法、装置及存储介质，可以实现对土石方物料堆图像的边界进行检测。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种图像边界的确定方法，包括：对目标图像进行图像块的划分，提取图像块的图像纹理特征并根据图像纹理特征确定图像块的块分类结果，且根据块分类结果确定块分类矩阵；对目标图像进行分类，得到目标图像对应的分类结果；根据目标图像对应的分类结果，基于补偿卷积核和滤波卷积核对块分类矩阵进行卷积处理，得到补偿滤波矩阵；基于补偿滤波矩阵中的元素，确定目标图像的至少一个边界。其中，补偿滤波矩阵用于对块分类矩阵中的元素进行修正；块分类矩阵中的元素表征对应位置处的图像块的块分类结果。
本申请提供的图像边界的确定方法中，通过将目标图像划分为多个图像块，确定出各个图像块的块分类结果，然后确定块分类结果对应的块分类矩阵。之后，为了提高对应目标图像边界拟合的准确性，基于目标图像的分类结果，采用补偿卷积核和滤波卷积核对块分类矩阵进行卷积处理，得到对块分类矩阵修正后的补偿滤波矩阵，然后以补偿滤波矩阵中的元素为依据，对目标图像进行边界拟合。可以看出，本申请通过对目标图像进行图像块的划分，且对块分类矩阵进行优化，可以准确的确定出目标图像的边界。
可选的，在一种可能的设计方式中，上述“根据目标图像对应的分类结果，基于补偿卷积核和滤波卷积核对块分类矩阵进行卷积处理，得到补偿滤波矩阵”可以包括：
确定块分类矩阵中的非筛选元素；非筛选元素对应的块分类结果与目标图像对应的分类结果不同；
对非筛选元素的元素值进行置零操作，得到筛选矩阵；
利用补偿卷积核对筛选矩阵进行二维卷积处理，得到第一中间矩阵；
基于补偿阈值对第一中间矩阵进行补偿处理，得到补偿矩阵；
利用滤波卷积核对补偿矩阵进行二维卷积处理，得到第二中间矩阵；
基于滤波阈值对第二中间矩阵进行滤波处理，得到补偿滤波矩阵。
可选的，在另一种可能的设计方式中，上述“基于补偿阈值对第一中间矩阵进行补偿处理，得到补偿矩阵”可以包括：
将第一中间矩阵中，元素值大于或等于补偿阈值的元素确定为待补偿元素；
将待补偿元素的元素值置为第一中间矩阵中目标元素的元素值，得到补偿矩阵；目标元素对应的块分类结果与目标图像对应的分类结果相同。
可选的，在另一种可能的设计方式中，上述“基于滤波阈值对第二中间矩阵进行滤波处理，得到补偿滤波矩阵”，可以包括：
将第二中间矩阵中，元素值小于滤波阈值的元素确定为待滤波元素；
对待滤波元素的元素值进行置零操作，得到补偿滤波矩阵。
可选的，在另一种可能的设计方式中，上述“基于补偿滤波矩阵中的元素，确定目标图像的至少一个边界”可以包括：
根据补偿滤波矩阵中元素对应的图像块的块分类结果，确定目标图像中的边缘图像块；
基于边缘图像块的位置，确定至少一个边界。
可选的，在另一种可能的设计方式中，上述“基于边缘图像块的位置，确定至少一个边界”可以包括：
根据边缘图像块的位置确定边缘图像块的中心点；
将边缘图像块的中心点确定为边界拟合点，确定至少一个边界。
可选的，在另一种可能的设计方式中，本申请提供的图像边界的确定方法还可以包括：
根据样本图像和样本图像的图像块的划分结果，训练得到分块子模型；
根据划分结果和样本图像的图像块的图像纹理特征，训练得到纹理特征提取子模型；
根据样本图像的图像块的图像纹理特征、样本图像的图像块的块分类结果和样本图像的图像块的块分类矩阵，训练得到训练子模型；
基于分块子模型、纹理特征提取子模型和训练子模型，构建块分类模型；块分类模型用于：在检测到目标图像输入的情况下，输出目标图像的块分类矩阵。
第二方面，本申请提供一种图像边界的确定装置，包括：确定模块、分类模块和处理模块；
具体的，确定模块，用于对目标图像进行图像块的划分，提取图像块的图像纹理特征并根据图像纹理特征确定图像块的块分类结果，且根据块分类结果确定块分类矩阵；块分类矩阵中的元素表征对应位置处的图像块的块分类结果；
分类模块，用于对目标图像进行分类，得到目标图像对应的分类结果；
处理模块，用于根据目标图像对应的分类结果，基于补偿卷积核和滤波卷积核对块分类矩阵进行卷积处理，得到补偿滤波矩阵；
确定模块，还用于基于补偿滤波矩阵中的元素，确定目标图像的至少一个边界。
可选的，在一种可能的设计方式中，处理模块具体用于：
确定块分类矩阵中的非筛选元素；非筛选元素对应的块分类结果与目标图像对应的分类结果不同；
对非筛选元素的元素值进行置零操作，得到筛选矩阵；
利用补偿卷积核对筛选矩阵进行二维卷积处理，得到第一中间矩阵；
基于补偿阈值对第一中间矩阵进行补偿处理，得到补偿矩阵；
利用滤波卷积核对补偿矩阵进行二维卷积处理，得到第二中间矩阵；
基于滤波阈值对第二中间矩阵进行滤波处理，得到补偿滤波矩阵。
可选的，在另一种可能的设计方式中，处理模块具体还用于：
将第一中间矩阵中，元素值大于或等于补偿阈值的元素确定为待补偿元素；
将待补偿元素的元素值置为第一中间矩阵中目标元素的元素值，得到补偿矩阵；目标元素对应的块分类结果与目标图像对应的分类结果相同。
可选的，在另一种可能的设计方式中，处理模块具体还用于：
将第二中间矩阵中，元素值小于滤波阈值的元素确定为待滤波元素；
对待滤波元素的元素值进行置零操作，得到补偿滤波矩阵。
可选的，在另一种可能的设计方式中，确定模块具体用于：
根据补偿滤波矩阵中元素对应的图像块的块分类结果，确定目标图像中的边缘图像块；
基于边缘图像块的位置，确定至少一个边界。
可选的，在另一种可能的设计方式中，确定模块具体还用于：
根据边缘图像块的位置确定边缘图像块的中心点；
将边缘图像块的中心点确定为边界拟合点，确定至少一个边界。
可选的，在另一种可能的设计方式中，本申请提供的图像边界的确定装置还可以包括：
训练模块，用于根据样本图像和样本图像的图像块的划分结果，训练得到分块子模型；
训练模块，还用于根据划分结果和样本图像的图像块的图像纹理特征，训练得到纹理特征提取子模型；
训练模块，还用于根据样本图像的图像块的图像纹理特征、样本图像的图像块的块分类结果和样本图像的图像块的块分类矩阵，训练得到训练子模型；
构建模块，用于基于分块子模型、纹理特征提取子模型和训练子模型，构建块分类模型；块分类模型用于：在检测到目标图像输入的情况下，输出目标图像的块分类矩阵。
第三方面，本申请提供一种图像边界的确定装置，包括存储器、处理器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当图像边界的确定装置运行时，处理器执行存储器存储的计算机执行指令，以使图像边界的确定装置执行如上述第一方面提供的图像边界的确定方法。
可选的，该图像边界的确定装置还可以包括收发器，该收发器用于在图像边界的确定装置的处理器的控制下，执行收发数据、信令或者信息的步骤，例如，获取目标图像。
进一步可选的，该图像边界的确定装置可以是用于实现图像边界的确定的物理机，也可以是物理机中的一部分装置，例如可以是物理机中的芯片系统。该芯片系统用于支持图像边界的确定装置实现第一方面中所涉及的功能，例如，接收，发送或处理上述图像边界的确定方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行指令时，使得计算机执行如第一方面提供的图像边界的确定方法。
第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在计算机上运行时，使得计算机执行如第一方面提供的图像边界的确定方法。
需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与图像边界的确定装置的处理器封装在一起的，也可以与图像边界的确定装置的处理器单独封装，本申请对此不做限定。
本申请中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面、以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。
在本申请中，上述图像边界的确定装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申请权利要求及其等同技术的范围之内。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
图1为本申请实施例提供的一种土石方物料堆图像；
图2为本申请实施例提供的一种图像边界的确定方法的流程示意图；
图3为本申请实施例提供的一种块分类矩阵；
图4为本申请实施例提供的一种筛选矩阵；
图5为本申请实施例提供的一种第一中间矩阵；
图6为本申请实施例提供的一种补偿矩阵；
图7为本申请实施例提供的一种第二中间矩阵；
图8为本申请实施例提供的一种补偿滤波矩阵；
图9为本申请实施例提供的一种目标图像的边界线的示意图；
图10为本申请实施例提供的另一种图像边界的确定方法的流程示意图；
图11为本申请实施例提供的又一种图像边界的确定方法的流程示意图；
图12为本申请实施例提供的一种图像边界的确定装置的结构示意图；
图13为本申请实施例提供的另一种图像边界的确定装置的结构示意图。
具体实施方式
下面结合附图对本申请实施例提供的图像边界的确定方法、装置及存储介质进行详细地描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。
此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
现有的，在确定图像边界时，常采用基于图像特征的边界检测方法、基于模型边界检测方法或者基于深度学习的边界检测方法，通过上述方法均可以确定出待检测图像的边界。
然而，对于复杂工况下的土石方物料堆图像，物料类别较多且物料着色较为接近。示例性的，参照图1，提供了一种土石方物料堆图像，可以看出，在图1所示的土石方物料堆图像中，黄土和石块的着色较为接近，这样，采用上述方法无法准确的对土石方物料堆图像的边界进行拟合，也即是采用现有的边界检测方法无法准确确定出土石方物料堆图像的边界。所有，亟待提出一种图像边界的确定方法，实现对土石方物料堆图像的边界进行检测。
针对上述现有技术中存在的问题，本申请实施例提供了一种图像边界的确定方法、装置及存储介质，通过将目标图像划分为多个图像块，确定出各个图像块的块分类结果，然后确定块分类结果对应的块分类矩阵。之后，基于目标图像的分类结果，采用补偿卷积核和滤波卷积核对块分类矩阵进行卷积处理，得到对块分类矩阵修正后的补偿滤波矩阵，然后以补偿滤波矩阵中的元素为依据，对目标图像进行边界拟合。
本申请实施例提供的图像边界的确定方法可以适用于图像边界的确定装置，图像边界的确定装置可以为物理机(如服务器)，也可以为部署在物理机上的虚拟机(virtualmachine，VM)。在图像边界的确定装置为服务器时，可以为一台服务器，也可以为由多台服务器组成的服务器集群，本申请实施例对此不做限定。
下面对本申请提供的图像边界的确定方法进行详细说明。
参照图2，本申请实施例提供的图像边界的确定方法，包括S201-S204：
S201、对目标图像进行图像块的划分，提取图像块的图像纹理特征并根据图像纹理特征确定图像块的块分类结果，且根据块分类结果确定块分类矩阵。
目标图像可以为复杂工况下的土石方物料堆图像。当然，在实际应用中，目标图像也可以为其他不易进行边界拟合的图像，本申请实施例对此不做限定。
可选的，在一种可能的实现方式中，可以通过构建块分类模型对目标图像进行图像块的划分，提取图像块的图像纹理特征并根据图像纹理特征确定图像块的块分类结果，且根据块分类结果确定块分类矩阵。具体的，可以先根据样本图像和样本图像的图像块的划分结果，训练得到分块子模型；然后，根据划分结果和样本图像的图像块的图像纹理特征，训练得到纹理特征提取子模型；之后，根据样本图像的图像块的图像纹理特征、样本图像的图像块的块分类结果和样本图像的图像块的块分类矩阵，训练得到训练子模型；最后，基于分块子模型、纹理特征提取子模型和训练子模型，构建块分类模型。该块分类模型可以用于：在检测到目标图像输入的情况下，对目标图像进行处理，得到目标图像的块分类矩阵并输出。
其中，样本图像或目标图像的图像块的划分结果可以根据图像的分辨率确定。示例性的，可以将图1中的图像划分为16*16个图像块。当然，在实际应用中，为了更为准确的得到图像的边缘信息，也可以将图像划分为32*32个图像块。但是，划分的图像块数量并不是越多越好，当图像块数量增多，对应的图像块越小，携带的图像信息也会相应减少，将无法提取较好的图像纹理特征，导致识别率下降。所以，在实际应用中，可以结合图像的分辨率确定划分的图像块的数量。
在一种可能的实现方式中，可以采用灰度共生矩阵对图像的图像块的图像纹理特征进行提取。
块分类矩阵中的元素表征对应位置处的图像块的块分类结果。示例性的，以图1所示的图像为例，图像块的块分类结果可以包括：背景、石块和黄土三种类型。可以用元素“0”表示图像块的块分类结果为背景、元素“1”表示图像块的块分类结果为石块，且用元素“2”表示图像块的块分类结果为黄土，对目标图像或样本图像中的所有图像块进行块分类，可以得到如图3所示的16*16的块分类矩阵M。
在一种可能的实现方式中，可以采用支持向量机构建块分类模型。当然，在实际应用中，还可以通过其他分类器训练块分类模型，本申请实施例对此不做限定。
S202、对目标图像进行分类，得到目标图像对应的分类结果。
可以理解的是，本申请实施例对步骤S201和步骤S202的先后顺序不做限定，在实际应用中，步骤S202也可以在步骤S201之前。
在一种可能的实现方式中，可以通过调用深度学习模型对目标图像进行分类，得到目标图像对应的分类结果。其中，深度学习模型可以根据样本图像以及样本图像对应的分类结果训练得到。
示例性的，以图1提供的图像为例，该图像的分类结果为石块。
S203、根据目标图像对应的分类结果，基于补偿卷积核和滤波卷积核对块分类矩阵进行卷积处理，得到补偿滤波矩阵。
其中，补偿滤波矩阵用于对块分类矩阵中的元素进行修正。
可选的，在一种可能的实现方式中，可以先确定块分类矩阵中的非筛选元素，非筛选元素对应的块分类结果与目标图像对应的分类结果不同。示例性的，在图3所示的块分类矩阵M中，块分类结果为黄土或者背景的图像块对应的元素即为非筛选元素，也即是元素值为0和2的元素即为非筛选元素。在确定出非筛选元素之后，对非筛选元素的元素值进行置零操作，得到筛选矩阵。示例性的，在图3所示的块分类矩阵M中，可以将元素值为0和2的元素均进行置零操作，得到图4所示的筛选矩阵。
示例性的，若用Ic表示目标图像，c表示目标图像的分类结果对应的元素值(在本申请实施例中，以c＝1为例展开说明)，则可以根据表达式(1)和表达式(2)得到筛选矩阵Mc：
Rc＝{(m,n)|Ic(i,j)＝c,(i,j)∈N} (1)
Mc＝{Mc(i,j)＝c|(i,j)∈Rc}∪{Mc(i,j)＝0|(i,j)∈N-Rc} (2)
其中，Rc表示图3所示的块分类矩阵M中，块分类结果对应的元素值为c的图像块的坐标，坐标用(m，n表示)。Mc表示类别c在M中的筛选矩阵，N为M中的坐标点，M中的坐标点用(i，j表示)。
在得到筛选矩阵之后，可以利用补偿卷积核对筛选矩阵进行二维卷积处理，得到第一中间矩阵，基于补偿阈值对第一中间矩阵进行补偿处理，得到补偿矩阵；之后，利用滤波卷积核对补偿矩阵进行二维卷积处理，得到第二中间矩阵，基于滤波阈值对第二中间矩阵进行滤波处理，得到补偿滤波矩阵。
其中，补偿卷积核和滤波卷积核可以是人为事先确定的卷积核。补偿卷积核用于对块分类矩阵中漏检的元素进行修正，滤波卷积核用于对块分类矩阵中误检的元素进行修正，以提高目标图像边界拟合的准确性。示例性的，表达式(3)为本申请实施例提供的一种补偿卷积核K，表达式(4)为本申请实施例提供的一种滤波卷积核F：
Figure BDA0003064049400000131
Figure BDA0003064049400000132
可以理解的是，本申请实施例提供的补偿卷积核和滤波卷积核仅作为示例，在实际应用中，还可以将其他卷积核确定为本申请实施例中的补偿卷积核和滤波卷积核，本申请实施例对此不做限定。需要说明的是，滤波卷积核不能使得元素本身影响卷积值，补偿卷积核则是需要考虑元素本身的影响，避免物料堆边缘信息不能得到正确的补偿改善。
可选的，在一种可能的实现方式中，可以将第一中间矩阵中，元素值大于或等于补偿阈值的元素确定为待补偿元素；将待补偿元素的元素值置为第一中间矩阵中目标元素的元素值，得到补偿矩阵；目标元素对应的块分类结果与目标图像对应的分类结果相同。
其中，补偿阈值可以是人为事先确定的元素值，示例性的，补偿阈值可以为3c或5c。
示例性的，如图5所示，为利用补偿卷积核K对图4所示的筛选矩阵Mc进行二维卷积处理，得到的第一中间矩阵MK。若用TK表示补偿阈值，以TK＝5c为例，可以通过表达式(5)将第一中间矩阵MK中，元素值大于或等于补偿阈值的元素确定为待补偿元素，并将待补偿元素的元素值置为目标元素的元素值c，目标元素对应的块分类结果与目标图像对应的分类结果是相同的。同时对于第一中间矩阵MK中除待补偿元素之外的元素，元素值保存不变，可以得到如图6所示的补偿矩阵MT：
Figure BDA0003064049400000141
可选的，在一种可能的实现方式中，可以将第二中间矩阵中，元素值小于滤波阈值的元素确定为待滤波元素；对待滤波元素的元素值进行置零操作，得到补偿滤波矩阵。
其中，滤波阈值可以是人为事先确定的元素值，示例性的，滤波阈值可以为3c。
示例性的，如图7所示，为利用滤波卷积核F对图6所示的补偿矩阵MT进行二维卷积处理，得到的第二中间矩阵MF。若用TF表示滤波阈值，以TF＝3c为例，可以通过表达式(6)将第二中间矩阵MF中，元素值小于滤波阈值的元素确定为待滤波元素，并对待滤波元素的元素值进行置零操作。同时对于第二中间矩阵MF中除待滤波元素之外的元素，元素值保持不变，可以得到如图8所示的补偿滤波矩阵MR：
Figure BDA0003064049400000142
S204、基于补偿滤波矩阵中的元素，确定目标图像的至少一个边界。
可选的，在一种可能的实现方式中，可以根据补偿滤波矩阵中元素对应的图像块的块分类结果，确定目标图像中的边缘图像块；然后基于边缘图像块的位置，确定至少一个边界。
可选的，在一种可能的实现方式中，可以根据边缘图像块的位置确定边缘图像块的中心点，然后将边缘图像块的中心点确定为边界拟合点，确定至少一个边界。
从图8所示的补偿滤波矩阵中可以看出，目标图像是存在上下两条边界的，在实际应用中，可以对上边界进行拟合也可以对下边界进行拟合，当然也可以同时对上下边界进行拟合，确定出目标图像的两条边界。示例性的，以拟合目标图像的上边界为例，可以先根据补偿滤波矩阵中元素对应的图像块的块分类结果确定出上边界的边缘图像块，然后将这些边缘图像块的中心点确定为拟合点，将所有拟合点进行连线，即可以得到目标图像上边界。示例性的，如图9所示，边界线L即为从图8所示的补偿滤波矩阵MR中得到的上边界。
本申请实施例提供的图像边界的确定方法中，通过将目标图像划分为多个图像块，确定出各个图像块的块分类结果，然后确定块分类结果对应的块分类矩阵。之后，为了提高对应目标图像边界拟合的准确性，基于目标图像的分类结果，采用补偿卷积核和滤波卷积核对块分类矩阵进行卷积处理，得到对块分类矩阵修正后的补偿滤波矩阵，然后以补偿滤波矩阵中的元素为依据，对目标图像进行边界拟合。可以看出，本申请实施例通过对目标图像进行图像块的划分，且对块分类矩阵进行优化，可以准确的确定出目标图像的边界。
综合以上描述，如图10所示，图2中的步骤S203可以替换为S2031-S2036：
S2031、确定块分类矩阵中的非筛选元素。
S2032、对非筛选元素的元素值进行置零操作，得到筛选矩阵。
S2033、利用补偿卷积核对筛选矩阵进行二维卷积处理，得到第一中间矩阵。
S2034、基于补偿阈值对第一中间矩阵进行补偿处理，得到补偿矩阵。
S2035、利用滤波卷积核对补偿矩阵进行二维卷积处理，得到第二中间矩阵。
S2036、基于滤波阈值对第二中间矩阵进行滤波处理，得到补偿滤波矩阵。
可选的，如图11所示，图2中的步骤S204可以替换为S2041-S2043：
S2041、根据补偿滤波矩阵中元素对应的图像块的块分类结果，确定目标图像中的边缘图像块。
S2042、根据边缘图像块的位置确定边缘图像块的中心点。
S2043、将边缘图像块的中心点确定为边界拟合点，确定至少一个边界。
如图12所示，本申请实施例还提供了一种图像边界的确定装置，该图像边界的确定装置包括：确定模块11、分类模块12和处理模块13。
其中，确定模块11执行上述方法实施例中的S201和S204，分类模块12执行上述方法实施例中的S202，处理模块13执行上述方法实施例中的S203。
具体地，确定模块11，用于对目标图像进行图像块的划分，提取图像块的图像纹理特征并根据图像纹理特征确定图像块的块分类结果，且根据块分类结果确定块分类矩阵；块分类矩阵中的元素表征对应位置处的图像块的块分类结果；
分类模块12，用于对目标图像进行分类，得到目标图像对应的分类结果；
处理模块13，用于根据目标图像对应的分类结果，基于补偿卷积核和滤波卷积核对块分类矩阵进行卷积处理，得到补偿滤波矩阵；
确定模块11，还用于基于补偿滤波矩阵中的元素，确定目标图像的至少一个边界。
可选的，在一种可能的实现方式中，处理模块13具体用于：
确定块分类矩阵中的非筛选元素；非筛选元素对应的块分类结果与目标图像对应的分类结果不同；
对非筛选元素的元素值进行置零操作，得到筛选矩阵；
利用补偿卷积核对筛选矩阵进行二维卷积处理，得到第一中间矩阵；
基于补偿阈值对第一中间矩阵进行补偿处理，得到补偿矩阵；
利用滤波卷积核对补偿矩阵进行二维卷积处理，得到第二中间矩阵；
基于滤波阈值对第二中间矩阵进行滤波处理，得到补偿滤波矩阵。
可选的，在另一种可能的实现方式中，处理模块13具体还用于：
将第一中间矩阵中，元素值大于或等于补偿阈值的元素确定为待补偿元素；
将待补偿元素的元素值置为第一中间矩阵中目标元素的元素值，得到补偿矩阵；目标元素对应的块分类结果与目标图像对应的分类结果相同。
可选的，在另一种可能的实现方式中，处理模块13具体还用于：
将第二中间矩阵中，元素值小于滤波阈值的元素确定为待滤波元素；
对待滤波元素的元素值进行置零操作，得到补偿滤波矩阵。
可选的，在另一种可能的实现方式中，确定模块11具体用于：
根据补偿滤波矩阵中元素对应的图像块的块分类结果，确定目标图像中的边缘图像块；
基于边缘图像块的位置，确定至少一个边界。
可选的，在另一种可能的实现方式中，确定模块11具体还用于：
根据边缘图像块的位置确定边缘图像块的中心点；
将边缘图像块的中心点确定为边界拟合点，确定至少一个边界。
可选的，在另一种可能的实现方式中，本申请提供的图像边界的确定装置还可以包括：
训练模块，用于根据样本图像和样本图像的图像块的划分结果，训练得到分块子模型；
训练模块，还用于根据划分结果和样本图像的图像块的图像纹理特征，训练得到纹理特征提取子模型；
训练模块，还用于根据样本图像的图像块的图像纹理特征、样本图像的图像块的块分类结果和样本图像的图像块的块分类矩阵，训练得到训练子模型；
构建模块，用于基于分块子模型、纹理特征提取子模型和训练子模型，构建块分类模型；块分类模型用于：在检测到目标图像输入的情况下，输出目标图像的块分类矩阵。
可选的，图像边界的确定装置还可以包括存储模块，存储模块用于存储该图像边界的确定装置的程序代码等。
如图13所示，本申请实施例还提供一种图像边界的确定装置，包括存储器41、处理器42、总线43和通信接口44；存储器41用于存储计算机执行指令，处理器42与存储器41通过总线43连接；当图像边界的确定装置运行时，处理器42执行存储器41存储的计算机执行指令，以使图像边界的确定装置执行如上述实施例提供的图像边界的确定方法。
在具体的实现中，作为一种实施例，处理器42(42-1和42-2)可以包括一个或多个中央处理器(central processing unit，CPU)，例如图13中所示的CPU0和CPU1。且作为一种实施例，图像边界的确定装置可以包括多个处理器42，例如图13中所示的处理器42-1和处理器42-2。这些处理器42中的每一个CPU可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
存储器41可以是只读存储器41(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器41可以是独立存在，通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。
在具体的实现中，存储器41，用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序，以及调用存储在存储器41内的数据，图像边界的确定装置的各种功能。
通信接口44，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如控制系统、无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。通信接口44可以包括接收单元实现接收功能，以及发送单元实现发送功能。
总线43，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
作为一个示例，结合图12，图像边界的确定装置中的处理模块实现的功能与图13中的处理器实现的功能相同，图像边界的确定装置中的存储模块实现的功能与图13中的存储器实现的功能相同。
本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，使得计算机执行上述实施例提供的图像边界的确定方法。
其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specificintegrated circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种图像边界的确定方法，其特征在于，包括：
对目标图像进行图像块的划分，提取所述图像块的图像纹理特征并根据所述图像纹理特征确定所述图像块的块分类结果，且根据所述块分类结果确定块分类矩阵；所述块分类矩阵中的元素表征对应位置处的图像块的块分类结果；
对所述目标图像进行分类，得到所述目标图像对应的分类结果；
根据所述目标图像对应的分类结果，基于补偿卷积核和滤波卷积核对所述块分类矩阵进行卷积处理，得到补偿滤波矩阵；所述补偿滤波矩阵用于对所述块分类矩阵中的元素进行修正；
基于所述补偿滤波矩阵中的元素，确定所述目标图像的至少一个边界。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像对应的分类结果，基于补偿卷积核和滤波卷积核对所述块分类矩阵进行卷积处理，得到补偿滤波矩阵，包括：
确定所述块分类矩阵中的非筛选元素；所述非筛选元素对应的块分类结果与所述目标图像对应的分类结果不同；
对所述非筛选元素的元素值进行置零操作，得到筛选矩阵；
利用所述补偿卷积核对所述筛选矩阵进行二维卷积处理，得到第一中间矩阵；
基于补偿阈值对所述第一中间矩阵进行补偿处理，得到补偿矩阵；
利用所述滤波卷积核对所述补偿矩阵进行二维卷积处理，得到第二中间矩阵；
基于滤波阈值对所述第二中间矩阵进行滤波处理，得到所述补偿滤波矩阵。
3.根据权利要求2所述的方法，其特征在于，所述基于补偿阈值对所述第一中间矩阵进行补偿处理，得到补偿矩阵，包括：
将所述第一中间矩阵中，元素值大于或等于所述补偿阈值的元素确定为待补偿元素；
将所述待补偿元素的元素值置为所述第一中间矩阵中目标元素的元素值，得到所述补偿矩阵；所述目标元素对应的块分类结果与所述目标图像对应的分类结果相同。
4.根据权利要求2所述的方法，其特征在于，所述基于滤波阈值对所述第二中间矩阵进行滤波处理，得到所述补偿滤波矩阵，包括：
将所述第二中间矩阵中，元素值小于所述滤波阈值的元素确定为待滤波元素；
对所述待滤波元素的元素值进行置零操作，得到所述补偿滤波矩阵。
5.根据权利要求1所述的方法，其特征在于，所述基于所述补偿滤波矩阵中的元素，确定所述目标图像的至少一个边界，包括：
根据所述补偿滤波矩阵中元素对应的图像块的块分类结果，确定所述目标图像中的边缘图像块；
基于所述边缘图像块的位置，确定所述至少一个边界。
6.根据权利要求5所述的方法，其特征在于，所述基于所述边缘图像块的位置，确定所述至少一个边界，包括：
根据所述边缘图像块的位置确定所述边缘图像块的中心点；
将所述边缘图像块的中心点确定为边界拟合点，确定所述至少一个边界。
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述方法还包括：
根据样本图像和所述样本图像的图像块的划分结果，训练得到分块子模型；
根据所述划分结果和所述样本图像的图像块的图像纹理特征，训练得到纹理特征提取子模型；
根据所述样本图像的图像块的图像纹理特征、所述样本图像的图像块的块分类结果和所述样本图像的图像块的块分类矩阵，训练得到训练子模型；
基于所述分块子模型、所述纹理特征提取子模型和所述训练子模型，构建块分类模型；所述块分类模型用于：在检测到所述目标图像输入的情况下，输出所述目标图像的块分类矩阵。
8.一种图像边界的确定装置，其特征在于，包括：
确定模块，用于对目标图像进行图像块的划分，提取所述图像块的图像纹理特征并根据所述图像纹理特征确定所述图像块的块分类结果，且根据所述块分类结果确定块分类矩阵；所述块分类矩阵中的元素表征对应位置处的图像块的块分类结果；
分类模块，用于对所述目标图像进行分类，得到所述目标图像对应的分类结果；
处理模块，用于根据所述目标图像对应的分类结果，基于补偿卷积核和滤波卷积核对所述块分类矩阵进行卷积处理，得到补偿滤波矩阵；
所述确定模块，还用于基于所述补偿滤波矩阵中的元素，确定所述目标图像的至少一个边界。
9.一种图像边界的确定装置，其特征在于，包括存储器、处理器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；
当所述图像边界的确定装置运行时，处理器执行所述存储器存储的所述计算机执行指令，以使所述图像边界的确定装置执行如权利要求1-7任意一项所述的图像边界的确定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行所述指令时，使得所述计算机执行如权利要求1-7任意一项所述的图像边界的确定方法。
CN202110521199.2A 2021-05-13 2021-05-13 图像边界的确定方法、装置及存储介质 Pending CN113139980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110521199.2A CN113139980A (zh) 2021-05-13 2021-05-13 图像边界的确定方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110521199.2A CN113139980A (zh) 2021-05-13 2021-05-13 图像边界的确定方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN113139980A true CN113139980A (zh) 2021-07-20

Family

ID=76817884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110521199.2A Pending CN113139980A (zh) 2021-05-13 2021-05-13 图像边界的确定方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113139980A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180176559A1 (en) * 2014-03-19 2018-06-21 Samsung Electronics Co., Ltd. Method for performing filtering at partition boundary of block related to 3d image
WO2019005255A2 (en) * 2017-06-07 2019-01-03 Hrl Laboratories, Llc SYSTEM FOR DETECTING HIGHLIGHTS IN IMAGES
CN109495759A (zh) * 2018-11-27 2019-03-19 深圳大学 图像处理方法及装置
US20200302265A1 (en) * 2019-03-20 2020-09-24 Huawei Technologies Co., Ltd. Convolutional Neural Network-Based Image Processing Method And Image Processing Apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180176559A1 (en) * 2014-03-19 2018-06-21 Samsung Electronics Co., Ltd. Method for performing filtering at partition boundary of block related to 3d image
WO2019005255A2 (en) * 2017-06-07 2019-01-03 Hrl Laboratories, Llc SYSTEM FOR DETECTING HIGHLIGHTS IN IMAGES
CN109495759A (zh) * 2018-11-27 2019-03-19 深圳大学 图像处理方法及装置
US20200302265A1 (en) * 2019-03-20 2020-09-24 Huawei Technologies Co., Ltd. Convolutional Neural Network-Based Image Processing Method And Image Processing Apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张岩;赵玉涛;李光旭;郑洲洲;张森;: "图像的边缘检测技术研究进展", 计算机与数字工程, no. 05, 20 May 2020 (2020-05-20) *

Similar Documents

Publication Publication Date Title
US12019675B2 (en) Recognizing text in image data
CN108875511B (zh) 图像生成的方法、装置、系统及计算机存储介质
WO2022042365A1 (zh) 一种基于图神经网络识别证件的方法及系统
US10885660B2 (en) Object detection method, device, system and storage medium
CN111104538A (zh) 一种基于多尺度约束的细粒度车辆图像检索的方法及装置
CN109961423B (zh) 一种基于分类模型的肺结节检测方法、服务器及存储介质
CN112256899B (zh) 图像重排序方法、相关设备及计算机可读存储介质
CN110991533A (zh) 图像识别方法、识别装置、终端设备及可读存储介质
CN108229658B (zh) 基于有限样本的物体检测器的实现方法及装置
CN109949295A (zh) 浏览器网页的差异性检测方法、装置及计算机存储介质
CN112580668B (zh) 一种背景欺诈检测方法、装置及电子设备
CN110852257A (zh) 一种人脸关键点的检测方法、装置及存储介质
CN111444807A (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN112132812A (zh) 证件校验方法、装置、电子设备及介质
CN113711232A (zh) 用于着墨应用的对象检测和分割
CN113269752A (zh) 一种图像检测方法、装置终端设备及存储介质
US9508006B2 (en) System and method for identifying trees
CN112381458A (zh) 项目评审方法、项目评审装置、设备及存储介质
CN110210279B (zh) 目标检测方法、装置及计算机可读存储介质
CN111247517B (zh) 一种图像处理方法、装置及系统
CN106663317A (zh) 数字图像的形态学处理方法和数字图像处理装置
CN111931794B (zh) 一种基于草图的图像匹配方法
CN112508005B (zh) 用于处理图像的方法、装置、设备以及存储介质
CN111597336B (zh) 训练文本的处理方法、装置、电子设备及可读存储介质
CN113139980A (zh) 图像边界的确定方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination