CN115578630A - 一种判断空气开关工作档位的方法及系统 - Google Patents

Abstract

一种判断空气开关工作档位的方法及系统，其中所述方法包括以下步骤：步骤拍摄含有空气开关的第一图片，定位空气开关在开关柜上的位置；根据空气开关的位置对第一图片进行裁剪，得到第二图片，对第二图片进行图像处理，获取手柄的轮廓；对手柄的轮廓进行多边形拟合，并保存于角点集内；获取拟合后位于手柄轮廓的凹陷位置的其中一个角点，并标记为内凹角点，获取角点集中与内凹角点水平方向绝对距离最短的角点，标记为判断角点；根据内凹角点和判断角点的相对位置，判断空气开关工作档位。通过图像处理得到的手柄形状相对单一，在多边形拟合所得到的图像相对也相对单一，单一的形状可以提高数据处理结果的稳定性以及识别速度。

Description

一种判断空气开关工作档位的方法及系统

技术领域

本发明涉及图像识别技术领域，特别是一种判断空气开关工作档位的方法及系统。

背景技术

空气开关是配电房中最常见的设备之一，其最主要的作用是起到保护整个电路的作用，即当电路中出现短路的或者电流异常增大时就会自动断开电路，从而起到保护电路的作用。空气开关外观结构简单，遵循“上开下关”的工作原理，即当手柄往上拨时表示空气开关连接，当手柄往下拨时表示空气开关断开，空气开关通过自动关闭的形式来包含电路。

为了解决配电房巡检工作量大、效率低和安全等问题。越来越多的智能配电房巡检机器人被广泛应用在配电房中替换人工进行日常巡检工作，其中空气开关是配电房巡检机器人重点巡检的电气设备之一。但是现有空气开关状态的智能识别方法中，主要方法为通过图像预处理和图像特征的提取，之后通过特征区分来进行分类。该方法需要图像有较高的成像质量，且需要人工进行复杂的特征设计和提取过程，整体流程较为复杂，而且需要前期获取大量对应场景下的样本数据，算法的适用范围和识别速度都有一定的限制。

发明内容

针对上述缺陷，本发明的目的在于提出一种判断空气开关工作档位的方法及系统，以提高空气开关的适用范围以及识别速度。

为达此目的，本发明采用以下技术方案：一种判断空气开关工作档位的方法，包括以下步骤：

步骤S1：拍摄含有所述空气开关的第一图片，定位空气开关在开关柜上的位置；

步骤S2：根据空气开关的位置对所述第一图片进行裁剪，得到一张只含有空气开关的第二图片，对第二图片进行图像处理，获取所述手柄的轮廓；

步骤S3：对所述手柄的轮廓进行多边形拟合，其中拟合后的手柄的轮廓形状为不规则或规则的“凹”型轮廓，并获取拟合后手柄的所有角点的坐标，并保存于角点集内；

步骤S4：获取拟合后位于手柄的轮廓中间的一个或两个角点，并标记为内凹角点，将内凹角点从所述角点集中删除，获取角点集中与内凹角点水平方向绝对距离最短的角点，标记为判断角点；

若所述判断角点的纵坐标值大于所述内凹角点的纵坐标值，则表示当前空气开关工作位于断开状态，若所述判断角点的纵坐标值小于所述内凹角点的纵坐标值，则表示当前空气开关工作位于连接状态。

优选的，步骤S1前还需要执行以下步骤：

步骤S11：获取若干张包含空气开关的开关柜图片；

步骤S12：使用第三方标注软件LabelImage标注出开关柜图片中每个空气开关的位置和类型名，并将标注信息保存在与每张图片对应的xml文件中，得到与开关柜图片数量一致的训练数据集；

步骤S13：使用开关柜图片以及对应训练数据集训练YOLOv4-tiny目标检测网络，得到一个能够检测出空气开关的检测模型；其中，所述检测模型的输出结果为{x1，y1,x2,y2,label}，其中（x1，y1）为空气开关的左上角坐标，所述（x2，y2）为空气开关的右下角坐标， label表示所检测到的区域是空气开关。

优选的，所述步骤S2中对第二图片进行图像处理的过程如下：

步骤S21：将第二图片由RGB颜色空间转化为YCrCb颜色空间，得到第三图片；

步骤S22：对所述第三图片进行二值化处理，得到第四图片；

步骤S23：调用图像处理第三方库opencv自带的轮廓提取函数findContours()在第四图片中寻找白色连通区域；

步骤S24：比较所述第四图片中的所有白色连通区域的大小，将面积最大的白色连通区域作为所述手柄的轮廓。

优选的，步骤S4中所述内凹角点的获取方式如下：

步骤S41：计算所有角点的纵坐标平均值；

步骤S42：对所述角点集中的角点按照纵坐标的大小进行排序，将纵坐标值最接近所述纵坐标平均值的角点作为所述内凹角点。

优选的，步骤S4中所述判断空气开关工作档位方式如下：

若所述判断角点的纵坐标值大于所述内凹角点的纵坐标值，则表示当前空气开关工作位于断开状态，若所述判断角点的纵坐标值小于所述内凹角点的纵坐标值，则表示当前空气开关工作位于连接状态。

一种判断空气开关工作档位的系统，使用所述一种判断空气开关工作档位的方法，其特征在于包括：定位模块、裁剪处理模块、拟合模块以及判断模块；

所述定位模块用于拍摄含有所述空气开关的第一图片，定位空气开关在开关柜上的位置；

所述裁剪处理模块用于根据空气开关的位置对所述第一图片进行裁剪，得到一张只含有空气开关的第二图片，对第二图片进行图像处理，获取所述手柄的轮廓；

所述拟合模块用于对所述手柄的轮廓进行多边形拟合，并获取拟合后手柄的所有角点的坐标，并保存于角点集内；

所述判断模块用于获取拟合后位于手柄轮廓的凹陷位置的其中一个角点，并标记为内凹角点，获取角点集中与内凹角点水平方向绝对距离最短的角点，标记为判断角点；

根据内凹角点和判断角点的相对位置，判断空气开关工作档位。

上述技术方案中的一个技术方案具有如下优点或有益效果：手柄的形状相对单一，在多边形拟合所得到的图像相对也相对单一，单一的形状可以提高数据处理结果的稳定性以及识别速度。本技术方案只需要通过对手柄轮廓的多边形拟合后自动得到所有角点，然后计算每个角点纵坐标的均值，接着将与均值距离最小的角点确定为内凹角点，在确定内凹角点后，将与内凹角点水平距离最近的角点作为判断角点，最后只需比较内凹角点与判断角点纵坐标的大小即可判断出当前空气开关的状态。本发明所提出的方法无需采用过多的图像处理技术，通过处理形状简单的手柄的轮廓即可得知空气开关的状态，大大提高了识别的效率以及适用性。

附图说明

图1是本发明方法的一个实施例的流程图。

图2是二值化的过程图；

图3是本发明一个实施例中多边形拟合后手柄的结构示意图；

图4是多边形拟合的过程图；

图5是本发明系统的一个实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1~5所示，一种判断空气开关工作档位的方法，包括以下步骤：

步骤S1：拍摄含有所述空气开关的第一图片，定位空气开关在开关柜上的位置；

步骤S2：根据空气开关的位置对所述第一图片进行裁剪，得到一张只含有空气开关的第二图片，对第二图片进行图像处理，获取所述手柄的轮廓；

步骤S3：对所述手柄的轮廓进行多边形拟合，其中拟合后的手柄的轮廓形状为不规则或规则的“凹”型轮廓，并获取拟合后手柄的所有角点的坐标，并保存于角点集内；

其中手柄的轮廓进行拟合时，可以调用调用图像处理第三方库opencv自带的多边形拟合函数approxPolyDP()在cont_img上进行多边形拟合，得到表示手柄边界线上的所有角点。

步骤S4：获取拟合后位于手柄轮廓的凹陷位置的其中一个角点，并标记为内凹角点，获取角点集中与内凹角点水平方向绝对距离最短的角点，标记为判断角点；

根据内凹角点和判断角点的相对位置，判断空气开关工作档位。

在本发明中并非采用传统的图像识别方式对空气开关工作档位进行判断，而是先对获取定位到所述空气开关，然后通过空气开关的坐标对其进行定位，裁剪出第二图片，在第二图片中，还会存在有除了空气开关以外，还可能存在有其他外对判定的结果进行干扰，所以本发明中，在获得第二图片后，并不会直接进行判断，而是获取所述手柄的轮廓，对手柄的轮廓进行判断，手柄的轮廓所处于形状可以判别到该空气开关的状态，因为空气开关的手柄是遵循“上开下关”的工作原理。

另本发明与现有技术的区别还在于对所述手柄的状态判断方法不同，现有技术中，会对所述手柄的轮廓进行水平方向的分割，然后判断上下区域的大小来实现绝限手柄状态的判断，但是该种方法需要人工根据多维数据设计出水平方向的分割线的位置，而且由于拍摄角度的不同，还可能需要重新水平方向分割线的位置，整体流程较为复杂，而且需要前期获取大量对应场景下的样本数据，算法的适用范围和识别速度都有一定的限制。

而本发明中，是先对所述手柄的轮廓进行拟合，因为在手柄中，手柄的形状相对单一，在多边形拟合所得到的图像相对也相对单一，如图4所示。在数据的处理过程中，单一的形状可以提高数据处理结果的稳定性以及识别速度。在拟合后，得到一个多边形，多边形具有多个角点，然后在获取位于手柄的轮廓中间的角点，标记为内凹角点，然后在找到与内凹角点在水平方向绝对距离最短的判断角点。如图3所示，如果C角点的纵坐标与所有角点纵坐标的平均值的距离最近，则将C角点作为判断空气开关工作状态的内凹角点，而B角点与C角点的水平方向绝对距离最短，所以B角点为C角点的判断角点。所以B角点为C角点的判断角点。同理，如果D角点的纵坐标与所有角点纵坐标的平均值的距离最近，则将D角点作为判断空气开关工作状态的内凹角点，而E角点与D角点的水平方向绝对距离最短，所以E角点为D角点的判断角点。

基于拟合后的手柄的轮廓，手柄的活动连接端与中间角点的水平方向的绝对距离是最短的，此时当知道内凹角点以及判断角点之间的纵坐标值大小，即可判断出两个角点之间的上下位置关系，从而可以判断出当前空气开关的状态。本发明所提出的方法无需采用过多的图像处理技术，通过处理形状简单的手柄的轮廓即可得知空气开关的状态，大大提高了识别的效率以及适用性。

优选的，步骤S1前还需要执行以下步骤：

步骤S11：获取若干张包含空气开关的开关柜图片；

步骤S12：使用第三方标注软件LabelImage标注出开关柜图片中每个空气开关的位置和类型名，并将标注信息保存在与每张图片对应的xml文件中，得到与开关柜图片数量一致的训练数据集；

步骤S13：使用开关柜图片以及对应训练数据集训练YOLOv4-tiny目标检测网络，得到一个能够检测出空气开关的检测模型；其中，所述检测模型的输出结果为{x1，y1,x2,y2,label}，其中（x1，y1）为空气开关的左上角坐标，所述（x2，y2）为空气开关的右下角坐标， label表示所检测到的区域是空气开关。

在本发明中所述通过训练可以得到检测模型，通过检测模型可以得到每一个所述空气开关的左上角坐标以及右下角坐标，然后通过对角的坐标即可得到一个矩形区域的范围，而该矩形区域的范围即为所述空气开关的位置。在后续可以根据这两个坐标进行图片的裁剪，得到所述第二图片。另外所述 label表示所检测到的区域是空气开关，另外还可以识别出所述空气开关的形状，最后并根据形状特征得到所述形状阈值，以更精准的判断得到所述空气开关的档位识别结果。

优选的，所述步骤S2中对第二图片进行图像处理的过程如下：

步骤S21：将第二图片由RGB颜色空间转化为YCrCb颜色空间，得到第三图片；

步骤S22：对所述第三图片进行二值化处理，得到第四图片；

将第三图片中Cb（蓝色分量与图片亮度的差分量）通道的图片并进行二值化处理得到结果第四图片。在第四图片中只有两种0和255两种像素值，其中黑色部分的像素值等于0，白色部分的像素值等于255。由于空气开关的手柄大多数是深蓝或者浅蓝的颜色，所以在ycrcb的Cb通道图片中更能突出手柄的颜色特征。

步骤S23：调用图像处理第三方库opencv自带的轮廓提取函数findContours()在第四图片中寻找白色连通区域；

其中对对第四图片进行轮廓提取时，可以调用图像处理第三方库opencv自带的轮廓提取函数findContours()在bin_img上寻找轮廓，其中轮廓为二值化图片中的白色连通区域。

步骤S24：比较所述第四图片中的所有白色连通区域的大小，将面积最大的白色连通区域作为所述手柄的轮廓。

鉴于在空气开关中，手柄与开关本体之间具有一定的颜色差，通常开关本体的颜色为白色，而手柄的颜色一般为黑色或者蓝色等深色调。通过将第二图片由RGB颜色空间转化为YCrCb颜色空间后，在进行二值化的处理，即可清晰的分辨出手柄与开关本体。如图2所示，在二值化后，还存在有其他的白色区域，例如品牌标签等。为了避免后续角点的提取错误，所以还需要对其进行筛选，将面积最大的白色连通区域作为所述手柄的轮廓。

优选的，步骤S4中所述内凹角点的获取方式如下：

步骤S41：计算所有角点的纵坐标平均值；

步骤S42：对所述角点集中的角点按照纵坐标的大小进行排序，将纵坐标值最接近所述纵坐标平均值的角点作为所述内凹角点。

如图3所示，存在有8个角点，然后将8个角点的纵坐标进行相加再除以8，得到所述纵坐标的平均值，然后对所有角点的纵坐标与纵坐标的平均值一同排序，即可快速获得该所述内凹角点。

优选的，步骤S4中所述判断空气开关工作档位方式如下：

若所述判断角点的纵坐标值大于所述内凹角点的纵坐标值，则表示当前空气开关工作位于断开状态，若所述判断角点的纵坐标值小于所述内凹角点的纵坐标值，则表示当前空气开关工作位于连接状态。

一种判断空气开关工作档位的系统，使用所述一种判断空气开关工作档位的方法，包括：定位模块、裁剪处理模块、拟合模块以及判断模块；

所述定位模块用于拍摄含有所述空气开关的第一图片，定位空气开关在开关柜上的位置；

所述裁剪处理模块用于根据空气开关的位置对所述第一图片进行裁剪，得到一张只含有空气开关的第二图片，对第二图片进行图像处理，获取所述手柄的轮廓；

所述拟合模块用于对所述手柄的轮廓进行多边形拟合，并获取拟合后手柄的所有角点的坐标，并保存于角点集内；

所述判断模块用于获取拟合后位于手柄轮廓的凹陷位置的其中一个角点，并标记为内凹角点，获取角点集中与内凹角点水平方向绝对距离最短的角点，标记为判断角点；

根据内凹角点和判断角点的相对位置，判断空气开关工作档位。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。

Claims (6)

1.一种判断空气开关工作档位的方法，其特征在于，包括以下步骤：

步骤S1：拍摄含有所述空气开关的第一图片，定位空气开关在开关柜上的位置；

步骤S2：根据空气开关的位置对所述第一图片进行裁剪，得到一张只含有空气开关的第二图片，对第二图片进行图像处理，获取手柄的轮廓；

步骤S3：对所述手柄的轮廓进行多边形拟合，其中拟合后的手柄的轮廓形状为不规则或规则的“凹”型轮廓，并获取拟合后手柄的所有角点的坐标，并保存于角点集内；

步骤S4：获取拟合后位于手柄轮廓的凹陷位置的其中一个角点，并标记为内凹角点，获取角点集中与内凹角点水平方向绝对距离最短的角点，标记为判断角点；

根据内凹角点和判断角点的相对位置，判断空气开关工作档位。

2.根据权利要求1所述的一种判断空气开关工作档位的方法，其特征在于，步骤S1前还需要执行以下步骤：

步骤S11：获取若干张包含空气开关的开关柜图片；

步骤S12：使用第三方标注软件LabelImage标注出开关柜图片中每个空气开关的位置和类型名，并将标注信息保存在与每张图片对应的xml文件中，得到与开关柜图片数量一致的训练数据集；

步骤S13：使用开关柜图片以及对应训练数据集训练YOLOv4-tiny目标检测网络，得到一个能够检测出空气开关的检测模型；其中，所述检测模型的输出结果为{x1，y1,x2,y2,label}，其中（x1，y1）为空气开关的左上角坐标，所述（x2，y2）为空气开关的右下角坐标，label表示所检测到的区域是空气开关。

3.根据权利要求1所述的一种判断空气开关工作档位的方法，其特征在于，所述步骤S2中对第二图片进行图像处理的过程如下：

步骤S21：将第二图片由RGB颜色空间转化为YCrCb颜色空间，得到第三图片；

步骤S22：对所述第三图片进行二值化处理，得到第四图片；

步骤S23：调用图像处理第三方库opencv自带的轮廓提取函数findContours()在第四图片中寻找白色连通区域；

步骤S24：比较所述第四图片中的所有白色连通区域的大小，将面积最大的白色连通区域作为所述手柄的轮廓。

4.根据权利要求1所述的一种判断空气开关工作档位的方法，其特征在于，步骤S4中所述内凹角点的获取方式如下：

步骤S41：计算所有角点的纵坐标平均值；

步骤S42：对所述角点集中的角点按照纵坐标的大小进行排序，将纵坐标值最接近所述纵坐标平均值的角点作为所述内凹角点。

5.根据权利要求1所述的一种判断空气开关工作档位的方法，其特征在于，步骤S4中所述判断空气开关工作档位方式如下：

若所述判断角点的纵坐标值大于所述内凹角点的纵坐标值，则表示当前空气开关工作位于断开状态，若所述判断角点的纵坐标值小于所述内凹角点的纵坐标值，则表示当前空气开关工作位于连接状态。

6.一种判断空气开关工作档位的系统，使用权利要求1~5任一项所述一种判断空气开关工作档位的方法，其特征在于包括：定位模块、裁剪处理模块、拟合模块以及判断模块；

所述定位模块用于拍摄含有所述空气开关的第一图片，定位空气开关在开关柜上的位置；

所述裁剪处理模块用于根据空气开关的位置对所述第一图片进行裁剪，得到一张只含有空气开关的第二图片，对第二图片进行图像处理，获取所述手柄的轮廓；

所述拟合模块用于对所述手柄的轮廓进行多边形拟合，并获取拟合后手柄的所有角点的坐标，并保存于角点集内；

所述判断模块用于获取拟合后位于手柄轮廓的凹陷位置的其中一个角点，并标记为内凹角点，获取角点集中与内凹角点水平方向绝对距离最短的角点，标记为判断角点；

根据内凹角点和判断角点的相对位置，判断空气开关工作档位。

Images