CN109803076B - 一种内河水上交通卡口船舶图像抓拍及船名识别的方法 - Google Patents

Abstract

本发明公开了一种内河水上交通卡口船舶图像抓拍及船名识别的系统和方法，包括网络AIS基站、网络热成像摄像机和网络抓拍摄像机；网络AIS基站保持开启，不断接收卡口水域附近船舶的AIS位置信号；船舶航行通过检测线时，网络热成像摄像机触发越线警报并通过网络将报警信号发送至服务器；服务器根据接收到的信号，网络抓拍摄像机收到指令执行拍照，并将照片上传至服务器；服务器基于网络AIS基站采集到的卡口水域附近船舶位置进行后台计算分析，匹配抓拍到的船舶照片与船名信息。本发明提供的一种基于热成像视频检测的水上交通卡口船舶图像抓拍与船名识别方法，为后续的船舶违章处理提供便利，提升水上监管的精准度，可广泛用于内河航道船舶图像抓拍。

Description

一种内河水上交通卡口船舶图像抓拍及船名识别的方法

技术领域

本发明属于智能交通监控技术领域，涉及一种基于热成像和AIS 的内河水上交通卡口船舶图像抓拍和船名识别的系统及方法。

背景技术

随着内河船舶数量的快速增长，通航密度越来越大，并且由于水上无固定“船道”、内河航道较窄且环境复杂、人员安全意识薄弱等因素，超载、超限、未按照规定标明或遮挡船名、船籍港、载重线等违法行为时有发生，极易导致撞船、沉船等交通事故。同时受限于水上信息化建设起步较晚，智能化的监管手段仍显不足，缺少像道路上的卡口抓拍设备，仍依赖于人工抓拍，进而导致水上执法的精准率、效率较低。

发明内容

本发明的目的是提供一种基于热成像和AIS的内河水上交通卡口船舶图像抓拍和船名识别的系统及方法，用于弥补现有内河水上卡口智能抓拍系统的空白。

本发明的系统所采用的技术方案是：1.一种内河水上交通卡口船舶图像抓拍与船名识别的系统，其特征在于：包括用于航行船舶的 AIS信号采集的网络AIS基站1、网络热成像摄像机2、网络抓拍摄像机3、夜间补光单元4、路由器5和服务器，路由器5与网络AIS 基站1、网络热成像摄像机2、网络抓拍摄像机3连接控制，所有设备均连接有电源；服务器通过路由器5与网络AIS基站1、网络热成像摄像机2、网络抓拍摄像机3、夜间补光单元4进行通信；所述网络AIS基站1能够实时接收卡口附近水域所有船舶的位置、航向、航速、MMSI、英文船名的AIS信息；所述的网络热成像摄像机2具有越线侦测功能，对于摄像机视角覆盖的水域，可以横向设定虚拟的警戒线，有船舶通过时触发警报，并通过路由器5将警报信息发送至服务器；网络抓拍摄像机3用于接收服务器的抓拍指令而对越过警戒线的船舶进行图像抓拍；所述夜间补光单元4用于自动检测环境照度，在环境照度低于预设阈值时，自动开启补光功能，在环境照度高于或等于预设阈值时，自动关闭补光功能，以便网络抓拍摄像机3抓拍图像。

优选地：还包括设置在航道边的立柱6，所述网络热成像摄像机 2、网络抓拍摄像机3和夜间补光单元4由上至下依次安装在立柱6 上。

优选地：网络热成像摄像机2、网络抓拍摄像机3和夜间补光单元4均可旋转地安装在所述立柱6上，且均包含无线连接通讯单元，通过无线连接通讯接收服务器发送的角度旋转控制命令而旋转角度。

优选地：网络热成像摄像机2、网络抓拍摄像机3和夜间补光单元4均可滑动地安装在所述立柱6上，且均包含无线连接通讯单元，通过无线连接通讯接收服务器发送的上下移动控制命令而上下移动。

一种利用上述的系统进行内河交通卡口船舶图像抓拍及船名识别的方法，其特征在于，按照以下步骤进行：

步骤1：开启网络AIS基站，并在通过网络热成像摄像机2在卡口水域划定横向虚拟警戒线，同时在服务器端输入警戒线的起始结束点的经纬度；

步骤2：当船舶航向通过虚拟警戒线水面时，网络热成像摄像机 2通过越线侦测功能，触发警报，并将警报信息通过路由器发送至服务器；

步骤3：服务器接收到警报信息后，发送指令到网络抓拍摄像机 3；

步骤4：网络抓拍摄像机3接收到指令执行拍照，并将照片通过路由器上传至服务器；

步骤5：服务器根据接收到警报时间，通过计算、预测警戒线附近水域船舶位置，得到最接近警戒线船舶信息，并与抓拍的照片进行匹配关联。

优选地：步骤2和步骤4中所述的将警报信息和照片通过路由器上传至服务器，采用的是TCP、HTTP或FTP方式。

优选地：步骤3具体包括：服务器接收到路由器2发送的警报信息后，获取该警报信息的发送时间，该发送时间附加在该警报信息后，该发送时间包含网络热成像摄像机2的第一发送时间戳和路由器2的第二发送时间戳，然后服务器判断是否接收到路由器2发送的包含船舶的位置(经纬度)、航向、航速、MMSI、英文船名的AIS信息，如果接收到，则进一步判断该接收的AIS信息的发送时间戳与前述第一发送时间戳或第二发送时间戳之间的差的绝对值是否小于一预设阈值，如果小于，则初步判断步骤2中的通过虚拟警戒线水面的船舶已开启AIS系统，服务器发送第一抓拍指令到网络抓拍摄像机3，该第一抓拍指令中包含警报信息标识和AIS信息标识，该警报信息标识和 AIS信息标识能够标识该第一抓拍指令是依据的满足上述接收的AIS 信息的发送时间戳与前述第一发送时间戳或第二发送时间戳之间的绝对差小于一预设阈值的警报信息和AIS信息；否则，如果未接收到，或者如果大于等于，则判断步骤2中的通过虚拟警戒线睡眠的船舶未正常开启AIS系统，服务器发送第二抓拍指令到网络抓拍摄像机3，该第二抓拍指令中包含警报信息标识，该警报信息标识能够标识该第二抓拍指令是依据的哪个警报信息发出的。

优选地：步骤4具体包括：网络抓拍摄像机3如果接收到第一抓拍指令或第二抓拍指令，均启动图像抓拍操作，并将抓拍照片通过路由器2上传至服务器，每一抓拍照片均标记抓拍指令来源和抓拍时间戳，抓拍指令来源标记了抓拍照片是根据第一抓拍指令还是第二抓拍指令而进行的抓拍。

优选地：步骤5具体包括：服务器判断接收到的抓拍照片中标记的抓拍指令来源，如果是依据第一抓拍指令而抓拍的，则获取该第一抓拍指令对应的警报信息和AIS信息，将警报信息、抓拍照片以及 AIS信息相关联起来存储匹配，以便服务器可直接依据AIS信息进行违法行为的自动识别；如果抓拍指令来源是依据第二抓拍指令而抓拍的，服务器认定船舶未正常开启AIS系统，则将抓拍图片存储在未正常开启船舶违法事件中，并进一步依据该抓拍图片自动识别船舶的船名，以自动提供发生违法行为的船舶，如果服务无法依据该抓拍图片自动识别出船名，则将抓拍图片移动到待人工确认事件中，需要人工进一步跟进抓拍图片判断是否发生违法行为。

优选地：自动识别船名包含如下步骤：获取抓拍图片的各像素点的RGB值；分别计算RGB三个颜色通道的水平梯度和垂直梯度，最后将三个水平梯度和垂直梯度进行平方和开方计算，获得抓拍图片中各像素点的梯度值和梯度方向值；将上述计算的各像素点的梯度值和梯度方向值输入事先训练好的分类器，得到文字识别后的表示文字像素点；将上述表示文字的像素点进行连通域分析，获得各个连通域，然后将连通域包含的像素点个数低于预设阈值的连通域摒弃，形成连通域集合；计算得到将覆盖连通域集合中所有连通域的最小包围区域；获得最小包围区域的特征，该特征为形状特征、纹理特征；将获得的形状特征、纹理特征与预设船名词典中各个船名的整体文字模板的形状特征、纹理特征进行相似度判断，其中，预设船名词典中各个船名来自已注册到海事局的所有船名，并且船名词典中的每个船名均包含多种字体的整体文字模板，相似度是将获得形状特征、纹理特征分别与船名词典中的所有整体文字模板的形状特征、纹理特征之间的欧几里得距离的加权和，最后得到具有最小加权和且该加权和小于一定阈值的整体文字模板，并得到该整体文字模板对应的船名。

本发明提供的一种基于热成像和AIS的内河水上交通卡口船舶图像抓拍和船名识别的系统及方法，很好的弥补现有内河水上卡口智能抓拍系统的空白。

附图说明

图1：为本发明实施例的系统部署图

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不限定本发明。

请见图1，本发明的系统所采用的的技术方案是：一种内河水上交通卡口船舶图像抓拍与船名识别的系统，其特征在于：包括用于航行船舶的AIS信号采集的网络AIS基站1、网络热成像摄像机2、网络抓拍摄像机3、夜间补光单元4和路由器5，所述的网络AIS基站能够实时接收卡口附近水域所有船舶上的AIS系统发送的该船舶的位置(经纬度)、航向、航速、MMSI、英文船名等信息。所述的网络热成像摄像机2具有越线侦测功能，对于该网络热成像摄像机2视角覆盖的水域，可以横向设定虚拟的警戒线，有船舶通过时触发警报，并通过路由器5将警报信息发送至远程服务器。所述的夜间补光单元 4含有环境照度自动检测功能，可以根据设定的照度阈值自动开启或关闭。路由器5与网络AIS基站1、网络热成像摄像机2、网络抓拍摄像机3连接控制，所有设备均连接有电源。网络热成像摄像机2、网络抓拍摄像机3和夜间补光单元4由上至下依次安装在立柱6上。网络热成像摄像机2、网络抓拍摄像机3和夜间补光单元4的角度均包含无线连接通讯单元，通过无线连接通讯接收服务器发送的角度旋转控制命令而旋转各自的角度。

本发明的方法所采用的技术方案是：一种内河水上交通卡口船舶图像抓拍与船名识别的方法，其特征在于，包括以下步骤：

步骤1：开启网络AIS基站1，并在通过网络热成像摄像机2发射的红外线在卡口水域划定横向虚拟警戒线，同时在服务器端输入警戒线的起始结束点的经纬度；

步骤2：当船舶航向通过虚拟警戒线水面时，网络热成像摄像机 2通过越线侦测功能，触发警报，并将警报信息通过路由器发送至服务器；

步骤3：服务器接收到警报信息后，发送抓拍指令到网络抓拍摄像机；

步骤4：网络抓拍摄像机接收到指令执行拍照，并将照片通过路由器上传至服务器；

步骤5：服务器根据接收到警报时间，通过计算、预测警戒线附近水域船舶位置，得到最接近警戒线船舶信息，并与抓拍的照片进行匹配关联。

按照海事管理规定，船舶必须按照规定开启其上安装的AIS系统，但当一些船舶存在违法违章时，其通常会关闭AIS系统以逃避违法违章检查，因此，服务器可自动判断未正常开启AIS系统的船舶，并对未正常开启AIS系统的船舶进行抓拍，并根据抓拍图像进行船名、航向、航速的自动判断，自动识别出违法违章信息，避免了未正常开启 AIS系统的船舶的逃避违法违章，其具体实现方式如下：

首先自动识别出未正常开启AIS系统的船舶，具体可通过如下方式实现：

当通过上述步骤3，服务器接收到路由器2发送的警报信息后，获取该警报信息的发送时间，发送时间可附加在该警报信息后，其包含网络热成像摄像机2的发送时间戳一和路由器2的发送时间戳二，然后服务器进一步判断是否接收到路由器2发送的船舶的位置(经纬度)、航向、航速、MMSI、英文船名等AIS信息,如果接收到，则进一步判断该接收的AIS信息的发送时间戳与前述发送时间戳一或发送时间戳二之间的绝对差是否小于一预设阈值，如果小于，则初步判断步骤2中的通过虚拟警戒线水面的船舶已开启AIS系统，服务器发送第一抓拍指令到网络抓拍摄像机3，该第一抓拍指令中包含警报信息标识和AIS信息标识，该警报信息标识和AIS信息标识能够标识该第一抓拍指令是依据的满足上述接收的AIS信息的发送时间戳与前述发送时间戳一或发送时间戳二之间的绝对差小于一预设阈值的警报信息和AIS信息；否则，如果未接收到，或者如果大于等于，则判断步骤2中的通过虚拟警戒线睡眠的船舶未正常开启AIS系统，然后服务器发送第二抓拍指令到网络抓拍摄像机3，该第二抓拍指令中包含警报信息标识，该警报信息标识能够标识该第二抓拍指令是依据的哪个警报信息发出的。

网络抓拍摄像机3如果接收到第一抓拍指令或第二抓拍指令，均启动图像抓拍操作，并将抓拍照片通过路由器2上传至服务器，但对抓拍照片标记抓拍指令来源和抓拍时间戳，抓拍指令来源标记了抓拍照片是根据第一抓拍指令还是第二抓拍指令而进行的抓拍。

服务器根据接收到的抓拍照片中标记的抓拍指令来源做进一步处理，如果是依据第一抓拍指令而抓拍的，则获取该第一抓拍指令对应的警报信息和AIS信息，将警报信息、抓拍照片以及AIS信息相关联起来存储匹配，以便服务器可直接依据AIS信息进行航速是否超速等违法行为的自动识别，并在判断出违法违章时，能够提供该AIS信息相关联的抓拍照片作为证据。

如果抓拍指令来源是依据第二抓拍指令而抓拍的，服务器可认定船舶未正常开启AIS系统，则此时将抓拍图片存储在未正常开启船舶违法事件中，并进一步依据该抓拍图片自动识别船舶的船名，以自动提供发生违法行为的船舶，如果服务无法依据该抓拍图片自动识别出船名，则将抓拍图片移动到待人工确认事件中，需要人工进一步跟进抓拍图片判断是否发生违法行为。

其中，自动识别船名可以以如下方式实现：

获取抓拍图片的各像素点的RGB值，即分别获取RGB三个颜色通道的像素值；

然后分别计算RGB三个颜色通道的水平梯度和垂直梯度，最后将三个水平梯度和垂直梯度进行平方和开方计算，或者采用现有的融合方式进行融合，获得抓拍图片中各像素点的梯度值和梯度方向值；

将上述计算的各像素点的梯度值和梯度方向值输入事先训练好的分类器，得到文字识别后的表示文字像素点；

将上述表示文字的像素点进行连通域分析，获得各个连通域，然后将连通域包含的像素点个数低于预设阈值的连通域摒弃，形成连通域集合；

计算得到将覆盖连通域集合中所有连通域的最小包围区域；

获得最小包围区域的特征，该特征为形状特征、纹理特征；

将获得的形状特征、纹理特征与预设船名词典中各个船名的整体文字模板进行相似度判断，其中，预设船名词典中各个船名来自已注册到海事局的所有船名，并且船名词典中的每个船名均包含多种字体的整体文字模板，在进行相似度判断时是将获得形状特征、纹理特征分别与船名词典中的所有整体文字模板的形状特征、纹理特征之间的欧几里得距离的加权和逐一进行计算，最后得到具有最小加权和且该加权和小于一定阈值的整体文字模板，从而得到该整体文字模板对应的船名。通过该包含所有文字的最小包围区域与所有的船名的整体进行判断，由于船名均已注册过，因此可直接使用已注册的所有船名进行判断，减少了比对计算量，且比逐个的文字字符识别判断更加准确，提高了准确性。

进一步地，如果上述最小加权和非小于一定阈值，则说明具有最小加权和的船名不太可信，则可将抓拍图片移动到待人工确认事件中，需要人工进一步判断抓拍图片中的船名以及根据抓拍图片判断是否发生违法行为。

本发明在具体实施时，还可以采用系统自动匹配和人工匹配船名与图片相结合的方式，当船舶AIS信号发生正常的情况下，通过系统自动计算分析完成船名与抓拍图片的匹配关联，当船舶AIS信号不能正常发送或接收时，采用人工输入图片中船名的方式，实现船名与抓拍图片的匹配关联。

具体操作时，可以借助环境照度自动检测功能模块自动控制补光单元处于工作状态或休眠状态，即周围环境照度低于设定阈值时，补光单元处于工作状态，照度高于阈值时，补光单元处于休眠状态。

尽管本文较多地使用了网络AIS基站、网络热成像摄像机、网络抓拍摄像机、夜间补光单元和路由器、服务器等术语，但并不排除使用其他术语的可能性。使用这些术语仅仅是为了更方便的描述本发明的本质，把它们解释成任何一种附加的限制都是与本发明精神相违背的。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (1)

1.一种利用内河水上交通卡口船舶图像抓拍与船名识别系统的方法，其特征在于：

所述系统包括用于航行船舶的AIS信号采集的网络AIS基站(1)、网络热成像摄像机(2)、网络抓拍摄像机(3)、夜间补光单元(4)、路由器(5)和服务器，路由器(5)与网络AIS基站(1)、网络热成像摄像机(2)、网络抓拍摄像机(3)连接控制，所有设备均连接有电源；服务器通过路由器(5)与网络AIS基站(1)、网络热成像摄像机(2)、网络抓拍摄像机(3)、夜间补光单元(4)进行通信；所述网络AIS基站(1)能够实时接收卡口附近水域所有船舶的位置、航向、航速、MMSI、英文船名的AIS信息；所述的网络热成像摄像机2具有越线侦测功能，对于摄像机视角覆盖的水域，可以横向设定虚拟的警戒线，有船舶通过时触发警报，并通过路由器(5)将警报信息发送至服务器；网络抓拍摄像机(3)用于接收服务器的抓拍指令而对越过警戒线的船舶进行图像抓拍；所述夜间补光单元(4)用于自动检测环境照度，在环境照度低于第一预设阈值时，自动开启补光功能，在环境照度高于或等于第一预设阈值时，自动关闭补光功能，以便网络抓拍摄像机(3)抓拍图像；所述系统还包括设置在航道边的立柱(6)，所述网络热成像摄像机(2)、网络抓拍摄像机(3)和夜间补光单元(4)由上至下依次安装在立柱(6)上；网络热成像摄像机(2)、网络抓拍摄像机(3)和夜间补光单元(4)均可旋转地安装在所述立柱(6)上，且均包含无线连接通讯单元，通过无线连接通讯接收服务器发送的角度旋转控制命令而旋转角度；网络热成像摄像机(2)、网络抓拍摄像机(3)和夜间补光单元(4)均可滑动地安装在所述立柱(6)上，且均包含无线连接通讯单元，通过无线连接通讯接收服务器发送的上下移动控制命令而上下移动；

所述方法按照以下步骤进行：

步骤1：开启网络AIS基站，并在通过网络热成像摄像机(2)在卡口水域划定横向虚拟警戒线，同时在服务器端输入警戒线的起始结束点的经纬度；

步骤2：当船舶航向通过虚拟警戒线水面时，网络热成像摄像机(2)通过越线侦测功能，触发警报，并将警报信息通过路由器发送至服务器；

步骤3：服务器接收到警报信息后，发送指令到网络抓拍摄像机(3)；

步骤4：网络抓拍摄像机(3)接收到指令执行拍照，并将照片通过路由器上传至服务器；

步骤5：服务器根据接收到警报时间，通过计算、预测警戒线附近水域船舶位置，得到最接近警戒线船舶信息，并与抓拍的照片进行匹配关联；

步骤2和步骤4中所述的将警报信息和照片通过路由器上传至服务器，采用的是TCP、HTTP或FTP方式；

步骤3具体包括：服务器接收到路由器(2)发送的警报信息后，获取该警报信息的发送时间，该发送时间附加在该警报信息后，该发送时间包含网络热成像摄像机(2)的第一发送时间戳和路由器(2)的第二发送时间戳，然后服务器判断是否接收到路由器(2)发送的包含船舶的位置(经纬度)、航向、航速、MMSI、英文船名的AIS信息，如果接收到AIS信息，则进一步判断该接收的AIS信息的发送时间戳与前述第一发送时间戳或第二发送时间戳之间的差的绝对值是否小于一第二预设阈值，如果小于第二预设阈值，则初步判断步骤2中的通过虚拟警戒线水面的船舶已开启AIS系统，服务器发送第一抓拍指令到网络抓拍摄像机(3)，该第一抓拍指令中包含警报信息标识和AIS信息标识，该警报信息标识和AIS信息标识能够标识该第一抓拍指令是依据的满足上述接收的AIS信息的发送时间戳与前述第一发送时间戳或第二发送时间戳之间的绝对差小于一第二预设阈值的警报信息和AIS信息；否则，如果未接收到，或者如果大于等于第二预设阈值，则判断步骤2中的通过虚拟警戒线睡眠的船舶未正常开启AIS系统，服务器发送第二抓拍指令到网络抓拍摄像机(3)，该第二抓拍指令中包含警报信息标识，该警报信息标识能够标识该第二抓拍指令是依据的哪个警报信息发出的；

步骤4具体包括：网络抓拍摄像机(3)如果接收到第一抓拍指令或第二抓拍指令，均启动图像抓拍操作，并将抓拍照片通过路由器(2)上传至服务器，每一抓拍照片均标记抓拍指令来源和抓拍时间戳，抓拍指令来源标记了抓拍照片是根据第一抓拍指令还是第二抓拍指令而进行的抓拍；

步骤5具体包括：服务器判断接收到的抓拍照片中标记的抓拍指令来源，如果是依据第一抓拍指令而抓拍的，则获取该第一抓拍指令对应的警报信息和AIS信息，将警报信息、抓拍照片以及AIS信息相关联起来存储匹配，以便服务器可直接依据AIS信息进行违法行为的自动识别；如果抓拍指令来源是依据第二抓拍指令而抓拍的，服务器认定船舶未正常开启AIS系统，则将抓拍图片存储在未正常开启船舶违法事件中，并进一步依据该抓拍图片自动识别船舶的船名，以自动提供发生违法行为的船舶，如果服务无法依据该抓拍图片自动识别出船名，则将抓拍图片移动到待人工确认事件中，需要人工进一步跟进抓拍图片判断是否发生违法行为；

自动识别船名包含如下步骤：获取抓拍图片的各像素点的RGB值；分别计算RGB三个颜色通道的水平梯度和垂直梯度，最后将三个水平梯度和垂直梯度进行平方和开方计算，获得抓拍图片中各像素点的梯度值和梯度方向值；将上述计算的各像素点的梯度值和梯度方向值输入事先训练好的分类器，得到文字识别后的表示文字像素点；将上述表示文字的像素点进行连通域分析，获得各个连通域，然后将连通域包含的像素点个数低于第三预设阈值的连通域摒弃，形成连通域集合；计算得到将覆盖连通域集合中所有连通域的最小包围区域；获得最小包围区域的特征，该特征为形状特征、纹理特征；将获得的形状特征、纹理特征与预设船名词典中各个船名的整体文字模板的形状特征、纹理特征进行相似度判断，其中，预设船名词典中各个船名来自已注册到海事局的所有船名，并且船名词典中的每个船名均包含多种字体的整体文字模板，相似度是将获得形状特征、纹理特征分别与船名词典中的所有整体文字模板的形状特征、纹理特征之间的欧几里得距离的加权和，最后得到具有最小加权和且该加权和小于一定阈值的整体文字模板，并得到该整体文字模板对应的船名。

Images