CN117333539A - 一种面向移动机器人的充电桩定位方法及装置 - Google Patents
一种面向移动机器人的充电桩定位方法及装置 Download PDFInfo
- Publication number
- CN117333539A CN117333539A CN202311304575.8A CN202311304575A CN117333539A CN 117333539 A CN117333539 A CN 117333539A CN 202311304575 A CN202311304575 A CN 202311304575A CN 117333539 A CN117333539 A CN 117333539A
- Authority
- CN
- China
- Prior art keywords
- charging pile
- mobile robot
- training
- angle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004064 recycling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种面向移动机器人的充电桩定位方法，步骤如下：1)构建训练数据集，移动机器人在目标环境中，利用携带的摄像头拍摄充电桩，获得充电桩图像，构建训练数据集；2)充电桩识别，利用Yolov5‑Lite网络进行充电桩识别训练，得到充电桩识别模型；3)距离估计，利用小孔成像原理计算移动机器人和充电桩之间的距离；4)角度估计，利用Yolov5‑Lite网络进行充电桩图像和对应角度信息之间训练，得到移动机器人和充电桩之间的角度估计模型。
Description
技术领域
本发明一种面向移动机器人的充电桩定位方法，属于移动机器人应用和深度学习领域。
背景技术
近年来，随着计算机技术的不断成熟，移动机器人的工作领域愈发的增多。而移动机器人都有一个特点，就是需要充电。为了使移动机器人能够长时间进行工作，就需要解决机器人的充电问题。
移动机器人一般通过对环境构建地图，并控制机器人在地图上导航的方式进行对接充电。但这通常对机器人的操控人员和机器人的工作环境有较高的要求，因为传统的利用激光和摄像头构建环境地图的方法并不包含物体的语义信息，不是专业人员难以对地图进行操作。而且由于现在算法的缺陷，在地图建立的过程中如果有人物等动态物体的存在，会将这些动态信息也加入到地图中，使地图构建不准确。最终，由于多方面原因，导致机器人并不能和充电桩实现精确对接。为了解决移动机器人充电过程中的这些问题，本发明设计了一种面向移动机器人的充电桩定位方法。
文献[1]为了改变常规技术中被检电能量化误差大,交流充电桩工作容易发生故障的问题,设计了图像识别的交流充电桩误差检定方法,并构建出新型的交流充电桩误差检定装置,通过图像差异突变量,检测出的被检充电桩的电度变化,使用余弦相似度算法比较两帧图像差异,并计算本帧和上一帧图形差异值以及上一帧和上上一帧的图形差异值的变化。结果表明通过上述设计,降低了交流充电桩检定的误差,平均误差低于5％。文献[2]提出了一种直流充电桩关键部件识别方法。该方法将故障模式、影响及危害性分析引入充电桩的可靠性评估，从风险优先级数、回收难度以及再利用潜力三个角度，建立了充电桩可靠性与回收再利用性的评价指标体系。文献[3]对电动汽车自动充电的任务目标和技术要求进行了需求分析,设计了一套自动充电机器人系统,描述了系统的硬件组成,并依据硬件的情况,设计实现了自动充电机器人系统的软件；针对电动汽车充电盖和充电口的识别与定位问题,设计了不同的识别与定位方案,分别用来识别与定位充电盖和充电插口。利用不同局部特征描述建立充电盖和充电插口的模板库,然后利用基于kd-tree(k-dimensionaltree)的最近邻搜索识别和ICP(Iterative Closest Point)配准算法完成识别与定位。本发明提出一种面向移动机器人的充电桩定位方法，对识别精度有一定的提升。
[1]孙盼盼.充电桩众筹参与度关键影响因素识别与效果分析研究[D].中国石油大学(北京),2019.
[2]邹大中,李勋,黄建钟.基于图像识别的交流充电桩误差检定方法研究[J].电子测量技术,2021,44(07):13-18.
[3]]刘彬.基于视觉与力觉的自动充电机器人[D].武汉科技大学,2022。
发明内容
为解决上述问题，本发明结合深度学习，公开了一种面向移动机器人的充电桩定位方法。首先进行通过采集充电桩图像，分别构建充电桩目标识别和角度估计数据集。然后本发明利用YoLoV5-lite分别进行目标识别训练和角度估计训练，得到目标识别模型和角度估计模型。根据目标识别模型结果，得到充电桩在图像中的像素长度，利用小孔成像原理，计算出目标距离。最后目标距离和角度估计即为充电桩的位置信息。
本发明的技术方案是，一种面向移动机器人的充电桩定位方法，步骤为：
步骤1：构建训练数据集
移动机器人在目标环境中，利用携带的摄像头拍摄充电桩，获得充电桩图像，构建训练数据集。
步骤1-1：构建充电桩识别训练数据库
对获取的图像利用LabelImg进行手工标注，标签只有充电桩一个类。标记为chargingStation。
步骤1-2：构建充电桩角度估计训练数据库
对获取的图像利用LabelImg进行手工标注，利用移动机器人和充电桩之间的角度信息作为对应充电桩图像的标签。形成(充电桩图像，角度标签)训练数据库。
步骤2：充电桩识别
利用Yolov5-Lite网络进行充电桩识别训练，得到充电桩识别模型。
步骤2-1：图片预处理
将训练集的图片统一调整尺寸大小为640*640，增强对充电桩的关键点信息的提取。
步骤2-2：分类学习
对预处理后的训练数据集分批次利用Yolov5-Lite网络进行迭代训练。
步骤2-3：充电桩识别模型
重复步骤2-3进行多次分类学习，选择在离线学习阶段充电桩识别精度最高的模型作为最终充电桩识别模型。
步骤3：距离估计
利用小孔成像原理计算移动机器人和充电桩之间的距离。
步骤3-1：先验参数
通过先验知识，获取充电桩长度W，摄像头的焦距f；
步骤3-2：测量参数
通过充电桩的识别结果，得到充电桩目标在图像中的像素长度W’
步骤3-2：计算距离d
根据公式d＝Wf/W’,计算出实际距离d
步骤4：角度估计
利用Yolov5-Lite网络进行充电桩图像和对应角度信息之间训练，得到移动机器人和充电桩之间的角度估计模型。
步骤4-1：图像预处理
利用步骤2-1进行图像预处理。
骤4-2：分类学习
对预处理后的训练数据集分批次利用Yolov5-Lite网络进行迭代训练。
步骤4-3：角度标签估计模型
重复步骤4-3进行多次分类学习，选择在离线学习阶段角度估计标签性能最好的模型作为最终角度标签估计模型。
本发明先进行通过采集充电桩图像，分别构建充电桩目标识别和角度估计数据集。然后利用YoLoV5-lite分别进行目标识别训练和角度估计训练，得到目标识别模型和角度估计模型。根据目标识别模型结果，得到充电桩在图像中的像素长度，利用小孔成像原理，计算出目标距离。最后目标距离和角度估计即为充电桩的位置信息。
本发明的一种面向移动机器人的充电桩定位装置，所述装置包括：
离线模块：训练充电桩目标识别模型，训练充电桩角度估计模型。
在线识别模块：利用获得的充电桩图像，估计充电桩与移动机器人之间的距离和角度。
所述离线学习模块包括三个模块，分别为充电桩目标识别模块、角度标签分类学习模块。
充电桩目标识别模块：构建充电桩目标识别数据集，学习充电桩目标和标签之间的关系，训练充电桩目标识别模型。
距离计算模块：利用小孔成像原理，通过先验知识和目标识别结果，计算充电桩和移动机器人之间的距离。
角度标签分类学习模块：构建充电桩角度估计数据集，学习充电桩目标和角度标签之间的关系，训练充电桩角度估计模型。
在线识别模块：距离计算模块，角度估计模块。
距离计算模块：移动机器人利用获取的充电桩图像，送入充电桩目标识别模型，并利用小孔成像原理，得到充电桩与移动机器人之间的距离；
角度估计模块：利用获取的充电桩图像，，送入充电桩角度估计模型，得到充电桩与移动机器人之间的角度；
进一步，面向移动机器人的充电桩定位装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
本发明的有益效果：
(1)本发明将移动机器人充电桩定位问题转化为分类问题，并通过机器学习进行定位估计。因此在线运行时间较短，有助于提高定位的速度和准确度。
(2)YOLOv5 Lite在YOLOv5的基础上进行一系列消融实验，使其更轻(Flops更小，内存占用更低，参数更少)，更快(加入shuffle channel,yolov5 head进行通道裁剪。因此本发明能够得到更好的离线训练性能。
(3)本发明采用的YOLOv5 Lite能在树莓派4B上的推理速度可以达到10+FPS，因此，本发明更易部署(摘除Focus层和4次slice操作)，让模型量化精度下降在可接受范围内。
本发明根据目标识别模型结果，得到充电桩在图像中的像素长度，利用小孔成像原理，计算出目标距离。最后目标距离和角度估计即为充电桩的位置信息。本发明具有实现简单，定位精度高的优点，可用于智能家居，智慧养老等领域。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
图1本发明的系统模型；
图2本发明流程图；
图3：本发明应用的YoLoV5-lite结构示意图；
图4：本发明基于小孔成像的距离计算示意图；
图5：本发明的实验场景描述；
图6：本发明目标识别描述。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
参照图1和图2，本实施例提供了一种面向移动机器人的充电桩定位方法，包括：首先移动机器人在目标环境中利用携带的摄像头拍摄充电桩，获得充电桩图像，构建训练数据集。然后，利用Yolov5-Lite网络进行充电桩识别，得到充电桩识别模型。进一步的，基于小孔成像原理计算移动机器人和充电桩之间的距离。进一步的，利用Yolov5-Lite网络进行充电桩图像和对应角度信息之间训练，得到移动机器人和充电桩之间的角度估计模型(下述)。进一步的，通过上述获取的距离和角度进而确定充电桩的位置
参照图3，本实施例提供了一种基于Yolov5-Lite网络的充电桩识别模型，包括：步骤一：移动机器人在目标环境中利用携带的摄像头拍摄充电桩，获得充电桩图像。对获得的图像利用LabelImg进行手工标注；利用LabelImg流程为：1)创建对应标签，2)框出目标物体并保存。
标签只有充电桩一个类。标记为chargingStation。训练集和测试集所占比例设置为9:1。步骤二：将处理后的数据统一调整尺寸大小为640*640，增强对充电桩关键点信息提取。步骤三：将处理后的数据进行训练，迭代批量大小设置为64，总迭代次数为300次，初始的学习率设置为0.001，采用小批量梯度下降法，使用Adam优化器更新网络参数，接着进行目标定位分类以及目标特征提取。步骤四：判断是否完成迭代训练并得到最优模型，如果未得到最优权重模型，则返回模型重新训练测试数据。如完成迭代训练并得到最优模型(根据损失函数可以判断)后，则输入测试数据检测目标类别，最终得到检测结果并输出。
在实施例中，参照图3，需要说明的是，在原始Yolov5的网络基础上进行了轻量化的改动。首先网络结构的输入端去掉了Focus层，有效的减少了浮点数和提高运算速度。进一步的在骨干网络中(backbone)引入了ShuffleNet，可以最小化内存访问量和加快推理速度。然后在Neck模块改进了FPN+PAN的结构，Yolov5网络中上层结构生成深层和浅层的feature map，深层的feature map携带有更强的语义特征，较弱的定位信息。而浅层的feature map携带有较强的位置信息，较弱的语义信息。而FPN是把深层的语义特征传到浅层，从而增强多个尺度上的语义表达；PAN则相反把浅层的定位信息传导到深层，增强多个尺度上的定位能力。对FPN+PAN的结构进行参数调优，进一步更好的获得feature map的语义信息。
参照图6，本实施例提供了一种面向移动机器人的充电桩测距方法，包括：步骤一：获取已知参数：获取充电桩的的长度W；获取移动机器人的焦距f；获取识别出的充电桩的像素长度W’；步骤二：计算距离d，根据图6所示，按照所示原理，由根据公式d＝Wf/W’,可计算出充电桩和移动机器人之间的距离d
参照图1，本实施例提供了一种基于Yolov5-Lite网络进行充电桩图像和对应角度信息之间训练，得到移动机器人和充电桩之间的角度估计模型，包括：步骤一：数据准备，移动机器人在目标环境中利用携带的摄像头拍摄充电桩，收集包含充电桩的图像数据集，对获得的图像利用LabelImg框出该图片中的充电桩，然后标注出每个充电桩的位置和对应角度信息，标签总共分为3类，分别对应为0°、45°、90°三个区域。
步骤二：数据预处理，将标注的数据集转换成Yolo格式，生成对应的标签文件，将处理后的数据统一调整尺寸大小为640*640，增强对充电桩关键点信息提取。
步骤三：选择Yolov5-Lite网络架构，将处理后的数据按照9：1的比例划分为训练集和测试集，输入类别数目为三类，输入如图片大小为640*640。
步骤四：进行训练，每次迭代批量大小设置为64，总迭代次数为300次，初始的学习率设置为0.001，采用小批量梯度下降法，使用Adam优化器更新网络参数，接着进行目标定位分类以及目标特征提取。
Adam(Adaptive Moment Estimation)是一种结合了动量和自适应学习率的深度学习优化算法。它通过动量来加速收敛和跳出局部最优解，并通过自适应学习率根据梯度的一阶矩估计(均值)和二阶矩估计(方差)来自动调整学习率，以适应不同参数的更新需求。Adam还包括偏差校正机制，以应对初始迭代中估计的不准确性，使其适用于各种深度学习任务，并通常表现出色，但可能需要谨慎调整超参数以达到最佳性能。
步骤五：使用测试集评估训练好的模型性能，包括目标检测的准确率、召回率等指标。
步骤六：判断是否完成迭代训练并得到最优模型，如果未得到最优权重模型，可以进行模型参数调整、数据增强等优化方法，提高模型性能。
步骤七：使用训练好的模型进行充电桩图像的检测和角度信息的预测。由于Yolov5-Lite网络具有多目标识别的特性，因此该方法也可以用于多个充电桩定位场景。
实施例2：
本实施例提供一种面向移动机器人的充电桩定位装置，所述装置包括：
离线模块：训练充电桩目标识别模型，训练充电桩角度估计模型。
在线识别模块：利用获得的充电桩图像，估计充电桩与移动机器人之间的距离和角度。
所述离线学习模块包括三个模块，分别为充电桩目标识别模块、角度标签分类学习模块。
充电桩目标识别模块：构建充电桩目标识别数据集，学习充电桩目标和标签之间的关系，训练充电桩目标识别模型。
距离计算模块：利用小孔成像原理，通过先验知识和目标识别结果，计算充电桩和移动机器人之间的距离。
角度标签分类学习模块：构建充电桩角度估计数据集，学习充电桩目标和角度标签之间的关系，训练充电桩角度估计模型。
在线识别模块：距离计算模块，角度估计模块。
距离计算模块：移动机器人利用获取的充电桩图像，送入充电桩目标识别模型，并利用小孔成像原理，得到充电桩与移动机器人之间的距离；
角度估计模块：利用获取的充电桩图像，，送入充电桩角度估计模型，得到充电桩与移动机器人之间的角度；
实施例3：
本发明还提供了一种面向移动机器人的充电桩定位装置。该实施例的面向移动机器人的充电桩定位装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各实施例中各模块/单元的功能。
所述面向移动机器人的充电桩定位装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述面向移动机器人的充电桩定位装置可包括，但不仅限于，处理器、存储器。所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电(Application Specific Integrated Circuit，ASIC)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述面向移动机器人的充电桩定位装置的各种功能。所述面向移动机器人的充电桩定位装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，ReadOnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
计算例：
本发明利用图5所示的实验场景，利用移动机器人上携带的摄像头对充电桩进行拍摄，并对获取的图像打标签，得到训练数据集。然后训练出充电桩识别模型和角度估计模型，其中角度估计模型的训练数据为874个，充电桩识别模型的训练数据为1124个。利用模型对测试集的数据进行预测，图6描述了移动机器人上充电桩的识别结果。
表1描述了对角度标签的分类结果：
| Precision | Recall | map@0.5 | map@0.5:0.95 |
| 0.962 | 0.999 | 0.995 | 0.798 |
表2描述了距离估计性能：
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
除说明书所述的技术特征外，其余技术特征为本领域技术人员的已知技术，为突出本发明的创新特点，其余技术特征在此不再赘述。
Claims (5)
1.一种面向移动机器人的充电桩定位方法，其特征在于，步骤如下：
步骤1：构建训练数据集
移动机器人在目标环境中，利用携带的摄像头拍摄充电桩，获得充电桩图像，构建训练数据集；
步骤2：充电桩识别
利用Yolov5-Lite网络进行充电桩识别训练，得到充电桩识别模型；
步骤3：距离估计
利用小孔成像原理计算移动机器人和充电桩之间的距离；
步骤4：角度估计
利用Yolov5-Lite网络进行充电桩图像和对应角度信息之间训练，得到移动机器人和充电桩之间的角度估计模型；
所述方法步骤1构建训练数据集包含如下步骤：
步骤1-1：构建充电桩识别训练数据库
对获取的图像利用LabelImg进行手工标注，标签只有充电桩一个类；标记为chargingStation；
步骤1-2：构建充电桩角度估计训练数据库
对获取的图像利用LabelImg进行手工标注，利用移动机器人和充电桩之间的角度信息作为对应充电桩图像的标签；形成充电桩图像，角度标签训练数据库。
2.根据权利要求1所述的面向移动机器人的充电桩定位方法，其特征在于，所述方法步骤2充电桩识别包含如下步骤：
步骤2-1：图片预处理
将训练集的图片统一调整尺寸大小为640*640，增强对充电桩的关键点信息的提取；
步骤2-2：分类学习
对预处理后的训练数据集分批次利用Yolov5-Lite网络进行迭代训练；
步骤2-3：充电桩识别模型
重复步骤2-3进行多次分类学习，选择在离线学习阶段充电桩识别精度最高的模型作为最终充电桩识别模型。
3.根据权利要求1所述的面向移动机器人的充电桩定位方法，其特征在于，所述步骤3距离估计包含如下步骤：
步骤3-1：先验参数
通过先验知识，获取充电桩长度W，摄像头的焦距f；
步骤3-2：测量参数
通过充电桩的识别结果，得到充电桩目标在图像中的像素长度W’；
步骤3-2：计算距离d
根据公式d＝Wf/W’,计算出实际距离d。
4.根据权利要求1所述的面向移动机器人的充电桩定位方法，其特征在于，所述方法步骤4角度估计包含如下步骤：
步骤4-1：图像预处理
利用步骤2-1进行图像预处理；
骤4-2：分类学习
对预处理后的训练数据集分批次利用Yolov5-Lite网络进行迭代训练；
步骤4-3：角度标签估计模型
重复步骤4-3进行多次分类学习，选择在离线学习阶段角度估计标签性能最好的模型作为最终角度标签估计模型。
5.根据权利要求1-4任一所述的面向移动机器人的充电桩定位得到的充电桩定位装置，其特征是，所述装置包括：
离线模块：训练充电桩目标识别模型，训练充电桩角度估计模型；
在线识别模块：利用获得的充电桩图像，估计充电桩与移动机器人之间的距离和角度；
所述离线学习模块包括三个模块，分别为充电桩目标识别模块、角度标签分类学习模块；
充电桩目标识别模块：构建充电桩目标识别数据集，学习充电桩目标和标签之间的关系，训练充电桩目标识别模型；
距离计算模块：利用小孔成像原理，通过先验知识和目标识别结果，计算充电桩和移动机器人之间的距离；
角度标签分类学习模块：构建充电桩角度估计数据集，学习充电桩目标和角度标签之间的关系，训练充电桩角度估计模型；
在线识别模块：距离计算模块，角度估计模块；
距离计算模块：移动机器人利用获取的充电桩图像，送入充电桩目标识别模型，并利用小孔成像原理，得到充电桩与移动机器人之间的距离；
角度估计模块：利用获取的充电桩图像，，送入充电桩角度估计模型，得到充电桩与移动机器人之间的角度；
包括处理器及存储介质；所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤；
可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311304575.8A CN117333539A (zh) | 2023-10-09 | 2023-10-09 | 一种面向移动机器人的充电桩定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311304575.8A CN117333539A (zh) | 2023-10-09 | 2023-10-09 | 一种面向移动机器人的充电桩定位方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333539A true CN117333539A (zh) | 2024-01-02 |
Family
ID=89276833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311304575.8A Pending CN117333539A (zh) | 2023-10-09 | 2023-10-09 | 一种面向移动机器人的充电桩定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333539A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110000784A (zh) * | 2019-04-09 | 2019-07-12 | 深圳市远弗科技有限公司 | 一种机器人回充定位导航方法、系统、设备及存储介质 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN114018268A (zh) * | 2021-11-05 | 2022-02-08 | 上海景吾智能科技有限公司 | 室内移动机器人导航方法 |
| CN114966538A (zh) * | 2022-04-26 | 2022-08-30 | 清华大学 | 联合场景识别与测距测角误差校准的单站定位方法及系统 |
| CN116363445A (zh) * | 2022-12-14 | 2023-06-30 | 深圳云天励飞技术股份有限公司 | 图像角度分类模型训练方法、装置、设备及存储介质 |
| CN116402891A (zh) * | 2023-04-06 | 2023-07-07 | 浙大宁波理工学院 | 新能源汽车充电接口自动定位方法和充电枪自动插拔定位方法 |
-
2023
- 2023-10-09 CN CN202311304575.8A patent/CN117333539A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110000784A (zh) * | 2019-04-09 | 2019-07-12 | 深圳市远弗科技有限公司 | 一种机器人回充定位导航方法、系统、设备及存储介质 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN114018268A (zh) * | 2021-11-05 | 2022-02-08 | 上海景吾智能科技有限公司 | 室内移动机器人导航方法 |
| CN114966538A (zh) * | 2022-04-26 | 2022-08-30 | 清华大学 | 联合场景识别与测距测角误差校准的单站定位方法及系统 |
| CN116363445A (zh) * | 2022-12-14 | 2023-06-30 | 深圳云天励飞技术股份有限公司 | 图像角度分类模型训练方法、装置、设备及存储介质 |
| CN116402891A (zh) * | 2023-04-06 | 2023-07-07 | 浙大宁波理工学院 | 新能源汽车充电接口自动定位方法和充电枪自动插拔定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| EP3772036A1 (en) | Detection of near-duplicate image | |
| CN108921057B (zh) | 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置 | |
| CN111768388A (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
| CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| CN111639629B (zh) | 一种基于图像处理的猪只体重测量方法、装置及存储介质 | |
| CN106709452B (zh) | 一种基于智能巡检机器人的仪表位置检测方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN110263790A (zh) | 一种基于卷积神经网络的电厂电表字符定位和识别方法 | |
| CN115019103A (zh) | 基于坐标注意力群组优化的小样本目标检测方法 | |
| WO2015146113A1 (ja) | 識別辞書学習システム、識別辞書学習方法および記録媒体 | |
| CN114882213A (zh) | 一种基于图片识别的动物体重预测估算系统 | |
| CN116740758A (zh) | 一种防止误判的鸟类图像识别方法及系统 | |
| CN109614512B (zh) | 一种基于深度学习的电力设备检索方法 | |
| CN115223166A (zh) | 图片预标注方法、图片标注方法及装置、电子设备 | |
| Zheng et al. | Improvement of grayscale image 2D maximum entropy threshold segmentation method | |
| CN117333539A (zh) | 一种面向移动机器人的充电桩定位方法及装置 | |
| CN116977859A (zh) | 基于多尺度图像切割和实例困难度的弱监督目标检测方法 | |
| CN110443277A (zh) | 基于注意力模型的少量样本分类方法 | |
| CN116664867A (zh) | 一种基于多证据融合选取训练样本的特征提取方法及装置 | |
| CN116704372A (zh) | 船舶精细化识别方法及装置 | |
| CN116630749A (zh) | 工业设备故障检测方法、装置、设备以及存储介质 | |
| CN112396648B (zh) | 一种可定位目标物质心的目标识别方法和系统 | |
| CN113505784A (zh) | 甲片自动标注解析方法及装置、电子设备及存储介质 | |
| CN107146244B (zh) | 基于pbil算法的图像配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |