CN106153059B - 基于视觉标识对接充电装置的方法 - Google Patents
基于视觉标识对接充电装置的方法 Download PDFInfo
- Publication number
- CN106153059B CN106153059B CN201610515715.XA CN201610515715A CN106153059B CN 106153059 B CN106153059 B CN 106153059B CN 201610515715 A CN201610515715 A CN 201610515715A CN 106153059 B CN106153059 B CN 106153059B
- Authority
- CN
- China
- Prior art keywords
- charging unit
- robot
- visual cues
- charging
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3469—Fuel consumption; Energy use; Emission aspects
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Toys (AREA)
Abstract
公开了一种基于视觉标识对接充电装置的方法。该方法包括以下步骤：步骤1，拍摄与充电装置对应的视觉标识；步骤2，获取机器人充电接口与所述视觉标识之间的角度和距离；步骤3，确定机器人充电接口与充电装置之间的角度和距离；步骤4，根据机器人充电接口与充电装置之间的角度和距离规划机器人到达充电装置的路径和速度，驱动机器人根据规划的路径和速度接近充电装置；以及步骤5，当机器人充电接口与充电装置的角度和距离分别小于预定角度和预定距离时，驱动机器人充电接口对接充电装置的电源接口。该方法通过处理所拍摄的与充电装置对应的视觉标识图像，从而实现了机器人充电接口与充电装置的电源接口的精确对接。
Description
技术领域
本发明涉及智能机器人自动充电领域，更具体地，涉及一种基于视觉标识对接充电装置的方法。
背景技术
随着智能化时代的到来，机器人已经越来越走进人们的生活，生活中的服务机器人应用领域越来越广，我们的社会即将进入智能机器人的时代。例如，常见的服务机器人有送餐机器人、聊天机器人、导购机器人等等。这些智能机器人通常都包括大量的用电设备。例如，行走驱动部分，交互显示屏、各种处10理电路、语音视频设备等。智能机器人的耗电量很大，需要经常充电。目前智能机器人都是人工管理充电，例如非工作时间，工作人员插上电源统一充电。或者使用过程中电量低时，工作人员为其插上电源充电，不能够实现智能机器人自动充电，降低了用户的使用便利性。因此，如何让机器人自动充电成为机器人领域一个亟待解决的问题。
公开于本发明背景技术部分的信息仅仅旨在加深对本公开的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明提出了一种基于视觉标识对接充电装置的方法，其通过处理所拍摄的与充电装置对应的视觉标识图像，从而实现了机器人充电接口与充电装置的电源接口的精确对接。
根据本发明的一方面，提出了一种基于视觉标识对接充电装置的方法。该方法可以包括以下步骤：
步骤1，拍摄与充电装置对应的视觉标识；
步骤2，基于摄像头的视觉标定参数和所拍摄的视觉标识图像，获取机器人充电接口与所述视觉标识之间的角度和距离；
步骤3，根据在步骤2中所计算的角度和距离以及所述视觉标识与充电装置之间的位置关系确定机器人充电接口与充电装置之间的角度和距离；
步骤4，根据机器人充电接口与充电装置之间的角度和距离规划机器人到达充电装置的路径和速度，驱动机器人根据规划的路径和速度接近充电装置；以及
步骤5，当机器人充电接口与充电装置的角度和距离分别小于预定角度和预定距离时，驱动机器人充电接口对接充电装置的电源接口。
本发明基于所设拍的与充电装置对应的视觉标识图像而精确确定了充电装置相对于机器人充电装置的位置，使得机器人充电接口能够与充电装置电源接口精准对接，从而实现了智能机器人的自动充电，提高了智能机器人的使用便利性。
本发明的方法具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施例中将是显而易见的，或者将在并入本文中的附图和随后的具体实施例中进行详细陈述，这些附图和具体实施例共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的基于视觉标识对接充电装置的方法的流程图。
图2a和图2b示出了根据本发明的一个实施例的基于视觉标识对接充电装置的方法中的示例性视觉标识。
具体实施方式
下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
实施例1
图1示出了根据本发明的一个实施例的基于视觉标识对接充电装置的方法的流程图。
在该实施例中，根据本发明的基于视觉标识对接充电装置的方法可以包括以下步骤：
步骤1，拍摄与充电装置对应的视觉标识；
步骤2，基于摄像头的视觉标定参数和所拍摄的视觉标识图像，获取机器人充电接口与所述视觉标识之间的角度和距离；
步骤3，根据在步骤2中所计算的角度和距离以及所述视觉标识与充电装置之间的位置关系确定机器人充电接口与充电装置之间的角度和距离；
步骤4，根据机器人充电接口与充电装置之间的角度和距离规划机器人到达充电装置的路径和速度，驱动机器人根据规划的路径和速度接近充电装置；以及
步骤5，当机器人充电接口与充电装置的角度和距离分别小于预定角度和预定距离时，驱动机器人充电接口对接充电装置的电源接口。
本实施例通过处理所拍摄的与充电装置对应的视觉标识图像，从而实现了机器人充电接口与充电装置的电源接口的精确对接。
下面详细说明根据本发明的基于视觉标识对接充电装置的方法的具体步骤。
通常，智能机器人能够知道自己在室内的坐标点，进行自主有效地回充电运动：在准确的定位之后，机器人能在电量不足或完成任务归来的情况下，朝着充电装置的方向靠近。例如，智能机器人本身具备定位导航系统，在电子地图中预先标记了充电电源的位置，智能机器人需要充电时，首先通过定位导航系统自行找到充电电源位置。但是，由于定位的精度通常为十几至几十厘米，达不到自动对准充电装置的要求。实现机器人充电接口与充电装置的电源接口自动对接需要定位精度达到3cm以下的精度，利用定位导航系统，智能机器人只能到达充电电源位置附近。
为了使得智能机器人充电接口能够精确地对接充电装置的电源接口，本发明的方法处理所拍摄的视觉标识图像以确定机器人充电接口与充电装置之间的角度和距离。
在一个示例中，视觉标识可以为黑白色的正方形棋盘格，最外圈方格为黑色方形环，并且黑色方形环包围的黑白色方格所形成的图案既不轴对称也不旋转对称，如图2a和图2b所示。
基于黑色方形环包围的黑白色方格所形成的图案可以得到该视觉标识的ID。当机器人从所拍摄的图像中识别出了该ID，则确认拍摄到了视觉标识，进入计算机器人充电接口与视觉标识之间的角度和距离的过程。如果在所拍摄的图像中无法识别出ID，则认为此拍摄无效，将所拍摄的图像舍弃。
在一个示例中，视觉标定参数可以包括摄像头的内部参数、外部参数和畸变参数。
可选地，可以采用以下步骤获得摄像头的视觉标定参数：打印一张模版并贴于一个平面上；从不同角度拍摄若干张模版图像；检测出图像中的特征点；求出摄像机的内部参数和外部参数；以及求出畸变参数。本领域技术人员应当理解，可以采用任意适当的方法获得摄像头的视觉标定参数。
在一个示例中，步骤2可以包括：基于摄像头的内部参数、外部参数和畸变参数，根据所拍摄的视觉标识图像中黑色方形环的边界四边产生的畸变计算机器人充电接口与所述视觉标识之间的角度，根据边界四边的长度计算所述视觉标识与机器人充电接口之间的距离。
具体计算方法如下：由于机器人的摄像头所拍摄的正方形图像边界为凸四边形，该凸四边形与原本的正方形边界存在识别的扭矩和误差。因此，首先将凸四边形进行边界四边的重新拟合，并对拟合所形成的四条直线相交的四边形顶点进行保存；将拟合后的凸四边形在对应的单应性矩阵上进行鸟瞰投影；以及通过opencv库中的函数方法将四边形顶点(投影得到的矩阵)与已知的正方形进行单应性矩阵的比较(参考opencv文档<http://docs.opencv.org/2.4/doc/tutorials/tutorials.html>)，从而得到了视觉标识与机器人充电接口之间角度和距离的估值。
可选地，上述视觉标识的大小可以为7*7格。本领域技术人员应当理解，视觉标识的大小可以为任意适当的格数。
当机器人从所拍摄的图像中识别出所拍摄的视觉标识的ID，则可以确定该视觉标识所在的位置以及其与充电装置之间的位置关系。基于所计算出的视觉标识与机器人充电接口之间的角度和距离以及该视觉标识与充电装置之间的位置关系，则可以确定机器人充电接口与充电装置之间的角度和距离。
在本发明的方法中，智能机器人对接充电接口的过程中，出于精度和安全考虑，引入了适应各种实际状态的控制状态机，使得机器人可以作出适应多种异常状态的应急和调整。例如，当机器人充电接口平面未与充电装置的电源接口平面平行时，控制状态机可以将机器人调整为充电接口平面平行于充电装置的电源接口平面的状态。
在一个示例中，在步骤4机器人根据规划的路径和速度接近充电装置的过程中，可以根据摄像头拍摄视觉标识的频率重复执行步骤2-步骤4，使机器人以基于每次拍摄的视觉标识更新的路径和速度接近充电装置。
在机器人按照规划的路径行进的过程中，机器人距离充电装置越来越近，所拍摄的视觉标识图像更加清晰，所计算的充电装置与机器人之间的角度和距离也更加精确。因此，机器人以越来越准确的路径接近充电装置。
可选地，机器人充电接口与充电装置之间的预定角度为不超过0.05rad，预定距离为不超过8mm。即当机器人充电接口与充电装置之间的角度小于或者等于0.05rad，并且之间的距离小于或等于8mm时，驱动机器人充电接口对接充电装置的电源接口。
在一个示例中，在步骤5机器人充电接口对接充电装置的电源接口后，可以判断是否上电成功，如果没有上电成功则驱动机器人到达调整位置，重复步骤2-步骤5。
可选地，调整位置为距离充电装置5cm处的确定位置。
实施例2
根据本发明的另一个实施例，提供了一种基于视觉标识对接充电装置的方法。该方法可以包括以下步骤：
步骤1，拍摄与充电装置对应的一个视觉标识，基于摄像头的视觉标定参数和所拍摄的视觉标识图像，获取机器人充电接口与该视觉标识之间的角度和距离；
步骤2，根据在步骤1中所计算的角度和距离以及该视觉标识与充电装置之间的位置关系确定机器人充电接口与充电装置之间的角度和距离；
步骤3，拍摄与充电装置对应的另一个视觉标识，基于摄像头的视觉标定参数和所拍摄的另一个视觉标识图像，获取机器人充电接口与该另一个视觉标识之间的角度和距离；
步骤4，根据在步骤3中所计算的角度和距离以及该另一个视觉标识与充电装置之间的位置关系确定机器人充电接口与充电装置之间的角度和距离；
步骤5，当步骤4中所确定的角度和距离与步骤2中确定的角度和距离分别小于预定误差角度和预定误差距离时，将机器人充电接口与充电装置的角度和距离分别确定为步骤4中和步骤2中所确定的角度和距离的平均值，否则，确定为步骤2中所确定的角度和距离，舍弃步骤4的计算结果；
步骤6，根据在步骤5中所确定的角度和距离规划机器人到达充电装置的路径和速度，驱动机器人根据规划的路径和速度接近充电装置；以及
步骤7，当机器人充电接口与充电装置的角度和距离分别小于预定角度和预定距离时，驱动机器人充电接口对接充电装置的电源接口。
本实施例通过处理所拍摄的与充电装置对应的两个视觉标识，从而实现了机器人充电接口与充电装置的电源接口的精确对接。
本领域技术人员应当理解，可以通过处理与充电装置对应的多个视觉标识来进一步提高所确定的机器人充电接口与充电装置之间的角度和距离的准确度。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (6)
1.一种基于视觉标识对接充电装置的方法，所述方法包括以下步骤：
步骤1，拍摄与充电装置对应的视觉标识；
步骤2，基于摄像头的视觉标定参数和所拍摄的视觉标识图像，获取机器人充电接口与所述视觉标识之间的角度和距离；
步骤3，根据在步骤2中所计算的角度和距离以及所述视觉标识与充电装置之间的位置关系确定机器人充电接口与充电装置之间的角度和距离；
步骤4，根据机器人充电接口与充电装置之间的角度和距离规划机器人到达充电装置的路径和速度，驱动机器人根据规划的路径和速度接近充电装置；以及
步骤5，当机器人充电接口与充电装置的角度和距离分别小于预定角度和预定距离时，驱动机器人充电接口对接充电装置的电源接口；
其中，所述视觉标识为黑白色的正方形棋盘格，最外圈方格为黑色方形环，并且黑色方形环包围的黑白色方格所形成的图案既不轴对称也不旋转对称；所述视觉标定参数包括摄像头的内部参数、外部参数和畸变参数；
步骤2包括：基于摄像头的内部参数、外部参数和畸变参数，根据所拍摄的视觉标识图像中黑色方形环的边界四边产生的畸变计算机器人充电接口与所述视觉标识之间的角度，根据边界四边的长度计算所述视觉标识与机器人充电接口之间的距离。
2.根据权利要求1所述的基于视觉标识对接充电装置的方法，其中，所述视觉标识的大小为7*7格。
3.根据权利要求1所述的基于视觉标识对接充电装置的方法，其中，在步骤4机器人根据规划的路径和速度接近充电装置的过程中，根据摄像头拍摄视觉标识的频率重复执行步骤2-步骤4，使机器人以基于每次拍摄的视觉标识更新的路径和速度接近充电装置。
4.根据权利要求1所述的基于视觉标识对接充电装置的方法，其中，机器人充电接口与充电装置之间的预定角度为不超过0.05rad，预定距离为不超过8mm。
5.根据权利要求1所述的基于视觉标识对接充电装置的方法，其中，在步骤5机器人充电接口对接充电装置的电源接口后，判断是否上电成功，如果没有上电成功则驱动机器人到达调整位置，重复步骤2-步骤5。
6.根据权利要求5所述的基于视觉标识对接充电装置的方法，其中，所述调整位置为距离充电装置5cm处。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610515715.XA CN106153059B (zh) | 2016-07-01 | 2016-07-01 | 基于视觉标识对接充电装置的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610515715.XA CN106153059B (zh) | 2016-07-01 | 2016-07-01 | 基于视觉标识对接充电装置的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106153059A CN106153059A (zh) | 2016-11-23 |
| CN106153059B true CN106153059B (zh) | 2019-05-31 |
Family
ID=58061022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610515715.XA Active CN106153059B (zh) | 2016-07-01 | 2016-07-01 | 基于视觉标识对接充电装置的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106153059B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106647747B (zh) * | 2016-11-30 | 2019-08-23 | 北京儒博科技有限公司 | 一种机器人充电方法及装置 |
| CN108398944B (zh) * | 2016-12-15 | 2021-04-06 | 苏州宝时得电动工具有限公司 | 自移动设备的作业方法、自移动设备、存储器和服务器 |
| CN106647775B (zh) * | 2017-02-14 | 2019-08-16 | 中智科创机器人有限公司 | 一种机器人无线充电的定位装置及方法 |
| CN107392962A (zh) * | 2017-08-14 | 2017-11-24 | 深圳市思维树科技有限公司 | 一种基于图案识别的机器人充电对接系统和方法 |
| CN107745648A (zh) * | 2017-10-19 | 2018-03-02 | 环球车享汽车租赁有限公司 | 充电接口识别和定位方法及系统 |
| CN107728621A (zh) * | 2017-10-19 | 2018-02-23 | 环球车享汽车租赁有限公司 | 充电接口识别和定位方法及系统 |
| CN107825423A (zh) * | 2017-10-19 | 2018-03-23 | 环球车享汽车租赁有限公司 | 充电接口识别和定位方法及系统 |
| CN109510266B (zh) * | 2018-11-30 | 2024-02-06 | 广东银狐医疗科技股份有限公司 | 一种电动轮椅充电装置、充电系统 |
| CN112405518B (zh) * | 2019-08-23 | 2022-08-23 | 深圳拓邦股份有限公司 | 一种机器人的控制方法、机器人与机器人的自动回溯系统 |
| CN111476166B (zh) * | 2020-04-08 | 2023-04-07 | 深圳市千乘机器人有限公司 | 一种地面巡检机器人自助充电对准方法 |
| CN111930129A (zh) * | 2020-09-24 | 2020-11-13 | 天津联汇智造科技有限公司 | 一种移动机器人对接纠偏方法、系统及存储介质 |
| CN113110419B (zh) * | 2021-03-22 | 2024-06-11 | 深圳拓邦股份有限公司 | 机器人二次对接充电桩方法、装置、机器人及存储介质 |
| CN113189981A (zh) * | 2021-04-08 | 2021-07-30 | 深圳拓邦股份有限公司 | 充电机器人中转点识别方法、装置及充电机器人 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6459782B1 (en) * | 1999-11-10 | 2002-10-01 | Goldstar Information Technologies, Llc | System and method of developing mapping and directions from caller ID |
| AU767561B2 (en) * | 2001-04-18 | 2003-11-13 | Samsung Kwangju Electronics Co., Ltd. | Robot cleaner, system employing the same and method for reconnecting to external recharging device |
| KR102095817B1 (ko) * | 2013-10-31 | 2020-04-01 | 엘지전자 주식회사 | 이동 로봇, 이동 로봇의 충전대 및 이들을 포함하는 이동 로봇 시스템 |
| CN105629971A (zh) * | 2014-11-03 | 2016-06-01 | 贵州亿丰升华科技机器人有限公司 | 一种机器人自动充电系统及其控制方法 |
| CN105242670B (zh) * | 2015-10-26 | 2019-01-22 | 深圳拓邦股份有限公司 | 具有自动返回充电功能的机器人、系统及对应方法 |
-
2016
- 2016-07-01 CN CN201610515715.XA patent/CN106153059B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106153059A (zh) | 2016-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106153059B (zh) | 基于视觉标识对接充电装置的方法 | |
| CN105739501B (zh) | 一种智能机器人自动充电的方法 | |
| US9895131B2 (en) | Method and system of scanner automation for X-ray tube with 3D camera | |
| US11335456B2 (en) | Sensing device for medical facilities | |
| KR101984339B1 (ko) | 신발 부품의 자동 식별 | |
| CN112258567A (zh) | 物体抓取点的视觉定位方法、装置、存储介质及电子设备 | |
| WO2018195955A1 (zh) | 一种基于飞行器的设施检测方法及控制设备 | |
| EP3166043A1 (en) | Locating a feature for robotic guidance | |
| US8179448B2 (en) | Auto depth field capturing system and method thereof | |
| EP4102458A1 (en) | Method and apparatus for identifying scene contour, and computer-readable medium and electronic device | |
| JP2019083001A (ja) | 機械学習用の訓練データの効率的な収集のための拡張現実を使用したシステム及び方法 | |
| CN104871176A (zh) | 扫描设备及用于定位扫描设备的方法 | |
| EP3257026B1 (en) | Generating three dimensional models | |
| JP2008235504A (ja) | 組立品検査装置 | |
| CN108415434B (zh) | 一种机器人调度方法 | |
| CN110756462B (zh) | 电源适配器测试方法、装置、系统、控制装置及存储介质 | |
| US12080011B2 (en) | Size estimation device, size estimation method, and recording medium | |
| CN117124302B (zh) | 一种零件分拣方法、装置、电子设备及存储介质 | |
| CN106991378A (zh) | 基于深度的人脸朝向检测方法、检测装置和电子装置 | |
| CN107808402A (zh) | 多相机系统的标定方法、多相机系统及终端设备 | |
| CN110412993A (zh) | 自主充电的方法以及移动机器人 | |
| CN113963780B (zh) | 医疗环境的自动化方法，系统和设备 | |
| CN113822174B (zh) | 视线估计的方法、电子设备及存储介质 | |
| KR20210070690A (ko) | 이동 로봇 시스템 및 자동 충전을 위한 이동 로봇의 귀소 방법 | |
| JP2019188467A (ja) | 記録用装置、溶接支援装置、記録方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100089 Patentee after: Beijing Yunji Technology Co.,Ltd. Address before: Room 201, building 4, yard 8, Dongbeiwang West Road, Haidian District, Beijing 100094 Patentee before: BEIJING YUNJI TECHNOLOGY Co.,Ltd. |