CN112099482B - 可增加台阶距离判断精度的移动机器人 - Google Patents

Abstract

一种包含投射光源、图像传感器以及处理单元的移动机器人。所述投射光源朝向行进方向投射垂直光线段。所述图像传感器朝向所述行进方向获取包含所述垂直光线段相关的光线段图像的图像帧。所述处理单元根据所述图像帧计算台阶距离及线段特征、根据所述线段特征输出旗标信号表示所计算的台阶距离是否可信并在计算台阶距离时进行像素内差以增加判断精度。

Description

可增加台阶距离判断精度的移动机器人

技术领域

本发明有关一种移动机器人，更特别有关一种即使在不平整的行进表面仍能正确判断台阶距离并通过像素内插提高判断精度的移动机器人。

背景技术

清洁机器人已成为智慧家庭的众多家电制品中的重要产品之一。运作时，清洁机器人可通过判断各种障碍物的距离以建立工作地图。

在使用图像传感器做为检测手段的清洁机器人中，除了磁砖或木板地面等平整地面，清洁机器人还会行进于其他特殊表面，例如长毛地毯。这种操作环境下，当根据图像传感器获取的图像帧判断行进前方的台阶距离时，就时常会出现误判断的情形。因此，可能无法正确绘制出完整的工作地图。

此外，为了降低整体成本，可选择使用低分辨率的图像传感器获取图像帧来判断距离，但如此会导致输出距离值出现跳动的情形。虽然通过使用高分辨率的图像传感器则可解决此问题，但如此又背离了节省成本的目的。

有鉴于此，有需要提出一种可适用于不平整的行进表面并可使用低分辨率图像传感器的移动机器人。

发明内容

本发明提供一种适用于不平整行进表面的移动机器人，其可判断所获取的图像帧中的光线段图像是否出现宽度太宽或断线的情形并据以选择适合的距离判断方法，藉以增加移动机器人的可适用表面。

本发明还提供一种可通过只要在所获取的图像帧中的一部分区域进行像素内插即可提升判断精度的移动机器人。

本发明提供一种包含投射光源、图像传感器以及第一处理单元的移动机器人。所述投射光源用于朝向行进方向投射垂直光线段。所述图像传感器用于获取包含所述垂直光线段相关的光线段图像的图像帧。所述第一处理单元用于根据所述图像帧中的所述光线段图像计算图像特征，并根据所述图像特征输出旗标信号表示所述图像帧的可信度。

本发明还提供一种包含投射光源、图像传感器以及第一处理单元的移动机器人。所述投射光源用于朝向行进方向投射垂直光线段。所述图像传感器用于获取包含所述垂直光线段相关的光线段图像的图像帧。所述第一处理单元用于根据所述图像帧中的所述光线段图像计算图像特征及台阶距离，及输出所述台阶距离及表示所述台阶距离的可信度的旗标信号。

本发明还提供一种包含存储、投射光源、图像传感器以及处理单元的移动机器人。所述存储用于储存灰阶阈值。所述投射光源用于朝向行进方向投射垂直光线段。所述图像传感器用于获取包含所述垂直光线段相关的光线段图像的图像帧。所述处理单元用于计算所述图像帧的多个像素列的每个像素列的灰阶值总和，判断所述灰阶值总和最接近所述灰阶阈值的两个像素位置，对所述两个像素列及最接近所述灰阶阈值的两个像素行进行像素内插，及根据内插后的次像素列位置对应的线段高度计算目前台阶距离。

本发明还提供一种包含投射光源、图像传感器、第二传感器以及处理单元的移动机器人。所述投射光源用于朝向行进方向投射光条纹。所述图像传感器用于获取包含所述光条纹相关的光条纹图像的图像帧。所述处理单元用于根据所述图像帧中的所述光条纹图像计算图像特征。所述移动机器人用于当所述图像特征不介于预定范围内时，利用所述第二传感器检测所述行进方向上的区域。

一种实施方式中，所述预定范围是指所述光条纹图像的宽度范围和/或所述光条纹图像的低点数目的范围。所述行进方向上的区域根据所述第二传感器的检测范围决定。当所述图像传感器正在撷取所述图像帧时，所述第二传感器开启或关闭。当所述移动机器人使用所述第二传感器检测时，所述图像传感器开启或关闭。

本发明实施例的移动机器人中，处理单元设置于检测芯片中。处理单元通过检测芯片的独立引脚输出旗标信号。该旗标信号用于表示处理单元计算的台阶距离的可信度。当所述旗标信号表示低可信度时，所述旗标信号用于通知移动机器人的中央处理器或微控制器控制其他传感器动作或使用内建的对照表判断目前台阶距离。当所述旗标信号表示高可信度时，所述旗标信号用于通知移动机器人的中央处理器或微控制直接使用所述检测芯片输出的目前台阶距离。

已知移动机器人所获取的图像帧中的光线段图像的先端会出现在两个像素间反复跳动的情形，而导致输出距离值的跳动范围较大。因此，本发明实施例中，处理单元仅针对灰阶值总和与预定亮度阈值最接近的两个像素列进行像素内插并将其他像素列的灰阶值数据从线缓冲器(line buffer)中移除，即可无需使用帧缓冲器(frame buffer)以得到提升判断精度的移动机器人。

为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，于本发明的说明中，相同的构件以相同的符号表示，于此合先述明。

附图说明

图1是本发明实施例的移动机器人的上视图；

图2是本发明实施例的移动机器与前方台阶的侧视图；

图3是本发明实施例的移动机器人获取的图像帧的示意图；

图4是本发明实施例的移动机器人所获取不平整行进表面的图像帧的示意图；

图5A是本发明实施例的移动机器人所获取不平整行进表面的图像帧的另一示意图；

图5B是根据图5A的图像帧判断断线图像的示意图；

图6是本发明实施例的移动机器人的运作方法的流程图；

图7A是本发明实施例的移动机器人获取的图像帧的像素列的灰阶值总和及灰阶阈值的示意图；

图7B是图7A的部分放大示意图；及

图8是无像素内插与有像素内插的光线段图像先端的像素位置的跳动的示意图。

附图标记说明

100 移动机器人

1011 第一投射光源

1012 第二投射光源

103 图像传感器

1035 检测芯片

105 第一处理单元

107 第二传感器

109 第二处理单元

900 台阶

LS1、LS2 光线段

具体实施方式

本发明各实施例的移动机器人是用于精确计算行进方向前方的台阶距离(或称作悬崖距离)，以在各种行进表面工作时防止坠落及正确建立工作地图。

请同时参照图1及2所示，图1是本发明实施例的移动机器人100的上视图；图2是本发明实施例的移动机器人100与前方台阶900的侧视图。

移动机器人100包含至少一个投射光源(例如图1显示第一投射光源1011及第二投射光源1012)、图像传感器103以及处理单元105；其中，图像传感器103及处理单元105可形成检测芯片1035(如图2所示)以安装于移动机器人100上并与移动机器人100的第二处理单元109，例如中央处理器(CPU)或微处理器(MCU)，耦接。某些实施方式中，所述至少一个投射光源同样包含于所述检测芯片1035内。

可以了解的是，虽然图1显示两个投射光源，但在计算前方台阶距离Dr时，单一投射光源即已足够。使用两个投射光源是为了增加行进方向前方的检测范围。

第一投射光源1011及第二投射光源1012的每一者包含光源以及绕射光学组件(DOE)。所述光源优选为同调光源用于发出可辨识波长的光，例如红外光激光二极管，但本发明并不限于此，所述光源可选用部分同调光源或非同调光源。所述光源发出的光经过所述绕射光学组件后，则可形成线性(即长度远大于宽度)光线段。

第一投射光源1011及第二投射光源1012分别用于朝向行进方向投射垂直的(相对图2所示的行进表面S)光线段或光条纹LS1及LS2。当所述行进方向的前方没有障碍物时，在前方行进表面上可形成两条平行光线段(light segment)LS1及LS2。当所述行进方向前方存在台阶900(例如图2显示距离Dr处有悬崖)时，光线段LS1或LS2则会在距离Dr处消失。当距离Dr越长时，光线段LS1或LS2的长度越长；反之，当距离Dr越短时，光线段LS1或LS2的长度越短。藉此，光线段LS1或LS2的长度即可反映移动机器人100前方的台阶距离Dr。

图像传感器103例如是CCD图像传感器、CMOS图像传感器或其他用于将光能量转换为电信号的传感器。图像传感器103具有阵列排列的多个像素用于朝向所述行进方向以预定图框率运作，并以视角FOV获取包含光线段LS1及LS2相关的光线段图像IL的图像帧IF，例如参照图3所示。可以了解的是，当使用单一投射光源时，图像帧IF包含一个光线段图像IL。

处理单元105例如是数字处理器(DSP)或特定功能集成电路(ASIC)，其电性连接至少一个投射光源及图像传感器103，以控制所述光源相对图像传感器103的图像获取发光。处理单元105接收图像传感器103输出的图像帧IF并根据该图像帧IF中与光线段LS1及LS2相关的光线段图像IL计算图像特征及台阶距离Dr。该图像特征用于判断目前行进表面是否属于平整表面以选择适当的计算方法。当得到图像帧IF中的光线段图像IL的垂直长度(后述为线段高度)时，使用对照表或算法即可求得相对应的台阶距离Dr。

例如参照图4所示，其显示目前行进表面是长毛地毯时图像传感器103所获取的图像帧IF。图4中的光线段图像IL的宽度W1显示为比图3宽。处理单元105另包含存储预存有宽度阈值。当处理单元105判断图像帧IF的光线段图像IL的宽度W1大于所述宽度阈值时，则表示目前行进表面并非平整表面。

某些实施方式中，存储内可预存多个不同的宽度阈值以对应不同的行进表面，处理单元(105或检测芯片1035外部的处理单元)可根据图像帧IF中光线段图像IL的宽度W1判断行进表面型式。存储还预存有不同型式的行进表面对应的线段高度Dd与台阶距离Dr的关系。

参照图5A所示，其显示目前行进表面具有凹凸区域时图像传感器103所获取的图像帧IF，可看出光线段图像IL具有断线的情形，这是由于一部分目前行进表面，例如凹陷区域，未被光线段LS1照明。当处理单元105判断图像帧IF的光线段图像IL呈现断线，则表示目前行进表面并非平整表面。

判断断线的一种方式例如参照图5B所示，处理单元105例如计算图像帧IF的多个像素行(pixel row)的每个像素行的灰阶值总和，或者先将图像帧IF分为左图像帧及右图像帧(在包含两个投射光源的实施方式中)再分别计算左右图像帧的多个像素行的灰阶值总和。如图5B所示，处理单元105可得到灰阶值总和与像素行位置的关系图。处理单元105可基于灰阶阈值TH1判断是否出现断线，例如在两个峰值之间具有低于灰阶值阈值TH1的低点(如虚线圆所示)。经过适当选择灰阶阈值TH1，当处理单元105判断出一个以上的低点时，即判断光线段图像IL呈现断线。

换句话说，本发明的图像特征包含光线段图像IL的线段宽度W1(如图4所示)以及所述光线段图像IL是否断线(例如根据如图5B所示的像素行灰阶值总和的低点数目)。

本发明中，处理单元105根据所述图像特征发出旗标信号(flag signal)FS以表示工作表面的型式、选择适用的距离算法、表示图像帧的可信度和/或输出台阶距离的可信度等。例如，检测芯片1035具有独立的引脚(未绘示)用于输出旗标信号FS。所述独立是指该引脚仅用于输出旗标信号FS而不用于输出其他信号(例如不用于输出处理单元105求出的台阶距离Dr)。

请参照图6所示，其为本发明实施例的移动机器人的运作流程图，其适用于图1及图2的移动机器人100。该运作方法包含下列步骤：使用图像传感器获取图像帧(步骤S61)；计算所述图像帧中光线段图像的图像特征(步骤S63)；当所述图像特征包含预定特征时，输出旗标信号表示低可信度(步骤S65)；以及当所述图像特征不包含预定特征时，输出旗标信号表示高可信度(步骤S67)；其中，所述预定特征如图4及图5A所示，并可以预定比特(例如1-2比特)的数字值表示所述高可信度(例如01)及所述低可信度(例如10)，但并不以此为限。

步骤S61：处理单元105控制投射光源1011、1021发光并控制图像传感器103输出包含光线段图像IL的图像帧IF，如图3、图4及图5A所示。

步骤S63：处理单元105接收到图像传感器103输出的图像帧IF后，则判断该图像帧中IF的光线段图像IL是否宽度太宽或存在断线(即包含预定特征)，以判断图像帧IF或求得的台阶距离Dr的可信度。

步骤S65-S67：此两步骤有几种实施方式。一种实施方式中，处理单元105不论图像帧IF是否包含预定特征，均先计算并输出台阶距离Dr。处理单元105同时输出至少一个比特的数字信号表示求得的台阶距离Dr是否可信，并由检测芯片1035外部的处理单元(例如移动机器人100的中央处理器或微处理单元)决定是否使用处理单元105所计算的台阶距离Dr。若不使用(低可信度)，即表示移动机器人100采用另一种算法或对照表决定目前台阶距离。如前所述，可建立不同的对照表以相对不同型式的行进表面。

另一种实施方式中，虽然处理单元105均计算台阶距离Dr，但只有当判断为高可信度时才输出所述台阶距离Dr。当处理单元105判断为低可信度时，所计算的台阶距离Dr并不被输出。

另一种实施方式中，处理单元105只有当判断为高可信度时才计算台阶距离Dr。当处理单元105判断为低可信度时，并不计算所述台阶距离Dr。

如前所述，处理单元105是判断图像帧IF中光线段图像IL的线段高度(例如图3的Dd)并据以判断台阶距离Dr。线段高度Dd与台阶距离Dr存在对应关系，可使用事先建立的查找表或预定算法进行计算，其中所述线段高度Dd是指包含光线段图像IL的像素行的数目。

一种非限定的实施方式中，移动机器人100还包含存储(位于检测芯片1035外部)用于预先储存关于特殊行进表面的光线段图像IL的多个线段高度与多个台阶距离的关系的查找表。当检测芯片1035输出表示低可信度的旗标信号FS(即表示特殊行进表面)时，检测芯片1035外部的处理单元(例如图2的109)则存取所述查找表以判断目前台阶距离并忽略处理单元105输出的台阶距离Dr。

另一种非限定的实施方式中，移动机器人100还包含第二传感器(例如图2的107)，该第二传感器107优选使用图像传感器以外的传感器，例如超声波传感器或距离传感器。当检测芯片1035输出表示低可信度的旗标信号FS时，第二处理单元109则启动所述第二传感器107来检测目前台阶距离并忽略处理单元105输出的台阶距离Dr。

亦即，本发明的概念在于，虽然处理单元105可在所有情况下均求得台阶距离Dr，但移动机器人100在特殊表面上运行时，该台阶距离Dr会与实际距离出现偏移而导致不准确。因此，处理单元105另判断光线段图像IL的线段特征以决定是否要以其他方式计算正确的目前台阶距离，例如使用其他传感器或预定查找表。

本发明中，在计算光线段图像IL的图像特征前，处理单元105还可使用二值化阈值将图像帧IF进行二值化(例如将灰阶值大于二值化阈值的像素位置设为1并将灰阶值小于二值化阈值的像素位置设为0，或反向为之)，以利于计算光线段图像IL、图像特征及线段高度Dd。例如，被设定为1的区域被辨识为光线段图像IL。

此外，在使用两个投射光源的实施方式中，在计算光线段图像IL的图像特征前，处理单元105还可将图像帧IF分割为左图像帧及右图像帧分别具有一个光线段图像IL，并分别计算所述左图像帧及所述右图像帧中的所述光线段图像IL的图像特征及台阶距离。亦即，处理单元105根据一张图像帧IF计算两个图像特征及两个台阶距离。处理单元105可根据所述两个图像特征判断可信度。处理单元105可输出两个台阶距离或一个平均距离，根据不同应用而决定。

由于图像帧IF中的光线段图像IL的前端的灰阶值因噪声及环境而变动，而导致计算的台阶距离出现跳动的情形。为了解决此问题，本发明实施例的移动机器人100还包含存储用于储存灰阶阈值TH2用于判断光线段图像IL的前端的像素位置。该灰阶阈值TH2是预定固定值，或是根据图像帧IF中不包含光线段图像IL的像素列或图像帧的灰阶值总和所决定的变动值。一种实施例中，灰阶阈值TH2是根据图像帧中的白噪声所决定。

当图像传感器103输出如图3所示的图像帧IF时，处理单元105用于计算所述图像帧IF的多个像素列的每个像素列的灰阶值总和而可求得如图7A所示的灰阶值总和与像素列位置(假设图像帧的尺寸是240×320，但并不限于此)的关系图。处理单元105接着判断所述灰阶值总和最接近灰阶阈值TH2的两个像素列(pixel column)，例如图7B显示灰阶阈值TH2两侧的第138像素列及第139像素列，其中，图7B是图7A的部分放大图。接着，处理单元105对所述两个像素位置列及最接近所述预定灰阶阈值TH2的至少两个像素行进行像素内插，例如图8显示将第138像素列及第139像素列内插为10个相等距离。

从图8可看出，在未进行像素内插的实施方式中，图像帧IF中与光线段(LS1或LS2)相关的光线段图像IL的前端位置是在第138像素列及第139像素列之间跳动，每次跳动涵盖至少一个像素。在进行像素内插的实施方式中，图像帧IF中的光线段图像IL的前端位置是在第138.8像素列及第139像素列之间跳动，每次跳动仅涵盖次像素(sub-pixel)范围。处理单元105可将第138.8像素行位置至第139像素行位置作为线段高度来计算台阶距离Dr，如此可得到较精准的结果。其它实施例中，处理单元105将所有像素列进行内插并存入较大的线缓冲器中。

必须说明的是，虽然图7A中相对每个光线段图像IL有两端与灰阶阈值TH2交会，选择内插的像素列是对应图像帧IF中光线段图像IL的前端位置，才能据以计算出线段高度Dd。处理单元105可在计算像素列的灰阶值总和时将像素列对应相关的光线段图像IL的位置。

同理，当使用两个投射光源时，处理单元105也分别对两个光线段图像IL的前端位置的像素进行内插运算，以分别得到两个次像素等级的线段高度Dd并计算出两个对应的台阶距离Dr。

综上所述，已知清洁机器人在特殊表面工作时会有无法精准判断台阶距离的问题。因此，本发明另提供一种移动机器人(图1-2)，其通过另外输出旗标信号表示目前行进表面是否属于特殊表面以决定计算台阶距离所使用的算法或传感器。此外，通过在光线段图像的前端位置进行像素内插运算而无需使用帧缓冲器，以降低所求出台阶距离的跳动幅度，增加判断精度。

虽然本发明已通过前述实例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。

Claims (8)

1.一种移动机器人，该移动机器人包含：

投射光源，该投射光源用于朝向行进方向投射垂直光线段；

图像传感器，该图像传感器用于获取包含所述垂直光线段相关的光线段图像的图像帧；

第一处理单元，该第一处理单元用于：

根据所述图像帧中的所述光线段图像计算图像特征，及

根据所述图像特征输出旗标信号表示所述图像帧的可信度；

存储，该存储用于预先储存所述光线段图像的多个线段高度与多个台阶距离的关系的查找表；以及

第二处理单元，该第二处理单元用于当所述旗标信号表示低可信度时，存取所述查找表以判断目前台阶距离。

2.根据权利要求1所述的移动机器人，其中所述第一处理单元设置于检测芯片内，该检测芯片具有独立的引脚用于输出所述旗标信号。

3.根据权利要求1所述的移动机器人，其中所述图像特征包含所述光线段图像的线段宽度以及所述光线段图像是否断线。

4.根据权利要求1所述的移动机器人，还包含：

第二传感器，该第二传感器不是图像传感器，

其中所述第二处理单元还用于当所述旗标信号表示低可信度时，启动所述第二传感器来检测所述目前台阶距离。

5.根据权利要求1所述的移动机器人，其中所述第一处理单元还用于：

判断所述光线段图像的线段高度并据以计算所述目前台阶距离，

当所述旗标信号表示高可信度时，输出所述目前台阶距离，及

当所述旗标信号表示低可信度时，不输出所述目前台阶距离。

6.根据权利要求1所述的移动机器人，其中所述第一处理单元还用于：

当所述旗标信号表示高可信度时，根据所述光线段图像的线段高度计算并输出所述目前台阶距离，及

当所述旗标信号表示低信度时，不计算所述目前台阶距离。

7.根据权利要求1所述的移动机器人，其中所述第一处理单元还用于：

计算所述图像帧的多个像素列的每个像素列的灰阶值总和，

判断所述灰阶值总和最接近预定灰阶阈值的两个像素列，及

对所述两个像素列及最接近所述预定灰阶阈值的两个像素行进行像素内插运算。

8.根据权利要求1所述的移动机器人，还包含：

另一投射光源，用于朝向所述行进方向投射另一垂直光线段，

其中，所述第一处理单元还用于：

将所述图像帧以二值化阈值进行二值化，

将所述图像帧分割为左图像帧及右图像帧分别具有一个光线段图像，及

分别计算所述左图像帧及所述右图像帧中的所述光线段图像的图像特征。