CN114680740B - 清扫控制方法、装置、智能设备、移动设备及服务器 - Google Patents
清扫控制方法、装置、智能设备、移动设备及服务器 Download PDFInfo
- Publication number
- CN114680740B CN114680740B CN202011599705.1A CN202011599705A CN114680740B CN 114680740 B CN114680740 B CN 114680740B CN 202011599705 A CN202011599705 A CN 202011599705A CN 114680740 B CN114680740 B CN 114680740B
- Authority
- CN
- China
- Prior art keywords
- area
- cleaned
- cleaning
- determining
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4002—Installations of electric equipment
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4002—Installations of electric equipment
- A47L11/4008—Arrangements of switches, indicators or the like
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B40/00—Technologies aiming at improving the efficiency of home appliances, e.g. induction cooking or efficient technologies for refrigerators, freezers or dish washers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种清扫控制方法、装置、智能设备、移动设备及服务器,所述方法包括:确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息;确定所述移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;根据拍摄得到的图像、所述位置信息、姿态信息和所述成像捕捉角度,确定所述待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。本发明利用移动终端以视觉直观能看到的区域来指定清扫设备需要打扫的区域,由此可见,本发明能够实现所见即所得的定点清扫,从而可以有效提高清洁效率,同时可减少清扫所带来的电量消耗。
Description
技术领域
本发明涉及智能处理技术领域,具体涉及一种清扫控制方法、装置、智能设备、移动设备及服务器。
背景技术
扫地机器人使用已经很普遍,用户可以设定固定的扫地区域(如客厅、卧室等)进行清扫。例如在需要对某一设定区域(如客厅)进行清扫时,可控制扫地机器人对该设定区域执行清扫工作。
然而,有时候并不是设定区域内所有位置都需要清扫,这种情况,如果依然对设定区域进行清扫,就会造成浪费。例如,浪费扫地机器人的电量和扫地时长。
发明内容
针对现有技术中存在的问题,本发明实施例提供了一种清扫控制方法、装置、智能设备、移动设备及服务器,用于解决现有技术中无法实现精确清扫的问题。
为解决现有技术中存在的问题,本发明实施例提供了以下技术方案:
第一方面,本发明实施例提供了一种清扫控制方法,包括:
利用移动终端对待清扫区域进行拍摄;
确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息;
确定所述移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;
根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域;
根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
进一步地,确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息,包括:
确定所述移动终端对待清扫区域进行拍摄时所述移动终端的位置坐标;
确定所述移动终端对待清扫区域进行拍摄时的所述移动终端的指向方向以及所述移动终端与清扫面的第一角度。
进一步地,根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域,包括:
根据拍摄得到的图像、所述位置坐标、所述指向方向以及所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面上对应的待清扫区域。
进一步地,根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域,包括:
确定所述移动终端对所述区域进行拍摄时所述移动终端与清扫面的第一距离;
根据拍摄得到的图像、所述位置坐标、所述第一距离、所述指向方向以及所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面上对应的待清扫区域。
进一步地,根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面上对应的待清扫区域,包括:
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面的圆弧形区域;
根据所述图像映射至所述清扫面时对应的裁剪处理过程,确定所述图像在所述圆弧形区域内的第一区域坐标范围;
将所述第一区域坐标范围确定为待清扫区域。
进一步地,确定所述移动终端对待清扫区域进行拍摄时所述移动终端的位置坐标,包括:
基于超宽带UWB室内定位系统,确定所述移动终端对待清扫区域进行拍摄时所述移动终端的位置坐标。
第二方面,本发明实施例还提供了一种清扫控制方法,包括:
确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息;
确定所述移动终端对所述区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;
接收用户在拍摄得到的图像上的标记区域;
根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域;
根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
进一步地,确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息,包括:
确定所述移动终端对所述区域进行拍摄时所述移动终端的位置坐标;
确定所述移动终端对待清扫区域进行拍摄时的所述移动终端的指向方向以及所述移动终端与清扫面的第一角度。
进一步地,根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域,包括:
根据所述拍摄得到的图像、所述位置坐标、所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;
根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域。
进一步地,根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域,包括:
确定所述移动终端对所述区域进行拍摄时所述移动终端与清扫面的第一距离;
根据所述拍摄得到的图像、所述位置坐标、所述第一距离、所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;
根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域。
进一步地,根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域,包括:
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面的圆弧形区域;
根据所述标记区域与所述图像的中心点的距离以及方向关系,确定与所述标记区域对应的子成像捕捉角度;其中,所述子成像捕捉角度小于所述成像捕捉角度;
根据所述中心坐标以及所述子成像捕捉角度,确定所述标记区域在所述圆弧形区域内的子圆弧形区域;
根据所述标记区域映射至所述清扫面时对应的裁剪处理过程,确定所述标记区域在所述子圆弧形区域内的第二区域坐标范围;
将所述第二区域坐标范围确定为待清扫区域。
进一步地,根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域,包括:
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面的圆弧形区域;
根据所述图像映射至所述清扫面时对应的裁剪处理过程,确定所述图像在所述圆弧形区域内的第一区域坐标范围;
根据所述标记区域与所述图像的相对位置关系和相对大小关系,以及所述第一区域坐标范围,确定所述标记区域在所述清扫面的第二区域坐标范围;
将所述第二区域坐标范围确定为待清扫区域。
进一步地,根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务,包括:
对所述待清扫区域进行地面类型和/或污垢类型的识别;
根据地面类型和/或污垢类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行地面类型识别,包括:
采集清扫设备在所述待清扫区域发出的声音信号,
根据所述声音信号中的音频特征,确定所述待清扫区域的材质类型;
相应地,根据地面类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理,包括:
根据地面类型识别结果,控制清扫设备采用匹配的清扫模式对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行污垢类型识别,包括:
采集所述待清扫区域的图像;
根据所述图像,对所述待清扫区域的污垢类型进行识别。
进一步地,根据所述图像信,对所述待清扫区域的污垢类型进行识别,包括下述方式中的任意一种:
将所述图像输入至污垢类型识别模型中,获取所述待清扫区域的污垢类型识别结果;其中,所述污垢类型识别模型是采用图像样本和图像样本的污垢类型识别结果标签进行训练后得到的;
将所述图像与数据库中存储的已知污垢类型的各个参考图像进行对比,将数据库中与所述图像匹配的参考图像对应的污垢类型作为所述待清扫区域的污垢类型。
第三方面,本发明实施例还提供了一种清扫控制装置,包括:
第一确定模块,用于确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息;
第二确定模块,用于确定所述移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;
第三确定模块,用于根据拍摄得到的图像、所述位置信息、姿态信息和所述成像捕捉角度,确定所述待清扫区域;
清扫控制模块,用于根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
第四方面,本发明实施例还提供了一种清扫控制装置,包括:
第四确定模块,用于确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息;
第五确定模块,用于确定所述移动终端对所述区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;
接收模块,用于接收用户在拍摄得到的图像上的标记区域;
第六确定模块,用于根据用户在拍摄得到的图像上的标记区域、所述位置信息、姿态信息和所述成像捕捉角度,确定待清扫区域;
任务控制模块,用于根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
第五方面,本发明实施例还提供了一种智能设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面任一项所述清扫控制方法的步骤。
第六方面,本发明实施例还提供了一种扫地机器人设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面任一项所述清扫控制方法的步骤。
第七方面,本发明实施例还提供了一种移动终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面任一项所述清扫控制方法的步骤。
第八方面,本发明实施例还提供了一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面任一项所述清扫控制方法的步骤。
第九方面,本发明实施例还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面任一项所述清扫控制方法的步骤。
第十方面,本发明实施例还提供了一种清扫控制方法,包括:
接收用户通过语音实时触发的用于布置随机清扫任务的清扫指令;其中,所述随机清扫任务是指不属于预先设定的清扫任务中的任务;
根据所述清扫指令确定用于界定清扫范围的待清扫区域;
根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
进一步地,根据所述清扫指令确定用于界定清扫范围的待清扫区域,包括:
确定所述清扫指令中包含的参照物和与所述参照物的相对位置区域信息,并根据所述参照物的位置信息以及与所述参照物的相对位置区域信息,确定用于界定清扫范围的待清扫区域;
和/或,
确定所述清扫指令中包含的绝对位置坐标信息,并根据所述绝对坐标位置信息,确定用于界定清扫范围的待清扫区域;
和/或,
确定所述清扫指令中包含的参照物和与所述参照物的相对坐标信息,并根据所述参照物和与所述参照物的相对坐标信息,确定用于界定清扫范围的待清扫区域。
进一步地,根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务,包括:
对所述待清扫区域进行地面类型和/或污垢类型的识别;
根据地面类型和/或污垢类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行地面类型识别,包括:
采集清扫设备在所述待清扫区域发出的声音信号;
根据所述声音信号中的音频特征,确定所述待清扫区域的材质类型。
进一步地,根据地面类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理,包括:
根据地面类型识别结果,控制清扫设备采用匹配的清扫模式对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行污垢类型识别,包括:
采集所述待清扫区域的图像;
根据所述图像,对所述待清扫区域的污垢类型进行识别。
进一步地,根据所述图像信,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像输入至污垢类型识别模型中,获取所述待清扫区域的污垢类型识别结果;
其中,所述污垢类型识别模型是采用图像样本和图像样本的污垢类型识别结果标签进行训练后得到的。
进一步地,根据所述图像,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像与数据库中存储的已知污垢类型的各个参考图像进行对比,将数据库中与所述图像匹配的参考图像对应的污垢类型作为所述待清扫区域的污垢类型。
第十一方面,本发明实施例还提供了一种清扫控制方法,包括:
接收用户通过肢体动作实时触发的用于布置随机清扫任务的清扫指令;其中,所述随机清扫任务是指不属于预先设定的清扫任务中的任务;
根据所述清扫指令确定用于界定清扫范围的待清扫区域;
根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
进一步地,根据所述清扫指令确定用于界定清扫范围的待清扫区域,包括:
确定用户向需要进行清扫的区域发出的肢体指向和肢体动作;
根据所述肢体指向和肢体动作,确定在清扫面上形成的坐标区域范围;
根据所述坐标区域范围,确定用于界定清扫范围的待清扫区域。
进一步地,根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务,包括:
对所述待清扫区域进行地面类型和/或污垢类型的识别;
根据地面类型和/或污垢类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行地面类型识别,包括:
采集清扫设备在所述待清扫区域发出的声音信号;
根据所述声音信号中的音频特征,确定所述待清扫区域的材质类型。
进一步地,根据地面类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理,包括:
根据地面类型识别结果,控制清扫设备采用匹配的清扫模式对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行污垢类型识别,包括:
采集所述待清扫区域的图像;
根据所述图像,对所述待清扫区域的污垢类型进行识别。
进一步地,根据所述图像信,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像输入至污垢类型识别模型中,获取所述待清扫区域的污垢类型识别结果;
其中,所述污垢类型识别模型是采用图像样本和图像样本的污垢类型识别结果标签进行训练后得到的。
进一步地,根据所述图像,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像与数据库中存储的已知污垢类型的各个参考图像进行对比,将数据库中与所述图像匹配的参考图像对应的污垢类型作为所述待清扫区域的污垢类型。
根据上述技术方案可知,本发明提供的清扫控制方法、装置、智能设备、移动设备及服务器,根据移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息、移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度,以及,移动终端对待清扫区域进行拍摄拍摄得到的图像,来准确确定所述待清扫区域,由此可见,本实施例利用利用移动终端将用户视觉直观能看到的待清扫区域准确转化为清扫设备需要进行清扫的区域,从而实现了所见即所得的定点清扫,从而可以有效提高清洁效率,同时可减少清扫所带来的电量消耗。由此可见,采用本发明提供的清扫控制方法,只需在清扫前,借助移动终端对待清扫区域进行拍摄,即可实时确定出需要进行清扫的区域,然后控制清扫设备对该区域进行有针对性的精确清扫,从而可以有效提高清洁效率,同时可减少清扫所带来的电量消耗。
需要说明的是,本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的清扫控制方法的流程图;
图2是本发明一实施例提供的在客厅内指定某一待清扫区域的示意图;
图3是本发明一实施例提供的UWB定位系统架构示意图;
图4是本发明一实施例提供的清扫控制方法的具体实现流程图;
图5是本发明一实施例提供的不需要用户移动绘制待清扫区域的原理示意图;
图6是图5的地面俯视图;
图7是本发明一实施例提供的通过拍照,根据摄像头成像视角确定待清扫区域的原理示意图;
图8和图9是本发明一实施例提供的在拍照后通过在拍照图像上标记的清扫区域确定待清扫区域的原理示意图;
图10是本发明一实施例提供的清扫控制装置的结构示意图;
图11是本发明一实施例提供的智能设备的结构示意图;
图12是本发明一实施例提供的移动设备的结构示意图;
图13是本发明一实施例提供的服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。此外,本发明实施例中术语“多个”是指两个或两个以上,其它量词与之类似。在本发明中,“拍摄”指的是用某种专门设备进行影像记录的过程,即包含拍摄静止的画面、也包含动态影像的录制、以及不以录制为目的的实时取景。
图1示出了本发明一实施例提供的清扫控制方法的流程图,参见图1,本发明实施例提供的清扫控制方法,包括:
步骤101:利用移动终端对待清扫区域进行拍摄,确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息;
在本步骤中,移动终端可以指手机、PAD、笔记本电脑、智能手环、智能手表、智能阅读器等可移动的智能移动设备。本步骤利用移动终端对待清扫区域进行拍摄,然后确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息。
在本步骤中,移动终端在对待清扫区域进行拍摄时,移动终端的位置信息包括:移动终端进行拍摄时的位置信息,移动终端的姿态信息包括移动终端进行拍摄时与清扫面(一般为地面)的角度信息、移动终端进行拍摄时移动终端的指向方向等。
可以理解的是,本步骤获取移动终端进行拍摄时的位置信息和姿态信息目的是为了后续步骤能够将移动终端针对待清扫区域拍摄的图像自动转换为清扫面上需要进行清扫的区域,从而实现所见即所得的定点清扫。
需要说明的是,本实施例的优势在于,在用户对待清扫区域进行定点拍摄后,可以直接将拍摄的图像转化为清扫面上的待清扫区域,进而实现有针对性的定点清扫。这里需要强调的是,这里与现有技术中的对某个房间或房间内的某一块区域(这块区域中包含了需要进行清扫的区域和不需要进行清扫的区域)进行拍摄,然后从拍摄得到的图像中自动识别需要清扫的区域的方案不同,本实施例不需要从拍摄得到的图像中识别出需要进行清扫的区域,而是直接利用智能设备对需要进行清扫的区域进行了有针对性的定点拍摄,然后将拍摄得到的图像直接转换为清扫面上需要进行清扫的区域,从而实现所见即所得的定点清扫,这是本申请的创新所在。由此可见,本申请不但方便了用户使用,使得用户拿起手机对需要进行清扫的区域进行拍摄即可,例如,假设用户在看电视的过程中,在沙发前吃瓜子留下了一摊瓜子皮,此时,只需要用户拿起手机对沙发前需要进行瓜子皮清扫的区域进行定点拍摄即可,后续本申请的方案会自动将用户定点拍摄的图像转化为清扫设备在清扫面上需要打扫的区域(也即待清扫区域),从而实现了所见即所得的定点清扫,同时也极大了简化了不必要的图像识别处理过程。
由此可见,这里的“待清扫区域”就是指(实际)待清扫区域(也即指实际需要清扫的区域)。举例来说,假设需要进行清扫的区域为沙发前的一小块区域,则对于本实施例来说,“待清扫区域”就是指所述沙发前的一小块区域,不包括非“所述沙发前的一小块区域”的其他区域,因此,本实施例不需要从拍摄得到的图像中识别出需要进行清扫的区域,而是直接利用智能设备对待清扫区域进行了有针对性的定点拍摄,然后将拍摄得到的图像直接转换为清扫面上需要进行清扫的区域(如图7所示),从而实现所见即所得的定点清扫。
步骤102:确定所述移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;
在本步骤中,需要说明的是,移动终端上的摄像头的成像捕捉角度跟拍照时摄像头的参数设置(如镜头广角)有关,通过读取摄像头拍照时的相关参数设置情况(如镜头广角参数),可以获得所述成像捕捉角度。可以理解的是,同样的相机,不同广角的镜头拍照的范围是不一样的。
需要说明的是,上述步骤101和102不分先后顺序。
步骤103:根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域;
在本步骤中,根据移动终端对待清扫区域进行拍摄时所述移动终端的位置信息、姿态信息、移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度,以及,移动终端对待清扫区域进行拍摄拍摄得到的图像,将用户视觉直观能看到的待清扫区域准确转化为清扫设备需要在清扫面上进行清扫的区域,从而实现了所见即所得的定点清扫,从而可以有效提高清洁效率,同时可减少清扫所带来的电量消耗。由此可见,本实施例利用利用移动终端将用户视觉直观能看到的待清扫区域准确转化为清扫设备需要进行清扫的区域,从而实现了所见即所得的定点清扫,从而可以有效提高清洁效率,同时可减少清扫所带来的电量消耗。
在本实施例中,需要说明的是,所述清扫面是指所述清扫设备执行清扫任务时所在的面。例如,假设清扫设备在地面清扫,则清扫面为地面,假设清扫设备在墙面清扫,则清扫面为墙面。
步骤104:根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
在本步骤中,在得到待清扫区域后,控制清扫设备运行到所述待清扫区域执行清扫任务即可。在本步骤中,需要说明的是,在控制清扫设备运行到待清扫区域执行清扫任务时,可以控制清扫设备采用默认工作模式,也可以控制清扫设备选择适配于当前待清扫区域污垢类型的工作模式。
在本实施例中,需要说明的是,本实施例提供的清扫控制方法的执行主体可以是用于控制清扫设备工作的清扫控制装置,也可以是清扫设备本身,如扫地机器人等,还可以是移动设备如手机、PAD等,还可以是安装在移动设备上的控制软件,还可以是服务器等,本实施例对此不作限定。
本实施例提供的清扫控制方法,根据移动终端对待清扫区域进行拍摄时所述移动终端的位置信息、姿态信息、移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度,以及,移动终端对待清扫区域进行拍摄拍摄得到的图像,来准确确定所述待清扫区域,由此可见,本实施例利用利用移动终端将用户视觉直观能看到的待清扫区域准确转化为清扫设备需要进行清扫的区域,从而实现了所见即所得的定点清扫,从而可以有效提高清洁效率,同时可减少清扫所带来的电量消耗。由此可见,采用本发明提供的清扫控制方法,只需在清扫前,借助移动终端对待清扫区域进行拍摄,即可实时确定出需要进行清扫的区域,然后控制清扫设备对该区域进行有针对性的精确清扫,从而可以有效提高清洁效率,同时可减少清扫所带来的电量消耗。
正如前面所述,本实施例所要强调的是,本实施例利用移动终端对待清扫区域进行拍摄时不同于现有技术中的对某个房间或房间内的某一块区域(这块区域中同时包含了需要进行清扫的区域和不需要进行清扫的区域)进行拍摄,本实施例不需要从拍摄得到的图像中识别出需要进行清扫的区域,本实施例在进行图像拍摄时,针对的就是待清扫区域,也即本实施例在进行图像拍摄时,拍摄的是待清扫区域,而不包含不是待清扫的区域。也即本实施例直接利用智能设备对需要进行清扫的区域进行了有针对性的定点拍摄,然后将拍摄得到的图像直接转换为清扫面上需要进行清扫的区域,从而实现所见即所得的定点清扫。而现有技术中对某个房间或房间内的某一块区域(这块区域中同时包含了需要进行清扫的区域和不需要进行清扫的区域)进行拍摄然后确定待清扫区域的方案是对拍摄得到的图像进行自动识别,然后识别出待清扫区域,而本实施例不需要从拍摄得到的图像中识别出需要进行清扫的区域,本实施例直接利用智能设备对需要进行清扫的区域进行了有针对性的定点拍摄,然后将拍摄得到的图像直接转换为清扫面上需要进行清扫的区域,从而实现所见即所得的定点清扫,这是本实施例的创新所在。
此外,在本实施例中,还需要说明的是,本实施例中的“待清扫区域”区别于现有技术中“设定的固定的清扫区域”,例如,现有的扫地机器人,一般会通过预先设定的方式,设定几个固定的清扫区域,如客厅、主卧、次卧等,这样后续用户可以从这几个清扫区域中选择一个或多个进行清扫,相应地,扫地机器人可以根据用户从这几个固定的清扫区域中选择的一个或多个清扫区域执行清扫工作。
而本申请与之不同,本申请中的“待清扫区域”是指根据需要清扫的实际范围实时生成的待清扫区域,可以理解的是,位于待清扫区域内的地方需要清扫,位于待清扫区域外的地方不需要清扫。
举例来说,假设用户在看电视后,在客厅沙发前留下了一些零食残渣,此时待清扫区域即为客厅沙发前的一小块区域。对于本实施例的方案,可以拿起手机对这一小块区域进行有针对性拍摄,得到几乎仅包含该一小块区域的图像,然后根据手机拍摄时的位置信息、高度信息、角度信息以及手机上的摄像头的成像捕捉角度信息,通过算法处理,将该图像上包含的这一小块区域映射成清扫面(地面)的待清扫区域(也即客厅沙发前的一小块区域),进而可以控制扫地机器人行进到清扫面的待清扫区域进行清扫。
由此可见,本实施例而无需对整个客厅进行清扫,而是实现了所见即所得的定点清扫,从而可以提高清扫效率,缩短清扫时间,降低清扫能耗,同时能够满足需求,提高了用户体验,本实施例可以使得用户根据眼前的需求随时布置临时性的定点清扫任务,进行有针对性的清扫。
由此可见,本申请“确定用于界定清扫范围的待清扫区域”与现有技术中“设定的固定的清扫区域”的区别主要在于:①本申请中的待清扫区域是实时生成的;②本申请中的待清扫区域是针对当前待清扫范围生成的有针对性的待清扫区域;③本申请中的待清扫区域可以是在某个现有的固定的清扫区域内确定的待清扫区域,也可以是跨越多个现有的固定的清扫区域确定的待清扫区域,本申请中的待清扫区域跟预先有没有设定固定的清扫区域没有关系,只要用户在使用前对需要清扫的范围生成了待清扫区域即可。可以理解的是,本申请与现有技术中的上述三点区别不是独立存在的,而是相辅相成,有机结合在一起的,也即本申请中的待清扫区域是用于根据当前需要清扫的区域实时界定清扫范围的图案,该图案不以房间为划分标准,也不以功能间为划分标准,而是以当前待清扫的区域范围为划分标准,将当前待清扫的区域范围界定在待清扫区域内,这样使得用户可以根据当前清扫需求对应的清扫范围,确定匹配的待清扫区域,使得该待清扫区域能够清楚地界定与用户清扫需求对应的清扫范围,进而可以根据该待清扫区域对与该待清扫区域对应的区域执行清扫处理,从而有针对性地完成清扫任务,在满足当前清扫需求的同时,提高清扫效率,降低能耗,缩短清扫时间。需要特别强调的是,本实施例能够将用户视觉直观能看到的待清扫区域准确转化为清扫设备需要在清扫面上进行清扫的区域,从而实现了所见即所得的定点清扫(这是本申请的关键点),从而可以有效提高清洁效率,同时可减少清扫所带来的电量消耗。
由此可见,本实施例既不同于现有技术中的通过对一大范围区域进行拍摄进而通过识别确定小范围待清扫区域的处理方案,也不同于现有技术中通过预先设定固定清扫区域的处理方案。本实施例的创新点在于能够将视觉看到的待清扫区域准确转化为清扫设备需要在清扫面上进行清扫的区域,从而实现所见即所得的定点清扫。
对于上面的例子来说,假设用户只需要清扫客厅沙发前的一小块瓜子皮区域,则可以利用手机对该区域进行有针对性的拍照,获得该区域的图像(除该区域外的其他无需打扫的区域不再图像范围内),然后通过处理将该图像上的待清扫区域准确转化为清扫设备需要在清扫面上进行清扫的区域,从而实现了所见即所得的定点清扫。也即本实施例准确确定了需要进行打扫的待清扫区域,进而根据该待清扫区域(也即客厅沙发前的一小块区域)执行清扫处理,而无需对其他区域进行清扫,从而可以提高清扫效率,缩短清扫时间,降低清扫能耗,同时能够满足需求。
在本实施例中,需要说明的是,本实施例提供的清扫控制方法可以用于常见的清扫设备,如扫地机器人,地面吸尘器,桌面吸尘器、床单吸尘器等。此外,本实施例提供的清扫控制方法还可以用于其他智能清扫设备,如用于清扫墙壁的机器人、用于清扫屋内房顶的机器人、用于清扫屋外房顶的机器人等等,本实施例对此不做限定。
此外,需要说明的是,本实施例提供的清扫控制方法可以广泛用于家庭、工厂、机场、户外等场合,本实施例对此不作限定。
基于上述实施例的内容,在本实施例中,确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息,包括:
确定所述移动终端对待清扫区域进行拍摄时所述移动终端的位置坐标;
确定所述移动终端对待清扫区域进行拍摄时所述移动终端的指向方向以及所述移动终端与清扫面的第一角度。
在本实施例中,为简化处理过程,可以基于室内定位系统,确定所述移动终端对待清扫区域进行拍摄时所述移动终端的位置坐标;此外,可以基于所述移动终端上携带的方向传感器和角速度传感器,确定所述移动终端对待清扫区域进行拍摄时所述移动终端的指向方向以及所述移动终端与清扫面的第一角度。
在本实施例中,室内定位系统可以是超宽带UWB(Ultra Wide Band)定位系统。此外,还可以是全球定位系统GPS(Global Positioning System)。此外,所述移动终端当前所处的位置信息还可以通过人体红外传感器(热释电红外传感器)获取。
在本实施例中,角速度传感器可以采用陀螺仪传感器实现。
基于上述实施例的内容,在本实施例中,根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域,包括:
根据拍摄得到的图像、所述位置坐标、所述指向方向以及所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面上对应的待清扫区域。
在本实施例中,根据拍摄得到的图像、所述位置坐标、所述指向方向以及所述第一角度,利用预设的摄像头高度,可以确定所述图像上的中心点映射到所述清扫面上的中心坐标,进而根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面上对应的待清扫区域。
基于上述实施例的内容,在本实施例中,根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域,包括:
确定所述移动终端对所述区域进行拍摄时所述移动终端与清扫面的第一距离;
根据拍摄得到的图像、所述位置坐标、所述第一距离、所述指向方向以及所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面上对应的待清扫区域。
在本实施例中,可以理解的是,当清扫面是地面时,所述第一距离实际上指移动终端距离地面的高度。本实施例结合拍摄得到的图像、所述位置坐标、所述第一距离、所述指向方向以及所述第一角度,可以更为准确地确定所述图像上的中心点映射到所述清扫面上的中心坐标,进而根据所述中心坐标以及所述成像捕捉角度,可以准确确定所述图像在所述清扫面上对应的待清扫区域。
在本实施例中,结合图7对本实施例提供的方案进行说明。在本实施例中,可以借助UWB定位系统实现。具体地,UWB定位基站可以设置4个以上,从而可以定位出三维坐标来识别手机与地面的高度。通过手机陀螺仪识别手机方向,手机指向地面拍照。根据手机定位坐标以及离地高度和手机Z轴与地面的角度θ2(第一角度)计算出图像映射到地面上的中心点A的坐标,进而根据所述中心点A的坐标以及手机摄像头的拍摄角度θ3(成像捕捉角度),可以确定出与图像上的待清扫区域对应的地面上的待清扫区域(如图7所示)。
可以理解的是,通过本实施例的这种处理方式,给用户提供了一种新颖的待清扫区域确定方式,用户不需要走动,只需对着需要进行清扫的区域拍照即可进行清扫区域的划定(如图7所示),从而方便了用户使用。
基于上述实施例的内容,在本实施例中,根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面上对应的待清扫区域,包括:
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面的圆弧形区域;
根据所述图像映射至所述清扫面时对应的裁剪处理过程,确定所述图像在所述圆弧形区域内的第一区域坐标范围;
将所述第一区域坐标范围确定为待清扫区域。
在本实施例中,结合图7对本实施例提供的方案进行说明。在本实施例中,可以借助UWB定位系统实现。具体地,UWB定位基站可以设置4个以上,从而可以定位出三维坐标来识别手机与地面的高度。通过手机陀螺仪识别手机方向,手机指向地面拍照。根据手机定位坐标以及离地高度和手机Z轴与地面的角度θ2(第一角度)计算出图像映射到地面上的中心点A的坐标,进而根据所述中心点A的坐标并读取手机摄像头的拍摄角度θ3(成像捕捉角度),可以描绘出圆弧形区域,再根据摄像镜头成像切换成方向图像过程的裁剪过程,计算出图像的实际区域坐标范围,然后将图像的范围作为扫地机清扫的区域(如图7所示)。
由此可见,本实施例能够有效地将针对待清扫区域拍摄的图像转化为地面上的待清扫区域,从而可以轻松准确地完成所见即所得的定点清扫控制。
基于相同的发明构思,本发明另一实施例提供了一种清扫控制方法,包括:
S101、利用移动终端对一区域进行拍摄,确定移动终端对所述一区域进行拍摄时所述移动终端的位置信息和姿态信息;
在本步骤中,需要说明的是,这里的“区域”跟上面实施例中步骤101“利用移动终端对待清扫区域进行拍摄,确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息”中的“待清扫区域”不同,这里的“区域”指范围大于(实际)待清扫区域的区域,也即指同时包含有(实际)待清扫区域和非待清扫区域的区域。而上面实施例中步骤101“利用移动终端对待清扫区域进行拍摄,确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息”中的“待清扫区域”就是指(实际)待清扫区域。
举例来说,假设待清扫区域为沙发前的一小块区域,则对于上面实施例中步骤101中的“待清扫区域”来说,就是指沙发前的一小块区域(如图7所示,直接对沙发前的一小块区域进行拍摄,然后将拍摄得到的图像直接转换为清扫面上需要进行清扫的区域,从而实现所见即所得的定点清扫),而对于本实施例来说,这里的“区域”可以指客厅这一大的区域,也可以指同时包含沙发、沙发前、电视、电视前、茶几这些内容的区域,如图8所示,是对客厅区域进行拍摄,然后从拍摄得到的图像中标记出需要进行清扫的区域(如图8划线部分所示即为用户标记出的区域)。
S102、确定所述移动终端对所述区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;
在本步骤中,需要说明的是,移动终端上的摄像头的成像捕捉角度跟拍照时摄像头的参数设置(如镜头广角)有关,通过读取摄像头拍照时的相关参数设置情况(如镜头广角参数),可以获得所述成像捕捉角度。可以理解的是,同样的相机,不同广角的镜头拍照的范围是不一样的。
S103、接收用户在拍摄得到的图像上的标记区域;
在本步骤中,需要说明的是,为方便用户更加准确地界定清扫区域,可以在拍摄的图像上进行区域标记或区域圈定(如图8和图9所示)。可以理解的是,在拍摄的图像上进行区域标记或区域圈定的方式,可以给用户更多的操作自由,使得用户有更多的时间选择合适的需要进行清扫的区域,此外,由于结合了图像信息,使得在区域标记或区域圈定时更加有针对性和参考性,可以直观地结合图像上反映的卫生情况准确确定需要清扫的区域。此外,在拍摄的图像上进行区域标记或区域圈定的方式,可以根据需要标记或圈定一个或多个待清扫区域,本实施例对此不做限定。
S104、根据用户在拍摄得到的图像上的标记区域、所述位置信息、姿态信息和所述成像捕捉角度,确定待清扫区域;
在本步骤中,根据移动终端进行拍摄时所述移动终端的位置信息、姿态信息、移动终端上的摄像头的成像捕捉角度,以及,用户在拍摄得到的图像上的标记区域,准确转化为清扫设备需要在清扫面上进行清扫的区域,从而可以实现精准定点清扫,从而可以有效提高清洁效率,同时可减少清扫所带来的电量消耗。
S105、根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
在本步骤中,在得到待清扫区域后,控制清扫设备运行到所述待清扫区域执行清扫任务即可。
在本实施例中,需要说明的是,确定移动终端对所述区域进行拍摄时所述移动终端的位置信息和姿态信息可以是:基于室内定位系统,确定所述移动终端对所述区域进行拍摄时所述移动终端的位置坐标;基于所述移动终端上携带的方向传感器和角速度传感器,确定所述移动终端对所述区域进行拍摄时所述移动终端的方向以及所述移动终端与清扫面的第一角度。
在本实施例中,需要说明的是,确定移动终端对所述区域进行拍摄时所述移动终端的位置信息和姿态信息还可以是:基于室内定位系统,确定所述移动终端对所述区域进行拍摄时所述移动终端的位置坐标;基于室内定位系统,确定所述移动终端对所述区域进行拍摄时所述移动终端与清扫面的第一距离;基于所述移动终端上携带的方向传感器和角速度传感器,确定所述移动终端对所述区域进行拍摄时所述移动终端的方向以及所述移动终端与清扫面的第一角度。
基于上述实施例的内容,在本实施例中,根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域,包括:
根据所述拍摄得到的图像、所述位置坐标、所述指向方向以及所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;
根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域。
基于上述实施例的内容,在本实施例中,根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域,包括:
确定所述移动终端对所述区域进行拍摄时所述移动终端与清扫面的第一距离;
根据所述拍摄得到的图像、所述位置坐标、所述第一距离、所述指向方向以及所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;
根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域。
在本实施例中,为方便用户更加准确地界定清扫区域,可以在拍摄的图像上进行区域标记或区域圈定(如图8和图9所示)。可以理解的是,在拍摄的图像上进行区域标记或区域圈定的方式,可以给用户更多的操作自由,使得用户有更多的时间选择合适的需要进行清扫的区域,此外,由于结合了图像信息,使得在区域标记或区域圈定时更加有针对性和参考性,可以直观地结合图像上反映的卫生情况准确确定需要清扫的区域。此外,在拍摄的图像上进行区域标记或区域圈定的方式,可以根据需要标记或圈定一个或多个待清扫区域,本实施例对此不做限定。
下面结合图8和图9对本实施例提供的方案进行说明。可以从拍摄得到的图像中,通过在手机屏幕上滑动圈定一块区域作为扫地机的清扫区域(也可以是其他标记方式)。在本实施例中,可以借助UWB定位系统实现。具体地,UWB定位基站可以设置4个以上,从而可以定位出三维坐标来识别手机与地面的高度。通过手机陀螺仪识别手机方向,手机指向地面拍照。根据手机定位坐标以及离地高度和手机Z轴与地面的角度θ2(第一角度)计算出图像映射到地面上的中心点A的坐标,进而根据所述中心点A的坐标以及手机摄像头的拍摄角度θ3(成像捕捉角度)以及所述标记区域可以确定出与图像上的标记区域对应的地面上的待清扫区域(如图9所示)。
需要说明的是,本实施例采用在拍照图像中进行区域标记确定待清扫区域进而确定清扫区域的方式相对于现有技术中采用图像识别需要清扫区域的方式,大大降低了处理压力,本实施例这种处理方式简单方便,可快速确定待清扫区域。
基于上述实施例的内容,在本实施例中,根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定所述图像在所述清扫面上对应的待清扫区域,包括:
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面的圆弧形区域;
根据所述标记区域与所述图像的中心点的距离以及方向关系,确定与所述标记区域对应的子成像捕捉角度;其中,所述子成像捕捉角度小于所述成像捕捉角度;
根据所述中心坐标以及所述子成像捕捉角度,确定所述标记区域在所述圆弧形区域内的子圆弧形区域;
根据所述标记区域映射至所述清扫面时对应的裁剪处理过程,确定所述标记区域在所述子圆弧形区域内的第二区域坐标范围;
将所述第二区域坐标范围确定为待清扫区域。
下面结合图8和图9对本实施例提供的方案进行说明。可以从拍摄得到的图像中,通过在手机屏幕上滑动圈定一块区域作为扫地机的清扫区域(也可以是其他标记方式)。在本实施例中,可以借助UWB定位系统实现。具体地,UWB定位基站可以设置4个以上,从而可以定位出三维坐标来识别手机与地面的高度。通过手机陀螺仪识别手机方向,手机指向地面拍照。根据手机定位坐标以及离地高度和手机Z轴与地面的角度θ2(第一角度)计算出图像映射到地面上的中心点A的坐标,根据中心点A的坐标以及手机摄像头的拍摄角度θ3(成像捕捉角度),确定所述图像在所述清扫面的圆弧形区域,然后根据所述标记区域与所述图像的中心点的距离以及方向关系,确定与所述标记区域对应的子成像捕捉角度θ4(在图像范围内角度θ4≤θ3),像捕捉角度),进而根据摄像镜头成像切换成方向图像过程的裁剪过程,也即根据所述标记区域映射至所述清扫面时对应的裁剪过程,确定所述标记区域在所述子圆弧形区域内的第二区域坐标范围,将所述第二区域坐标范围确定为待清扫区域(如图9所示)。
基于上述实施例的内容,在本实施例中,根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定所述图像在所述清扫面上对应的待清扫区域,包括:
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面的圆弧形区域;
根据所述图像映射至所述清扫面时对应的裁剪处理过程,确定所述图像在所述圆弧形区域内的第一区域坐标范围;
根据所述标记区域与所述图像的相对位置关系和相对大小关系,以及所述第一区域坐标范围,确定所述标记区域在所述清扫面的第二区域坐标范围;
将所述第二区域坐标范围确定为待清扫区域。
在本实施例中,前述处理过程跟上述实施例类似,不同之处在于,本实施例是根据所述标记区域与所述图像的相对位置关系和相对大小关系,以及所述第一区域坐标范围,确定所述标记区域在所述清扫面的第二区域坐标范围,由此可见,本实施例充分利用了所述标记区域与所述图像的相对位置关系和相对大小关系,进而确定所述标记区域映射到清扫面时与所述图像映射到清扫面时的相对位置和大小关系,从而可以准确地确定所述标记区域在所述清扫面的第二区域坐标范围,所述第二区域坐标范围即为待清扫区域。
需要说明的是,这里的相对位置关系是指标记区域处于图像的什么位置,如标记区域距离图像左侧边缘3cm,距离右侧边缘4cm,距离上侧边缘6cm等等,相对大小关系是指标记区域与图像的面积比例是多少。此外,相对位置关系还可以指标记区域位于图像的哪一个区域,例如,可以预先将图像依次划分为20个小方格,然后确定标记区域位于图像的哪些小方格上,进而确定标记区域与图像的相对位置关系。
基于上述实施例的内容,在本实施例中,根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务,包括:
对所述待清扫区域进行地面类型和/或污垢类型的识别;
根据地面类型和/或污垢类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理。
在本实施例中,地面类型包括地板、地毯、地砖等不同类型。污垢类型包括灰尘、碎屑、硬壳、水污、油污等不同类型。
在本实施例中,根据地面类型和/或污垢类型识别结果,对待清扫区域进行针对性的清扫处理。例如,若确定地面类型为地毯材质,则可以采用与地毯材质匹配的清扫方式,如加大吸附力。若确定地面类型为地板材质,则可以采用与地板材质匹配的清扫方式,如采用标准吸附力进行吸附然后接着采用微湿布进行拖擦的方式。若确定地面类型为地砖材质,则可以采用与地砖材质匹配的清扫方式,如采用较小吸附力进行吸附然后接着采用湿布进行拖擦并采用干布进行拖擦的清扫方式。
此外,对于不同的污垢类型也会采用不同的清扫方式,例如,若确定的污垢类型为灰尘,则可以采用湿布拖擦的方式进行清扫。若确定的污垢类型为碎屑,则可以采用吸附方式进行清扫。若确定的污垢类型为水污,则可以采用干布拖擦的方式进行清扫。若确定的污垢类型为油污,则可以采用先喷洗涤剂再采用湿布拖擦的方式进行清扫,若是地毯,则可以采用先喷洗涤剂再采用吸附的方式进行清扫等,或,可以采用先喷洗涤剂再采用洗刷的方式进行清扫等。
可以理解的是,在进行地面类型识别时,可以采用图像采集+机器学习的方式进行识别,也可以采用声音采集+声音特征的方式进行识别,这里的声音是指清扫设备在经过地面时发出的声音。关于具体识别过程,可以采用神经网络模型进行训练和识别,本实施例不再详述。
可以理解的是,在进行污垢类型识别时,可以采用图像采集+机器学习的方式进行识别。关于具体识别过程,可以采用神经网络模型进行训练和识别,本实施例不再详述。
基于上述实施例的内容,在本实施例中,对所述待清扫区域进行地面类型识别,包括:
采集清扫设备在所述待清扫区域发出的声音信号;
根据所述声音信号中的音频特征,确定所述待清扫区域的材质类型。
在本实施例中,可以理解的是,清扫设备在行走的过程中,内部的诸如电机等部件运转,会产生声音,而该声音会在清扫设备所处环境中传输,因此,可以通过在清扫设备上设置声音采集器,来采集清扫设备所处环境的声音信号,对该声音信号进行音频特征提取和分析,以确定清扫设备当前所处环境的地面材质类型。
需要说明的是,清扫设备所产生的声音的传播路径可能有多种,其中一种传播路径为射向地面从而经地面反射。而不同的地面材质对该声音的影响是不同的,比如当地面材质为地毯时,地毯往往会吸收该声音的很多能量,从而导致经地毯反射后的声音信号的能量衰减严重。因此,可以利用不同地面材质环境对清扫设备发出的声音信号的影响不同,从而导致经不同地面材质反射后的声音信号所具有的音频特征不同的特点,基于地面反射后的声音信号中的音频特征实现准确识别出地面材质类型的目的。因此,采集清扫设备在所述待清扫区域发出的声音信号,具体可以是:采集清扫设备在清扫过程中发出的经地面反射的声音信号。
以下将以采集清扫设备在清扫过程中发出的经地面反射的声音信号为例进行说明,但是可以理解的是,采集清扫设备所处环境的声音信号并不仅限于此例。
本实施例中不对清扫设备的形状和结构进行具体限定,但是,可以理解的时,清扫设备在放置到地面上以进行扫地、拖地等清扫任务时,清扫设备的机械本体底部与地面之间往往会具有一定高度的缝隙,以保证清扫设备能够在地面上顺利的行走且降低清扫设备在行走的过程中与地面之间的摩擦。因此,可以在清扫设备的机械本体底部设置有声音采集器比如麦克风,以用于采集清扫设备在清扫过程中发出的经地面反射的声音信号。在具体介绍本发明实施例提供的地面材质识别方法前,先对地面材质类型进行介绍:清扫设备往往多用于家庭场景或机场场景或工厂场景,在这些场景尤其是家庭场景中,地面环境往往比较复杂,比如某些家庭中,在厨房、卫生间铺设地砖,其他房间铺设的是地板,并且,比如在客厅或某些房间内还可能铺设有小面积的地毯、脚垫等。因此,在本实施例中,可以根据实际家庭场景下的常见地面材质情况,将地面材质类型划分为地毯、地板和地砖材质。
值得说明的是,本实施例中所说的地面材质,是指清扫设备所直接行走于的介质的材质,也就是说,本实施例中的地面是指清扫设备直接行走于的介质。比如,当在地板地面上铺设有一块地毯时,在清扫该地毯时,清扫设备是直接行走在该地毯上的,因此,此时的地面材质是指的地毯,而非地毯下面的地板。
可以理解的是,不管对地面材质类型预先进行了如何的具体划分,划分得到的每种类型的地面材质对清扫设备发出的声音信号的影响是不同的,尤其是对经地面反射后的声音信号的影响是不同的,而该影响可以通过经不同类型的地面材质反射后的声音信号中所含的音频特征信息不同来表现,因此,本实施例可以根据所述声音信号中的音频特征,确定所述待清扫区域的材质类型。
具体在根据所述声音信号中的音频特征,确定所述待清扫区域的材质类型时,可以利用神经网络模型自动识别的方式,也可以利用数据库匹配识别的方式,本实施例对此不作限定。
由此可见,本实施例通过对地面类型进行识别,从而能够选择适配于当前地面类型的清扫模式,从而能够提高清扫效果,进而有助于提高用户体验。
基于上述实施例的内容,在本实施例中,根据地面类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理,包括:
根据地面类型识别结果,控制清扫设备采用匹配的清扫模式对待清扫区域进行针对性的清扫处理。
在本实施例中,根据地面类型识别结果,可以控制清扫设备采用匹配的清扫模式对待清扫区域进行针对性的清扫处理。例如,若确定地面类型为地毯材质,则可以采用与地毯材质匹配的清扫方式,如加大吸附力。若确定地面类型为地板材质,则可以采用与地板材质匹配的清扫方式,如采用标准吸附力进行吸附然后接着采用微湿布进行拖擦的方式。若确定地面类型为地砖材质,则可以采用与地砖材质匹配的清扫方式,如采用较小吸附力进行吸附然后接着采用湿布进行拖擦并采用干布进行拖擦的清扫方式。由此可见,根据地面类型识别结果,控制清扫设备采用匹配的清扫模式对待清扫区域进行针对性的清扫处理,可以有效提高清扫效果。
基于上述实施例的内容,在本实施例中,对所述待清扫区域进行污垢类型识别,包括:
采集所述待清扫区域的图像;
根据所述图像,对所述待清扫区域的污垢类型进行识别。
在本实施例中,在对待清扫区域进行污垢类型识别时,一种有效的手段是通过图像识别的方式,确定待清扫区域的污垢类型。例如,灰尘、碎屑、硬壳、水污、油污等不同类型具有较为明显的图像区分特征,因此,根据图像识别的方式能够较为准确地识别出相应的污垢类型。
基于上述实施例的内容,在本实施例中,根据所述图像信,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像输入至污垢类型识别模型中,获取所述待清扫区域的污垢类型识别结果;
其中,所述污垢类型识别模型是采用图像样本和图像样本的污垢类型识别结果标签基于神经网络进行训练后得到的。
在本实施例中,给出了一种具体的识别方式,本实施例采用基于神经网络实现的污垢类型识别模型对污垢类型进行识别,从而可以准确获取所述待清扫区域的污垢类型识别结果。由于关于神经网络模型的构建以及训练均可以采用常规算法,故此处不再详述。
基于上述实施例的内容,在本实施例中,根据所述图像,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像与数据库中存储的已知污垢类型的各个参考图像进行对比,将数据库中与所述图像匹配的参考图像对应的污垢类型作为所述待清扫区域的污垢类型。
在本实施例中,给出了与上述实施例不同的处理方式,本实施例是将采集的图像与数据库中存储的已知污垢类型的各个参考图像进行像素特征对比,将数据库中与所述图像匹配的参考图像对应的污垢类型作为所述待清扫区域的污垢类型,采用本实施例的方式优势是不用经历复杂的模型训练过程,实现起来较为简便。
本发明另一实施例提供了一种清扫控制方法,包括如下处理过程:
A1、基于移动终端的移动轨迹,确定用于界定清扫范围的待清扫区域;
A2、基于所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
在本实施例中,所述基于移动终端的移动轨迹,确定用于界定清扫范围的待清扫区域,包括:
根据移动终端围绕待清扫区域进行移动形成的移动轨迹,确定用于界定清扫范围的待清扫区域。
在本实施例中,根据移动终端围绕待清扫区域进行移动形成的移动轨迹,确定用于界定清扫范围的待清扫区域,包括下述方式中的任意一种:
确定移动终端围绕待清扫区域进行移动形成的移动轨迹为封闭型轨迹,则将所述封闭型轨迹确定为待清扫区域;
确定移动终端围绕待清扫区域进行移动形成的移动轨迹为非封闭型轨迹,则确定所述非封闭型轨迹能否与房间内的固定阻隔物组成封闭型轨迹,若能,则将组成的封闭型轨迹确定为待清扫区域。
在本实施例中,确定移动终端围绕待清扫区域进行移动形成的移动轨迹为封闭型轨迹,则将所述封闭型轨迹确定为待清扫区域,包括:
基于室内定位系统,确定移动终端围绕待清扫区域进行移动形成的移动轨迹的坐标;
根据所述移动轨迹的坐标,确定所述移动轨迹是否为封闭型轨迹,若是,则将所述封闭型轨迹确定为待清扫区域。
在本实施例中,基于所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务,包括:
基于所述封闭型轨迹对应的坐标,控制清扫设备清扫所述封闭型轨迹内的区域。
在本实施例中,确定移动终端围绕待清扫区域进行移动形成的移动轨迹为非封闭型轨迹,则确定所述非封闭型轨迹能否与房间内的固定阻隔物组成封闭型轨迹,若能,则将组成的封闭型轨迹确定为待清扫区域,包括:
基于室内定位系统,确定移动终端围绕待清扫区域进行移动形成的移动轨迹的坐标;
根据所述移动轨迹的坐标,确定所述移动轨迹是否为封闭型轨迹,若否,则确定移动轨迹为非封闭型轨迹,并根据所述非封闭型轨迹对应的坐标确定所述非封闭型轨迹能否与房间内的固定阻隔物组成封闭型轨迹,若能,则将组成的封闭型轨迹确定为待清扫区域。
在本实施例中,将组成的封闭型轨迹确定为待清扫区域,包括下述方式中的任意一种:
确定所述非封闭型轨迹与房间内的固定阻隔物组成的封闭型轨迹有多个,则展示多个组成的封闭型轨迹供用户进行选择,并将用户选择的封闭型轨迹确定为待清扫区域;
确定所述非封闭型轨迹与房间内的固定阻隔物组成的封闭型轨迹有多个,则将形成的清扫面积较小的封闭型轨迹确定为待清扫区域。
在本实施例中,所述待清扫区域可以为圆形、椭圆形、三角形、长方形、梯形、菱形、不规则多边形等等,本实施例对此不作限定。此外,所述待清扫区域也可以是由自由曲线围成的封闭式图案(如图2所示,在客厅内由曲线围成的封闭式图案,该图案内的区域属于需要清扫的区域),也可以是由直线和曲线共同围成的封闭式图案。
需要说明的是,一般来说,所述待清扫区域是由封闭式轨迹围成的区域,特殊情况下,例如在墙角区域等,所述待清扫区域也可以是半封闭式轨迹围成的区域。
在本实施例中,移动设备可以是常见的手机、PAD、智能手环、电脑等。
在本实施例中,给出了确定待清扫区域的一种实现方式,也即根据移动设备的移动定位轨迹,确定用于界定清扫范围的待清扫区域。
可以理解的是,由于根据移动设备的移动定位轨迹确定待清扫区域,因此可以携带或手持移动设备精准地围绕待清扫区域移动,进而形成能够准确界定清扫范围的待清扫区域,且这种实现方式较为简单方便。
可以理解的是,对于本实施例的方案,需要移动设备上携带有定位软件或移动设备具备定位功能,这样,在移动设备进行移动时,可以通过定位软件或定位功能确定移动设备的移动定位轨迹,进而根据该轨迹确定用于界定清扫范围的待清扫区域。
举例来说,假设用户需要清扫主卧门和客厅的交互地带区域,也即既包括一小部分卧室的区域,也包括一小部分客厅的区域,此时,如果按照现有的扫地机器人工作模式,一种方式是进行全屋清扫(包括屋内各个房间),另一种方式是进行客厅和主卧的清扫,也即只清扫客厅和主卧这两个房间。然而,不论采用哪种方式,都存在清扫效率低的问题,实际上,只需要清扫主卧门和客厅的交互地带区域即可,根据本实施例的方案,可以确定用于界定所述交互地带区域的待清扫区域,例如,用户可以拿着手机绕着所述交互地带区域走一圈,然后根据手机的移动轨迹确定待清扫区域,进而根据确定好的待清扫区域控制扫地机器人开始执行清扫工作,从而可以有针对性地完成主卧门和客厅的交互地带区域的清扫,从而有效提高了清扫效率,降低了能耗,缩短了清扫时间。
又如,假设用户需要清扫阳台右侧区域,此时,如果按照现有的扫地机器人工作模式,一种方式是进行全屋清扫(包括屋内各个房间),另一种方式是进行特定区域阳台的清扫,也即只清扫阳台这个功能间。然而,不论采用哪种方式,都存在清扫效率低的问题,实际上,只需要清扫阳台右侧区域即可,根据本实施例的方案,可以确定用于界定阳台右侧区域的待清扫区域,例如,用户可以拿着手机绕着阳台右侧区域走一圈,然后根据手机的移动轨迹确定待清扫区域,进而根据确定好的待清扫区域控制扫地机器人开始执行清扫工作,从而可以有针对性地完成阳台右侧区域的清扫,从而有效提高了清扫效率,降低了能耗,缩短了清扫时间。例如,对于扫地机器人来说,可以有效降低扫地机器人的电量消耗,提高扫地机器人的续航能力。
由此可见,本实施例可以实时指定随机的任意形状的区域,进而有针对性对指定的区域进行精确清扫,从而提高清洁效率。
可以理解的是,在一种实现方式下,可以直接将移动定位轨迹作为待清扫区域。在其他实现方式下,还可以将移动定位轨迹对应的图案稍微放大后作为待清扫区域。例如,可以放大0.1倍或0.2倍等。可以理解的是,将移动定位轨迹对应的图案稍微放大后作为待清扫区域的好处是可以保证清扫效果,避免出现清扫遗漏或待清扫区域边缘清扫效果不好的问题。
基于上述实施例的内容,在本实施例中,所述根据移动设备的移动定位轨迹,确定用于界定清扫范围的待清扫区域,具体包括:
根据移动设备围绕需要进行清扫的区域进行移动形成的移动定位轨迹,确定用于界定清扫范围的待清扫区域。
在本实施例中,根据移动设备的移动定位轨迹确定待清扫区域可以至少有两种实现方式,一种是需要用户携带移动设备围绕待清扫区域进行移动形成移动定位轨迹,进而根据移动定位轨迹确定待清扫区域。另一种是无需用户携带移动设备围绕待清扫区域进行移动,也即用户可以待在原处,只需将移动设备指向待清扫区域进行区域圈定形成圈定图案,进而根据圈定图案确定用于界定清扫范围的待清扫区域。
本实施例主要介绍第一种实现方式,关于第二种实现方式可以参见后面实施例的介绍。在本实施例中,可以使用具备定位功能的移动设备,然后携带或手持该移动设备围绕待清扫区域移动,一般来说,需要形成一个封闭的移动定位轨迹,进而根据该移动定位轨迹形成能够准确界定清扫范围的待清扫区域。特殊情况下,也可以不形成一个封闭的移动定位轨迹,如可以是半封闭的移动定位轨迹,该半封闭式的移动定位轨迹适合用于墙角、沙发边等区域周围,这些区域正好使得半封闭式的移动定位轨迹可以借助墙、沙发边等形成封闭的待清扫区域。
可以理解的是,本实施例这种实现方式的优势是易操作,且确定的待清扫区域较为准确。
基于上述实施例的内容,在本实施例中,所述根据移动设备围绕需要进行清扫的区域进行移动形成的移动定位轨迹,确定用于界定清扫范围的待清扫区域,具体包括:
基于超宽带UWB定位系统,确定移动设备围绕需要进行清扫的区域进行移动形成的移动定位轨迹的坐标;
根据所述移动定位轨迹的坐标,确定用于界定清扫范围的待清扫区域。
在本实施例中,可以基于超宽带UWB(Ultra Wide Band)定位系统,确定移动设备围绕需要进行清扫的区域进行移动形成的移动定位轨迹的坐标,进而根据所述移动定位轨迹的坐标,确定用于界定清扫范围的待清扫区域。
在本实施例中,首先需要建立如图3所示的UWB定位系统,建立UWB定位系统的过程如下:
首先,需要设置参考标签,用于标定参考位置,这里需要至少1个参考标签。此外,还需要设置定位基站,基站具有UWB收发功能,用于接收定位标签信息和发送信息到手机或扫地机器人。还需要设置至少3个定位基站。此外,还需要设置交换机,用于定位基站的汇合连接,交换机连接到定位系统服务器,此外,还需要设置服务器,用于定位数据处理。
可以理解的是,扫地机器人可以为集成UWB定位收发器的WiFi智能扫地机器人,手机可以为集成UWB定位收发器的智能手机。
具体实施过程如图4所示,包括以下步骤:
A、在家庭房子中装入UWB定位系统,包括服务器、交换机、定位基站、参考标签,使得UWB定位系统安装于家庭房子中,覆盖房子所有的位置;
B、手机通过APP进入扫地机器人设定清扫区域模式;
C、移动手机,根据手机定位轨迹在需要清扫的区域绘制一个封闭的图形;
D、绘制图形坐标信息通过UWB直接传输到扫地机器人;
E、扫地机器人根据图形坐标信息,中断并保存当前状态,自动移动至该区域进行清扫作业;
F、该图形区域清扫完毕后,机器人回到中断前的状态(清扫或待机充电)。
在本实施例中,可以理解的是,可以在手机APP扫地机器人设置内,增加实时指定区域清扫的设置(也即增加本实施例提供的清扫控制方法的设置),确认开启区域绘制后,移动手机,需要清扫的区域用手机轨迹进行圈定,当一个封闭的形状绘出后,在APP端提示确认清扫区域。用户确认清扫区域后,通过UWB服务器计算确定清扫区域的坐标,并向扫地机发送指令,扫地机保存当前的位置和状态,并按照扫地指令前往该清扫区域进行清扫作业,清扫覆盖整个指定区域后,扫地机器人反馈信息到APP提示完成区域清扫任务,扫地机回到清扫前的位置和状态。
可以理解的是,本实施例这种实现方式的优势是易操作,且确定的待清扫区域较为准确。
基于上述实施例的内容,在本实施例中,所述根据移动设备的移动定位轨迹,确定用于界定清扫范围的待清扫区域,具体包括:
根据移动设备通过指向需要进行清扫的区域进行区域圈定形成的圈定图案,确定用于界定清扫范围的待清扫区域。
在本实施例中,与上述实施例不同的是,本实施例无需用户携带移动设备围绕待清扫区域进行移动,也即用户可以待在原处,只需将移动设备指向待清扫区域进行区域圈定形成圈定图案,进而根据圈定图案即可确定用于界定清扫范围的待清扫区域,如图5所示。
在一种实现方式中,根据移动终端指向待清扫区域进行原地移动圈定形成的圈定形状、所述移动终端与清扫面的角度,以及,所述移动终端与所述清扫面的距离,确定用于界定清扫范围的待清扫区域。
在本实现方式中,可以理解的是,当移动设备与清扫面之间存在角度时,可以根据移动设备与清扫面的距离,以及移动设备与清扫面之间的角度,将移动设备通过指向需要进行清扫的区域进行原地区域圈定形成的圈定图案映射到清扫面上,确定所述圈定图案在清扫面上对应的待清扫区域。
在其他实现方式中,可以理解的是,当移动设备正对清扫面(也即移动设备与清扫面平行)时,可以直接根据移动设备指向待清扫区域进行区域圈定形成圈定图案确定用于界定清扫范围的待清扫区域,也即两者是等同的。例如,当需要对墙面清扫时,可以正对墙面移动移动设备,向待清扫区域进行区域圈定形成圈定图案,如圈定图案为一圆形,然后可以将该圈定图案直接作为用于界定清扫范围的待清扫区域。此外,当需要对地面清扫时,可以正对地面移动移动设备,向待清扫区域进行区域圈定形成圈定图案,如圈定图案为一方形,然后可以将该圈定图案直接作为用于界定清扫范围的待清扫区域。
可以理解的是,采用本实施例这种方式,不需要用户移动即可达到划定区域(划定待清扫区域)的目的,从而更加方便了用户使用,使得用户可以随时随地地控制清扫设备对划定的区域进行有针对的清扫。
基于上述实施例的内容,在本实施例中,所述根据移动设备通过指向需要进行清扫的区域进行区域圈定形成的圈定图案,确定用于界定清扫范围的待清扫区域,具体包括:
根据移动设备通过指向需要进行清扫的区域进行区域圈定形成的圈定图案,以及,所述移动设备与清扫面的角度和所述移动设备与所述清扫面的距离,确定用于界定清扫范围的待清扫区域。
在本实施例中,当移动设备与清扫面之间存在角度时,可以根据移动设备与清扫面的距离,以及移动设备与清扫面之间的角度,将移动设备通过指向需要进行清扫的区域进行区域圈定形成的圈定图案映射到清扫面上,确定所述圈定图案在清扫面上对应的待清扫区域。
在本实施例中,可以通过手机陀螺仪识别手机角度,然后再配合手机与地面的距离,将手机在空中通过圈定形成的圈定图案映射到清扫面上,使得用户不需要走动即可进行地面清扫区域的划定,从而方便了用户使用。
基于上述实施例的内容,在本实施例中,根据移动设备通过指向需要进行清扫的区域进行区域圈定形成的圈定图案,以及,所述移动设备与清扫面的角度和所述移动设备与所述清扫面的距离,确定用于界定清扫范围的待清扫区域,具体包括:
选取移动终端原地不动通过指向待清扫区域进行范围圈定形成的圈定形状上的预设数量(如可以是10个、20个或30个等)的第一坐标点(x1,y1);需要说明的是,为保证后续确定的待清扫区域的准确度,选取的预设数量的第一坐标点最好是在所述圈定形状上均匀分布的;
按照第一关系模型确定清扫面上与所述预设数量的第一坐标点分别对应的预设数量的第二坐标点(x2,y2);
根据所述预设数量的第二坐标点,确定用于界定清扫范围的待清扫区域;
其中,所述第一关系模型为:
x2=x1-L×cosθ,y2=y1-L×sinθ
其中,L表示第一坐标点(x1,y1)与第二坐标点(x1,y1)之间的距离,H1表示所述移动终端与所述清扫面的距离;θ1表示所述移动终端与清扫面的角度,θ表示线段L与地面坐标系的x轴之间的夹角。
在本实施例中,需要说明的是,这里的绘制第一图案是指计算机自动绘制第一图案,也可以理解成生成第一图案。
下面结合图5和图6对本实施例提供的方案进行说明。在本实施例中,可以借助UWB定位系统实现。具体地,UWB定位基站可以设置4个以上,从而可以定位出三维坐标来识别手机与地面的高度。通过手机陀螺仪识别手机方向,手机倾斜指向地面;根据手机的定位坐标以及离地高度和手机X轴向与地面的角度θ1计算出手机X轴向与地面交点的坐标;手机在空中旋转一个小圈,手机X轴向与地面交点可同时描绘出一个大的地面区域。该地面区域即可用作扫地机清扫的区域。不需要人移动即可达到划定区域的目的(如图5)。坐标计算方法:UWB定位已知(x1,y1)的坐标位置,地面上的坐标(x1,y1)与(x2,y2)间的距离:
UWB定位系统已生成地面坐标系,手机方向以及L线段与坐标系x轴的夹角θ通过手机陀螺仪识别,从而计算(x2,y2)的地平面坐标(如图6):
x2=x1-L×cosθ,y2=y1-L×sinθ
(x2,y2)=(x1-L×cosθ,y1-L×sinθ)
在本实施例中,可以通过手机陀螺仪识别手机角度,然后再配合手机与地面的距离,将手机在空中通过圈定形成的圈定图案映射到清扫面上,使得用户不需要走动即可进行地面清扫区域的划定,从而方便了用户使用。
基于上述实施例的内容,在本实施例中,所述确定移动设备所在位置的第一坐标,具体包括:
基于超宽带UWB定位系统,确定移动设备所在位置的第一坐标。
在本实施例中,正如前面所述,在确定移动设备所在位置的第一坐标时,可以采用UWB定位系统进行定位,进而确定移动设备所在位置的第一坐标。
可以理解的是,UWB定位系统具有穿透力强、功耗低、抗多径效果好、安全性高、系统复杂度低、能提供精确定位精度等优点。因此,超宽带技术可以应用于室内静止或者移动物体以及人的定位跟踪与导航,且能提供十分精确的定位精度,因此,本实施例可以采用UWB定位系统进行定位。
本发明实施例还提供了一种清扫控制方法,包括:
接收用户通过语音实时触发的用于布置随机清扫任务的清扫指令;其中,所述随机清扫任务是指不属于预先设定的清扫任务中的任务;
根据所述清扫指令确定用于界定清扫范围的待清扫区域;
根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
进一步地,根据所述清扫指令确定用于界定清扫范围的待清扫区域,包括:
确定所述清扫指令中包含的参照物和与所述参照物的相对位置区域信息,并根据所述参照物的位置信息以及与所述参照物的相对位置区域信息,确定用于界定清扫范围的待清扫区域;
和/或,
确定所述清扫指令中包含的绝对位置坐标信息,并根据所述绝对坐标位置信息,确定用于界定清扫范围的待清扫区域;
和/或,
确定所述清扫指令中包含的参照物和与所述参照物的相对坐标信息,并根据所述参照物和与所述参照物的相对坐标信息,确定用于界定清扫范围的待清扫区域。
进一步地,根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务,包括:
对所述待清扫区域进行地面类型和/或污垢类型的识别;
根据地面类型和/或污垢类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行地面类型识别,包括:
采集清扫设备在所述待清扫区域发出的声音信号;
根据所述声音信号中的音频特征,确定所述待清扫区域的材质类型。
进一步地,根据地面类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理,包括:
根据地面类型识别结果,控制清扫设备采用匹配的清扫模式对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行污垢类型识别,包括:
采集所述待清扫区域的图像;
根据所述图像,对所述待清扫区域的污垢类型进行识别。
进一步地,根据所述图像信,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像输入至污垢类型识别模型中,获取所述待清扫区域的污垢类型识别结果;
其中,所述污垢类型识别模型是采用图像样本和图像样本的污垢类型识别结果标签进行训练后得到的。
进一步地,根据所述图像,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像与数据库中存储的已知污垢类型的各个参考图像进行对比,将数据库中与所述图像匹配的参考图像对应的污垢类型作为所述待清扫区域的污垢类型。
在本实施例中,还可以指令语音信息,确定待清扫区域,这种处理方式为用户提供了更大的便利,使得用户无需绕待清扫区域移动、无需拍照、无需做相应的圈定动作、无需做肢体动作等,只需发布语音指令即可。举例来说,用户可以发出这样的语音“将电视机前的区域进行清扫”,清扫控制装置在收到该语音指令后,会将该语音(或语音中的关键词如电视机前)与数据库中的语音或关键词进行匹配,确定与该语音对应的待清扫区域(可以理解成清扫位置信息),然后控制清扫设备移动至对应的清扫位置执行清扫工作。可以理解的是,所述数据库中存储有与各语音指令匹配的待清扫区域(清扫位置信息)。
采用本实施例的这种处理方式,不但使用起来简单方便,解脱操作负担,而且还可以指定任意区域进行有针对性的清扫,从而提高了处理灵活性。
基于上述实施例的内容,在本实施例中,所述根据指令语音信息,确定用于界定清扫范围的待清扫区域,具体包括下述三种方式中的一种或多种:
①确定所述指令语音信息中包含的参照物和与所述参照物的相对位置区域信息,并根据所述参照物的位置信息以及与所述参照物的相对位置区域信息,确定用于界定清扫范围的待清扫区域;
②确定所述指令语音信息中包含的绝对位置坐标信息,并根据所述绝对坐标位置信息,确定用于界定清扫范围的待清扫区域;
③确定所述指令语音信息中包含的参照物和与所述参照物的相对坐标信息,并根据所述参照物和与所述参照物的相对坐标信息,确定用于界定清扫范围的待清扫区域。
在本实施例中,当通过语音确定用于界定清扫范围的待清扫区域时,为提高处理效率,可以采用几种方式进行确定。
一种实现方式是先确定所述指令语音信息中包含的参照物(如门、桌、电视、餐桌、沙发、床、凳等),然后再确定与所述参照物的相对位置区域信息(如门前区域、电视前区域、沙发前区域、床尾区域等),最后根据所述参照物的位置信息以及与所述参照物的相对位置区域信息,确定用于界定清扫范围的待清扫区域。可以理解的是,这些参照物的坐标可以预先存储在数据库中。
另一种实现方式是确定指令语音信息中包含的绝对位置坐标信息,并根据所述绝对坐标位置信息,确定用于界定清扫范围的待清扫区域。举例来说,假设用户发出的语音指令为“请清扫屋内以坐标(X,Y)为圆心,半径为1米确定的区域”,根据该语音指令,可以准确确定用于界定清扫范围的待清扫区域。又如,用户发出的语音指令为“请清扫屋内坐标(X1,Y1)、(X2,Y2)、(X3,Y3)所围成的区域”,根据该语音指令,可以准确确定用于界定清扫范围的待清扫区域。
又一种实现方式是确定所述指令语音信息中包含的参照物和与所述参照物的相对坐标信息,并根据所述参照物和与所述参照物的相对坐标信息,确定用于界定清扫范围的待清扫区域。举例来说,假设用户发出的语音指令为“请清扫电视前1.3米的区域”,根据该语音指令,可以确定参照物为电视,然后根据电视所在的位置以及与电视的相对坐标信息1.3准确确定用于界定清扫范围的待清扫区域。又如,用户发出的语音指令为“以餐桌为中心,请清扫餐桌周围0.5米半径确定的区域”,根据该语音指令,可以准确确定用于界定清扫范围的待清扫区域,从而可以在饭后将餐桌周围掉的食物残渣和纸屑等进行精准清扫。
由此可见,本实施例可以通过语音的方式灵活且高效地确定需要有针对性清扫的区域,从而完成精准清扫。
在本实施例中,关于地面类型识别和污垢识别的方案可以参见前述实施例的介绍,此处不再赘述。
本发明实施例还提供了一种清扫控制方法,包括:
接收用户通过肢体动作实时触发的用于布置随机清扫任务的清扫指令;其中,所述随机清扫任务是指不属于预先设定的清扫任务中的任务;
根据所述清扫指令确定用于界定清扫范围的待清扫区域;
根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
进一步地,根据所述清扫指令确定用于界定清扫范围的待清扫区域,包括:
确定用户向需要进行清扫的区域发出的肢体指向和肢体动作;
根据所述肢体指向和肢体动作,确定在清扫面上形成的坐标区域范围;
根据所述坐标区域范围,确定用于界定清扫范围的待清扫区域。
进一步地,根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务,包括:
对所述待清扫区域进行地面类型和/或污垢类型的识别;
根据地面类型和/或污垢类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行地面类型识别,包括:
采集清扫设备在所述待清扫区域发出的声音信号;
根据所述声音信号中的音频特征,确定所述待清扫区域的材质类型。
进一步地,根据地面类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理,包括:
根据地面类型识别结果,控制清扫设备采用匹配的清扫模式对待清扫区域进行针对性的清扫处理。
进一步地,对所述待清扫区域进行污垢类型识别,包括:
采集所述待清扫区域的图像;
根据所述图像,对所述待清扫区域的污垢类型进行识别。
进一步地,根据所述图像信,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像输入至污垢类型识别模型中,获取所述待清扫区域的污垢类型识别结果;
其中,所述污垢类型识别模型是采用图像样本和图像样本的污垢类型识别结果标签进行训练后得到的。
进一步地,根据所述图像,对所述待清扫区域的污垢类型进行识别,包括:
将所述图像与数据库中存储的已知污垢类型的各个参考图像进行对比,将数据库中与所述图像匹配的参考图像对应的污垢类型作为所述待清扫区域的污垢类型。
在本实施例中,可以根据用户的肢体信息,确定用于界定清扫范围的待清扫区域。例如,当用户通过肢体(手指、头、胳膊、腿、脚等)指向某一区域范围内,根据用户肢体指向的区域范围确定用于界定清扫范围的待清扫区域。
在本实施例中,可以理解的是,可以通过感应设备进行感应的方式确定用户肢体所在位置和用户肢体的指向角度信息,进而根据用户肢体所在位置和用户肢体的指向方向信息和指向角度信息确定用户肢体指向的区域范围,进而确定需要进行清扫的待清扫区域。
举例来说,假设用户站在地面上的A点,然后手指指向地面、方向偏东30°且手指与地面的角度为45°,则可以根据这些信息,确定用户肢体在地面上所指的区域范围。可以理解的是,这种确定方式在地面上确定的一般是一个点,然后可以以这个点为中心绘制图形(如圆形或方形等),当绘制图形为圆形时,半径可以采用预先设定的值。当绘制图形为方形时,边长可以采用预先设定的值,可以理解的是,这种确定方式,确定的区域范围是一个概数,因此,为避免有清扫遗漏,可以使得绘制图形的面积大于预设阈值,从而保证尽可能地完成用户指派的清扫任务。
基于上述实施例的内容,在本实施例中,所述根据用户的肢体信息,确定用于界定清扫范围的待清扫区域,具体包括:
确定用户向需要进行清扫的区域发出的肢体指向和肢体动作;
根据所述肢体指向和肢体动作,确定在清扫面上形成的第三图案;
根据所述第三图案,确定用于界定清扫范围的待清扫区域。
在本实施例中,需要说明的是,本实施例的方案与前述实施例提供的“根据移动设备通过指向需要进行清扫的区域进行区域圈定形成的圈定图案,确定用于界定清扫范围的待清扫区域”的方案类似,区别仅在于,本实施例不是用户手持移动设备进行区域圈定形成的圈定图案,而是通过肢体动作进行区域圈定形成的圈定图案。举例来说,当需要在地面上划定一个圆形的待清扫区域时,可以用脚尖朝地面做一个圆形区域的肢体动作,从而在地面上形成第三图案。
此外,还可以用手势朝着地面做出进行区域圈定的肢体动作,然后根据手指与地面的角度以及手指高度等信息,确定在清扫面上形成的第三图案,进而根据所述第三图案,确定用于界定清扫范围的待清扫区域。
可以理解的是,由于本实施例的方案与前述实施例提供的“根据移动设备通过指向需要进行清扫的区域进行区域圈定形成的圈定图案,确定用于界定清扫范围的待清扫区域”的方案类似,因此,具体原理不再详述,可参见前述实施例的介绍。
在本实施例中,需要说明的是,一般情况下,第三图案就可以作为用于界定清扫范围的待清扫区域,特殊情况下,为确保清扫效果,还可以在第三图案的基础上进行预设量的外延,进而确定用于界定清扫范围的待清扫区域。
在本实施例中,关于地面类型识别和污垢识别的方案可以参见前述实施例的介绍,此处不再赘述。
基于相同的发明构思,本发明另一实施例提供了一种清扫控制装置,参见图10,本实施例提供的清扫控制装置,包括:第一确定模块21、第二确定模块22、第三确定模块23和清扫控制模块24,其中:
第一确定模块21,用于确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息;
第二确定模块22,用于确定所述移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;
第三确定模块23,用于根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域;
清扫控制模块24,用于根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
基于相同的发明构思,本发明另一实施例提供了一种清扫控制装置,本实施例提供的清扫控制装置,包括:第四确定模块、第五确定模块、接收模块、第六确定模块和任务控制模块,其中:
第四确定模块,用于确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息;
第五确定模块,用于确定所述移动终端对所述区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;
接收模块,用于接收用户在拍摄得到的图像上的标记区域;
第六确定模块,用于根据用户在拍摄得到的图像上的标记区域、所述位置信息、姿态信息和所述成像捕捉角度,确定待清扫区域;
任务控制模块,用于根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
由于本实施例提供的清扫控制装置可以用于执行上述实施例所述的清扫控制方法,其工作原理和有益效果类似,故此处不再详述,具体内容可参见上述实施例的介绍。
基于相同的发明构思,本发明另一实施例提供了一种智能设备,该智能设备包括如上面实施例所述的清扫控制装置。
在本实施例中,可以理解的是,由于上述清扫控制装置的处理过程可以在智能设备上实现,因此,本实施例提供了一种包含所述清扫控制装置的智能设备,进而实现上述清扫控制过程。可以理解的是,智能设备可以是扫地机器人、智能清扫设备等等,本实施例对此不做限定。
由于本实施例提供的智能设备包括上面实施例所述的清扫控制装置,因此其工作原理和有益效果类似,故此处不再详述,具体内容可参见上述实施例的介绍。
基于相同的发明构思,本发明另一实施例提供了一种移动设备,该移动设备包括如上面实施例所述的清扫控制装置。
在本实施例中,可以理解的是,由于上述清扫控制装置的处理过程可以在移动设备上实现,因此,本实施例提供了一种包含所述清扫控制装置的移动设备,进而实现上述清扫控制过程。可以理解的是,移动设备可以是各种设备,如手机、pad、智能手表、笔记本等等,本实施例对此不做限定。
由于本实施例提供的移动设备包括上面实施例所述的清扫控制装置,因此其工作原理和有益效果类似,故此处不再详述,具体内容可参见上述实施例的介绍。
基于相同的发明构思,本发明另一实施例提供了一种服务器,该服务器包括如上面实施例所述的清扫控制装置。
在本实施例中,可以理解的是,由于上述清扫控制装置的处理过程可以在服务器上实现,因此,本实施例提供了一种包含所述清扫控制装置的服务器,进而实现上述清扫控制过程。在本实施例中,服务器可以是云服务器,也可以是其他服务器,本实施例对此不作限定。当为云服务器时,具体处理速度快,安全性高等优势。
由于本实施例提供的服务器包括上面实施例所述的清扫控制装置,因此其工作原理和有益效果类似,故此处不再详述,具体内容可参见上述实施例的介绍。
基于相同的发明构思,本发明又一实施例提供了一种智能设备,参见图11,所述智能设备具体包括如下内容:处理器301、存储器302、通信接口303和通信总线304;
其中,所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信;所述通信接口303用于实现各建模软件及智能制造装备模块库等相关设备之间的传输;
所述处理器301用于调用所述存储器302中的计算机程序,所述处理器执行所述计算机程序时实现上述清扫控制方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:确定用于界定清扫范围的待清扫区域;根据所述待清扫区域,确定待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务;或,所述处理器执行所述计算机程序时实现下述步骤:确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息;确定所述移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务;或,所述处理器执行所述计算机程序时实现下述步骤:确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息;确定所述移动终端对所述区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;接收用户在拍摄得到的图像上的标记区域;根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
可以理解的是,所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
可以理解的是,所述智能设备可以是扫地机器人、地面清扫设备、墙面清扫设备等,本实施例对此不做限定。
基于相同的发明构思,本发明又一实施例提供了一种扫地机器人设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述清扫控制方法的步骤。可以理解的是,当扫地机器人设备实现上述清扫控制方法的步骤时,上述方法中的“根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务”中的“清扫设备”也即该扫地机器人,也即扫地机器人自身可以完成控制以及清扫功能。
基于相同的发明构思,本发明又一实施例提供了一种移动设备,参见图12,所述移动设备具体包括如下内容:处理器401、存储器402、通信接口403和通信总线404;
其中,所述处理器401、存储器402、通信接口403通过所述通信总线404完成相互间的通信;所述通信接口403用于实现各建模软件及智能制造装备模块库等相关设备之间的传输;
所述处理器401用于调用所述存储器402中的计算机程序,所述处理器执行所述计算机程序时实现上述清扫控制方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:确定用于界定清扫范围的待清扫区域;根据所述待清扫区域,确定待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务;或,所述处理器执行所述计算机程序时实现下述步骤:确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息;确定所述移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务;或,所述处理器执行所述计算机程序时实现下述步骤:确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息;确定所述移动终端对所述区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;接收用户在拍摄得到的图像上的标记区域;根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
可以理解的是,所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
可以理解的是,移动设备可以是各种设备,如手机、pad、智能手表、笔记本等等,本实施例对此不做限定。
基于相同的发明构思,本发明又一实施例提供了一种服务器,参见图13,所述服务器具体包括如下内容:处理器501、存储器502、通信接口503和通信总线504;
其中,所述处理器501、存储器502、通信接口503通过所述通信总线504完成相互间的通信;所述通信接口503用于实现各建模软件及智能制造装备模块库等相关设备之间的传输;
所述处理器501用于调用所述存储器502中的计算机程序,所述处理器执行所述计算机程序时实现上述清扫控制方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息;确定所述移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务;或,所述处理器执行所述计算机程序时实现下述步骤:确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息;确定所述移动终端对所述区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;接收用户在拍摄得到的图像上的标记区域;根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
可以理解的是,所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
在本实施例中,服务器可以是云服务器,也可以是其他服务器,本实施例对此不作限定。当为云服务器时,具体处理速度快,安全性高等优势。
基于相同的发明构思,本发明又一实施例提供了一种非暂态计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述清扫控制方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:确定移动终端对待清扫区域进行拍摄时所述移动终端的位置信息和姿态信息;确定所述移动终端对待清扫区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;根据拍摄得到的图像、所述位置信息、所述姿态信息和所述成像捕捉角度,确定所述待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务;或,所述处理器执行所述计算机程序时实现下述步骤:确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息;确定所述移动终端对所述区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;接收用户在拍摄得到的图像上的标记区域;根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域;根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务。
可以理解的是,所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的清扫控制方法。
在本发明的描述中,需要说明的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
此外,在本发明中,诸如“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
此外,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种清扫控制方法,其特征在于,包括:
确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息;
确定所述移动终端对所述区域进行拍摄时所述移动终端上的摄像头的成像捕捉角度;
接收用户在拍摄得到的图像上的标记区域;
根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域;
根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务;
确定移动终端对一区域进行拍摄时所述移动终端的位置信息和姿态信息,包括:
确定所述移动终端对所述区域进行拍摄时所述移动终端的位置坐标;
确定所述移动终端对待清扫区域进行拍摄时的所述移动终端的指向方向以及所述移动终端与清扫面的第一角度;
根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域,包括:
根据所述拍摄得到的图像、所述位置坐标、所述指向方向以及所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;
根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域;
根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域,包括:
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面的圆弧形区域;
根据所述标记区域与所述图像的中心点的距离以及方向关系,确定与所述标记区域对应的子成像捕捉角度;其中,所述子成像捕捉角度小于所述成像捕捉角度;
根据所述中心坐标以及所述子成像捕捉角度,确定所述标记区域在所述圆弧形区域内的子圆弧形区域;
根据所述标记区域映射至所述清扫面时对应的裁剪处理过程,确定所述标记区域在所述子圆弧形区域内的第二区域坐标范围;
将所述第二区域坐标范围确定为待清扫区域。
2.根据权利要求1所述的清扫控制方法,其特征在于,根据用户在拍摄得到的图像上的标记区域、所述位置信息、所述姿态信息和所述成像捕捉角度,确定待清扫区域,包括:
确定所述移动终端对所述区域进行拍摄时所述移动终端与清扫面的第一距离;
根据所述拍摄得到的图像、所述位置坐标、所述第一距离、所述指向方向以及所述第一角度,确定所述图像上的中心点映射到所述清扫面上的中心坐标;
根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域。
3.根据权利要求1或2所述的清扫控制方法,其特征在于,根据所述中心坐标、所述成像捕捉角度以及所述标记区域,确定在所述清扫面上对应的待清扫区域,包括:
根据所述中心坐标以及所述成像捕捉角度,确定所述图像在所述清扫面的圆弧形区域;
根据所述图像映射至所述清扫面时对应的裁剪处理过程,确定所述图像在所述圆弧形区域内的第一区域坐标范围;
根据所述标记区域与所述图像的相对位置关系和相对大小关系,以及所述第一区域坐标范围,确定所述标记区域在所述清扫面的第二区域坐标范围;
将所述第二区域坐标范围确定为待清扫区域。
4.根据权利要求1所述的清扫控制方法,其特征在于,根据所述待清扫区域,控制清扫设备对所述待清扫区域执行清扫任务,包括:
对所述待清扫区域进行地面类型和/或污垢类型的识别;
根据地面类型和/或污垢类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理。
5.根据权利要求4所述的清扫控制方法,其特征在于,对所述待清扫区域进行地面类型识别,包括:
采集清扫设备在所述待清扫区域发出的声音信号,
根据所述声音信号中的音频特征,确定所述待清扫区域的材质类型;
相应地,根据地面类型识别结果,控制清扫设备对待清扫区域进行针对性的清扫处理,包括:
根据地面类型识别结果,控制清扫设备采用匹配的清扫模式对待清扫区域进行针对性的清扫处理。
6.根据权利要求4所述的清扫控制方法,其特征在于,对所述待清扫区域进行污垢类型识别,包括:
采集所述待清扫区域的图像;
根据所述图像,对所述待清扫区域的污垢类型进行识别。
7.根据权利要求6所述的清扫控制方法,其特征在于,根据所述图像信,对所述待清扫区域的污垢类型进行识别,包括下述方式中的任意一种:
将所述图像输入至污垢类型识别模型中,获取所述待清扫区域的污垢类型识别结果;其中,所述污垢类型识别模型是采用图像样本和图像样本的污垢类型识别结果标签进行训练后得到的;
将所述图像与数据库中存储的已知污垢类型的各个参考图像进行对比,将数据库中与所述图像匹配的参考图像对应的污垢类型作为所述待清扫区域的污垢类型。
8.一种智能设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述清扫控制方法的步骤。
9.一种扫地机器人设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述清扫控制方法的步骤。
10.一种移动终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述清扫控制方法的步骤。
11.一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述清扫控制方法的步骤。
12.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述清扫控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011599705.1A CN114680740B (zh) | 2020-12-29 | 2020-12-29 | 清扫控制方法、装置、智能设备、移动设备及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011599705.1A CN114680740B (zh) | 2020-12-29 | 2020-12-29 | 清扫控制方法、装置、智能设备、移动设备及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114680740A CN114680740A (zh) | 2022-07-01 |
CN114680740B true CN114680740B (zh) | 2023-08-08 |
Family
ID=82132701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011599705.1A Active CN114680740B (zh) | 2020-12-29 | 2020-12-29 | 清扫控制方法、装置、智能设备、移动设备及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114680740B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022210911A1 (de) | 2022-10-17 | 2024-04-18 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Bestimmen eines Auswahlbereichs in einer Umgebung für ein mobiles Gerät |
CN115500740B (zh) * | 2022-11-18 | 2023-04-18 | 科大讯飞股份有限公司 | 清洁机器人及清洁机器人控制方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103784079A (zh) * | 2012-10-26 | 2014-05-14 | Lg电子株式会社 | 机器人清洁器系统及其控制方法 |
CN105310604A (zh) * | 2014-07-30 | 2016-02-10 | Lg电子株式会社 | 机器人清洁系统以及控制机器人清洁器的方法 |
CN106444786A (zh) * | 2016-11-29 | 2017-02-22 | 北京小米移动软件有限公司 | 扫地机器人的控制方法及装置和电子设备 |
CN109276190A (zh) * | 2018-10-23 | 2019-01-29 | 中国人民解放军陆军工程大学 | 基于uwb的扫地机器人监控方法及其设备 |
EP3508935A1 (en) * | 2018-01-05 | 2019-07-10 | iRobot Corporation | System for spot cleaning by a mobile robot |
CN110916574A (zh) * | 2019-10-18 | 2020-03-27 | 上海善解人意信息科技有限公司 | 扫地机器人系统及扫地机器人控制方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102094347B1 (ko) * | 2013-07-29 | 2020-03-30 | 삼성전자주식회사 | 자동 청소 시스템, 청소 로봇 및 그 제어 방법 |
-
2020
- 2020-12-29 CN CN202011599705.1A patent/CN114680740B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103784079A (zh) * | 2012-10-26 | 2014-05-14 | Lg电子株式会社 | 机器人清洁器系统及其控制方法 |
CN105310604A (zh) * | 2014-07-30 | 2016-02-10 | Lg电子株式会社 | 机器人清洁系统以及控制机器人清洁器的方法 |
CN106444786A (zh) * | 2016-11-29 | 2017-02-22 | 北京小米移动软件有限公司 | 扫地机器人的控制方法及装置和电子设备 |
EP3508935A1 (en) * | 2018-01-05 | 2019-07-10 | iRobot Corporation | System for spot cleaning by a mobile robot |
CN109276190A (zh) * | 2018-10-23 | 2019-01-29 | 中国人民解放军陆军工程大学 | 基于uwb的扫地机器人监控方法及其设备 |
CN110916574A (zh) * | 2019-10-18 | 2020-03-27 | 上海善解人意信息科技有限公司 | 扫地机器人系统及扫地机器人控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114680740A (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11709497B2 (en) | Method for controlling an autonomous mobile robot | |
CN109890573B (zh) | 移动机器人的控制方法、装置、移动机器人及存储介质 | |
CN109998428B (zh) | 用于扫地机器人的清洁方法、系统及装置 | |
US10611023B2 (en) | Systems and methods for performing occlusion detection | |
US11669086B2 (en) | Mobile robot cleaning system | |
US10518414B1 (en) | Navigation method, navigation system, movement control system and mobile robot | |
WO2019114219A1 (zh) | 移动机器人及其控制方法和控制系统 | |
WO2019144541A1 (zh) | 一种清洁机器人 | |
CN110313867B (zh) | 自主移动清扫机、自主移动清扫机的清扫方法及记录介质 | |
CN106983460B (zh) | 一种扫地机器人区域清扫图像控制方法 | |
CN110313863B (zh) | 自主移动清扫机、自主移动清扫机的清扫方法以及程序 | |
CN114942638A (zh) | 机器人工作区域地图构建方法、装置 | |
CN114680740B (zh) | 清扫控制方法、装置、智能设备、移动设备及服务器 | |
CN117398023A (zh) | 自移动机器人跟随方法及自移动机器人 | |
TWI853247B (zh) | 清潔設備和產生清潔路徑或清潔地圖的方法及系統 | |
CN111142531A (zh) | 基于家电联动的清洁机器人控制方法以及清洁机器人 | |
WO2023125698A1 (zh) | 清洁设备及其控制方法和控制装置 | |
CN113520246B (zh) | 移动机器人补偿清洁方法及系统 | |
CN109978173B (zh) | 一种用于室内测绘和定位的机器学习diy方法 | |
CN114680739B (zh) | 清扫控制方法、装置、智能设备、移动终端及服务器 | |
CN112890690B (zh) | 机器人清扫控制方法、装置及扫地机器人 | |
CN115033002A (zh) | 移动机器人控制方法及装置、电子设备和存储介质 | |
CN117297449A (zh) | 清洁设置方法、清洁设备、计算机程序产品和存储介质 | |
CN116250778A (zh) | 清洁机器人的清扫控制方法、控制系统及清洁机器人 | |
WO2024145776A1 (zh) | 扫地机器人的控制方法、装置、扫地机器人、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |