CN117827013B - 基于图像处理的生产技能智能学习方法及系统、电子设备 - Google Patents
基于图像处理的生产技能智能学习方法及系统、电子设备 Download PDFInfo
- Publication number
- CN117827013B CN117827013B CN202410244508.XA CN202410244508A CN117827013B CN 117827013 B CN117827013 B CN 117827013B CN 202410244508 A CN202410244508 A CN 202410244508A CN 117827013 B CN117827013 B CN 117827013B
- Authority
- CN
- China
- Prior art keywords
- production equipment
- target production
- contour
- current frame
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 221
- 238000012545 processing Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003993 interaction Effects 0.000 claims abstract description 30
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一般的图像处理或产生领域，具体涉及一种基于图像处理的生产技能智能学习方法及系统、电子设备，包括获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓；根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部；向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在VR设备中播放所述视频。无需用户自行查阅目标设备资料，即可进行相关学习，节约大量时间成本。
Description
技术领域
本发明涉及一般的图像处理或产生技术领域，具体涉及一种基于图像处理的生产技能智能学习方法及系统、电子设备。
背景技术
随着社会发展，车间的生产设备逐渐智能化，操作逐渐复杂，由于车间工人对生产设备的学习和生产技能的学习，通常来源于需要通过人来自行搜索得到需要的书籍或文字、图片、影像资料，然后再继续进行学习，现有技术需要车间工人自行查阅大量资料，需要浪费大量的时间进行资料查找，学习效率低。
因此，现有技术还有待进一步发展。
发明内容
本发明的目的在于克服上述技术不足，提供一种基于图像处理的生产技能智能学习方法及系统、电子设备，以解决现有技术存在的问题。
为达到上述技术目的，根据本发明的第一方面，本发明提供了一种基于图像处理的生产技能智能学习方法，包括：
S100、获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓；
S200、根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部；
S300、向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频。
具体的，所述提取当前帧图像中，目标生产设备的轮廓，包括：
对当前帧图像进行二值化处理，将当前帧图像转换为只包括黑白两种颜色的图像，以区分当前帧图像中的目标生产设备区域与背景区域，从该二值化处理后的当前帧图像的目标生产设备区域中提取轮廓特征点，根据轮廓特征点拟合得到待匹配目标生产设备的第一轮廓。
具体的，所述根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称，包括：
获取预设在控制模块中的各样本生产设备的第二轮廓，计算第一轮廓和第二轮廓的质心坐标，使第一轮廓和第二轮廓的质心重合后，将第一轮廓进行旋转和缩放，使第一轮廓和第二轮廓的各顶点的欧式距离之差最小，依次计算此时，第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据，根据轮廓重合度数据确定目标生产设备的名称。
具体的，所述根据轮廓重合度数据确定目标生产设备的名称，包括：
依次判断第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据是否大于或等于第一预设阈值，若第一轮廓与某个样本生产设备的第二轮廓的轮廓重合度数据大于或等于第一预设阈值，判断该样本生产设备的名称为目标生产设备的名称；若第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据均小于第一预设阈值，输出有关于匹配失败、请调整拍摄角度的语音提示信号。
具体的，所述根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频，包括：
若用户的交互语音的获取结果为“是”，获取预设在控制模块中的目标生产设备对应的操作视频，并在头戴式VR设备中播放所述操作视频；
若用户的交互语音的获取结果为“否”，则不获取预设在控制模块中的目标生产设备对应的操作视频。
具体的，所述将目标生产设备的名称写入目标生产设备对应的轮廓的内部，包括：
通过python的opencv库将目标生产设备的名称写入当前帧图像中，第一轮廓的质心坐标对应的预设位置，所述预设位置为以第一轮廓的质心坐标为所述名称对应的文本框的左上角坐标，插入目标生产设备的名称所对应的文本。
具体的，所述方法还包括：
利用设置于头戴式VR设备上的GPS定位系统获取相机的GPS坐标，利用设置于头戴式VR设备上的激光测距系统测量相机距地面的第一高度数据，获取相机的内参数据和云台角度，根据第一轮廓的质心坐标、相机的GPS坐标、第一高度数据、内参数据和云台角度，计算用于指示目标生产设备的地理坐标；获取预设在控制模块中的各样本生产设备对应的预设地理坐标，计算用于指示目标生产设备的地理坐标与各样本生产设备对应的预设地理坐标的实际距离，判断各样本生产设备对应的多个实际距离中，最短实际距离是否小于或等于第二预设阈值，并根据判断结果确定目标生产设备的名称。
具体的，所述方法还包括：
若最短实际距离小于或等于第二预设阈值，则最短实际距离对应的样本生产设备的名称为目标生产设备的名称；
若最短实际距离大于第二预设阈值，则输出有关于匹配失败、请调整拍摄角度和拍摄位置的语音提示信号。
根据本发明的第二方面，提供一种基于图像处理的生产技能智能学习系统，包括：
获取模块，用于获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；
控制模块，用于对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓；或用于根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部；或用于向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频。
根据本发明的第三方面，提供一种电子设备，包括：存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述的基于图像处理的生产技能智能学习方法。
有益效果：
本发明实现了无需用户自行查阅资料，通过头戴式VR设备即可自行学习对应生产设备的操作视频和生产技能，节约了大量时间成本，很大程度上提高了学习效率，且无需复杂算法建模，很大程度上提高了本发明的智能化程度和可用性，很大程度上拓展了本发明的应用场景。
附图说明
图1是本发明具体实施例中提供的基于图像处理的生产技能智能学习方法的流程图；
图2是本发明具体实施例中提供的基于图像处理的生产技能智能学习系统的系统组成示意图。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。此外，以下实施例中提到的方向用词，例如“上”“下”“左”“右”等仅是参考附图的方向，因此，使用的方向用词是用来说明而非限制本发明创造。
下面结合附图和较佳的实施例对本发明作进一步说明。
请参阅图1，本发明提供一种基于图像处理的生产技能智能学习方法，包括：
S100、获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓。
这里需要说明的是，步骤S100之前包括：
在控制模块中预设第一预设阈值、第二预设阈值、各样本生产设备的第二轮廓、各样本生产设备对应的预设地理坐标。
可以理解的是，所述第一预设阈值可根据实际需要具体设置，本发明不对第一预设阈值的具体数值做限制，优选地，本发明将所述第一预设阈值设置为80%，将所述第一预设阈值设置为80%为本发明技术人员通过大量实验得出，能够较好的判断第一轮廓和第二轮廓的相似度是否足够，很大程度上提高了本发明的可靠性。
可以理解的是，所述轮廓重合度数据的计算为成熟的现有技术，本发明在此不做过多赘述，优选地，所述轮廓重合度的计算可以为计算第一轮廓区域内的像素数量和第二轮廓区域内的像素数量的比值。
可以理解的是，所述第二预设阈值可根据实际需要具体设置，本发明不对第二预设阈值的具体数值做限制，优选地，本发明将所述第一预设阈值设置为1米，将所述第二预设阈值设置为1米为本发明技术人员通过大量实验得出，能够较好的判断最短实际距离对应的样本生产设备的名称是否为目标生产设备的名称，进一步提高了本发明的可靠性。
具体的，所述提取当前帧图像中，目标生产设备的轮廓，包括：
对当前帧图像进行二值化处理，将当前帧图像转换为只包括黑白两种颜色的图像，以区分当前帧图像中的目标生产设备区域与背景区域，从该二值化处理后的当前帧图像的目标生产设备区域中提取轮廓特征点，根据轮廓特征点拟合得到待匹配目标生产设备的第一轮廓。
S200、根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部。
具体的，所述根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称，包括：
获取预设在控制模块中的各样本生产设备的第二轮廓，计算第一轮廓和第二轮廓的质心坐标，使第一轮廓和第二轮廓的质心重合后，将第一轮廓进行旋转和缩放，使第一轮廓和第二轮廓的各顶点的欧式距离之差最小，依次计算此时，第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据，根据轮廓重合度数据确定目标生产设备的名称。
可以理解的是，所述计算质心坐标的方法为：
根据第一轮廓和第二轮廓分别建立目标搜索框，所述目标搜索框需要包括第一轮廓和第二轮廓的所有轮廓特征点。
对当前帧图像进行灰度处理，根据原始当前帧图像灰度值的均值和标准差对所述原始当前帧图像的灰度值做分段线性变化，得到当前帧图像的8比特单通道图像的各点的灰度值，根据当前帧图像的8比特单通道图像的各点的灰度值计算得到质心坐标。
所述分段线性变化的公式为：
其中，μ和σ分别为原始当前帧图像灰度值的均值和标准差，x为原始当前帧图像的各点的灰度值，y为线性变换后得到的8比特单通道图像各点的灰度值，为向下取整运算。
所述质心定位计算公式为：
其中，M和N分别表示目标搜索框的宽度和高度，(Mmin,Nmin)，和(Xmax,Ymax)分别表示目标搜索框的左上角坐标和右下角坐标, Iij为所述矩形区域内像素点的灰度值，i为像素点的行位置，j为像素点的列位置，(Xc,Yc)表示目标搜索框的质心坐标，将所述质心坐标记为第一轮廓的质心坐标。所述目标搜索框的面积为目标搜索框的高度和宽度的乘积。
具体的，所述根据第一轮廓的质心坐标、相机的GPS坐标、第一高度数据、内参数据和云台角度，计算用于指示目标生产设备的地理坐标，包括：
根据第一高度、内参数据和云台角度，计算当前帧图像包含的四个顶点和中心点的像素坐标和地理坐标，根据所述四个顶点和中心点的地理坐标和像素坐标，计算地理坐标和像素坐标转换的单应性矩阵，根据第一轮廓的质心坐标和单应性矩阵，计算用于指示目标生产设备的地理坐标。
这里需要说明的是，所述计算地理坐标和像素坐标转换的单应性矩阵并根据第一轮廓的质心坐标和单应性矩阵、计算用于指示目标生产设备的地理坐标为成熟的现有技术，本发明在此不做过多赘述。
具体的，所述根据轮廓重合度数据确定目标生产设备的名称，包括：
依次判断第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据是否大于或等于第一预设阈值，若第一轮廓与某个样本生产设备的第二轮廓的轮廓重合度数据大于或等于第一预设阈值，判断该样本生产设备的名称为目标生产设备的名称；若第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据均小于第一预设阈值，输出有关于匹配失败、请调整拍摄角度的语音提示信号。
这里需要说明的是，若第一轮廓与某个样本生产设备的第二轮廓的轮廓重合度数据大于或等于第一预设阈值，证明第一轮廓与该样本生产设备的第二轮廓的重合度足够大，判断该样本生产设备的名称为目标生产设备的名称，相反，则证明第一轮廓与该样本生产设备的第二轮廓的重合度较小，无法判断该样本生产设备的名称为目标生产设备的名称，此时，输出有关于匹配失败、请调整拍摄角度的语音提示信号。进一步提高了本发明的智能化程度和可用性。
S300、向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频。
具体的，所述根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频，包括：
若用户的交互语音的获取结果为“是”，获取预设在控制模块中的目标生产设备对应的操作视频，并在头戴式VR设备中播放所述操作视频；
若用户的交互语音的获取结果为“否”，则不获取预设在控制模块中的目标生产设备对应的操作视频。
具体的，所述将目标生产设备的名称写入目标生产设备对应的轮廓的内部，包括：
通过python的opencv库将目标生产设备的名称写入当前帧图像中，第一轮廓的质心坐标对应的预设位置，所述预设位置为以第一轮廓的质心坐标为所述名称对应的文本框的左上角坐标，插入目标生产设备的名称所对应的文本。
具体的，所述方法还包括：
利用设置于头戴式VR设备上的GPS定位系统获取相机的GPS坐标，利用设置于头戴式VR设备上的激光测距系统测量相机距地面的第一高度数据，获取相机的内参数据和云台角度，根据第一轮廓的质心坐标、相机的GPS坐标、第一高度数据、内参数据和云台角度，计算用于指示目标生产设备的地理坐标；获取预设在控制模块中的各样本生产设备对应的预设地理坐标，计算用于指示目标生产设备的地理坐标与各样本生产设备对应的预设地理坐标的实际距离，判断各样本生产设备对应的多个实际距离中，最短实际距离是否小于或等于第二预设阈值，并根据判断结果确定目标生产设备的名称。
具体的，所述方法还包括：
若最短实际距离小于或等于第二预设阈值，则最短实际距离对应的样本生产设备的名称为目标生产设备的名称；
若最短实际距离大于第二预设阈值，则输出有关于匹配失败、请调整拍摄角度和拍摄位置的语音提示信号。
这里需要说明的是，若最短实际距离小于或等于第二预设阈值，证明第一轮廓所对应的质心坐标距离该样本生产设备对应的预设地理坐标足够近，证明目标生产设备所处的位置即为该样本生产设备所处的位置，判断该样本生产设备的名称为目标生产设备的名称，相反，则无法证明目标生产设备所处的位置即为该样本生产设备所处的位置，此时，输出有关于匹配失败、请调整拍摄角度和拍摄位置的语音提示信号，进一步提高了本发明的智能化程度和可用性。
可以理解的是，本发明通过获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓；根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部；向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频。无需用户查阅资料，通过头戴式VR设备即可自行学习对应生产设备的操作视频和生产技能，节约了大量时间成本，很大程度上提高了学习效率，且无需复杂算法建模，很大程度上提高了本发明的智能化程度和可用性，很大程度上拓展了本发明的应用场景。
请参阅图2，本发明提供了另一实施例，本实施例提供了一种基于图像处理的生产技能智能学习系统，所述基于图像处理的生产技能智能学习系统包括：
获取模块100，用于获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；
控制模块200，用于对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓；或用于根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部；或用于向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频。
这里需要说明的是，本发明通过获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓；根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部；向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频。无需用户查阅资料，通过头戴式VR设备即可自行学习对应生产设备的操作视频和生产技能，节约了大量时间成本，且无需复杂算法建模，很大程度上提高了本发明的智能化程度和可用性，很大程度上拓展了本发明的应用场景。
在优选实施例中，本申请还提供了一种电子设备，所述电子设备包括：
存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现所述的基于图像处理的生产技能智能学习方法。该计算机设备可以广义地为服务器、终端，或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中，该计算机设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该计算机设备的处理器可用于提供必要的计算、处理和/或控制能力。该计算机设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。该计算机程序被处理器执行时执行本发明的方法的步骤。
本发明可以实现为一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由处理器执行时导致本发明实施例的方法的步骤被执行。在一个实施例中，所述计算机程序被分布在网络耦合的多个计算机设备或处理器上，以使得所述计算机程序由一个或多个计算机设备或处理器以分布式方式存储、访问和执行。单个方法步骤/操作，或者两个或更多个方法步骤/操作，可以由单个计算机设备或处理器或由两个或更多个计算机设备或处理器执行。一个或多个方法步骤/操作可以由一个或多个计算机设备或处理器执行，并且一个或多个其他方法步骤/操作可以由一个或多个其他计算机设备或处理器执行。一个或多个计算机设备或处理器可以执行单个方法步骤/操作，或执行两个或更多个方法步骤/操作。
本领域普通技术人员可以理解，本发明的方法步骤可以通过计算机程序来指示相关的硬件如计算机设备或处理器完成，所述的计算机程序可存储于非暂时性计算机可读存储介质中，该计算机程序被执行时导致本发明的步骤被执行。根据情况，本文中对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器的示例包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）、闪存、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘等。易失性存储器的示例包括随机存取存储器（RAM）、外部高速缓冲存储器等。
可以理解的是，本发明通过获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓；根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部；向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频。无需用户查阅资料，通过头戴式VR设备即可自行学习对应生产设备的操作视频和生产技能，节约了大量时间成本，很大程度上提高了学习效率，且无需复杂算法建模，很大程度上提高了本发明的智能化程度和可用性，很大程度上拓展了本发明的应用场景。
以上描述的各技术特征可以任意地组合。尽管未对这些技术特征的所有可能组合进行描述，但这些技术特征的任何组合都应当被认为由本说明书涵盖，只要这样的组合不存在矛盾。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (3)
1.一种基于图像处理的生产技能智能学习方法，其特征在于，所述方法包括：
S100、获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓；
S200、根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部；
S300、向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频；
所述提取当前帧图像中，目标生产设备的轮廓，包括：
对当前帧图像进行二值化处理，将当前帧图像转换为只包括黑白两种颜色的图像，以区分当前帧图像中的目标生产设备区域与背景区域，从该二值化处理后的当前帧图像的目标生产设备区域中提取轮廓特征点，根据轮廓特征点拟合得到待匹配目标生产设备的第一轮廓；
所述根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称，包括：
获取预设在控制模块中的各样本生产设备的第二轮廓，计算第一轮廓和第二轮廓的质心坐标，使第一轮廓和第二轮廓的质心重合后，将第一轮廓进行旋转和缩放，使第一轮廓和第二轮廓的各顶点的欧式距离之差最小，依次计算此时，第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据，根据轮廓重合度数据确定目标生产设备的名称；
所述根据轮廓重合度数据确定目标生产设备的名称，包括：
依次判断第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据是否大于或等于第一预设阈值，若第一轮廓与某个样本生产设备的第二轮廓的轮廓重合度数据大于或等于第一预设阈值，判断该样本生产设备的名称为目标生产设备的名称；若第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据均小于第一预设阈值，输出有关于匹配失败、请调整拍摄角度的语音提示信号；
所述根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频，包括：
若用户的交互语音的获取结果为“是”，获取预设在控制模块中的目标生产设备对应的操作视频，并在头戴式VR设备中播放所述操作视频；
若用户的交互语音的获取结果为“否”，则不获取预设在控制模块中的目标生产设备对应的操作视频；
所述将目标生产设备的名称写入目标生产设备对应的轮廓的内部，包括：
通过python的opencv库将目标生产设备的名称写入当前帧图像中，第一轮廓的质心坐标对应的预设位置，所述预设位置为以第一轮廓的质心坐标为所述名称对应的文本框的左上角坐标，插入目标生产设备的名称所对应的文本；
所述方法还包括：
利用设置于头戴式VR设备上的GPS定位系统获取相机的GPS坐标，利用设置于头戴式VR设备上的激光测距系统测量相机距地面的第一高度数据，获取相机的内参数据和云台角度，根据第一轮廓的质心坐标、相机的GPS坐标、第一高度数据、内参数据和云台角度，计算用于指示目标生产设备的地理坐标；获取预设在控制模块中的各样本生产设备对应的预设地理坐标，计算用于指示目标生产设备的地理坐标与各样本生产设备对应的预设地理坐标的实际距离，判断各样本生产设备对应的多个实际距离中，最短实际距离是否小于或等于第二预设阈值，并根据判断结果确定目标生产设备的名称；
所述方法还包括：
若最短实际距离小于或等于第二预设阈值，则最短实际距离对应的样本生产设备的名称为目标生产设备的名称；
若最短实际距离大于第二预设阈值，则输出有关于匹配失败、请调整拍摄角度和拍摄位置的语音提示信号；
所述计算质心坐标的方法为：
根据第一轮廓和第二轮廓分别建立目标搜索框，所述目标搜索框需要包括第一轮廓和第二轮廓的所有轮廓特征点；
对当前帧图像进行灰度处理，根据原始当前帧图像灰度值的均值和标准差对所述原始当前帧图像的灰度值做分段线性变化，得到当前帧图像的8比特单通道图像的各点的灰度值，根据当前帧图像的8比特单通道图像的各点的灰度值计算得到质心坐标；
具体的，所述根据第一轮廓的质心坐标、相机的GPS坐标、第一高度数据、内参数据和云台角度，计算用于指示目标生产设备的地理坐标，包括：
根据第一高度、内参数据和云台角度，计算当前帧图像包含的四个顶点和中心点的像素坐标和地理坐标，根据所述四个顶点和中心点的地理坐标和像素坐标，计算地理坐标和像素坐标转换的单应性矩阵，根据第一轮廓的质心坐标和单应性矩阵，计算用于指示目标生产设备的地理坐标。
2.一种基于图像处理的生产技能智能学习系统，其特征在于，采用权利要求1所述的基于图像处理的生产技能智能学习方法，包括：
获取模块，用于获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像；
控制模块，用于对当前帧图像进行处理，提取当前帧图像中，目标生产设备的轮廓；或用于根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称；将目标生产设备的名称写入目标生产设备对应的轮廓的内部；或用于向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号，获取用户的交互语音，根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频，并判断是否在头戴式VR设备中播放所述操作视频。
3.一种电子设备，其特征在于，包括：
存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1所述的基于图像处理的生产技能智能学习方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410244508.XA CN117827013B (zh) | 2024-03-05 | 2024-03-05 | 基于图像处理的生产技能智能学习方法及系统、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410244508.XA CN117827013B (zh) | 2024-03-05 | 2024-03-05 | 基于图像处理的生产技能智能学习方法及系统、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117827013A CN117827013A (zh) | 2024-04-05 |
| CN117827013B true CN117827013B (zh) | 2024-05-14 |
Family
ID=90515563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410244508.XA Active CN117827013B (zh) | 2024-03-05 | 2024-03-05 | 基于图像处理的生产技能智能学习方法及系统、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117827013B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970568A (zh) * | 2020-08-31 | 2020-11-20 | 上海松鼠课堂人工智能科技有限公司 | 交互式视频播放的方法和系统 |
| CN114625251A (zh) * | 2022-03-11 | 2022-06-14 | 平安普惠企业管理有限公司 | 基于vr的交互方法、装置、计算机设备及存储介质 |
| CN116009529A (zh) * | 2022-11-11 | 2023-04-25 | 青岛杰瑞自动化有限公司 | 一种石油勘探区巡逻机器人控制方法及系统、电子设备 |
| CN116012732A (zh) * | 2022-12-08 | 2023-04-25 | 亿咖通(湖北)技术有限公司 | 一种视频生成方法、装置、设备和存储介质 |
| CN116744065A (zh) * | 2023-05-04 | 2023-09-12 | 维沃移动通信有限公司 | 视频播放方法、装置 |
| WO2023207759A1 (zh) * | 2022-04-25 | 2023-11-02 | 漳州松霖智能家居有限公司 | 一种用户姿态检测方法、智能垫子系统及相关设备 |
| CN117336457A (zh) * | 2023-10-17 | 2024-01-02 | 深圳市惠浦众嘉科技有限公司 | 一种人屏互动的智能多功能led显示屏及其实现方法 |
| CN117496984A (zh) * | 2023-05-05 | 2024-02-02 | 马上消费金融股份有限公司 | 目标对象的交互方法、装置、设备及可读存储介质 |
| CN117576778A (zh) * | 2023-10-27 | 2024-02-20 | 青岛鹏海软件有限公司 | 基于视频流的厂区异常行为监测方法及系统、电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2996017B1 (en) * | 2014-09-11 | 2022-05-11 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display |
| CN112927259A (zh) * | 2021-02-18 | 2021-06-08 | 青岛小鸟看看科技有限公司 | 基于多相机的裸手追踪显示方法、装置及系统 |
-
2024
- 2024-03-05 CN CN202410244508.XA patent/CN117827013B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970568A (zh) * | 2020-08-31 | 2020-11-20 | 上海松鼠课堂人工智能科技有限公司 | 交互式视频播放的方法和系统 |
| CN114625251A (zh) * | 2022-03-11 | 2022-06-14 | 平安普惠企业管理有限公司 | 基于vr的交互方法、装置、计算机设备及存储介质 |
| WO2023207759A1 (zh) * | 2022-04-25 | 2023-11-02 | 漳州松霖智能家居有限公司 | 一种用户姿态检测方法、智能垫子系统及相关设备 |
| CN116009529A (zh) * | 2022-11-11 | 2023-04-25 | 青岛杰瑞自动化有限公司 | 一种石油勘探区巡逻机器人控制方法及系统、电子设备 |
| CN116012732A (zh) * | 2022-12-08 | 2023-04-25 | 亿咖通(湖北)技术有限公司 | 一种视频生成方法、装置、设备和存储介质 |
| CN116744065A (zh) * | 2023-05-04 | 2023-09-12 | 维沃移动通信有限公司 | 视频播放方法、装置 |
| CN117496984A (zh) * | 2023-05-05 | 2024-02-02 | 马上消费金融股份有限公司 | 目标对象的交互方法、装置、设备及可读存储介质 |
| CN117336457A (zh) * | 2023-10-17 | 2024-01-02 | 深圳市惠浦众嘉科技有限公司 | 一种人屏互动的智能多功能led显示屏及其实现方法 |
| CN117576778A (zh) * | 2023-10-27 | 2024-02-20 | 青岛鹏海软件有限公司 | 基于视频流的厂区异常行为监测方法及系统、电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| InteractiveDisplay: A computer-vision-based solution to retrofit existing flat displays into interactive surfaces;Lahiru L. Priyadarshana；Kulari De Silva Lokuge;《 2011 IEEE Symposium on Computers & Informatics (ISCI)》;20110811;第622-627页 * |
| 基于树莓派的穿戴式智能眼镜系统设计与实现;李旭东;陆朝铨;桂彦;张建明;;软件;20160815(08);第45-48页 * |
| 民航航班跟踪视频关键帧提取方法研究;宁煜西;周铭;李广强;王宁;;空军预警学院学报;20180615(03);第52-57页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117827013A (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110645986B (zh) | 定位方法及装置、终端、存储介质 | |
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| CN111179358A (zh) | 标定方法、装置、设备及存储介质 | |
| CN112150548B (zh) | 定位方法及装置、终端、存储介质 | |
| US10839599B2 (en) | Method and device for three-dimensional modeling | |
| CN112541484B (zh) | 人脸抠图方法、系统、电子装置及存储介质 | |
| CN111815715B (zh) | 变焦云台摄像机的标定方法、装置及存储介质 | |
| CN110634138A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
| CN112991429B (zh) | 箱体体积测量方法、装置、计算机设备和存储介质 | |
| CN117827013B (zh) | 基于图像处理的生产技能智能学习方法及系统、电子设备 | |
| US20210183082A1 (en) | Image registration method, apparatus, computer system, and mobile device | |
| CN113298867A (zh) | 基于线匹配的地物目标位置精准定位方法、装置及存储介质 | |
| CN110880003B (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
| CN112907657A (zh) | 一种机器人重定位方法、装置、设备及存储介质 | |
| CN114913246B (zh) | 相机标定方法、装置、电子设备及存储介质 | |
| CN117253022A (zh) | 一种对象识别方法、装置及查验设备 | |
| CN113297344B (zh) | 基于三维遥感图像的地性线匹配方法、装置及地物目标位置定位方法 | |
| CN115797291A (zh) | 回路端子的识别方法、装置、计算机设备和存储介质 | |
| CN115883969A (zh) | 一种无人机拍摄方法、装置、设备及介质 | |
| CN110196638B (zh) | 基于目标检测和空间投影的移动端增强现实方法和系统 | |
| CN115311336A (zh) | 多相机的图像配准方法、装置、设备及存储介质 | |
| CN117057086B (zh) | 基于目标识别与模型匹配的三维重建方法、装置及设备 | |
| US20240221200A1 (en) | Method for identifying depths of images and related device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |