CN112149640A - 一种确定目标对象位置的方法、装置、计算机设备和介质 - Google Patents
一种确定目标对象位置的方法、装置、计算机设备和介质 Download PDFInfo
- Publication number
- CN112149640A CN112149640A CN202011150444.5A CN202011150444A CN112149640A CN 112149640 A CN112149640 A CN 112149640A CN 202011150444 A CN202011150444 A CN 202011150444A CN 112149640 A CN112149640 A CN 112149640A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- virtual position
- target image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种确定目标对象位置的方法、装置、计算机设备和介质,方法包括:针对每组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定目标对象在第一帧目标图像中的第一候选虚拟位置;根据预先训练好的第二检测模型和第一候选虚拟位置,确定目标对象在第一帧目标图像中的第一虚拟位置;根据第一虚拟位置,确定目标对象的第一实际位置;针对每组目标图像中的第二帧目标图像,根据第一虚拟位置和预先训练好的预测模型,确定目标对象在第二帧目标图像中的第二候选虚拟位置;根据第二候选虚拟位置和第二帧目标图像,确定目标对象在第二帧目标图像中的第二虚拟位置;根据第二虚拟位置,确定目标对象的第二实际位置。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种确定目标对象位置的方法、装置、计算机设备和介质。
背景技术
随着社会经济的快速发展,人们的生活水平不断提高。车辆成为了人们出行最便捷的交通工具,自动驾驶也逐渐应用在了人们的生活中;人们对自己的人身安全逐渐的重视,能够为人身安全提供帮助的智能安防也逐渐的应用在了人们的生活中。无论是自动驾驶,还是智能安防,都需要实现确定目标对象位置功能。
确定目标对象位置的方法基本上都是对获取到的图像进行目标对象识别,现阶段的确定目标对象位置的方法一般是采用计算复杂度较大的深度学习模型来实现,计算复杂度较大的深度学习模型需要通过性能较高的设备执行,边缘计算终端通常受限于功耗、成本,算力较小,无法直接应用计算密集的深度神经网络模型。边缘计算终端应用深度网络模型,需要对模型进行压缩、剪枝、量化,但这些操作都会导致模型性能降低。
发明内容
有鉴于此,本申请的目的在于提供一种确定目标对象位置的方法、装置、计算机设备和介质,能够提高现有技术中应用在边缘计算终端中的确定目标对象位置的方法的准确性。
第一方面,本申请实施例提供了一种确定目标对象位置的方法,应用在终端设备,所述方法包括:
获取监测视频中的多组目标图像,每一组目标图像中包括连续的至少两帧目标图像;
针对每组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置;根据预先训练好的第二检测模型和所述第一候选虚拟位置,确定所述目标对象在所述第一帧目标图像中的第一虚拟位置;根据所述第一虚拟位置,确定所述目标对象的第一实际位置;
针对每组目标图像中的第二帧目标图像,根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置;根据所述第二候选虚拟位置和所述第二帧目标图像,确定所述目标对象在所述第二帧目标图像中的第二虚拟位置;根据所述第二虚拟位置,确定所述目标对象的第二实际位置。
可选的,当每一组目标图像中包括连续的至少三帧目标图像时,所述方法还包括:
将每组目标图像中的第三帧目标图像作为新的第二帧目标图像,将所述第二虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤,直至得到该组目标图像中除第一帧图像和第二帧图像之外的各帧目标图像对应的新的第二虚拟位置和该组目标图像中各帧目标图像对应的新的第二实际位置。
可选的,所述方法还包括:
针对第二组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置;根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况、所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;根据所述第三虚拟位置,确定所述目标对象的第三实际位置;
针对第二组目标图像中的第二帧目标图像,将所述第三虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤。
可选的,根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况和所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置,包括:
若第一组目标图像中的最后一帧目标图像中存在目标对象,在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第一组目标图像中的最后一帧目标图像中的第二候选虚拟位置确定第四目标图像;
在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置确定第三目标图像;
若所述第三目标图像与所述第四目标图像之间面积的交并比值小于预设阈值,则根据所述第四目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;
若所述第三目标图像与所述第四目标图像之间面积的交并比值大于等于预设阈值,则根据所述第三目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置。
可选的,当多组目标图像中包括连续的至少三组目标图像时,所述方法还包括:
将第三组目标图像作为新的第二组目标图像,将第三组目标图像中的第一帧目标图像作为新的第二组目标图像中的第一帧目标图像,返回根据预先训练好的第一检测模型,确定所述目标对象在新的第二组目标图像中的第一帧目标图像中的第三候选虚拟位置的步骤,直至得到所述监测视频中最后一帧图像对应的新的第二实际位置。
可选的,所述根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置,包括:
根据所述第一帧目标图像和第一检测模型,确定各个对象在所述第一帧目标图像中的各个候选虚拟位置以及各个对象在各个候选虚拟位置的分类概率;
基于各个候选虚拟位置的分类概率,确定所述目标对象在所述第一帧图像中的第一候选虚拟位置。
可选的,所述基于各个候选虚拟位置的分类概率,确定所述目标对象在所述第一帧图像中的第一候选虚拟位置,包括:
基于各个候选虚拟位置的分类概率,得到所述第一帧图像中的多个候选目标对象;
根据所述多个候选目标对象在所述第一帧图像中的各个候选虚拟位置,确定所述目标对象在所述第一帧图像中的所述第一候选虚拟位置。
可选的,所述根据预先训练好的第二检测模型和所述第一候选虚拟位置,确定所述目标对象在所述第一帧目标图像中的第一虚拟位置,包括:
从所述第一帧图像中,确定所述第一候选虚拟位置对应的第一目标图像;
将所述第一目标图像输入到预先训练好的第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第一目标图像中的第一目标虚拟位置;
根据所述目标对象在所述第一目标图像中的第一目标虚拟位置以及所述第一目标图像在所述第一帧图像中的第一候选虚拟位置,确定所述目标对象的第一虚拟位置。
可选的,所述方法还包括:
将所述第一目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第一目标图像中的第一目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二帧目标图像作为重新分组后的第一组目标图像中的新的第一帧目标图像,并返回根据预先训练好的第一检测模型,确定目标对象在新的第一帧目标图像中的第一候选虚拟位置的步骤。
可选的,所述根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置,包括:
将所述第一虚拟位置输入到预先训练好的预测模型中,得到所述预测模型输出的所述目标对象在所述第二帧目标图像中的第二候选虚拟位置。
可选的,所述根据所述第二候选虚拟位置和所述第二帧目标图像,确定所述目标对象在所述第二帧目标图像中的第二虚拟位置,包括:
从所述第二帧图像中,确定所述第二候选虚拟位置对应的第二目标图像;
将所述第二目标图像输入到所述第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第二目标图像中的第二目标虚拟位置;
根据所述目标对象在所述第二目标图像中的第二目标虚拟位置以及所述第二目标图像在所述第二帧图像的第二候选虚拟位置,确定所述目标对象的第二虚拟位置。
可选的,所述方法还包括:
将所述第二目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第二目标图像中的第二目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二目标图像所对应第二帧目标图像作为重新分组后的第一组目标图像中新的第一帧目标图像,并返回根据预先训练好的第一检测模型,确定目标对象在新的第一帧目标图像中的第一候选虚拟位置的步骤。
第二方面,本申请实施例提供了一种目标对象的跟踪方法,包括:
根据获取到的监测视频计算出现在所述监测视频中的目标对象的实际位置;所述实际位置是通过如上述方法计算得到的;
根据所述目标对象的实际位置对所述目标对象进行跟踪。
第三方面,本申请实施例提供了一种确定目标对象位置的装置,应用在终端设备,所述装置包括:
获取模块,用于获取监测视频中的多组目标图像,每一组目标图像中包括连续的至少两帧目标图像;
第一实际位置确定模块,用于针对每组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置;根据预先训练好的第二检测模型和所述第一候选虚拟位置,确定所述目标对象在所述第一帧目标图像中的第一虚拟位置;根据所述第一虚拟位置,确定所述目标对象的第一实际位置;
第二实际位置确定模块,用于针对每组目标图像中的第二帧目标图像,根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置;根据所述第二候选虚拟位置和所述第二帧目标图像,确定所述目标对象在所述第二帧目标图像中的第二虚拟位置;根据所述第二虚拟位置,确定所述目标对象的第二实际位置。
可选的,所述装置还包括:
新第二实际位置确定模块,用于将每组目标图像中的第三帧目标图像作为新的第二帧目标图像,将所述第二虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤,直至得到该组目标图像中除第一帧图像和第二帧图像之外的各帧目标图像对应的新的第二虚拟位置和该组目标图像中各帧目标图像对应的新的第二实际位置。
可选的,所述装置还包括:
第三实际位置确定模块,用于针对第二组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置;根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况、所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;根据所述第三虚拟位置,确定所述目标对象的第三实际位置;
第一返回模块,用于针对第二组目标图像中的第二帧目标图像,将所述第三虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤。
可选的,第三实际位置确定模块,包括:
第四目标图像确定单元,用于若第一组目标图像中的最后一帧目标图像中存在目标对象,在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第一组目标图像中的最后一帧目标图像中的第二候选虚拟位置确定第四目标图像;
第三目标图像确定单元,用于在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置确定第三目标图像;
第一确定单元,用于若所述第三目标图像与所述第四目标图像之间面积的交并比值小于预设阈值,则根据所述第四目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;
第二确定单元,用于若所述第三目标图像与所述第四目标图像之间面积的交并比值大于等于预设阈值,则根据所述第三目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置。
可选的,所述装置还包括:
第二返回模块,用于将第三组目标图像作为新的第二组目标图像,将第三组目标图像中的第一帧目标图像作为新的第二组目标图像中的第一帧目标图像,返回根据预先训练好的第一检测模型,确定所述目标对象在新的第二组目标图像中的第一帧目标图像中的第三候选虚拟位置的步骤,直至得到所述监测视频中最后一帧图像对应的新的第二实际位置。
可选的,所述第一实际位置确定模块,包括:
第一计算单元,用于根据所述第一帧目标图像和第一检测模型,确定各个对象在所述第一帧目标图像中的各个候选虚拟位置以及各个对象在各个候选虚拟位置的分类概率;
第二确定单元,用于基于各个候选虚拟位置的分类概率,确定所述目标对象在所述第一帧图像中的第一候选虚拟位置。
可选的,所述第二确定单元,包括:
第一就按子单元,用于基于各个候选虚拟位置的分类概率,得到所述第一帧图像中的多个候选目标对象;
第一确定子单元,用于根据所述多个候选目标对象在所述第一帧图像中的各个候选虚拟位置,确定所述目标对象在所述第一帧图像中的所述第一候选虚拟位置。
可选的,第一实际位置确定模块,包括:
第二计算单元,用于从所述第一帧图像中,确定所述第一候选虚拟位置对应的第一目标图像;
第三计算单元,用于将所述第一目标图像输入到预先训练好的第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第一目标图像中的第一目标虚拟位置;
第四计算单元,用于根据所述目标对象在所述第一目标图像中的第一目标虚拟位置以及所述第一目标图像在所述第一帧图像中的第一候选虚拟位置,确定所述目标对象的第一虚拟位置。
可选的,所述装置还包括:
第三返回模块,用于将所述第一目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第一目标图像中的第一目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二帧目标图像作为重新分组后的第一组目标图像中新的第一帧目标图像,并返回根据预先训练好的第一检测模型,确定目标对象在新的第一帧目标图像中的第一候选虚拟位置的步骤。
可选的,所述第二实际位置确定模块,包括:
第五计算单元,用于将所述第一虚拟位置输入到预先训练好的预测模型中,得到所述预测模型输出的所述目标对象在所述第二帧目标图像中的第二候选虚拟位置。
可选的,第二实际位置确定模块,包括:
第六计算单元,用于从所述第二帧图像中,确定所述第二候选虚拟位置对应的第二目标图像;
第七计算单元,用于将所述第二目标图像输入到所述第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第二目标图像中的第二目标虚拟位置;
第八计算单元,用于根据所述目标对象在所述第二目标图像中的第二目标虚拟位置以及所述第二目标图像在所述第二帧图像的第二候选虚拟位置,确定所述目标对象的第二虚拟位置。
可选的,所述装置还包括:
第四返回模块,用于将所述第二目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第二目标图像中的第二目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二目标图像所对应第二帧目标图像作为重新分组后的第一组目标图像中新的第一帧目标图像,并返回根据预先训练好的第一检测模型,确定目标对象在新的第一帧目标图像中的第一候选虚拟位置的步骤。
第四方面,本申请实施例提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如所述方法的步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如所述方法的步骤。
本申请实施例提供的确定跟踪对象位置的方法,首先,获取监测视频中的多组目标图像,每一组目标图像中包括连续的至少两帧目标图像;然后,针对每组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置;根据预先训练好的第二检测模型和所述第一候选虚拟位置,确定所述目标对象在所述第一帧目标图像中的第一虚拟位置;根据所述第一虚拟位置,确定所述目标对象的第一实际位置;最后,针对每组目标图像中的第二帧目标图像,根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置;根据所述第二候选虚拟位置和所述第二帧目标图像,确定所述目标对象在所述第二帧目标图像中的第二虚拟位置;根据所述第二虚拟位置,确定所述目标对象的第二实际位置。
在某些实施例中,对一组目标图像中的第一帧目标图像采用第一预测模型和第二预测模型来计算目标对象在第一帧目标图像中的位置,而不是用一个大型的深度学习模型来计算,这样就降低了整个方法的计算密度,提高了计算效率。在第二帧图像中采用的是预测的方式来确定第二实际位置,并没有再次用到第一检测模型,也降低了整个算法的计算复杂度,进而提高了整个方法在应用过程中的计算效率。当然本申请所提供的方法本身的计算复杂度较小,可以应用于算力较小的终端设备中,不仅限于算力较大的设备中,相当于扩大了确定目标对象位置的方法的应用范围。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种确定目标对象位置的方法的流程图;
图2示出了本申请实施例提供的一种服务系统的架构示意图;
图3示出了本申请实施例提供的一种确定目标对象位置的装置的结构示意图;
图4示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕确定跟踪对象位置进行描述,但是应该理解,这仅是一个示例性实施例。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
在现有技术中,确定目标对象位置的方式一般是通过深度学习模型来实现的,执行深度学习模型的终端设备基本上是算力较大的终端设备,但是一般算力较大的终端设备所对应的成本、体积和功耗也是较大的,这样算力较大的终端设备是不适合应用于边缘计算终端所处的环境。而随着社会经济的快速发展,自动驾驶、智能安防等功能也不断的应用在了人们的生活中,如果人们通过算力较大的终端设备来实现智能安防、自动驾驶等功能,受到功耗、体积和成本的影响,会给人们的生活带来一定的麻烦;如果为了方便人们的生活,将自动驾驶、智能安防等功能应用在边缘计算终端,也会因为边缘计算终端本身算力较小的缘故,导致计算结果不准确。
基于上述缺陷,为了将自动驾驶、智能安防等功能大范围的应用在人们的生活中,需要通过边缘计算终端来实现自动驾驶、智能安防等功能,因此,本申请提供了一种确定目标对象位置的方法,该方法可以应用于终端设备,如图1所示,包括:
S101,获取监测视频中的多组目标图像,每一组目标图像中包括连续的至少两帧目标图像;
S102,针对每组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置;根据预先训练好的第二检测模型和所述第一候选虚拟位置,确定所述目标对象在所述第一帧目标图像中的第一虚拟位置;根据所述第一虚拟位置,确定所述目标对象的第一实际位置;
S103,针对每组目标图像中的第二帧目标图像,根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置;根据所述第二候选虚拟位置和所述第二帧目标图像,确定所述目标对象在所述第二帧目标图像中的第二虚拟位置;根据所述第二虚拟位置,确定所述目标对象的第二实际位置。
在上述方法S101中,监测视频指的是通过终端设备所获取到的视频,也就是,能够用于确定跟踪对象位置的视频。在监测视频中可以包括多帧图像,即监测视频中包括至少两帧图像。因为监测视频中的图像可以包括多帧,因此,可以监测视频分为多组目标图像,每一组目标图像中包括连续的至少两帧目标图像。终端设备指的是成本低、体积小、功耗小的设备,是一种计算力较小的终端,也就是,边缘计算终端,终端设备可以是手机、车载设备、监控摄像头等。
在上述步骤S102中,每一组目标图像中的各帧图像均是连续的。第一检测模型是一种算力较小的深度网络模型,可以应用于边缘计算终端,优选的,第一检测模型可以是ShuffleNetV2-SSD模型。第一候选虚拟位置指的是能够覆盖目标对象的矩形区域。第二检测模型用于确定出目标对象在第二帧图像中的第一虚拟位置,第一虚拟位置指的是目标对象的边缘区域所对应的矩形位置。第二检测模型是一种算力较小的深度网络模型,可以应用于终端设备,优选的,第二检测模型可以是调整后的ShuffleNet模型、MobileNet模型、Resnet模型。第二检测模型能够在较小分辨率的图片上准确的确定出目标对象的边缘位置。第一实际位置指的是目标对象在实际场景中的地理位置,比如,相机坐标系下目标物体的三维坐标、经纬度坐标等。
具体实施时,在每一组目标图像中的第一帧目标图像,通过预先训练好的第一检测模型在第一帧目标图像中确定出目标对象的粗略位置,也就是第一候选虚拟位置,然后通过第一候选虚拟位置在第一帧目标图像中所对应的图像区域和预先设置好的第二检测模型,就可以计算出目标对象在第一帧目标图像中的精确位置,也就是,第一虚拟位置,最后通过第一虚拟位置就可以计算出目标对象的第一实际位置。本申请中通过两个轻量级的检测模型就可以计算出目标对象在实际场景中的精确位置,这种算法不需要较大的计算量,这样这个算法也就可以应用在终端设备中。这种确定第一实际位置的方法,不需要要求终端设备有较大的计算性能,提高了本方案的应用范围。
在上述步骤S103中,预先训练好的预测模型用于通过上一帧图像中目标对象的位置来预测下一帧图像中目标对象的位置。预测模型以是卡尔曼滤波器,本申请中位置预测模型用到了四个卡尔曼滤波器。本申请中第一虚拟位置是一个矩形区域,可以通过矩形区域的四个顶点坐标来表示第一虚拟位置。本申请中预测模型用到了四个卡尔曼滤波器。将第一虚拟位置的四个顶点坐标分别输入到对应的卡尔曼滤波器,就可以推测出第一虚拟位置在下一帧中对应的位置,也就是,第二候选虚拟位置。利用第二候选虚拟位置可以在第二帧目标图像中确定出目标对象的第二实际位置。在第二帧图像中仅用了预测模型来预测目标对象在第二帧目标图像中的位置,不需要再使用第一检测模型,因为预测模型本身的算力是远小于第一检测模型的,这样相当于在计算第二实际位置的时候,节约了功耗。
在本申请提供的三个步骤中,对一组目标图像中的第一帧目标图像采用第一预测模型和第二预测模型来计算目标对象在第一帧目标图像中的位置,而不是用一个大型的深度学习模型来计算,这样就降低了整个方法的算力,提高了计算效率。在第二帧图像中采用的是预测的方式来确定第二实际位置,并没有再次用到第一检测模型,也降低了整个算法的算力,进而提高了整个方法在应用过程中的计算效率。当然本申请所提供的方法本身的算力较小,可以应用于算力较小的终端设备中,不仅限于算力较大的设备中,相当于扩大了确定目标对象位置的应用范围。
一组目标图像中可以包括至少两帧目标图像,也就是,一组图像中可以包括两帧以上的目标图像,在一组目标图像中包括连续的至少三帧目标图像时,本申请所提供的方法还包括:
步骤104,将每组目标图像中的第三帧目标图像作为新的第二帧目标图像,将所述第二虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤,直至得到该组目标图像中除第一帧图像和第二帧图像之外的各帧目标图像对应的新的第二虚拟位置和该组目标图像中各帧目标图像对应的新的第二实际位置。
在步骤104中,目标图像中的第三帧目标图像可以直接替换成新的第二帧目标图像,并将之前的第二帧目标图像中的第二虚拟位置作为一个新的第一虚拟位置,并执行步骤S103中的根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤,这样,就可以计算出第三帧目标图像中目标对象所对应的新的第二实际位置。当然,如果该组图像还有第四帧、第五帧图像,也可以按照第三帧的执行方式计算对应的新的第二实际位置,也就是,通过步骤104可以计算出该组图像中除了第一帧目标图像和第二帧目标图像之外的其他各帧图像所对应的新的第二实际位置。
在本申请的一组目标图像中,除了第一帧目标图像用到了第一检测模型之外,其他帧目标图像都不需要用到第一检测模型,这样可以减少第一检测模型所对应的消耗,提高了计算效率。
因为监测视频中可能会有多组图像,只有第一组目标图像之前是没有上一帧目标图像的,因此,也就没有了目标图像的检测结果,但是除了第一组目标图像之外的其他组目标图像均是有上一帧目标图像的检测结果的,因此,本申请所提供的方法,还包括:
步骤105,针对第二组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置;根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况、所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;根据所述第三虚拟位置,确定所述目标对象的第三实际位置;
步骤106,针对第二组目标图像中的第二帧目标图像,将所述第三虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤,直至得到该组目标图像中除第一帧图像和第二帧图像之外的各帧目标图像对应的新的第二虚拟位置和该组目标图像中各帧目标图像对应的新的第二实际位置。
在上述步骤105中,第三候选虚拟位置指的是通过第一检测模型在第一帧目标图像中确定出的第三候选虚拟位置,第三虚拟位置指的是目标对象的边缘区域所对应的矩形位置。
具体实施时,通过第一检测模型在第二组目标图像中的第一帧目标图像中确定出第三候选虚拟位置。第一检测模型是一个精度较低的模型,所以确定出的第三候选虚拟位置可能是不准确的,如果上一帧目标图像中有目标对象的检测结果(也就是,第一组目标图像中的最后一帧目标图像中目标对象的存在情况)的话,可以利用第一组目标图像中的最后一帧目标图像中目标对象的存在情况和通过第一检测模型在第二组目标图像中的第一帧目标图像中确定出第三候选虚拟位置,然后通过第二检测模型和第三候选虚拟位置来确定第三虚拟位置,进而通过第三虚拟位置来确定目标对象的第三实际位置。
在上述步骤106中,针对第二组目标图像中的第二帧目标图像的处理过程是与第一组目标图像中第二帧目标图像的处理过程是一样的,所以,可以直接返回步骤S103中的根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤,进而计算得到第二组目标图像中的第二帧目标图像中目标对象所对应的新的第二实际位置。
针对第二组目标图像的第一帧目标图像,该目标图像中会有多个候选目标对象,但并不是所有的候选目标对象都可以作为目标对象,所以需要对候选目标对象进行筛选,在上述步骤105中,根据预先训练好的第一检测模型,确定所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置,包括:
步骤1051,所述根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况和预先训练好的第一检测模型,确定所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置。
具体的,步骤1051,包括:
步骤10511,根据根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况确定分类概率阈值;
步骤10512,根据所述第二组目标图像中的第一帧目标图像和第一检测模型,确定各个对象在所述第二组目标图像中的第一帧目标图像中的各个候选虚拟位置以及各个对象在各个候选虚拟位置的分类概率;
步骤10513,基于各个候选虚拟位置的分类概率和所述分类概率阈值,确定所述目标对象在所述所述第二组目标图像中的第一帧目标图像中的第一候选虚拟位置。
在上述步骤10511中,分类概率阈值是用来对候选目标对象进行筛选的阈值,通过分类概率阈值筛选出来的是能够成为目标对象的概率较大的候选目标对象。不同的目标对象的存在情况对应不同的筛选概率阈值,具体的,包括:
若所述目标对象的存在情况中存在所述目标对象,确定第一分类概率阈值;
若所述目标对象的存在情况中未存在所述目标对象,确定第二筛选分类概率阈值。
第一分类概率阈值大于第二分类概率阈值。例如,第一分类概率阈值为0.6,第二分类概率阈值为0.4。
如果目标对象的存在情况中存在目标对象,说明在上一目标帧图像中可能是存在目标对象的,为了提高确定目标对象的准确率,需要用较高的分类概率阈值对候选目标对象进行筛选,因此确定分类概率阈值为第一分类概率阈值。如果目标对象的存在情况中不存在目标对象,说明在上一目标帧图像中可能不存在目标对象,为了能够确定出目标对象,需要用较低的分类概率阈值对候选目标对象进行筛选,尽可能的在当前帧目标图像中筛选出候选目标对象,因此,确定分类概率阈值为第二分类概率阈值。
在上述步骤10512中,将第二组目标图像中的第一帧目标图像输入到第一检测模型中,第一检测模型可以输出第二组目标图像中的第一帧目标图像所有候选目标对象所对应的分类概率。
在上述步骤10513中,通过分类概率阈值对候选目标对象进行筛选,将大于分类概率阈值的候选目标对象筛选出来,用分类概率阈值对候选目标对象进行筛选,可以大大的减少输入至第二检测模型中的第一候选虚拟位置的数量,进而,可以提高后续步骤的计算效率。
当然,通过分类概率阈值进行筛选得到的可能是一个第一候选虚拟位置,也可能是多个第一候选虚拟位置,如果是多个第一候选虚拟位置时,为了提高确定目标对象的准确度,可以通过以下方式确定目标对象所对应的第一候选虚拟位置,包括:
计算每一个第一候选虚拟位置所对应的中心位置与第二组目标图像中的第一帧目标图像的中心位置之间的距离;
根据每一个第一候选虚拟位置所对应的中心位置与第二组目标图像中的第一帧目标图像的中心位置之间的距离,在多个候选目标对象中确定出目标对象。
具体实施中,可以将距离第二组目标图像中的第一帧目标图像的中心位置最近的一个第一候选虚拟位置确定为目标对象的第一候选虚拟位置,当然也可以选择最近的几个(比如,3个)第一候选虚拟位置确定为目标对象的第一候选虚拟位置。
在上述步骤106中,每一组目标图像都会有第二帧目标图像,或者还会有第三帧、第四帧等,因此,这对每一组目标图像的第二帧目标图像可以作为一个新的第二帧目标图像,将所述第三虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤。以得到第二帧目标图像的第二实际位置,然后将第三帧目标图像之后的其他帧目标图像(包括第三帧目标图像)均作为新的第二帧目标图像,返回执行步骤根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤,这样就可以得到每一帧目标图像所对应的第二实际位置。
在处理第二组目标图像中的第一帧目标图像时,还需要考虑到根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况,因此,步骤105,包括:
步骤1052,若第一组目标图像中的最后一帧目标图像中存在目标对象,在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第一组目标图像中的最后一帧目标图像中的第二候选虚拟位置确定第四目标图像;
步骤1053,在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置确定第三目标图像;
步骤1054,若所述第三目标图像与所述第四目标图像之间面积的交并比值小于预设阈值,则根据所述第四目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;
步骤1055,若所述第三目标图像与所述第四目标图像之间面积的交并比值大于等于预设阈值,则根据所述第三目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置。
在上述步骤1052中,根据目标对象在所述第一组目标图像中的最后一帧目标图像中的第二候选虚拟位置,在第二组目标图像中的第一帧目标图像中截取对应的图像,得到第四目标图像。
在上述步骤1053中,在第二组目标图像中的第一帧目标图像中根据第三候选虚拟位置截取出第三目标图像。
在上述步骤1054中,将第三目标图像所对应的图像区域与第四目标图像所对应的图像区域的交集区域所对应的面积作为第一面积,将第三目标图像所对应的图像区域与第四目标图像所对应的图像区域的并集区域所对应的面积作为第二面积,第三目标图像与所述第四目标图像之间面积的交并比值指的是第一面积与第二面积之间的比值。
因为第一检测模型的误差较大,进而确定出来的第二候选虚拟位置准确率较低,因此,为了提高确定目标对象的位置的准确性,可以直接用上一帧目标图像所对应的预测结果作为当前帧目标图像的第三候选虚拟位置,上一帧目标图像所对应的预测结果是通过上一帧目标图像的精确结果预测出来的,所以相对更准确一些。如果交并比值小于预设阈值,则说明第三目标图像与第四目标图像之间相差较大,就需要用到上一帧目标图像所对应的预测结果作为第二检测模型的输入,然后通过上一帧目标图像的第二候选虚拟位置和第二检测模型来计算目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置。
在上述步骤1055中,如果交并比值大于等于预设阈值,则说明第三目标图像与第四目标图像之间相差较小,可以直接用当前帧目标图像中的第三候选虚拟位置和第二检测模型来计算目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置。
监测视频中包括多组目标图像,除了第二组之外,还有第三组。第四组等,因此,在第三组之后的每组目标图像,可以通过一下步骤得到实际位置,包括:
步骤107,将第三组目标图像作为新的第二组目标图像,将第三组目标图像中的第一帧目标图像作为新的第二组目标图像中的第一帧目标图像,返回根据预先训练好的第一检测模型,确定所述目标对象在新的第二组目标图像中的第一帧目标图像中的第三候选虚拟位置的步骤,直至得到所述监测视频中最后一帧图像对应的新的第二实际位置。
在上述步骤107中,相当于将第三组目标图像作为一个新的第二组目标图像,重新执行第二组目标图像所对应的计算实际位置的步骤,也就是,将第三组目标图像中的第一帧目标图像作为新的第二组目标图像中的第一帧目标图像,返回根据预先训练好的第一检测模型,确定所述目标对象在新的第二组目标图像中的第一帧目标图像中的第三候选虚拟位置的步骤。只有在监测视频中的最后一帧目标图像得到目标对象的实际位置后,本方案执行结束。
第一候选虚拟位置也是通过分类概率确定的,也就是步骤S102中,所述根据第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置,包括:
步骤1021,根据所述第一帧目标图像和第一检测模型,确定各个对象在所述第一帧图像中的各个候选虚拟位置以及各个对象在各个候选虚拟位置的分类概率;
步骤1022,基于各个候选虚拟位置的分类概率,确定所述目标对象在所述第一帧图像中的第一候选虚拟位置。
在上述步骤1021中,将第一帧目标图像输入到第一检测模型后,第一检测模型会输出第一帧目标图像中每一个候选目标对象所对应的候选虚拟位置,并且也会输出每一个候选目标对象所对应的分类概率,因此,每一个候选虚拟位置也就有了对应的分类概率。
在上述步骤1022中,根据分类概率确定第一候选虚拟位置,可以是将分类概率最大值对应的候选虚拟位置确定为第一候选虚拟位置,也可以通过分类概率阈值进行筛选,因为第一组目标图像的第一帧目标图像之前是没有目标图像的,所以步骤1022中的分类概率阈值可以用上文中所提到的第二分类概率阈值。
如果通过分类概率阈值筛选第一候选虚拟位置时,可能会得到多个第一候选虚拟位置,可以采用每个第一候选虚拟位置的中心点位置与第一帧目标图像中的位置之间的距离确定,也就是将距离第一帧目标图像的中心点距离最近的一个第一候选虚拟位置确定为目标对象的第一候选虚拟位置。
第一虚拟位置是目标对象相对于第一帧目标图像的位置,因此,通过一下步骤计算得到的:
步骤1023,从所述第一帧图像中,确定所述第一候选虚拟位置对应的第一目标图像;
步骤1024,将所述第一目标图像输入到预先训练好的第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第一目标图像中的第一目标虚拟位置;
步骤1025,根据所述目标对象在所述第一目标图像中的第一目标虚拟位置以及所述第一目标图像在所述第一帧图像中的第一候选虚拟位置,确定所述目标对象的第一虚拟位置。
在上述步骤1023中,利用第一候选虚拟位置在第一帧图像中截取对应的图像区域,得到第一目标图像。
在上述步骤1024中,将第一目标图像输入到预先训练好的第二检测模型中,会得到目标对象相对于第一目标图像的位置,也就是第一目标虚拟位置。
在上述步骤1025中,第一目标虚拟位置是目标对象相对于第一目标图像中的位置,第一候选虚拟位置是第一目标图像相对于第一帧目标图像中的位置,因此,通过位置映射,可以计算得到目标对象相对于第一帧目标图像中的位置,也就是,第一虚拟位置。
因为第二检测模型为了提高确定目标对象的位置的准确度,也会通过分类概率对输出结果进行筛选,因此,第一目标图像输入到所述第二检测模型也有可能得不到输出结果,因此,本申请还包括:
步骤108,将所述第一目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第一目标图像中的第一目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二帧目标图像作为重新分组后的第一组目标图像中新的第一帧目标图像,并返回根据预先训练好的第一检测模型,确定目标对象在新的第一帧目标图像中的第一候选虚拟位置的步骤。
在上述步骤108中,因为第二检测模型没有检测到第一帧目标图像中的目标对象中的位置,那就可认为第一帧目标图像中没有目标对象,则可以将该第一帧目标图像舍弃,将下一目标图像确定为该组目标图像中的第一帧目标图像,但是这样的话,这一组目标图像中帧目标图像的数量会减少,为了保证每一组目标图像中帧目标图像的数量恒定,需要重新对监测视频进行分组,将分组后的第一组目标图像中的第一帧目标图像作为新的第一帧目标图像,返回根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置的步骤。
第二候选虚拟位置是通过第一帧目标图像中的第一虚拟位置和预测模型计算得到的,其代表了目标对象在第二帧目标图像中的粗略的预测位置。因此,步骤S103中的根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置,包括:
步骤1031,将所述第一虚拟位置输入到预先训练好的预测模型中,得到所述预测模型输出的所述目标对象在所述第二帧目标图像中的第二候选虚拟位置。
在上述步骤1031中,第一虚拟位置是一个矩形区域,包含有四个顶点位置,因此,将所述第一虚拟位置输入到预先训练好的预测模型中,也就是,将第一虚拟位置对应的四个顶点位置输入到预测模型中,预测模型包括四个卡尔曼滤波器,将每一个顶点位置输入到对应的卡尔曼滤波器中,得到预测结果,也就是,第二候选虚拟位置。
第二虚拟位置是目标对象相对于第二帧目标图像的位置,因此,通过以下步骤计算得到的:
步骤1032,从所述第二帧图像中,确定所述第二候选虚拟位置对应的第二目标图像;
步骤1033,将所述第二目标图像输入到所述第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第二目标图像中的第二目标虚拟位置;
步骤1034,根据所述目标对象在所述第二目标图像中的第二目标虚拟位置以及所述第二目标图像在所述第二帧图像的第二候选虚拟位置,确定所述目标对象的第二虚拟位置。
在上述步骤1032中,利用第一候选虚拟位置在第一帧图像中截取对应的图像区域,得到第一目标图像。
在上述步骤1033中,将第一目标图像输入到预先训练好的第二检测模型中,会得到目标对象相对于第一目标图像的位置,也就是第一目标虚拟位置。
在上述步骤1034中,第一目标虚拟位置是目标对象相对于第一目标图像中的位置,第一候选虚拟位置是第一目标图像相对于第一帧目标图像中的位置,因此,通过位置映射,可以计算得到目标对象相对于第一帧目标图像中的位置,也就是,第一虚拟位置。
因为第二检测模型为了提高确定目标对象的位置的准确度,也会通过分类概率对输出结果进行筛选,因此,第二目标图像输入到所述第二检测模型也有可能得不到输出结果,因此,本申请还包括:
步骤109,将所述第二目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第二目标图像中的第二目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二目标图像所对应第二帧目标图像作为重新分组后的第一组目标图像中新的第一帧目标图像,并返回根据预先训练好的第一检测模型,确定目标对象在新的第一帧目标图像中的第一候选虚拟位置的步骤。
在上述步骤109中,因为第二检测模型没有检测到第二帧目标图像中的目标对象中的位置,那就可认为第二帧目标图像中没有目标对象,则可以将该第二帧目标图像舍弃,将下一目标图像确定为该组目标图像中的第一帧目标图像,但是这样的话,这一组目标图像中帧目标图像的数量会减少,为了保证每一组目标图像中帧目标图像的数量恒定,需要重新对监测视频进行分组,将分组后的第一组目标图像中的第一帧目标图像作为新的第一帧目标图像,返回根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置的步骤。
因为第二检测模型只能对固定大小的图像进行处理,因此,在向第二检测模型输入图片的时候需要对该图片的大小进行缩放,缩放方式又第二检测模型所对应的图片输入大小所确定。
本申请所提供的目标对象确定方法,可以应用在多种场景中,示例性的,本申请提供了一种目标对象的跟踪方法,包括:
根据获取到的监测视频计算出现在所述监测视频中的目标对象的实际位置;
根据所述目标对象的实际位置对所述目标对象进行跟踪。
其中,实际位置是通过本申请所提供的目标对象确定方法计算得到的。
本申请中使用的定位技术可以基于全球定位系统(Global Positioning System,GPS)、全球导航卫星系统(Global Navigation Satellite System,GLONASS),罗盘导航系统(COMPASS)、伽利略定位系统、准天顶卫星系统(Quasi-Zenith Satellite System,QZSS)、无线保真(Wireless Fidelity,WiFi)定位技术等,或其任意组合。一个或多个上述定位系统可以在本申请中互换使用。
图2是本申请实施例提供的一种服务系统100的架构示意图。
例如,服务系统100可以是用于诸如出租车、代驾服务、快车、拼车、公共汽车服务、驾驶员租赁、或班车服务之类的运输服务、或其任意组合的在线运输服务平台。服务系统100可以包括服务器110(本申请所提供方法的执行主体的一种)、网络120、服务请求端130(验证终端)、服务提供端140(网约车)和数据库150中的一种或多种,服务器110中可以包括执行指令操作的处理器。
在一些实施例中,服务器110可以是单个服务器,也可以是服务器组。服务器组可以是集中式的,也可以是分布式的(例如,服务器110可以是分布式系统)。在一些实施例中,服务器110相对于终端,可以是本地的、也可以是远程的。例如,服务器110可以经由网络120访问存储在服务请求端130、服务提供端140、或数据库150、或其任意组合中的信息和/或数据。作为另一示例,服务器110可以直接连接到服务请求端130、服务提供端140和数据库150中至少一个,以访问存储的信息和/或数据。在一些实施例中,服务器110可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等,或者它们的任意组合。在一些实施例中,服务器110可以在具有本申请中图4所示的一个或多个组件的电子设备1000上实现。
网络120可以用于信息和/或数据的交换。在一些实施例中,服务系统100中的一个或多个组件(例如,服务器110,服务请求端130,服务提供端140和数据库150)可以向其他组件发送信息和/或数据。例如,服务器110可以经由网络120从服务请求端130获取服务请求。在一些实施例中,网络120可以是任何类型的有线或者无线网络,或者是他们的结合。仅作为示例,网络120可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、无线局域网(Wireless Local Area Networks,WLAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、公共电话交换网(Public Switched Telephone Network,PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication,NFC)网络等,或其任意组合。在一些实施例中,网络120可以包括一个或多个网络接入点。例如,网络120可以包括有线或无线网络接入点,例如基站和/或网络交换节点,服务系统100的一个或多个组件可以通过该接入点连接到网络120以交换数据和/或信息。
在一些实施例中,服务请求端130的服务请求方可以是除服务实际需求者之外的其他人。例如,服务请求端130的服务请求方A可以使用服务请求端130来为服务实际需求者B发起服务请求(比如,服务请求方A可以为自己的朋友B叫车),或者从服务器110接收服务信息或指令等。在一些实施例中,服务提供端140的服务请求方可以是服务实际提供者,也可以是除服务实际提供者之外的其他人。例如,服务提供端140的服务请求方C可以使用服务提供端140接收由服务实际提供者D提供服务的服务请求(比如服务请求方C可以为自己雇用的服务提供方D接单),和/或来自服务器110的信息或指令。在一些实施例中,“服务请求方”和“服务请求端”可以互换使用,“服务提供方”和“服务提供端”可以互换使用。
在一些实施例中,服务请求端130可以包括移动设备、平板计算机、膝上型计算机、或机动车辆中的内置设备等,或其任意组合。在一些实施例中,移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等,或其任意组合。在一些实施例中,智能家居设备可以包括智能照明设备、智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机、或对讲机等,或其任意组合。在一些实施例中,可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等、或其任何组合。在一些实施例中,智能移动设备可以包括智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏设备、导航设备、或销售点(point of sale,POS)设备等,或其任意组合。在一些实施例中,虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等,或其任意组合。例如,虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。在一些实施例中,机动车辆中的内置设备可以包括车载计算机、车载电视等。在一些实施例中,服务请求端130可以是具有用于定位服务请求方和/或服务请求端的位置的定位技术的设备。
在一些实施例中,服务提供端140可以是与服务请求端130类似或相同的设备。在一些实施例中,服务提供端140可以是具有定位技术的设备,用于定位服务提供方和/或服务提供端的位置。在一些实施例中,服务请求端130和/或服务提供端140可以与其他定位设备通信以确定服务请求方、服务请求端130、服务提供方、或服务提供端140、或其任意组合的位置。在一些实施例中,服务请求端130和/或服务提供端140可以将定位信息发送给服务器110。
数据库150可以存储数据和/或指令。在一些实施例中,数据库150可以存储从服务请求端130和/或服务提供端140获得的数据。在一些实施例中,数据库150可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中,数据库150可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory,ROM)等,或其任意组合。作为举例,大容量存储器可以包括磁盘、光盘、固态驱动器等;可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等;易失性读写存储器可以包括随机存取存储器(Random Access Memory,RAM);RAM可以包括动态RAM(Dynamic Random AccessMemory,DRAM),双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM,DDRSDRAM);静态RAM(Static Random-Access Memory,SRAM),晶闸管RAM(Thyristor-BasedRandom Access Memory,T-RAM)和零电容器RAM(Zero-RAM)等。作为举例,ROM可以包括掩模ROM(Mask Read-Only Memory,MROM)、可编程ROM(Programmable Read-Only Memory,PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory,PEROM)、电可擦除可编程ROM(Electrically Erasable Programmable read only memory,EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。在一些实施例中,数据库150可以在云平台上实现。仅作为示例,云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等,或其任意组合。
基于同一发明构思,本申请实施例中还提供了与生成虚拟资源改变通知的方法对应的验证装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述生成虚拟资源改变通知的方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
本申请实施例提供了一种确定目标对象位置的装置,如图3所示,应用在终端设备,所述装置包括:
获取模块301,用于获取监测视频中的多组目标图像,每一组目标图像中包括连续的至少两帧目标图像;
第一实际位置确定模块302,用于针对每组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置;根据预先训练好的第二检测模型和所述第一候选虚拟位置,确定所述目标对象在所述第一帧目标图像中的第一虚拟位置;根据所述第一虚拟位置,确定所述目标对象的第一实际位置;
第二实际位置确定模块303,用于针对每组目标图像中的第二帧目标图像,根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置;根据所述第二候选虚拟位置和所述第二帧目标图像,确定所述目标对象在所述第二帧目标图像中的第二虚拟位置;根据所述第二虚拟位置,确定所述目标对象的第二实际位置。
可选的,所述装置还包括:
新第二实际位置确定模块,用于将每组目标图像中的第三帧目标图像作为新的第二帧目标图像,将所述第二虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤,直至得到该组目标图像中除第一帧图像和第二帧图像之外的各帧目标图像对应的新的第二虚拟位置和该组目标图像中各帧目标图像对应的新的第二实际位置。
可选的,所述装置还包括:
第三实际位置确定模块,用于针对第二组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置;根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况和所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;根据所述第三虚拟位置,确定所述目标对象的第三实际位置;
第一返回模块,用于针对第二组目标图像中的第二帧目标图像,将所述第三虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤。
可选的,第三实际位置确定模块,包括:
第四目标图像确定单元,用于若第一组目标图像中的最后一帧目标图像中存在目标对象,在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第一组目标图像中的最后一帧目标图像中的第二候选虚拟位置确定第四目标图像;
第三目标图像确定单元,用于在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置确定第三目标图像;
第一确定单元,用于若所述第三目标图像与所述第四目标图像之间面积的交并比值小于预设阈值,则根据所述第四目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;
第二确定单元,用于若所述第三目标图像与所述第四目标图像之间面积的交并比值大于等于预设阈值,则根据所述第三目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置。
可选的,所述装置还包括:
第二返回模块,用于将第三组目标图像作为新的第二组目标图像,将第三组目标图像中的第一帧目标图像作为新的第二组目标图像中的第一帧目标图像,返回根据预先训练好的第一检测模型,确定所述目标对象在新的第二组目标图像中的第一帧目标图像中的第三候选虚拟位置的步骤,直至得到所述监测视频中最后一帧图像对应的新的第二实际位置。
可选的,第一实际位置确定模块,包括:
第一计算单元,用于根据所述第一帧目标图像和第一检测模型,确定各个对象在所述第一帧目标图像中的各个候选虚拟位置以及各个对象在各个候选虚拟位置的分类概率;
第二确定单元,用于基于各个候选虚拟位置的分类概率,确定所述目标对象在所述第一帧图像中的第一候选虚拟位置。
可选的,第二确定单元,包括:
第一就按子单元,用于基于各个候选虚拟位置的分类概率,得到所述第一帧图像中的多个候选目标对象;
第一确定子单元,用于根据所述多个候选目标对象在所述第一帧图像中的各个候选虚拟位置,确定所述目标对象在所述第一帧图像中的所述第一候选虚拟位置。
可选的,第一实际位置确定模块,包括:
第二计算单元,用于从所述第一帧图像中,确定所述第一候选虚拟位置对应的第一目标图像;
第三计算单元,用于将所述第一目标图像输入到预先训练好的第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第一目标图像中的第一目标虚拟位置;
第四计算单元,用于根据所述目标对象在所述第一目标图像中的第一目标虚拟位置以及所述第一目标图像在所述第一帧图像中的第一候选虚拟位置,确定所述目标对象的第一虚拟位置。
可选的,所述装置还包括:
第三返回模块,用于将所述第一目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第一目标图像中的第一目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二帧目标图像作为重新分组后的第一组目标图像中新的第一帧目标图像,并返回根据预先训练好的第一检测模型,确定目标对象在新的第一帧目标图像中的第一候选虚拟位置的步骤。
可选的,第二实际位置确定模块,包括:
第五计算单元,用于将所述第一虚拟位置输入到预先训练好的预测模型中,得到所述预测模型输出的所述目标对象在所述第二帧目标图像中的第二候选虚拟位置。
可选的,第二实际位置确定模块,包括:
第六计算单元,用于从所述第二帧图像中,确定所述第二候选虚拟位置对应的第二目标图像;
第七计算单元,用于将所述第二目标图像输入到所述第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第二目标图像中的第二目标虚拟位置;
第八计算单元,用于根据所述目标对象在所述第二目标图像中的第二目标虚拟位置以及所述第二目标图像在所述第二帧图像的第二候选虚拟位置,确定所述目标对象的第二虚拟位置。
可选的,所述装置还包括:
第四返回模块,用于将所述第二目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第二目标图像中的第二目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二目标图像所对应第二帧目标图像作为重新分组后新的第一组目标图像中的第一帧目标图像,并返回根据预先训练好的第一检测模型,新的确定目标对象在所述第一帧目标图像中的第一候选虚拟位置的步骤。
如图4所示,为本申请实施例所提供的电子设备示意图,该电子设备1000包括:处理器1001、存储器1002和总线1003,存储器1002存储有执行指令,当电子设备运行时,处理器1001与存储器1002之间通过总线1003通信,处理器1001执行存储器1002中存储的确定目标对象位置的确定方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种确定目标对象位置的方法,其特征在于,应用在终端设备,所述方法包括:
获取监测视频中的多组目标图像,每一组目标图像中包括连续的至少两帧目标图像;
针对每组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置;根据预先训练好的第二检测模型和所述第一候选虚拟位置,确定所述目标对象在所述第一帧目标图像中的第一虚拟位置;根据所述第一虚拟位置,确定所述目标对象的第一实际位置;
针对每组目标图像中的第二帧目标图像,根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置;根据所述第二候选虚拟位置和所述第二帧目标图像,确定所述目标对象在所述第二帧目标图像中的第二虚拟位置;根据所述第二虚拟位置,确定所述目标对象的第二实际位置。
2.根据权利要求1所述的方法,其特征在于,当每一组目标图像中包括连续的至少三帧目标图像时,所述方法还包括:
将每组目标图像中的第三帧目标图像作为新的第二帧目标图像,将所述第二虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤,直至得到该组目标图像中除第一帧图像和第二帧图像之外的各帧目标图像对应的新的第二虚拟位置和该组目标图像中各帧目标图像对应的新的第二实际位置。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
针对第二组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置;根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况、所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;根据所述第三虚拟位置,确定所述目标对象的第三实际位置;
针对第二组目标图像中的第二帧目标图像,将所述第三虚拟位置作为新的第一虚拟位置,返回根据新的第一虚拟位置和所述预测模型,确定所述目标对象在新的第二帧目标图像中的新的第二候选虚拟位置的步骤。
4.根据权利要求3所述的方法,其特征在于,根据第一组目标图像中的最后一帧目标图像中目标对象的存在情况和所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置,包括:
若第一组目标图像中的最后一帧目标图像中存在目标对象,在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第一组目标图像中的最后一帧目标图像中的第二候选虚拟位置确定第四目标图像;
在所述第二组目标图像中的第一帧目标图像中,根据所述目标对象在所述第二组目标图像中的第一帧目标图像中的第三候选虚拟位置确定第三目标图像;
若所述第三目标图像与所述第四目标图像之间面积的交并比值小于预设阈值,则根据所述第四目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置;
若所述第三目标图像与所述第四目标图像之间面积的交并比值大于等于预设阈值,则根据所述第三目标图像和预先训练好的第二检测模型,确定目标对象在所述第二组目标图像中的第一帧目标图像中的第三虚拟位置。
5.根据权利要求1所述的方法,其特征在于,当多组目标图像中包括连续的至少三组目标图像时,所述方法还包括:
将第三组目标图像作为新的第二组目标图像,将第三组目标图像中的第一帧目标图像作为新的第二组目标图像中的第一帧目标图像,返回根据预先训练好的第一检测模型,确定所述目标对象在新的第二组目标图像中的第一帧目标图像中的第三候选虚拟位置的步骤,直至得到所述监测视频中最后一帧图像对应的新的第二实际位置。
6.根据权利要求1所述的方法,其特征在于,所述根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置,包括:
根据所述第一帧目标图像和第一检测模型,确定各个对象在所述第一帧目标图像中的各个候选虚拟位置以及各个对象在各个候选虚拟位置的分类概率;
基于各个候选虚拟位置的分类概率,确定所述目标对象在所述第一帧图像中的第一候选虚拟位置。
7.根据权利要求6所述的方法,其特征在于,所述基于各个候选虚拟位置的分类概率,确定所述目标对象在所述第一帧图像中的第一候选虚拟位置,包括:
基于各个候选虚拟位置的分类概率,得到所述第一帧图像中的多个候选目标对象;
根据所述多个候选目标对象在所述第一帧图像中的各个候选虚拟位置,确定所述目标对象在所述第一帧图像中的所述第一候选虚拟位置。
8.根据权利要求1所述的方法,其特征在于,所述根据预先训练好的第二检测模型和所述第一候选虚拟位置,确定所述目标对象在所述第一帧目标图像中的第一虚拟位置,包括:
从所述第一帧图像中,确定所述第一候选虚拟位置对应的第一目标图像;
将所述第一目标图像输入到预先训练好的第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第一目标图像中的第一目标虚拟位置;
根据所述目标对象在所述第一目标图像中的第一目标虚拟位置以及所述第一目标图像在所述第一帧图像中的第一候选虚拟位置,确定所述目标对象的第一虚拟位置。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
将所述第一目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第一目标图像中的第一目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二帧目标图像作为重新分组后的第一组目标图像中新的第一帧目标图像,并返回根据预先训练好的第一检测模型,确定目标对象在新的第一帧目标图像中的第一候选虚拟位置的步骤。
10.根据权利要求1所述的方法,其特征在于,所述根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置,包括:
将所述第一虚拟位置输入到预先训练好的预测模型中,得到所述预测模型输出的所述目标对象在所述第二帧目标图像中的第二候选虚拟位置。
11.根据权利要求1所述的方法,其特征在于,所述根据所述第二候选虚拟位置和所述第二帧目标图像,确定所述目标对象在所述第二帧目标图像中的第二虚拟位置,包括:
从所述第二帧图像中,确定所述第二候选虚拟位置对应的第二目标图像;
将所述第二目标图像输入到所述第二检测模型中,得到所述第二检测模型输出的所述目标对象在所述第二目标图像中的第二目标虚拟位置;
根据所述目标对象在所述第二目标图像中的第二目标虚拟位置以及所述第二目标图像在所述第二帧图像的第二候选虚拟位置,确定所述目标对象的第二虚拟位置。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
将所述第二目标图像输入到所述第二检测模型中,若所述第二检测模型未输出所述目标对象在所述第二目标图像中的第二目标虚拟位置,则对所述监测视频中的目标图像进行重新分组,将所述第二目标图像所对应第二帧目标图像作为重新分组后的第一组目标图像中新的第一帧目标图像,并返回根据预先训练好的第一检测模型,确定目标对象在新的第一帧目标图像中的第一候选虚拟位置的步骤。
13.一种目标对象的跟踪方法,其特征在于,包括:
根据获取到的监测视频计算出现在所述监测视频中的目标对象的实际位置;所述实际位置是通过如上述权利要求1-12任意一项所述方法计算得到的;
根据所述目标对象的实际位置对所述目标对象进行跟踪。
14.一种确定目标对象位置的装置,其特征在于,应用在终端设备,所述装置包括:
获取模块,用于获取监测视频中的多组目标图像,每一组目标图像中包括连续的至少两帧目标图像;
第一实际位置确定模块,用于针对每组目标图像中的第一帧目标图像,根据预先训练好的第一检测模型,确定目标对象在所述第一帧目标图像中的第一候选虚拟位置;根据预先训练好的第二检测模型和所述第一候选虚拟位置,确定所述目标对象在所述第一帧目标图像中的第一虚拟位置;根据所述第一虚拟位置,确定所述目标对象的第一实际位置;
第二实际位置确定模块,用于针对每组目标图像中的第二帧目标图像,根据所述第一虚拟位置和预先训练好的预测模型,确定所述目标对象在所述第二帧目标图像中的第二候选虚拟位置;根据所述第二候选虚拟位置和所述第二帧目标图像,确定所述目标对象在所述第二帧目标图像中的第二虚拟位置;根据所述第二虚拟位置,确定所述目标对象的第二实际位置。
15.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至12或13任一所述方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至12或13任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011150444.5A CN112149640B (zh) | 2020-10-23 | 2020-10-23 | 一种确定目标对象位置的方法、装置、计算机设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011150444.5A CN112149640B (zh) | 2020-10-23 | 2020-10-23 | 一种确定目标对象位置的方法、装置、计算机设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112149640A true CN112149640A (zh) | 2020-12-29 |
CN112149640B CN112149640B (zh) | 2022-03-04 |
Family
ID=73954835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011150444.5A Active CN112149640B (zh) | 2020-10-23 | 2020-10-23 | 一种确定目标对象位置的方法、装置、计算机设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112149640B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6186834B2 (ja) * | 2013-04-22 | 2017-08-30 | 富士通株式会社 | 目標追尾装置及び目標追尾プログラム |
CN109190635A (zh) * | 2018-07-25 | 2019-01-11 | 北京飞搜科技有限公司 | 基于分类cnn的目标追踪方法、装置及电子设备 |
CN110738687A (zh) * | 2019-10-18 | 2020-01-31 | 上海眼控科技股份有限公司 | 对象跟踪方法、装置、设备及存储介质 |
CN110796686A (zh) * | 2019-10-29 | 2020-02-14 | 浙江大华技术股份有限公司 | 目标跟踪方法及设备、存储装置 |
CN111223128A (zh) * | 2020-01-17 | 2020-06-02 | 深圳大学 | 目标跟踪方法、装置、设备及存储介质 |
CN111666919A (zh) * | 2020-06-24 | 2020-09-15 | 腾讯科技(深圳)有限公司 | 一种对象识别方法、装置、计算机设备和存储介质 |
-
2020
- 2020-10-23 CN CN202011150444.5A patent/CN112149640B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6186834B2 (ja) * | 2013-04-22 | 2017-08-30 | 富士通株式会社 | 目標追尾装置及び目標追尾プログラム |
CN109190635A (zh) * | 2018-07-25 | 2019-01-11 | 北京飞搜科技有限公司 | 基于分类cnn的目标追踪方法、装置及电子设备 |
CN110738687A (zh) * | 2019-10-18 | 2020-01-31 | 上海眼控科技股份有限公司 | 对象跟踪方法、装置、设备及存储介质 |
CN110796686A (zh) * | 2019-10-29 | 2020-02-14 | 浙江大华技术股份有限公司 | 目标跟踪方法及设备、存储装置 |
CN111223128A (zh) * | 2020-01-17 | 2020-06-02 | 深圳大学 | 目标跟踪方法、装置、设备及存储介质 |
CN111666919A (zh) * | 2020-06-24 | 2020-09-15 | 腾讯科技(深圳)有限公司 | 一种对象识别方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
施华 等: "《视频图像中的运动目标跟踪》", 《计算机工程与应用》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112149640B (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108717710B (zh) | 室内环境下的定位方法、装置及系统 | |
EP2737279B1 (en) | Variable density depthmap | |
US10979863B2 (en) | Systems and methods for recommending a destination | |
US11676303B2 (en) | Method and apparatus for improved location decisions based on surroundings | |
US11538239B2 (en) | Joint modeling of object population estimation using sensor data and distributed device data | |
US9125022B2 (en) | Inferring positions with content item matching | |
JP2019179021A (ja) | 地図生成及び移動主体の位置決めの方法及び装置 | |
US20160360501A1 (en) | Method and apparatus of positioning mobile terminal based on geomagnetism | |
WO2020243937A1 (en) | Systems and methods for map-matching | |
CN111479321B (zh) | 一种网格构建方法、装置、电子设备和存储介质 | |
WO2020039937A1 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
CN109655786B (zh) | 移动自组网协作相对定位方法及装置 | |
WO2019205069A1 (en) | Systems and methods for updating 3d model of building | |
CN111415024A (zh) | 一种到达时间预估方法以及预估装置 | |
CN113450459A (zh) | 目标物的三维模型构建方法及装置 | |
CN112422653A (zh) | 基于位置服务的场景信息推送方法、系统、存储介质及设备 | |
CN110751531A (zh) | 轨迹识别方法、装置及电子设备 | |
CN112149640B (zh) | 一种确定目标对象位置的方法、装置、计算机设备和介质 | |
CN116630598B (zh) | 大场景下的视觉定位方法、装置、电子设备及存储介质 | |
CN116453371B (zh) | 共享车辆的还车识别方法、装置、计算机设备和存储介质 | |
Lee et al. | Distant object localization with a single image obtained from a smartphone in an urban environment | |
CN108235764B (zh) | 信息处理方法、装置、云处理设备及计算机程序产品 | |
CN110796706A (zh) | 视觉定位方法及系统 | |
CN112400122B (zh) | 定位目标对象的系统和方法 | |
CN113009533A (zh) | 基于视觉slam的车辆定位方法、设备及云服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |