[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111684458A - 目标检测方法、目标检测装置和无人机 - Google Patents

目标检测方法、目标检测装置和无人机 Download PDF

Info

Publication number
CN111684458A
CN111684458A CN201980009923.4A CN201980009923A CN111684458A CN 111684458 A CN111684458 A CN 111684458A CN 201980009923 A CN201980009923 A CN 201980009923A CN 111684458 A CN111684458 A CN 111684458A
Authority
CN
China
Prior art keywords
image
target object
determining
image acquisition
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980009923.4A
Other languages
English (en)
Other versions
CN111684458B (zh
Inventor
周游
刘洁
朱振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111684458A publication Critical patent/CN111684458A/zh
Application granted granted Critical
Publication of CN111684458B publication Critical patent/CN111684458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/15—UAVs specially adapted for particular uses or applications for conventional or electronic warfare
    • B64U2101/19—UAVs specially adapted for particular uses or applications for conventional or electronic warfare for use as targets or decoys
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及目标检测方法，包括：在第一图像采集设备采集的第一图像中确定目标物体；估算所述目标物体在第二图像采集设备采集的第二图像中出现的位置；确定在所述第二位置的物体与所述目标物体是否相同；若相同，记录第二位置为目标物体在第二图像中的位置。根据本公开的实施例，通过估算目标物体在第二图像中出现的位置，以及确定在所述第二位置的物体与所述目标物体是否相同，可以在第一图像采集设备和第二图像采集设备之间建立起联系，无需第二图像采集设备重新在第二图像中检测目标物体，使得跟踪目标物体动作连贯，有利于避免跟踪目标物体丢失或出错。

Description

目标检测方法、目标检测装置和无人机
技术领域
本发明涉及无人机领域，尤其涉及目标检测方法、目标检测装置和无人机。
背景技术
随着无人机的发展，无人机被应用到越来越多的场景中，相应地，对无人机的要求也越来越高，例如为了使得无人机能够感知周围环境，现有技术为无人机装配了多个摄像头来采集周围环境的图像，以便完成视觉定位，视觉避障，悬停等功能。
但是现有技术中无人机上的多个摄像头之间并没有协同工作，一个摄像头在采集图像后，只是在自己所采集的图像中检测目标。例如当无人机在跟踪某个目标，该目标初始位于无人机前方，用于拍摄无人机前方图像的摄像头A在采集的图像中检测到该目标并进行跟踪，但是当该目标移动到无人机左侧而从摄像头A的视场角中移出，摄像头A就检测不到目标了，而需要无人机的其他摄像头在其所拍摄的图像中检测该目标，例如用于拍摄无人机左侧的摄像头B在采集的图像中检测到该目标并进行跟踪。
由于摄像头A和摄像头B之间并没有协同工作，因此这种跟踪目标的方式并不连贯，跟踪目标出错的概率较大，并且摄像头A中有关目标的信息，摄像头B并没有用到，而是需要重新确定目标，在一定程度上也造成了资源的浪费。
发明内容
根据本公开实施例的第一方面，提出一种目标检测方法，适用于无人机，所述无人机至少包括第一图像采集设备和第二图像采集设备，其中，第一图像采集设备的视场角与第二图像采集设备的视场角不同，所述方法包括：
在所述第一图像采集设备采集的第一图像中确定目标物体，以及确定所述目标物体在所述第一图像中的第一位置；
根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置；
确定在所述第二位置的物体与所述目标物体是否相同；
若相同，记录第二位置为目标物体在第二图像中的位置。
根据本公开实施例的第二方面，提出一种目标检测装置，适用于无人机，所述无人机至少包括第一图像采集设备和第二图像采集设备，其中，第一图像采集设备的视场角与第二图像采集设备的视场角不同，所述装置包括单独或者协同工作的一个或者多个处理器，所述处理器用于：
在所述第一图像采集设备采集的第一图像中确定目标物体，以及确定所述目标物体在所述第一图像中的第一位置；
根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置；
确定在所述第二位置的物体与所述目标物体是否相同；
若相同，记录第二位置为目标物体在第二图像中的位置。
根据本公开实施例的第三方面，提出一种无人飞行器，包括：
机身；
动力系统，安装在所述机身，用于提供飞行动力；
以及上述任一实施例所述的目标检测装置。
根据本公开的实施例，在第一图像中确定目标物体后，可以估算目标物体在第二图像中出现的位置，若在所述第二位置出现的物体与目标物体相同，那么可以记录目标物体在第二图像中位于所述目标位置，从而实现从第一图像到第二图像对目标物体的跟踪。
由于第一图像是第一图像采集设备采集的图像，第二图像是第二图像采集设备采集的图像，因此通过估算目标物体在第二图像中出现的位置，以及确定在所述第二位置的物体与所述目标物体是否相同，可以在第一图像采集设备和第二图像采集设备之间建立起联系，无需第二图像采集设备重新在第二图像中检测目标物体，使得跟踪目标物体动作连贯，有利于避免跟踪目标物体丢失或出错。
而且确定在所述第二位置的物体与所述目标物体是否相同，即用到了目标物体的特征，也即第一图像采集设备采集到的有关目标物体的信息，也用到了在第二图像中相同位置的物体的特征，也即第二图像采集设备采集到的有关目标物体的信息，从而充分利用了第一图像采集设备的资源，在一定程度上避免了资源的浪费。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开的实施例示出的一种目标检测方法的示意流程图。
图2是根据本公开的实施例示出的一种第一图像的示意图。
图3是根据本公开的实施例示出的一种在所述第一图像采集设备采集的第一图像中确定目标物体的示意流程图。
图4是根据本公开的实施例示出的另一种在所述第一图像采集设备采集的第一图像中确定目标物体的示意流程图。
图5是根据本公开的实施例示出的一种超像素的示意图。
图6是根据本公开的实施例示出的一种框体的示意图。
图7是根据本公开的实施例示出的又一种在所述第一图像采集设备采集的第一图像中确定目标物体的示意流程图。
图8是根据本公开的实施例示出的又一种在所述第一图像采集设备采集的第一图像中确定目标物体的示意流程图。
图9是根据本公开的实施例示出的一种估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的位置的示意流程图。
图10是根据本公开的实施例示出的一种确定所述目标物体在所述第一图像中的第一深度信息的示意流程图。
图11是根据本公开的实施例示出的另一种估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的位置的示意流程图。
图12是根据本公开的实施例示出的一种极线的示意图。
图13是根据本公开的实施例示出的另一种目标检测方法的示意流程图。
图14是根据本公开的实施例示出的一种第二图像的示意图。
图15是根据本公开的实施例示出的一种校正目标物体的示意图。
图16是根据本公开的实施例示出的一种对所述目标物体在所述第二图像中出现的位置进行校正的示意流程图。
图17是根据本公开的实施例示出的一种确定第二旋转关系的示意流程图。
图18是根据本公开的实施例示出的又一种目标检测方法的示意流程图。
图19是根据本公开的实施例示出的又一种目标检测方法的示意流程图。
图20是根据本公开的实施例示出的又一种目标检测方法的示意流程图。
图21是根据本公开的实施例示出的又一种目标检测方法的示意流程图。
图22是根据本公开的实施例示出的一种确定在所述第二位置的物体与所述目标物体是否相同的示意流程图。
图23是根据本公开的实施例示出的一种根据所述第一特征向量和所述第二特征向量确定在所述第二位置的物体与所述目标物体是否相同的示意流程图。
图24是根据本公开的实施例示出的又一种目标检测方法的示意流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图1是根据本公开的实施例示出的一种目标检测方法的示意流程图。本公开实施例所示的目标检测方法可以适用于无人机，所述无人机至少包括第一图像采集设备和第二图像采集设备，其中，第一图像采集设备的视场角与第二图像采集设备的视场角不同。
在一个实施例中，以无人机包括第一图像采集设备和第二图像采集设备为例，其中第一图像采集设备的视场角可以朝向无人机的前方，第二图像采集设备的视场角可以朝向无人机的右方，或左方，或后方。
需要说明的是，本公开的实施例除了可以适用于无人机，还可以适用于其他至少第一图像采集设备和第二图像采集设备的装置，例如无人驾驶车辆，监控系统等。
另外，本实施例中所指的视场角不同，可以是视场角存在部分重叠区域，也可以是视场角完全不重叠。
如图1所示，所述目标检测方法可以包括以下步骤：
步骤S1，在所述第一图像采集设备采集的第一图像中确定目标物体，以及确定所述目标物体在所述第一图像中的第一位置；
在一个实施例中，在无人机除了包括第一图像采集设备，还包括多个其他图像采集设备的情况下，可以先确定第一位置相对第一图像中心的偏移方向，进而可以在多个其他图像采集设备中，选择最靠近所述偏移方向的图像采集设备作为第二图像采集设备。
例如，第一位置相对第一图像中心向左偏移，那么说明目标物体较大可能出现在第一图像采集设备左侧的其他图像采集设备的视场角内，从而可以将第一图像采集设备左侧的图像采集设备作为第二图像采集设备，并针对确定的第二图像采集设备执行后续步骤。
据此，针对多个其他图像采集设备，可以在其中确定一个图像采集设备作为第二图像采集设备，并将确定的第二图像采集设备采集的图像作为第二图像执行本实施例的后续步骤，而对于多个其他图像采集设备并未被确定为第二图像采集设备的图像采集设备所采集的图像，则可以不必执行本实施例的后续步骤，有利于减少估算操作的资源消耗。
需要说明的是，也可以根据需要设置，不确定第一位置相对第一图像中心的偏移方向，而是设置每个其他图像采集设备都执行本实施例的后续步骤，从而无需在多个其他图像采集设备中确定一个第二图像采集设备，而是将每个其他图像采集设备分别作为第二图像采集设备，减少了确定第二图像采集设备的步骤，有利于加快实施例整体的执行速度。
步骤S2，根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置；
在一个实施例中，可以预先确定第一图像采集设备的视场角和第二图像采集的视场角的视场重叠区域，在采集到第一图像后，可以在第一图像中确定视场重叠区域对应的图像重叠区域，第一图像中的图像重叠区域，既位于第一图像中，又位于第二图像采集设备采集到的第二图像中。
在一个实施例中，在确定目标物体在第一图像中的第一位置后，可以判断第一位置是否位于所述图像重叠区域中，若第一位置位于所述图像重叠区域中，才执行步骤S2，根据第二图像采集设备与所述第一图像采集设备的位姿关系以及第一位置，估算目标物体在第二图像采集设备采集的第二图像中出现的第二位置。
在第一位置不位于重叠区域中时，目标物体不会位于第二图像采集设备的视场角内，也就不会被第二图像采集设备采集到。在这种情况下如果根据第二图像采集设备与第一图像采集设备的位姿关系以及所述第一位置，估算目标物体在第二图像采集设备采集的第二图像中出现的第二位置，由于目标物体未被第二图像采集设备采集到，也就不会出现在第二图像中，从而估算不到第二位置，造成估算操作浪费资源。
根据本实施例，可以在第一位置位于所述图像重叠区域中的情况下，才执行步骤S2，根据第二图像采集设备与所述第一图像采集设备的位姿关系以及第一位置，估算目标物体在第二图像采集设备采集的第二图像中出现的第二位置。
由于在第一位置位于图像重叠区域中的情况下，目标物体位于第二图像采集设备的视场角内，也就会被第二图像采集设备采集到，因此，在这种情况下才针对第二图像进行估算操作，而在第一位置不位于图像重叠区域中的情况下，不针对第二图像进行估算操作，可以有效地避免估算操作估算不到第二位置而浪费资源。
步骤S3，确定在所述第二位置的物体与所述目标物体是否相同；
步骤S4，若相同，记录第二位置为目标物体在第二图像中的位置。
需要说明的是，第二图像采集设备可以包括多个子设备。
若只有一个子设备采集的第二图像中第二位置的物体与目标物体相同，那么可以只记录目标物体出现在这个子设备采集的第二图像中，并可将这个子设备采集的第二图像中的第二位置作为第一位置，使得这个子设备与其它子设备或其它图像采集设备可以执步骤S1至S4，从而实现通过不同的图像采集设备连续的跟踪目标物体。
若有多个子设备采集的第二图像中第二位置的物体与目标物体相同，那么可以在多个子设备采集中选一个子图像设备，例如可以基于每个子图像设备中第二位置的深度信息(例如选择深度信息与目标物体的中心点在第一图像中的深度信息最接近的子设备)，或者子设备的优先级(例如选择优先级最高的子设备，例如分辨率最高的子设备优先级最高)，并可将选中的这个子设备采集的第二图像中的第二位置作为第一位置，使得这个子设备与其它子设备或其它图像采集设备可以执步骤S1至S4，从而实现通过不同的图像采集设备连续的跟踪目标物体。
在一个实施例中，在图像中确定的目标物体，为方便计算，可以通过兴趣区域(Region of interest，简称ROI)代表目标物体，兴趣区域可以是目标物体的外接矩形，外接圆，外接椭圆等，例如图2所示，目标物体是靠左边的人，而在图像中确定的目标物体，可以是这个人在图像中的外接矩形，也即图2所示的虚线框内的区域。为精简描述，没有在后续每个实施例中都提及兴趣区域，但是作为一种实现方式，在确定目标物体的相关参数时，可以基于目标物体的兴趣区域来确定，例如确定目标物体的中心点，可以是确定目标物体的兴趣区域的中心点。
根据本公开的实施例，在第一图像中确定目标物体，以及确定所述目标物体在所述第一图像中的第一位置后，可以根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算目标物体在第二图像中出现的第二位置，若在所述第二位置出现的物体与目标物体相同，可以记录第二位置为目标物体在第二图像中的位置。
据此，可以确定所述目标物体出现在所述第二图像中，进而可以将所述第二位置作为第一位置以确定所述目标物体是否出现在其他图像采集设备采集的图像中，从而实现从第一图像到第二图像对目标物体的跟踪，以及从第二图像到其他图像的后续跟踪。其中，其他图像采集设备为第二图像采集设备以外的图像采集设备。
由于第一图像是第一图像采集设备采集的图像，第二图像是第二图像采集设备采集的图像，因此通过估算目标物体在第二图像中出现的第二位置，以及确定在所述第二位置的物体与所述目标物体是否相同，可以在第一图像采集设备和第二图像采集设备之间建立起联系，无需第二图像采集设备重新检测目标物体，使得跟踪目标物体动作连贯，有利于避免跟踪目标物体丢失或出错。
而且确定在所述第二位置的物体与所述目标物体是否相同，即用到了第一图像采集设备采集到的有关目标物体的信息，也用到了第二图像采集设备采集到的有关目标物体的信息，从而充分利用了第一图像采集设备的资源，在一定程度上避免了资源的浪费。
图3是根据本公开的实施例示出的一种在所述第一图像采集设备采集的第一图像中确定目标物体的示意流程图。如图3所示，所述在所述第一图像采集设备采集的第一图像中确定目标物体包括：
步骤S11，确定用户框选操作的框体；
步骤S12，将位于所述框体内的像素所组成的物体确定为目标物体。
在一个实施例中，用户可以通过框选操作确定目标物体，在确定用户框选操作的框体后，将位于所述框体内的像素所组成的物体确定为目标物体，其中，用户可以在无人机的遥控器的屏幕上进行框选操作以生成框体，也可以通过输入坐标来生成框体，具体生成框体的方式本实施例不做限制。
需要说明的是，本实施例中的框体与前述实施例中的兴趣区域是不同的概念。本实施例中的框体是基于用户框选操作生成的，例如用户通过手指在触控屏幕上画框，触控屏幕以感应到的触控信号的坐标作为框体边界确定框体。而兴趣区域则是通过框选操作确定了目标物体后，针对目标物体生成，例如可以是目标物体的外接矩形，外接圆，外接椭圆等。
图4是根据本公开的实施例示出的另一种在所述第一图像采集设备采集的第一图像中确定目标物体的示意流程图。如图4所示，在将位于所述框体内的像素所组成的物体确定为目标物体之前，所述在所述第一图像采集设备采集的第一图像中确定目标物体还包括：
步骤S13，将所述第一图像中的像素合成超像素；
其中，所述将位于所述框体内的像素所组成的物体确定为目标物体包括：
步骤S121，将位于所述框体内的超像素所组成的物体确定为目标物体。
由于一个图像中包含大量的像素，并且图像的分辨率越高，所包含像素的数量就越多，如果以像素为粒度来确定目标物体，那么处理的数据量会过大，给图像采集设备造成过大的负担。
在一个实施例中，可以将第一图像中的像素合成超像素，其中，合成超像素是指若干个具有相近特征(例如纹理，颜色，亮度)的相邻的像素组合成具有一定视觉意义的不规则像素块，利用像素特征之间的相似性将像素分组，例如形成图5所示的像素块，其中，生成超像素的算法可以根据需要选择，例如可以通过SLIC(simple lineariterativeclustering简单的线性迭代聚类)Graph-based(基于图的)，NCut(Normalizedcut，归一化切割)，Turbopixel(涡轮像素)，Quick-shift(快速转换)，Graph-cut a(图像切割a)，Graph-cut b(图像切割b)算法对第一图像进行处理，以在第一图像中生成超像素。
通过生成超像素，可以用数量较少的超像素代替图像中原数量较多的像素来表达图像的特征，有利于降低后续处理图像的复杂度。其中，用户可以通过框选操作确定目标物体，在确定用户框选操作的框体后，将位于所述框体内的超像素所组成的物体确定为目标物体，例如图6所示虚线框内的区域，由于超像素的数量较少，因此可以方便地确定哪些超像素位于虚线框内，从而将位于所述框体内的超像素所组成的物体确定为目标物体。
图7是根据本公开的实施例示出的又一种在所述第一图像采集设备采集的第一图像中确定目标物体的示意流程图。如图7所示，在将位于所述框体内的超像素所组成的物体确定为目标物体之前，所述方法还包括：
步骤S14，若存在被所述框体的边缘穿过的边缘超像素，确定所述边缘超像素位于所述框体内的比例；
步骤S15，若所述比例大于或等于预设比例，确定所述边缘超像素位于所述框体内。
在一个实施例中，由于被框体的边缘穿过的边缘超像素，部分位于框图内，部分位于框体外，为了确定边缘超像素是否属于目标物体，可以确定确定所述边缘超像素位于所述框体内的比例，并将位于框体内的比例大于或等于预设比例的边缘超像素确定为位于框体内，也即用于构成目标物体的超像素。
图8是根据本公开的实施例示出的又一种在所述第一图像采集设备采集的第一图像中确定目标物体的示意流程图。如图8所示，所述在所述第一图像采集设备采集的第一图像中确定目标物体包括：
步骤S16，确定在所述第一图像中检测到的物体的类型；
步骤S17，将类型与预设类型相同的物体确定为所述目标物体。
在一个实施例中，除了如图3所示，由用户通过框选操作确定目标物体，也可以将图像中特定类型的物体确定目标物体，具体可以确定在第一图像中检测到的物体的类型，例如可以包括人，树木，交通指示牌，机动车，非机动车，建筑物等，然后将类型与预设类型相同的物体确定为所述目标物体。基于本实施例，可以自动确定目标物体，其中预设类型可以根据需要进行设定。
图9是根据本公开的实施例示出的一种估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的位置的示意流程图。如图9所示，所述根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置包括：
步骤S21，确定所述目标物体在所述第一图像中的第一深度信息；
步骤S22，根据所述目标物体的中心点在所述第一图像中的第一二维坐标和所述第一深度信息，确定所述目标物体的中心点在所述第一图像采集设备的坐标系中的第一三维坐标；
步骤S23，根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一三维坐标，确定目标物体的中心点在所述第二图像采集设备的坐标系中的第二三维坐标；
步骤S24，根据所述第二三维坐标确定所述目标物体的中心点(具体可以是目标物体的兴趣区域的中心点)在所述第二图像中的第二二维坐标。
在一个实施例中，若能够知道第一图像中物体的深度信息(例如第一图像采集设备为双目摄像机，在双目摄像机采集到的第一图像确定中可以确定物体的深度信息)，那么可以确定所述目标物体在所述第一图像中的第一深度信息d。另外，还可以确定目标物体的中心点在所述第一图像中的第一二维坐标p，其中p＝(u,v)T。
根据d和p可以确定目标物体的中心点在所述第一图像采集设备的坐标系中的三维坐标P，其中，P＝(x,y,z)T＝K-1d*(u,v,1)T。进而根据第二图像采集设备与第一图像采集设备的位姿关系以及所述第一三维坐标，可以确定目标物体的中心点在第二图像采集设备的坐标系中的第二三维坐标[x',y',z']T＝KR(P-t)，第二图像采集设备与第一图像采集设备的位姿关系包括旋转关系R和位移关系t，R和t可以以矩阵的形式表示，基于第二三维坐标可以确定目标物体的中心点在所述第二图像中的第二二维坐标p'＝[u',v']T＝[x'/z',y'/z']T。
K为相机标准化矩阵，表示第一图像采集设备的内参，以有限投影相机为例，
Figure BDA0002599324210000121
其中，αx＝fmx，αy＝fmy，f为相机的焦距，mx为相机坐标系x方向上单位距离的像素数，my为相机坐标系y方向上单位距离的像素数，γ为x方向和y方向之间的畸变参数，μ0和ν0为光心坐标。
图10是根据本公开的实施例示出的一种确定所述目标物体在所述第一图像中的第一深度信息的示意流程图。如图10所示，所述确定所述目标物体在所述第一图像中的第一深度信息包括：
步骤S211，在所述第一图像中确定到所述中心点的距离小于第一预设距离的区域内的像素，计算所述像素的像素值的均值；
步骤S212，在所述像素中确定像素值与所述均值的差值的绝对值小于或等于预设值的目标像素；
步骤S213，根据所述目标像素的深度信息确定所述第一深度信息。
在一个实施例中，由于目标物体的第一深度信息主要与目标物体的中心点(例如兴趣区域的中心点)附近的像素相关，因此可以在第一图像中确定到所述中心点的距离小于第一预设距离的区域内的像素，并计算这些像素的均值，进而可以在这些像素中确定像素值与均值的差值的绝对值小于或等于预设值的目标像素，也即像素值与均值较为接近的像素，这些目标像素由于像素值较为接近均值，所以这些目标像素的像素值差异也不大，因此在图像中更有可能是处于相近深度上的像素，进而根据目标像素的深度信息确定第一深度信息，所依据的深度信息不会存在较大的波动，也即噪音较少，因此有利于准确地确定第一深度信息。
其中，预设值可以根据需要进行设置，例如在计算所述像素的像素值的均值后，还可以计算所述像素的像素值的方差σ，预设值可以基于方差设置，例如设置为3σ。
图11是根据本公开的实施例示出的另一种估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的位置的示意流程图。如图11所示，所述估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的位置包括：
步骤S25，根据所述目标物体的中心点在所述第一图像中的第一二维坐标，所述目标物体的中心点在所述第二图像中的第二二维坐标，以及极线约束的本质矩阵方程，在所述第二图像中确定极线；
步骤S26，在与所述极线的距离小于或等于第二预设距离的区域内估算所述目标物体出现的位置。
在一个实施例中，若不能确定第一图像中物体的深度信息(例如第一图像采集设备为单目摄像机，此处所指的不能确定深度信息，是指不能计算出准确的深度信息)，可以基于极线约束估算目标物体在第二图像中出现的位置。
其中，极线约束的数学描述如下：
(p')TEp＝0，E为本质矩阵，定义为E＝R[t]×，R表示第一图像采集装置和第二图像采集装置之间的旋转关系，t表示第一图像采集装置和第二图像采集装置之间的位移关系，[t]×是矩阵的叉乘。
基于极线约束可以在第二图像中确定极线，例如图12所示L，目标物体在第二图像中处在极线上，但是具体目标物体在何处尚不能确定，因此可以确定到极线的距离小于或等于第二预设距离的区域(也即距离极线较近的区域)，例如图12所示两条虚线之间的区域，并在该区域内估算目标物体出现的位置，关于进一步如何估算目标物体的位置，在后续实施例中进行示例性说明。
图13是根据本公开的实施例示出的另一种目标检测方法的示意流程图。如图13所示，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述方法还包括：
步骤S5，对所述目标物体在所述第二图像中出现的位置进行校正，以使所述目标物体在所述第二图像中垂直于水平面。
在一个实施例中，由于无人机在飞行过程中机体可能会发生翻转，在这种情况下图像采集设备采集到的图像相对于水平面是倾斜的，但是用于检测目标物体的算法一般是针对垂直于水平面的物体，例如在确定目标物体所在兴趣区域时，兴趣区域就是垂直水平面的，而如果图像相对于水平面是倾斜的，在这种情况下直接在第二图像中确定目标物体，那么确定的兴趣区域可能会包括其他物体，导致目标物体确定的并不准确。
例如图2所示的目标物体为两个人中左侧的人，但是在图像相对于水平面是倾斜的情况下，例如图14所示，所确定的目标物体的兴趣区域就会包括右侧的人的部分身体，导致目标物体确定的并不准确。
而根据本公开的实施例，可以先对所述目标物体在所述第二图像中出现的位置进行校正，以使所述目标物体在所述第二图像中垂直于水平面，例如图15所示，将相对水平面切斜的第二图像(如虚线所示)，调整为垂直于水平面(如实线所示)，从而确保后续在第二图像中能够准确地确定目标物体，进而准确地跟踪目标物体。
图16是根据本公开的实施例示出的一种对所述目标物体在所述第二图像中出现的位置进行校正的示意流程图。如图16所示，所述无人机包括惯性测量单元，所述对所述目标物体在所述第二图像中出现的位置进行校正包括：
步骤S51，确定所述第二图像采集设备相对所述惯性测量单元的第一旋转关系，以及在所述第二图像采集设备在采集所述第二图像时，所述惯性测量单元到无人机的机身与水平面平行时无人机的坐标系的第二旋转关系；
步骤S52，根据所述第一旋转关系和所述第二旋转关系，确定在采集第二图像时所述第二图像采集设备的坐标系到无人机的机身与水平面平行时无人机的坐标系的第三旋转关系；
步骤S53，根据所述第三旋转关系对所述目标物体在所述第二图像中出现的位置进行校正。
在一个实施例中，针对位于第一图像采集设备的坐标系中的点p1，和点p1在第二图像采集设备的坐标系中对应的点p2，存在以下关系：
Figure BDA0002599324210000151
K为相机标准化矩阵，也即第一图像采集设备和第二图像采集设备的内参(此处为方便计算，采用内参相同的两个相机作为第一图像采集设备和第二图像采集设备，而实际应用中，也可以选择内参不同的两个相机作为第一图像采集设备和第二图像采集设备)，Pw表示世界坐标系中的某一点，
Figure BDA0002599324210000152
表示第一图像采集设备相对世界坐标系的旋转关系，
Figure BDA0002599324210000153
表示第二图像采集设备相对世界坐标系的旋转关系，
Figure BDA0002599324210000154
可以通过矩阵表示。
根据上述关系可以得到：
Figure BDA0002599324210000155
Figure BDA0002599324210000156
表示第一图像采集设备相对于第二图像采集设备的旋转关系，
Figure BDA0002599324210000157
可以通过矩阵表示。
为了抵消第二图像采集设备相对于水平面的旋转，使得第二图像垂直于水平面，需要把第二图像中的点pc，转换到无人机的机身与水平面平行时无人机坐标系下的点pbl，bl表示body level，在这里代表无人机的机身与水平面平行时无人机的坐标系，那么上式中的
Figure BDA0002599324210000161
可以替换为Rbl_c，Rbl_c表示在采集第二图像时第二图像采集设备的坐标系到无人机的机身与水平面平行时无人机的坐标系的旋转关系(也即上述第三旋转关系)，据此可以得到：
pbl＝KRbl_cK-1pc；
但是Rbl_c并不能直接得出，需要根据Rbl_i和Ri_c来间接计算，其中，Ri_c表示第二图像采集设备相对所述惯性测量单元(IMU)的旋转关系(也即上述第一旋转关系)，Ri_c是由结构之间的装配关系决定的，在出厂校准时即可得到这个参数；Rbl_i表示在所述第二图像采集设备在采集所述第二图像时，所述惯性测量单元到无人机的机身与水平面平行时无人机的坐标系的旋转关系(也即上述第二旋转关系)，Rbl_i可以根据惯性测量单元的测量结果得出。
其中，Rbl_c＝Rbl_iRi_c，那么pbl＝KRbl_iRi_cK-1pc；
据此，根据第一旋转关系Ri_c和第二旋转关系Rbl_i得出了第三旋转关系Rbl_c，而根据第三旋转关系Rbl_c可以对所述目标物体在所述第二图像中出现的位置pc进行校正。
图17是根据本公开的实施例示出的一种确定第二旋转关系的示意流程图。如图17所示，所述第二旋转关系通过以下方式确定：
步骤S54，根据所述惯性测量单元的输出值，确定所述惯性测量单元的坐标系相对世界坐标系的第四旋转关系；
步骤S55，将所述第四旋转关系对应的偏航角置零，保留俯仰角和横滚角作为所述第二旋转关系。
在一个实施例中，根据惯性测量单元的输出值，可以确定惯性测量单元的坐标系相对世界坐标系的第四旋转关系，通过将第四旋转关系转换为欧拉角，可以确定出惯性测量单元相对世界坐标系的偏航角(yaw角)，俯仰角(pitch角)和横滚角(roll角)，通过将偏航角置零，得到的矩阵就可以表达第二旋转关系Rbl_i。
图18是根据本公开的实施例示出的又一种目标检测方法的示意流程图。如图18所示，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述方法还包括：
步骤S6，将所述第一图像和所述第二图像的亮度调整为相同。
对于亮度不同的图像，在图像中识别同一物体可能会存在偏差，例如将同一物体识别为不同的物体。
本实施例可以先将第一图像和第二图像的亮度调整为相同，然后再确定在所述第二位置的物体与所述目标物体是否相同，据此，有利于保证准确地将第二图像中的目标物体确定为与第一图像中的目标物体相同。
在一个实施例中，将第一图像和第二图像的亮度调整为相同的方式，包括但不限于MSR(Multi-Scale Retinex，多尺度视网膜增强)，MSRCR、经典Canonical Gain/Offset等算法。
图19是根据本公开的实施例示出的又一种目标检测方法的示意流程图。如图19所示，所述将所述第一图像和所述第二图像的亮度调整为相同包括：
步骤S61，将所述目标物体在所述第一图像中的第一兴趣区域(例如目标物体在第一图像中的外接矩形，外接圆，外接椭圆等)，以及在所述第二位置的物体在所述第二图像中的第二兴趣区域(例如目标物体在第二图像中的外接矩形，外接圆，外接椭圆等)的亮度调整为相同。
在一个实施例中，由于只需确定在所述第二位置的物体与所述目标物体是否相同，只是针对第二图像中在所述第二位置的物体进行确定，而在所述第二位置以外的物体并不需要与目标物体进行比较，所以可以仅针对目标物体在第一图像中的第一兴趣区域，以及在所述第二位置的物体在第二图像中的第二兴趣区域的亮度调整为相同，有利于减少处理的数据量，降低资源消耗。
图20是根据本公开的实施例示出的又一种目标检测方法的示意流程图。如图20所示，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述方法还包括：
步骤S7，确定所述第二位置是否处在所述第二图像内；
其中，若所述第二位置处在所述第二图像内，执行步骤S3，确定在所述第二位置的物体与所述目标物体是否相同。
在一个实施例中，对于目标物体的中心点在第二图像中的第二二维坐标p'，其本质上是目标物体的中心点在第一图像中的第一二维坐标p在第二图像中的投影，由于第二图像的大小有限，该投影p'可能落在第二图像以外，在这种情况下，可以判定第二图像采集设备并未采集到目标物体，无需后续确定在所述第二位置的物体与所述目标物体是否相同等操作，以便减少处理的数据量，降低资源消耗。
而若p'处在第二图像内，那么可以判定第二图像采集设备采集到了目标物体，可以继续确定在所述第二位置的物体与所述目标物体是否相同等操作。
图21是根据本公开的实施例示出的又一种目标检测方法的示意流程图。如图21所示，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述方法还包括：
步骤S8，确定在所述第二位置的物体在所述第二图像中的第二深度信息；
步骤S9，根据所述第一深度信息和所述第二深度信息的比例关系，调整在所述第二位置的物体在所述第二图像中的第二兴趣区域。
在一个实施例中，由于物体在图像中距离镜头近大远小，而物体在图像中到镜头的远近是通过深度信息来表示的，而物体的大小影响着兴趣区域的大小，为了准确地确定兴趣区域，可以根据第一深度信息和第二深度信息的比例关系调整在位置的物体在第二图像中的第二兴趣区域。
例如第一深度信息和第二深度信息的比值大于1，说明物体在第一图像中的深度较大，到镜头的距离较远，所以尺寸较小，而在第二图像中的深度较小，到镜头的距离较近，所以尺寸较大，因此可以将第一兴趣区域放大作为第二兴趣区域。
例如第一深度信息和第二深度信息的比值小于1，说明物体在第一图像中的深度较小，到镜头的距离较近，所以尺寸较大，而在第二图像中的深度较大，到镜头的距离较远，所以尺寸较小，因此可以将第一兴趣区域缩小作为第二兴趣区域。
而如果第一深度信息和第二深度信息的比值等于1，那么无需调整第一兴趣区域的尺寸，直接将其作为第二兴趣区域即可。
图22是根据本公开的实施例示出的一种确定在所述第二位置的物体与所述目标物体是否相同的示意流程图。如图22所示，所述确定在所述第二位置的物体与所述目标物体是否相同包括：
步骤S41，获取所述目标物体在所述第一图像中的第一兴趣区域的第一特征向量，以及获取在所述第二位置的物体在所述第二图像中的第二兴趣区域的第二特征向量；
步骤S42，根据所述第一特征向量和所述第二特征向量确定在所述第二位置的物体与所述目标物体是否相同。
在一个实施例中，可以获取第一兴趣区域的第一特征向量和第二兴趣区域的第二特征向量，并根据第一特征向量和第二特征向量确定在位置的物体与目标物体是否相同。
其中，第一特征向量和第二特征向量可以是LOMO(Local Maximal OccurrenceFeature)特征的向量，。其中，可以比较第一特征向量和第二特征向量的相似性，例如可以通过计算第一特征向量和第二特征向量的距离来确定相似性，如果距离较小，说明相似性较高，从而可以确定第一兴趣区域中的物体和第二兴趣区域中的物体为同一物体。
图23是根据本公开的实施例示出的一种根据所述第一特征向量和所述第二特征向量确定在所述第二位置的物体与所述目标物体是否相同的示意流程图。如图23所示，所述根据所述第一特征向量和所述第二特征向量确定在所述第二位置的物体与所述目标物体是否相同包括：
步骤S421，计算每个第一特征向量与每个第二特征向量的距离；
步骤S422，确定距离最小的第一特征向量和第二特征向量的距离是否小于或等于第三预设距离；
步骤S423，若小于或等于第三预设距离，确定在所述第二位置的物体与所述目标物体相同。
在一个实施例中，可以基于第一特征向量与第二特征向量的距离来确定第一特征向量和第二特征向量的相似性，如果距离较小，说明相似性较高，从而可以确定第一兴趣区域中的物体和第二兴趣区域中的物体为同一物体。
需要说明的是，第一兴趣区域可以是一个或多个，第二兴趣区域也可以是一个或多个，若第一兴趣区域为多个，那么可以得到多个第一特征向量，若第二兴趣区域为多个，那么可以得到多个第二特征向量，在这种情况下，多个第一特征向量和多个第二特征向量，可以遍历所有组合来计算第一特征向量和第二特征向量的距离，并将其中距离最小一组第一特征向量和第二特征向量作为备选向量组，进而确定这组向量的距离是否足够小，例如是否小于或等于第三预设距离，若小于或等于第三预设距离，可以确定这组向量的距离足够小，说明第一特征向量和第二特征向量足够接近，第一兴趣区域和第二兴趣区域也就足够相似，那么可以确定第一兴趣区域中的物体和第二兴趣区域中的物体为同一物体。
图24是根据本公开的实施例示出的又一种目标检测方法的示意流程图。如图24所示，在根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置之前，所述方法还包括：
步骤SA，确定所述第一位置到所述第一图像的边界的距离，是否小于第四预设距离；
其中，若所述第一位置到所述第一图像的边界的距离，小于第四预设距离，执行步骤S2，根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置。
在一个实施例中，当目标物体在第一图像中，且到第一图像的边界的距离较大，那么可以确定目标物体在第一图像中处于的中心区域，在这种情况下，目标物体主要位于第一图像采集设备的视场角的中心区域。
而本实施例中不同图像采集设备的视场角不同，为了保证不同图像采集设备能够尽量覆盖更大的范围，不同图像采集设备的视场角重叠区域较小。
因此，当目标物体在第一图像中处于的中心区域，基本不会位于第二图像采集设备的视场角内，也就不会被第二图像采集设备采集到。在这种情况下如果根据第二图像采集设备与第一图像采集设备的位姿关系以及所述第一位置，估算目标物体在第二图像采集设备采集的第二图像中出现的第二位置，由于目标物体未被第二图像采集设备采集到，也就不会出现在第二图像中，从而估算不到第二位置，造成估算操作浪费资源。
根据本实施例，可以在第一位置到第一图像的边界的距离，小于第四预设距离(可以根据需要进行设置)时，才执行步骤S2，根据第二图像采集设备与第一图像采集设备的位姿关系以及所述第一位置，估算目标物体在第二图像采集设备采集的第二图像中出现的第二位置。
由于第一位置到第一图像的边界的距离，小于第四预设距离时，目标物体靠近第一图像的边缘，更有可能位于第二图像采集设备的视场角内，也就会被第二图像采集设备采集到，因此，在这种情况下才针对第二图像进行估算操作，而在第一位置到第一图像的边界的距离，不小于第四预设距离的情况下，不针对第二图像进行估算操作，可以有效地避免估算操作估算不到第二位置而浪费资源。
与上述目标检测方法的实施例相对应地，本公开还提出了目标检测装置的实施例。
本公开的实施例提出的一种目标检测装置，适用于无人机，所述无人机至少包括第一图像采集设备和第二图像采集设备，其中，第一图像采集设备的视场角与第二图像采集设备的视场角不同，所述装置包括单独或者协同工作的一个或者多个处理器，所述处理器用于：
在所述第一图像采集设备采集的第一图像中确定目标物体，以及确定所述目标物体在所述第一图像中的第一位置；
根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置；
确定在所述第二位置的物体与所述目标物体是否相同；
若相同，记录第二位置为目标物体在第二图像中的位置。
在一个实施例中，所述处理器用于：
确定用户框选操作的框体；
将位于所述框体内的像素所组成的物体确定为目标物体。
在一个实施例中，在将位于所述框体内的像素所组成的物体确定为目标物体之前，所述处理器还用于：
将所述第一图像中的像素合成超像素；
其中，所述处理器用于将位于所述框体内的超像素所组成的物体确定为目标物体。
在一个实施例中，在将位于所述框体内的超像素所组成的物体确定为目标物体之前，所述处理器还用于：
若存在被所述框体的边缘穿过的边缘超像素，确定所述边缘超像素位于所述框体内的比例；
若所述比例大于或等于预设比例，确定所述边缘超像素位于所述框体内。
在一个实施例中，所述处理器用于：
确定在所述第一图像中检测到的物体的类型；
将类型与预设类型相同的物体确定为所述目标物体。
在一个实施例中，所述处理器用于：
确定所述目标物体的中心点在所述第一图像中的第一深度信息；
根据所述目标物体在所述第一图像中的中心点的第一二维坐标和所述第一深度信息，确定所述目标物体的中心点在所述第一图像采集设备的坐标系中的第一三维坐标；
根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一三维坐标，确定目标物体的中心点在所述第二图像采集设备的坐标系中的第二三维坐标；
根据所述三维坐标确定所述目标物体的中心点在所述第二图像中的第二二维坐标。
在一个实施例中，所述处理器用于：
在所述第一图像中确定到所述中心点的距离小于第一预设距离的区域内的像素，计算所述像素的像素值的均值；
在所述像素中确定像素值与所述均值的差值的绝对值小于或等于预设值的目标像素；
根据所述目标像素的深度信息确定所述第一深度信息。
在一个实施例中，所述处理器用于：
根据所述目标物体的中心点在所述第一图像中的第一二维坐标，所述目标物体的中心点在所述第二图像中的第二二维坐标，以及极线约束的本质矩阵方程，在所述第二图像中确定极线；
在与所述极线的距离小于或等于第二预设距离的区域内估算所述目标物体出现的位置。
在一个实施例中，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述处理器还用于：
对所述目标物体在所述第二图像中出现的位置进行校正，以使所述目标物体在所述第二图像中垂直于水平面。
在一个实施例中，所述处理器用于：
确定所述第二图像采集设备相对所述惯性测量单元的第一旋转关系，以及在所述第二图像采集设备在采集所述第二图像时，所述惯性测量单元到无人机的机身与水平面平行时无人机的坐标系的第二旋转关系；
根据所述第一旋转关系和所述第二旋转关系，确定在采集第二图像时所述第二图像采集设备的坐标系到无人机的机身与水平面平行时无人机的坐标系的第三旋转关系；
根据所述第三旋转关系对所述目标物体在所述第二图像中出现的位置进行校正。
在一个实施例中，所述第二旋转关系通过以下方式确定：
根据所述惯性测量单元的输出值，确定所述惯性测量单元的坐标系相对世界坐标系的第四旋转关系；
将所述第四旋转关系对应的偏航角置零，保留俯仰角和横滚角作为所述第二旋转关系。
在一个实施例中，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述处理器还用于：
将所述第一图像和所述第二图像的亮度调整为相同。
在一个实施例中，所述处理器用于：
将所述目标物体在所述第一图像中的第一兴趣区域，以及在所述第二位置的物体在所述第二图像中的第二兴趣区域的亮度调整为相同。
在一个实施例中，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述处理器还用于：
确定所述第二位置是否处在所述第二图像内；
其中，若所述第二位置处在所述第二图像内，确定在所述第二位置的物体与所述目标物体是否相同。
在一个实施例中，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述处理器还用于：
确定在所述第二位置的物体在所述第二图像中的第二深度信息；
根据所述第一深度信息和所述第二深度信息的比例关系，调整在所述第二位置的物体在所述第二图像中的第二兴趣区域。
在一个实施例中，所述处理器用于：
获取所述目标物体在所述第一图像中的第一兴趣区域的第一特征向量，以及获取在所述第二位置的物体在所述第二图像中的第二兴趣区域的第二特征向量；
根据所述第一特征向量和所述第二特征向量确定在所述第二位置的物体与所述目标物体是否相同。
在一个实施例中，所述处理器用于：
计算每个第一特征向量与每个第二特征向量的距离；
确定距离最小的第一特征向量和第二特征向量的距离是否小于或等于第三预设距离；
若小于或等于第二预设距离，确定在所述第二位置的物体与所述目标物体相同。
在一个实施例中，所述处理器还用于：
确定所述第一位置到所述第一图像的边界的距离，是否小于第四预设距离；
其中，在所述第一位置到所述第一图像的边界的距离，小于第四预设距离的情况下，所述处理器用于根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置。
本公开的实施例还提出一种无人飞行器，包括：
机身；
动力系统，安装在所述机身，用于提供飞行动力；
以及上述任一实施例所述的目标检测装置。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (37)

1.一种目标检测方法，其特征在于，适用于无人机，所述无人机至少包括第一图像采集设备和第二图像采集设备，其中，第一图像采集设备的视场角与第二图像采集设备的视场角不同，所述方法包括：
在所述第一图像采集设备采集的第一图像中确定目标物体，以及确定所述目标物体在所述第一图像中的第一位置；
根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置；
确定在所述第二位置的物体与所述目标物体是否相同；
若相同，记录第二位置为目标物体在第二图像中的位置。
2.根据权利要求1所述的方法，其特征在于，所述在所述第一图像采集设备采集的第一图像中确定目标物体包括：
确定用户框选操作的框体；
将位于所述框体内的像素所组成的物体确定为目标物体。
3.根据权利要求2所述的方法，其特征在于，在将位于所述框体内的像素所组成的物体确定为目标物体之前，所述在所述第一图像采集设备采集的第一图像中确定目标物体还包括：
将所述第一图像中的像素合成超像素；
其中，所述将位于所述框体内的像素所组成的物体确定为目标物体包括：
将位于所述框体内的超像素所组成的物体确定为目标物体。
4.根据权利要求3所述的方法，其特征在于，在将位于所述框体内的超像素所组成的物体确定为目标物体之前，所述方法还包括：
若存在被所述框体的边缘穿过的边缘超像素，确定所述边缘超像素位于所述框体内的比例；
若所述比例大于或等于预设比例，确定所述边缘超像素位于所述框体内。
5.根据权利要求1所述的方法，其特征在于，所述在所述第一图像采集设备采集的第一图像中确定目标物体包括：
确定在所述第一图像中检测到的物体的类型；
将类型与预设类型相同的物体确定为所述目标物体。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置包括：
确定所述目标物体在所述第一图像中的第一深度信息；
根据所述目标物体的中心点在所述第一图像中的第一二维坐标和所述第一深度信息，确定所述目标物体的中心点在所述第一图像采集设备的坐标系中的第一三维坐标；
根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一三维坐标，确定目标物体的中心点在所述第二图像采集设备的坐标系中的第二三维坐标；
根据所述三维坐标确定所述目标物体的中心点在所述第二图像中的第二二维坐标。
7.根据权利要求6所述的方法，其特征在于，所述确定所述目标物体在所述第一图像中的第一深度信息包括：
在所述第一图像中确定到所述中心点的距离小于第一预设距离的区域内的像素，计算所述像素的像素值的均值；
在所述像素中确定像素值与所述均值的差值的绝对值小于或等于预设值的目标像素；
根据所述目标像素的深度信息确定所述第一深度信息。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置包括：
根据所述目标物体的中心点在所述第一图像中的第一二维坐标，所述目标物体的中心点在所述第二图像中的第二二维坐标，以及极线约束的本质矩阵方程，在所述第二图像中确定极线；
在与所述极线的距离小于或等于第二预设距离的区域内估算所述目标物体出现的位置。
9.根据权利要求1所述的方法，其特征在于，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述方法还包括：
对所述目标物体在所述第二图像中出现的位置进行校正，以使所述目标物体在所述第二图像中垂直于水平面。
10.根据权利要求9所述的方法，其特征在于，所述无人机包括惯性测量单元，所述对所述目标物体在所述第二图像中出现的位置进行校正包括：
确定所述第二图像采集设备相对所述惯性测量单元的第一旋转关系，以及在所述第二图像采集设备在采集所述第二图像时，所述惯性测量单元到无人机的机身与水平面平行时无人机的坐标系的第二旋转关系；
根据所述第一旋转关系和所述第二旋转关系，确定在采集第二图像时所述第二图像采集设备的坐标系到无人机的机身与水平面平行时无人机的坐标系的第三旋转关系；
根据所述第三旋转关系对所述目标物体在所述第二图像中出现的位置进行校正。
11.根据权利要求10所述的方法，其特征在于，所述第二旋转关系通过以下方式确定：
根据所述惯性测量单元的输出值，确定所述惯性测量单元的坐标系相对世界坐标系的第四旋转关系；
将所述第四旋转关系对应的偏航角置零，保留俯仰角和横滚角作为所述第二旋转关系。
12.根据权利要求1至11中任一项所述的方法，其特征在于，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述方法还包括：
将所述第一图像和所述第二图像的亮度调整为相同。
13.根据权利要求12所述的方法，其特征在于，所述将所述第一图像和所述第二图像的亮度调整为相同包括：
将所述目标物体在所述第一图像中的第一兴趣区域，以及在所述第二位置的物体在所述第二图像中的第二兴趣区域的亮度调整为相同。
14.根据权利要求1至11中任一项所述的方法，其特征在于，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述方法还包括：
确定所述第二位置是否处在所述第二图像内；
其中，若所述第二位置处在所述第二图像内，确定在所述第二位置的物体与所述目标物体是否相同。
15.根据权利要求1至11中任一项所述的方法，其特征在于，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述方法还包括：
确定在所述第二位置的物体在所述第二图像中的第二深度信息；
根据所述第一深度信息和所述第二深度信息的比例关系，调整在所述第二位置的物体在所述第二图像中的第二兴趣区域。
16.根据权利要求1至11中任一项所述的方法，其特征在于，所述确定在所述第二位置的物体与所述目标物体是否相同包括：
获取所述目标物体在所述第一图像中的第一兴趣区域的第一特征向量，以及获取在所述第二位置的物体在所述第二图像中的第二兴趣区域的第二特征向量；
根据所述第一特征向量和所述第二特征向量确定在所述第二位置的物体与所述目标物体是否相同。
17.根据权利要求16所述的方法，其特征在于，所述根据所述第一特征向量和所述第二特征向量确定在所述第二位置的物体与所述目标物体是否相同包括：
计算每个第一特征向量与每个第二特征向量的距离；
确定距离最小的第一特征向量和第二特征向量的距离是否小于或等于第三预设距离；
若小于或等于第三预设距离，确定在所述第二位置的物体与所述目标物体相同。
18.根据权利要求1至11中任一项所述的方法，其特征在于，在根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置之前，所述方法还包括：
确定所述第一位置到所述第一图像的边界的距离，是否小于第四预设距离；
其中，若所述第一位置到所述第一图像的边界的距离，小于第四预设距离，根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置。
19.一种目标检测装置，其特征在于，适用于无人机，所述无人机至少包括第一图像采集设备和第二图像采集设备，其中，第一图像采集设备的视场角与第二图像采集设备的视场角不同，所述装置包括单独或者协同工作的一个或者多个处理器，所述处理器用于：
在所述第一图像采集设备采集的第一图像中确定目标物体，以及确定所述目标物体在所述第一图像中的第一位置；
根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置；
确定在所述第二位置的物体与所述目标物体是否相同；
若相同，记录第二位置为目标物体在第二图像中的位置。
20.根据权利要求19所述的装置，其特征在于，所述处理器用于：
确定用户框选操作的框体；
将位于所述框体内的像素所组成的物体确定为目标物体。
21.根据权利要求20所述的装置，其特征在于，在将位于所述框体内的像素所组成的物体确定为目标物体之前，所述处理器还用于：
将所述第一图像中的像素合成超像素；
其中，所述处理器用于将位于所述框体内的超像素所组成的物体确定为目标物体。
22.根据权利要求21所述的装置，其特征在于，在将位于所述框体内的超像素所组成的物体确定为目标物体之前，所述处理器还用于：
若存在被所述框体的边缘穿过的边缘超像素，确定所述边缘超像素位于所述框体内的比例；
若所述比例大于或等于预设比例，确定所述边缘超像素位于所述框体内。
23.根据权利要求19所述的装置，其特征在于，所述处理器用于：
确定在所述第一图像中检测到的物体的类型；
将类型与预设类型相同的物体确定为所述目标物体。
24.根据权利要求19所述的装置，其特征在于，所述处理器用于：
确定所述目标物体在所述第一图像中的第一深度信息；
根据所述目标物体的中心点在所述第一图像中的中心点的第一二维坐标和所述第一深度信息，确定所述目标物体的中心点在所述第一图像采集设备的坐标系中的第一三维坐标；
根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一三维坐标，确定目标物体的中心点在所述第二图像采集设备的坐标系中的第二三维坐标；
根据所述三维坐标确定所述目标物体的中心点在所述第二图像中的第二二维坐标。
25.根据权利要求24所述的装置，其特征在于，所述处理器用于：
在所述第一图像中确定到所述中心点的距离小于第一预设距离的区域内的像素，计算所述像素的像素值的均值；
在所述像素中确定像素值与所述均值的差值的绝对值小于或等于预设值的目标像素；
根据所述目标像素的深度信息确定所述第一深度信息。
26.根据权利要求19所述的装置，其特征在于，所述处理器用于：
根据所述目标物体的中心点在所述第一图像中的第一二维坐标，所述目标物体的中心点在所述第二图像中的第二二维坐标，以及极线约束的本质矩阵方程，在所述第二图像中确定极线；
在与所述极线的距离小于或等于第二预设距离的区域内估算所述目标物体出现的位置。
27.根据权利要求19所述的装置，其特征在于，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述处理器还用于：
对所述目标物体在所述第二图像中出现的位置进行校正，以使所述目标物体在所述第二图像中垂直于水平面。
28.根据权利要求27所述的装置，其特征在于，所述处理器用于：
确定所述第二图像采集设备相对所述惯性测量单元的第一旋转关系，以及在所述第二图像采集设备在采集所述第二图像时，所述惯性测量单元到无人机的机身与水平面平行时无人机的坐标系的第二旋转关系；
根据所述第一旋转关系和所述第二旋转关系，确定在采集第二图像时所述第二图像采集设备的坐标系到无人机的机身与水平面平行时无人机的坐标系的第三旋转关系；
根据所述第三旋转关系对所述目标物体在所述第二图像中出现的位置进行校正。
29.根据权利要求28所述的装置，其特征在于，所述第二旋转关系通过以下方式确定：
根据所述惯性测量单元的输出值，确定所述惯性测量单元的坐标系相对世界坐标系的第四旋转关系；
将所述第四旋转关系对应的偏航角置零，保留俯仰角和横滚角作为所述第二旋转关系。
30.根据权利要求19至29中任一项所述的装置，其特征在于，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述处理器还用于：
将所述第一图像和所述第二图像的亮度调整为相同。
31.根据权利要求30所述的装置，其特征在于，所述处理器用于：
将所述目标物体在所述第一图像中的第一兴趣区域，以及在所述第二位置的物体在所述第二图像中的第二兴趣区域的亮度调整为相同。
32.根据权利要求19至29中任一项所述的装置，其特征在于，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述处理器还用于：
确定所述第二位置是否处在所述第二图像内；
其中，若所述第二位置处在所述第二图像内，确定在所述第二位置的物体与所述目标物体是否相同。
33.根据权利要求19至29中任一项所述的装置，其特征在于，在确定在所述第二位置的物体与所述目标物体是否相同之前，所述处理器还用于：
确定在所述第二位置的物体在所述第二图像中的第二深度信息；
根据所述第一深度信息和所述第二深度信息的比例关系，调整在所述第二位置的物体在所述第二图像中的第二兴趣区域。
34.根据权利要求19至29中任一项所述的装置，其特征在于，所述处理器用于：
获取所述目标物体在所述第一图像中的第一兴趣区域的第一特征向量，以及获取在所述第二位置的物体在所述第二图像中的第二兴趣区域的第二特征向量；
根据所述第一特征向量和所述第二特征向量确定在所述第二位置的物体与所述目标物体是否相同。
35.根据权利要求34所述的装置，其特征在于，所述处理器用于：
计算每个第一特征向量与每个第二特征向量的距离；
确定距离最小的第一特征向量和第二特征向量的距离是否小于或等于第三预设距离；
若小于或等于第二预设距离，确定在所述第二位置的物体与所述目标物体相同。
36.根据权利要求19至29中任一项所述的装置，其特征在于，所述处理器还用于：
确定所述第一位置到所述第一图像的边界的距离，是否小于第四预设距离；
其中，在所述第一位置到所述第一图像的边界的距离，小于第四预设距离的情况下，所述处理器用于根据所述第二图像采集设备与所述第一图像采集设备的位姿关系以及所述第一位置，估算所述目标物体在所述第二图像采集设备采集的第二图像中出现的第二位置。
37.一种无人飞行器，其特征在于，包括：
机身；
动力系统，安装在所述机身，用于提供飞行动力；
以及权利要求18至34中任一项所述的目标检测装置。
CN201980009923.4A 2019-05-31 2019-05-31 目标检测方法、目标检测装置和无人机 Active CN111684458B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/089671 WO2020237675A1 (zh) 2019-05-31 2019-05-31 目标检测方法、目标检测装置和无人机

Publications (2)

Publication Number Publication Date
CN111684458A true CN111684458A (zh) 2020-09-18
CN111684458B CN111684458B (zh) 2024-03-12

Family

ID=72451451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980009923.4A Active CN111684458B (zh) 2019-05-31 2019-05-31 目标检测方法、目标检测装置和无人机

Country Status (4)

Country Link
US (1) US20210118172A1 (zh)
EP (1) EP3866110A1 (zh)
CN (1) CN111684458B (zh)
WO (1) WO2020237675A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022126477A1 (zh) * 2020-12-17 2022-06-23 深圳市大疆创新科技有限公司 一种可移动平台的控制方法、装置及可移动平台

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230105162A (ko) * 2022-01-03 2023-07-11 한화에어로스페이스 주식회사 무인전투차량 및 이의 표적 검출 방법
CN114926401A (zh) * 2022-04-21 2022-08-19 奥比中光科技集团股份有限公司 一种骨骼点遮挡检测方法、装置、设备及存储介质
CN117218117B (zh) * 2023-11-07 2024-01-26 常熟市东宇绝缘复合材料有限公司 一种玻璃纤维纱检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997624A (zh) * 2014-05-21 2014-08-20 江苏大学 重叠域双摄像头目标跟踪系统及方法
CN104899894A (zh) * 2014-03-05 2015-09-09 南京理工大学 一种采用多台摄像机进行运动目标跟踪的方法
US20160012608A1 (en) * 2014-07-08 2016-01-14 Nec Corporation Object tracking device, object tracking method, and computer-readable medium
CN108111818A (zh) * 2017-12-25 2018-06-01 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置
CN108139757A (zh) * 2015-09-11 2018-06-08 深圳市大疆创新科技有限公司 用于检测和跟踪可移动物体的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016053748A (ja) * 2014-09-02 2016-04-14 株式会社デンソー 運転支援装置および運転支援方法
CN104574443B (zh) * 2015-01-15 2017-09-08 西安理工大学 一种全景摄像机间运动目标的协同跟踪方法
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899894A (zh) * 2014-03-05 2015-09-09 南京理工大学 一种采用多台摄像机进行运动目标跟踪的方法
CN103997624A (zh) * 2014-05-21 2014-08-20 江苏大学 重叠域双摄像头目标跟踪系统及方法
US20160012608A1 (en) * 2014-07-08 2016-01-14 Nec Corporation Object tracking device, object tracking method, and computer-readable medium
CN108139757A (zh) * 2015-09-11 2018-06-08 深圳市大疆创新科技有限公司 用于检测和跟踪可移动物体的系统和方法
CN108111818A (zh) * 2017-12-25 2018-06-01 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022126477A1 (zh) * 2020-12-17 2022-06-23 深圳市大疆创新科技有限公司 一种可移动平台的控制方法、装置及可移动平台

Also Published As

Publication number Publication date
CN111684458B (zh) 2024-03-12
WO2020237675A1 (zh) 2020-12-03
EP3866110A1 (en) 2021-08-18
US20210118172A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN111684458B (zh) 目标检测方法、目标检测装置和无人机
CN107230218B (zh) 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
US9374571B2 (en) Image processing device, imaging device, and image processing method
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
CN110493488B (zh) 视频稳像方法、视频稳像装置和计算机可读存储介质
US20150279021A1 (en) Video object tracking in traffic monitoring
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
CN111340749B (zh) 图像质量的检测方法、装置、设备及存储介质
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
CN111723801B (zh) 鱼眼相机图片中目标检测矫正的方法与系统
JP2020197989A5 (ja) 画像処理システム、画像処理方法、およびプログラム
WO2017101292A1 (zh) 自动对焦的方法、装置和系统
CN113056907A (zh) 拍摄方法、拍摄装置及存储介质
US20210335010A1 (en) Calibration method and calibration apparatus
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
JP6833483B2 (ja) 被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置
JP6163732B2 (ja) 画像処理装置、プログラム、及び方法
JP2004020398A (ja) 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
JP2006177937A (ja) 距離計測装置及び距離計測方法
CN112949588B (zh) 目标检测跟踪方法以及目标检测跟踪装置
US10855918B2 (en) Image processing device, image processing method, image pickup apparatus, and program storage medium that calculates a matching degree between an estimated target of interest and tracked feature points, then selects a feature point to which tracking is continued according to the matching degree
KR102055276B1 (ko) 사람계수 장치 및 방법
WO2022014361A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2019176261A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant