[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113609942B - 一种基于多目多光谱融合的道路智能监控系统 - Google Patents

一种基于多目多光谱融合的道路智能监控系统 Download PDF

Info

Publication number
CN113609942B
CN113609942B CN202110849217.XA CN202110849217A CN113609942B CN 113609942 B CN113609942 B CN 113609942B CN 202110849217 A CN202110849217 A CN 202110849217A CN 113609942 B CN113609942 B CN 113609942B
Authority
CN
China
Prior art keywords
road
image
fusion
processing unit
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110849217.XA
Other languages
English (en)
Other versions
CN113609942A (zh
Inventor
王海伟
肖�琳
刘文豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Order Of Magnitude Shanghai Information Technology Co ltd
Original Assignee
Order Of Magnitude Shanghai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Order Of Magnitude Shanghai Information Technology Co ltd filed Critical Order Of Magnitude Shanghai Information Technology Co ltd
Priority to CN202110849217.XA priority Critical patent/CN113609942B/zh
Publication of CN113609942A publication Critical patent/CN113609942A/zh
Application granted granted Critical
Publication of CN113609942B publication Critical patent/CN113609942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于多目多光谱融合的道路智能监控系统，包括：融合相机，包括多个成像通道和图像融合处理器；所述多个成像通道，用于获取多个光谱的道路图像；所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。结合多光谱融合图像和双目立体视觉以及基于神经网络的智能识别技术，能够全天时实现对道路目标三维轮廓、距离、速度、车型、车牌和车身记录。

Description

一种基于多目多光谱融合的道路智能监控系统
技术领域
本发明涉及道路监控，尤其涉及一种基于多目多光谱融合的道路智能监控系统。
背景技术
道路监控常用可见光摄像头和毫米波测距测速雷达或者复合使用，可见光摄像头获取道路目标可见光图像、车牌号码等，毫米波测距测速雷达获取道路目标距离、速度等。为了进一步获取道路目标精细三维轮廓信息，激光雷达技术也开始逐渐应用于道路监控。
但在实际道路监控应用中，毫米波测距测速雷达无法精细测量道路目标的三维轮廓，而可见光摄像头存在夜视能力差和雨雾恶劣天气适应能力差等问题。新兴的激光雷达技术虽能够精确获得目标的三维轮廓信息，但仍存在恶劣天气适应能力差、价格昂贵、运动部件导致使用寿命短等问题。所以需要开发低成本、全天时、长寿命和良好恶劣天气适应力的道路监控设备，能够同时覆盖道路目标测距、测速、目标纹理、三维轮廓以及车牌识别等功能。
发明内容
鉴于目前存在的上述不足，本发明提供一种基于多目多光谱融合的道路智能监控系统，结合多光谱融合图像和双目立体视觉以及基于神经网络的智能识别技术，能够全天时实现对道路目标三维轮廓、距离、速度、车型、车牌和车身记录。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于多目多光谱融合的道路智能监控系统，包括：
融合相机，包括多个成像通道和图像融合处理器；
所述多个成像通道，用于获取多个光谱的道路图像；
所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；
综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；
应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。
依照本发明的一个方面，所述多个成像通道包括热红外成像传感器和微光或短波成像传感器。
依照本发明的一个方面，所述热红外成像传感器获取道路目标热红外图像，表征不同物体的温度场分布情况；所述微光或短波成像传感器获取道路短波红外图像或可见微光图像。
依照本发明的一个方面，所述图像融合处理器对道路目标热红外图像进行去噪增强以及畸变校正，对道路短波红外图像或可见微光图像进行ISP预处理。
依照本发明的一个方面，所述图像融合处理器对处理后的道路目标热红外图像以及道路短波红外图像或可见微光图像进行匹配融合生成多目双色融合图像。
依照本发明的一个方面，所述综合处理单元基于多目双色融合图像进行多目立体视觉处理，生产深度图像，并将深度图像转换为三维点云图像。
依照本发明的一个方面，所述综合处理单元基于多目双色融合图像执行分辨率提升算法生成超分辨率双色融合图像。
依照本发明的一个方面，所述综合处理单元综合超分辨率双色融合图像和三维点云图像执行多目立体视觉算法实现高可靠性道路目标智能识别、分类和测量；执行超分辨双色融合图像语义分割算法，保留道路和道路相关目标信息，剔除无关要素，将目标智能识别和测量结果标注于超分辨双色融合图像中进行输出。
依照本发明的一个方面，还包括显示屏，用于显示道路识别结果和标注。
依照本发明的一个方面，还包括支撑结构，用于支撑融合相机，维持基线稳定。
本发明实施的优点：本发明所述的一种基于多目多光谱融合的道路智能监控系统，包括：融合相机，包括多个成像通道和图像融合处理器；所述多个成像通道，用于获取多个光谱的道路图像；所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。热红外成像不依赖于反射光，表征不同物体的温度场分布情况，可以在恶劣的光照和天气条件下进行检测，尤其针对行人、动物、行驶车辆等强烈高对比度热目标检测能力尤其突出。微光成像可在夜间暗弱光线条件下成像效果好且分辨率较高，短波红外成像同时兼顾目标细节纹理清晰表达和一定的夜视及透雾能力。所以热红外与微光或短波红外传感器的融合提供了全天时以及在恶劣光照和天气条件下更丰富、更可靠、更准确、更智能的被动视觉能力。通过多目立体视觉算法所述系统能够全天时和恶劣天气条件下高密度三维点云获。所述系统同时兼具双光融合和立体视觉能力，使得典型道路目标识别与分析的准确性和可靠性有效提升。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的一种基于多目多光谱融合的道路智能监控系统的组成结构框架图；
图2为本发明所述的一种基于多目多光谱融合的道路智能监控系统的工作流程框架图；
图3为本发明所述的融合相机结构示意图；
图4为本发明所述的一种基于多目多光谱融合的道路智能监控系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1、图2、图3和图4所示，一种基于多目多光谱融合的道路智能监控系统，包括：
融合相机，包括多个成像通道和图像融合处理器；
在实际应用中，还包括支撑结构，用于支撑融合相机，维持基线稳定。
在实际应用中，融合相机为双光谱融合相机，两部、三部或者更多部双光谱融合相机安装在统一的支撑结构上，支撑结构强度高保证了多部相机之间基线的稳定，多部相机之间基线长度根据监测工作距离的需要来调整，最远观测距离在50m～400m范围内进行设定，多部相机视轴平行观察相同场景。
所述多个成像通道，用于获取多个光谱的道路图像；
在实际应用中，所述多个成像通道包括热红外成像传感器和微光或短波成像传感器。
在实际应用中，所述热红外成像传感器获取道路目标热红外图像，表征不同物体的温度场分布情况；所述微光或短波成像传感器获取道路短波红外图像或可见微光图像。
在实际应用中，红外成像传感器为双光谱融合相机的一个成像通道，热红外成像传感器获取道路目标热红外图像，表征不同物体的温度场分布情况，可以在恶劣的光照和天气条件下进行检测，尤其针对行人、动物、行驶车辆等强烈高对比度热目标检测能力尤其突出。
在实际应用中，微光或短波成像传感器为双光谱融合相机的另一个成像通道，可选择短波红外成像传感器或者可见光微光成像传感器，可见微光成像和短波红外相机各具优势，可根据实际应用进行选择，可见微光在夜间暗弱光线条件下成像效果好且分辨率较高，短波红外成像同时兼顾目标细节纹理清晰表达和一定的夜视及透雾能力。
所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；
在实际应用中，所述图像融合处理器对道路目标热红外图像进行去噪增强以及畸变校正，对道路短波红外图像或可见微光图像进行ISP预处理。
在实际应用中，所述图像融合处理器对处理后的道路目标热红外图像以及道路短波红外图像或可见微光图像进行匹配融合生成多目双色融合图像。
在实际应用中，双光谱融合相机中图像融合处理器控制多个成像通道同步曝光，接收多个成像通道的输出视频，先对道路目标热红外图像实现图像去噪增强和图像畸变校正，进一步道路短波红外图像或可见微光图像实现ISP预处理，接着对两个图像匹配融合，最终输出双色融合图像。
综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；
在实际应用中，综合处理单元同步控制多部双光谱融合相机同步曝光，并控制多部双光谱融合相机的工作状态。综合处理单元接收多部双光谱融合相机相机的双色融合图像，执行多目立体视觉算法、道路目标识别分类和显示等多种算法，最终将识别结果和标注后的视频流输出。
在实际应用中，所述综合处理单元基于多目双色融合图像进行多目立体视觉处理，生产深度图像，并将深度图像转换为三维点云图像。
在实际应用中，所述综合处理单元基于多目双色融合图像执行分辨率提升算法生成超分辨率双色融合图像。
在实际应用中，所述综合处理单元综合超分辨率双色融合图像和三维点云图像执行多目立体视觉算法实现高可靠性道路目标智能识别、分类和测量；执行超分辨双色融合图像语义分割算法，保留道路和道路相关目标信息，剔除无关要素，将目标智能识别和测量结果标注于超分辨双色融合图像中进行输出。
在实际应用中，综合处理单元的工作流程为：根据三角测量原理，综合数据处理单元利用多目热红外图像生产红外三维点云数据，利用多目微光或短波图像生产微光或短波三维点云数据，再融合红外三维点云数据和微光或短波三维点云数据生产高可靠性双色三维点云数据。基于双色三维点云数据，综合数据处理单元实时计算得出各类车辆、行人等目标距离和目标三维轮廓，并进一步间接计算目标速度；标定过的多部双光谱融合相机对同一场景观测，经过校正、插值、配准和融合后，综合数据处理单元计算得出超分辨率双色融合图像；综合数据处理单元具备神经网络加速计算能力，结合双色融合图像数据和三维立体数据，通过深度学习等方法实现高可靠道路语义分割、车型识别、行人分类等。综合数据处理单元执行语义分割等算法，保留道路和道路目标相关信息，在超分辨融合图像中标注车辆、行人等道路关键信息(包括距离、速度、三维尺寸、分型、车牌等)。
应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。
在实际应用中，应用系统根据用户不同需求分为智慧交通终端，车路协同终端。其中综合处理单元输出的结果上传给智慧交通终端用于车辆管控；所述综合处理单元输出的结果上传给车路协同终端用于将道路车辆信息分发至各智能驾驶车辆终端。
显示屏，用于显示综合处理单元输出的道路识别结果和标注，便于查看。
在实际应用中，双光谱融合相机的结构如图3所示，由热红外镜头、微光镜头、热红外接口电源板、微光ISP图像处理版、热红外ISP图像处理版以及结构壳体等共同构成，双光谱融合相机安装到支撑结构时需要安装上遮阳板。
在实际应用中，如图4所示，为两部安装到支撑结构上构成的四目双色融合目标三维测量和智能识别监控系统，中间两处为固定安装点。
在实际应用中，如图2所示，展示本系统的工作流程，具体为：
P1：热红外图像去噪增强以及畸变校正；
P2：短波红外图像或可见微光ISP预处理；
P3：热红外图像与波红外图像或可见微光图像匹配融合；
P4：基于多目双色融合图像的多目立体视觉处理，生产深度图像；
P5：深度图像转换为三维点云图像；
P6：基于多目阵列化融合图像的匹配融合处理，实现融合图像的超分辨提升；
P7：综合双色融合图像和三维点云图像实现高可靠性道路目标智能识别、分类和测量；
P8：执行超分辨双色融合图像语义分割，保留道路和道路相关目标信息，剔除无关要素，将目标智能识别和测量结果标注于融合图像中显示输出或者记录。
在实际应用中，本系统的优点在于：
(1)所述系统为基于多光谱融合相机的多目三维视觉系统，在恶劣光照和天气条件下(包括完全黑暗、雨雪、雾、霾和眩光等)实现精确可靠道路目标检测，解决以往视觉系统面临的道路复杂差异化目标检测以及极端天气和光照条件下可靠工作的挑战。
(2)所述系统能够生成准确的三维点云数据，从而提供丰富而准确的逐像素目标三维信息，所述技术的使用为生成高分辨率点云三维提供了一种无发射源被动式且经济高效的解决方案。
(3)基于单目的道路目标识别以往依赖于深度神经网络技术，会遇到训练网络中存在未知对象的极端情况，而所述系统将目标双光融合信息、目标三维信息与深度神经网络相结合，以提供更准确的目标检测和分类。
(4)所述系统中多目多光谱相机经标定过后对同一场景观测，经过校正、插值、配准和融合后，现场综合数据处理单元可以计算得出超分辨率图像。所述技术的使用为生产高分辨图像提供了一种可靠的解决方案，有力提升道路监视显示效果。
(5)所述系统集成多种监控测量功能于一体，无需与其他监控系统配合，可以独立完成车身图像、车牌录入，完成车辆三维尺寸测量和车型分类，实现车辆位置、距离和速度测量，并兼顾行人等其他道路目标测量、识别和标记。
(6)与应用于道路监控的激光雷达三维视觉系统相比，所述系统无运动部件工作寿命更长，不包括昂贵的光源部件价格更低。与应用于道路监控的毫米波雷达相比，所述系统更高的成像分辨率和更好的目标辨识能力。
本发明实施的优点：本发明所述的一种基于多目多光谱融合的道路智能监控系统，包括：融合相机，包括多个成像通道和图像融合处理器；所述多个成像通道，用于获取多个光谱的道路图像；所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。热红外成像不依赖于反射光，表征不同物体的温度场分布情况，可以在恶劣的光照和天气条件下进行检测，尤其针对行人、动物、行驶车辆等强烈高对比度热目标检测能力尤其突出。微光成像可在夜间暗弱光线条件下成像效果好且分辨率较高，短波红外成像同时兼顾目标细节纹理清晰表达和一定的夜视及透雾能力。所以热红外与微光或短波红外传感器的融合提供了全天时以及在恶劣光照和天气条件下更丰富、更可靠、更准确、更智能的被动视觉能力。通过多目立体视觉算法所述系统能够全天时和恶劣天气条件下高密度三维点云获。所述系统同时兼具双光融合和立体视觉能力，使得典型道路目标识别与分析的准确性和可靠性有效提升。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种基于多目多光谱融合的道路智能监控系统，其特征在于，包括：
融合相机，包括多个成像通道和图像融合处理器；
所述多个成像通道，用于获取多个光谱的道路图像，所述多个成像通道包括热红外成像传感器和微光或短波成像传感器，所述热红外成像传感器获取道路目标热红外图像，表征不同物体的温度场分布情况；所述微光或短波成像传感器获取道路短波红外图像或可见微光图像；
所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合，所述图像融合处理器对道路目标热红外图像进行去噪增强以及畸变校正，对道路短波红外图像或可见微光图像进行ISP预处理，所述图像融合处理器对处理后的道路目标热红外图像以及道路短波红外图像或可见微光图像进行匹配融合生成多目双色融合图像；
综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注，所述综合处理单元基于多目双色融合图像进行多目立体视觉处理，生产深度图像，并将深度图像转换为三维点云图像，所述综合处理单元基于多目双色融合图像执行分辨率提升算法生成超分辨率双色融合图像；
应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。
2.根据权利要求1所述的基于多目多光谱融合的道路智能监控系统，其特征在于，所述综合处理单元综合超分辨率双色融合图像和三维点云图像执行多目立体视觉算法实现高可靠性道路目标智能识别、分类和测量；执行超分辨双色融合图像语义分割算法，保留道路和道路相关目标信息，剔除无关要素，将目标智能识别和测量结果标注于超分辨双色融合图像中进行输出。
3.根据权利要求1所述的基于多目多光谱融合的道路智能监控系统，其特征在于，还包括显示屏，用于显示道路识别结果和标注。
4.根据权利要求1所述的基于多目多光谱融合的道路智能监控系统，其特征在于，还包括支撑结构，用于支撑融合相机，维持基线稳定。
CN202110849217.XA 2021-07-27 2021-07-27 一种基于多目多光谱融合的道路智能监控系统 Active CN113609942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110849217.XA CN113609942B (zh) 2021-07-27 2021-07-27 一种基于多目多光谱融合的道路智能监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110849217.XA CN113609942B (zh) 2021-07-27 2021-07-27 一种基于多目多光谱融合的道路智能监控系统

Publications (2)

Publication Number Publication Date
CN113609942A CN113609942A (zh) 2021-11-05
CN113609942B true CN113609942B (zh) 2022-11-22

Family

ID=78305538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110849217.XA Active CN113609942B (zh) 2021-07-27 2021-07-27 一种基于多目多光谱融合的道路智能监控系统

Country Status (1)

Country Link
CN (1) CN113609942B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757854B (zh) * 2022-06-15 2022-09-02 深圳市安星数字系统有限公司 基于多光谱分析的夜视图像质量提升方法、装置、设备
CN117132519B (zh) * 2023-10-23 2024-03-12 江苏华鲲振宇智能科技有限责任公司 基于vpx总线多传感器图像融合处理模块

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203134149U (zh) * 2012-12-11 2013-08-14 武汉高德红外股份有限公司 基于不同波段成像融合图像处理的车辆辅助驾驶系统
CN103390281A (zh) * 2013-07-29 2013-11-13 西安科技大学 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及系统
WO2020103533A1 (zh) * 2018-11-20 2020-05-28 中车株洲电力机车有限公司 一种轨道和道路障碍物检测方法
CN113012469A (zh) * 2021-03-16 2021-06-22 浙江亚太机电股份有限公司 一种基于目标识别的智能交通预警系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203134149U (zh) * 2012-12-11 2013-08-14 武汉高德红外股份有限公司 基于不同波段成像融合图像处理的车辆辅助驾驶系统
CN103390281A (zh) * 2013-07-29 2013-11-13 西安科技大学 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及系统
WO2020103533A1 (zh) * 2018-11-20 2020-05-28 中车株洲电力机车有限公司 一种轨道和道路障碍物检测方法
CN113012469A (zh) * 2021-03-16 2021-06-22 浙江亚太机电股份有限公司 一种基于目标识别的智能交通预警系统

Also Published As

Publication number Publication date
CN113609942A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
US11532151B2 (en) Vision-LiDAR fusion method and system based on deep canonical correlation analysis
CN111951305B (zh) 一种基于视觉和激光雷达的目标检测和运动状态估计方法
Choi et al. KAIST multi-spectral day/night data set for autonomous and assisted driving
Huang et al. The apolloscape dataset for autonomous driving
CN107133559B (zh) 基于360度全景的运动物体检测方法
US20200041284A1 (en) Map road marking and road quality collecting apparatus and method based on adas system
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
KR101364727B1 (ko) 촬영된 영상의 처리를 이용한 안개 감지 방법 및 장치
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN113609942B (zh) 一种基于多目多光谱融合的道路智能监控系统
CN103176185A (zh) 用于检测道路障碍物的方法及系统
CN113743391A (zh) 应用于低速自主驾驶机器人的三维障碍物检测系统与方法
CN114114312A (zh) 一种基于多焦距相机与激光雷达融合的三维目标检测方法
CN104601953A (zh) 一种视频图像融合处理系统
Yang et al. Driving assistance system based on data fusion of multisource sensors for autonomous unmanned ground vehicles
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
CN114966696A (zh) 一种基于Transformer的跨模态融合目标检测方法
CN106803073B (zh) 基于立体视觉目标的辅助驾驶系统及方法
CN113343849A (zh) 一种基于雷达和视频的融合感知设备
CN116794650A (zh) 一种毫米波雷达与摄像头数据融合的目标检测方法和装置
CN102722724B (zh) 具有目标识别功能的车载夜视系统及其目标标识方法
CN114677658B (zh) 十亿像素动态大场景图像采集和多目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant