CN118618343A - 基于全景视觉的泊车方法、装置、计算机设备和存储介质 - Google Patents
基于全景视觉的泊车方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN118618343A CN118618343A CN202410732407.7A CN202410732407A CN118618343A CN 118618343 A CN118618343 A CN 118618343A CN 202410732407 A CN202410732407 A CN 202410732407A CN 118618343 A CN118618343 A CN 118618343A
- Authority
- CN
- China
- Prior art keywords
- parking
- panoramic image
- vehicle
- current vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 238000004590 computer program Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 63
- 230000000875 corresponding effect Effects 0.000 claims description 16
- 230000001276 controlling effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000012545 processing Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请涉及自动泊车技术领域,特别是涉及一种基于全景视觉的泊车方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。所述方法包括:获取当前车辆位置的全景图像和泊车位置的全景图像;根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线;根据所述泊车路线,控制车辆进行泊车;在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。采用本方法能够通过对车辆周围环境的感知和理解,实现准确、实时、低成本地自动泊车。
Description
技术领域
本申请涉及自动泊车技术领域,特别是涉及一种基于全景视觉的泊车方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术
随着汽车行业的快速发展和人工智能技术的不断进步,自动驾驶和自动泊车技术已成为各大车企和技术公司研究的重点。自动泊车技术作为自动驾驶领域的重要组成部分,其目标是在无需驾驶员干预的情况下,实现车辆的自主停车。然而,目前自动泊车技术主要依赖于多个环视摄像头、毫米波雷达等传感器配合完成,这不仅增加了系统的复杂性和成本,还面临着如何准确、实时地进行自动泊车的挑战。
因此,亟需一种基于全景视觉的泊车方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,能够通过对车辆周围环境的感知和理解,实现准确、实时、低成本地自动泊车。
发明内容
基于此,有必要针对上述技术问题,提供一种能够通过对车辆周围环境的感知和理解,实现准确、实时、低成本地自动泊车的基于全景视觉的泊车方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种基于全景视觉的泊车方法,包括:
获取当前车辆位置的全景图像和泊车位置的全景图像;
根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线;
根据所述泊车路线,控制车辆进行泊车;
在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
在其中一个实施例中,所述根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线,包括:
将所述当前车辆位置的全景图像和所述泊车位置的全景图像进行对比,获得两者间重复的位置路标;
通过所述位置路标,建立当前车辆位置与泊车位置之间的对应关系;
根据所述对应关系,获取当前车辆位置指向泊车位置的归航向量;
利用所述位置路标,构建向量算法模型;
根据所述归航向量和所述向量算法模型,获取车辆的泊车路线。
在其中一个实施例中,所述将所述当前车辆位置的全景图像和所述泊车位置的全景图像进行对比,获得两者间重复的位置路标之后,还包括:
获取每个位置路标与预设基准路标之间的距离;
获取所述距离与预设基准距离的距离比;
根据所述距离比,通过高斯函数为每个位置路标分配权重;其中,距离比与权重呈正相关。
在其中一个实施例中,所述将所述当前车辆位置的全景图像和所述泊车位置的全景图像进行对比,获得两者间重复的位置路标之后,还包括:
获取每个位置路标的归航子向量的方位角度值,以及全部位置路标的归航子向量的方位角度平均值;
根据所述每个位置路标的归航子向量的方位角度值和所述方位角度平均值的差异值,为每个位置路标分配权重。
在其中一个实施例中,所述根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线之前,还包括:
分别获取所述当前车辆位置的全景图像和所述泊车位置的全景图像的图像噪声值;
在二者的图像噪声值中任一项超过预设噪声值的情况下,利用残差去噪网络模型,对所述当前车辆位置的全景图像和所述泊车位置的全景图像进行去噪处理。
在其中一个实施例中,所述利用残差去噪网络模型,对所述当前车辆位置的全景图像和所述泊车位置的全景图像进行去噪处理之前,还包括:
将所述残差去噪网络模型的注意力机制模块中的首个卷积残差模块替换为残差稠密连接模块。
第二方面,本申请还提供了一种基于全景视觉的泊车装置,包括:
采集模块,用于获取当前车辆位置的全景图像和泊车位置的全景图像;
路线获取模块,用于根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线;
控制模块,用于根据所述泊车路线,控制车辆进行泊车;
控制模块,还用于在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取当前车辆位置的全景图像和泊车位置的全景图像;
根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线;
根据所述泊车路线,控制车辆进行泊车;
在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取当前车辆位置的全景图像和泊车位置的全景图像;
根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线;
根据所述泊车路线,控制车辆进行泊车;
在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取当前车辆位置的全景图像和泊车位置的全景图像;
根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线;
根据所述泊车路线,控制车辆进行泊车;
在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
上述基于全景视觉的泊车方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过全景图像的获取,能够更全面地感知车辆周围的环境,从而更准确地确定泊车位置和路线。全景视觉技术可以快速地对车辆周围环境进行捕捉和处理,使得泊车过程更加迅速和流畅。相比于依赖多个传感器如环视摄像头、毫米波雷达等,全景视觉技术减少了对这些传感器的依赖,从而降低了整体系统的复杂性和成本。准确和实时的泊车技术可以减少由于泊车不当导致的事故风险,从而提高了驾驶的安全性。全景视觉技术可以适应不同的停车环境和条件,包括狭窄的空间、复杂的交通状况等,使得自动泊车系统更加灵活和可靠。在泊车过程中,图像配准算法的使用可以进一步调节车辆的泊车动作误差,确保泊车过程的精确性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对本申请实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为一个实施例中基于全景视觉的泊车方法的应用环境图;
图2为一个实施例中基于全景视觉的泊车方法的流程示意图;
图3为另一个实施例中基于全景视觉的泊车方法的流程示意图;
图4为一个实施例中基于全景视觉的泊车装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的基于全景视觉的泊车方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。
服务器104获取当前车辆位置的全景图像和泊车位置的全景图像;根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线;根据所述泊车路线,控制车辆进行泊车;在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备、投影设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。头戴设备可以为虚拟现实(Virtual Reality,VR)设备、增强现实(Augmented Reality,AR)设备、智能眼镜等。服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或分布式系统,还可以是提供云计算服务的云服务器。
在一个示例性的实施例中,如图2所示,提供了一种基于全景视觉的泊车方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤S202至步骤S208。其中:
步骤S202,获取当前车辆位置的全景图像和泊车位置的全景图像。
本申请中,应用全景视觉传感器代替车上的环视摄像头以及毫米波雷达等传感器,分别获取当前车辆位置的全景图像和泊车位置的全景图像。
具体地,获取当前车辆位置的全景图像意味着系统会使用全景视觉传感器来捕捉车辆当前位置的360度全景图像。全景图像可以提供车辆周围环境的全面视图,帮助系统更好地理解车辆所处的环境。获取泊车位置的全景图像指的是系统还会捕捉车辆将要泊车的位置的全景图像,需要了解泊车区域的空间布局,以确保车辆能够安全、准确地停在指定位置。应用全景视觉传感器代替车上的环视摄像头以及毫米波雷达等传感器,能够提供更广泛的视角和更丰富的视觉信息。
步骤S204,根据当前车辆位置的全景图像和泊车位置的全景图像,获取车辆的泊车路线。
具体地,分析当前车辆位置的全景图像和泊车位置的全景图像,识别出车辆周围的环境特征,包括可用的泊车位、障碍物、交通标志等。根据环境分析的结果,系统会计算出一条从当前位置到泊车位的最优路径。这通常涉及到复杂的算法,如路径规划算法(例如A*算法、Dijkstra算法等),能够在考虑多种因素(如距离、时间、安全性等)的情况下找到最佳路径。系统会根据计算出的最优路径,生成具体的泊车指令,包括转向、倒车、停车等操作。
步骤S206,根据泊车路线,控制车辆进行泊车。
具体地,系统会根据泊车路线生成一系列的控制指令,这些指令包括但不限于转向角度、速度控制、换挡指令等。车辆的控制系统会执行这些指令,确保车辆按照预定的路线移动。这涉及到自动驾驶系统的多个组件,如转向系统、动力系统、制动系统等。在执行泊车过程中,系统会持续监控车辆的实际位置和状态,以及周围环境的变化。如果有需要,系统会实时调整控制指令,以应对突发情况或更正偏差。当车辆接近目标泊车位时,系统会精确控制车辆的最终位置和姿态,确保车辆安全、准确地停在泊车位内。系统还可以与驾驶员进行交互,例如通过车辆的显示屏或声音提示,告知驾驶员当前的泊车状态或需要驾驶员进行的操作。一旦车辆成功停在泊车位内,系统会确认泊车完成,并向驾驶员发出泊车完成的信号。
步骤S208,在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
具体地,图像配准是计算机视觉中的一个过程,它涉及将两幅或多幅图像对齐,以便它们能够重叠或匹配。在泊车场景中,这通常意味着将车辆的实时图像与预先采集的图像或地图进行匹配。车辆上的摄像头或其他视觉传感器会实时捕捉车辆周围环境的图像,包括车辆当前的位置和目标泊车位。系统会使用图像配准算法将实时采集的图像与预先设定的泊车路线或目标泊车位的图像进行匹配。通过比较实时图像和参考图像,系统可以检测出车辆的位置和姿态与预定泊车路线之间的偏差。一旦检测到误差,系统会计算出需要进行的调整,生成新的控制指令来纠正车辆的位置和姿态,包括调整转向角度、速度、制动等。
其中,图像配准算法和泊车动作的调整通常在一个闭环控制系统中进行。这意味着系统会不断地采集图像、进行配准、检测误差并调整泊车动作,直到车辆准确地停在预定位置。通过使用图像配准算法,系统能够更精确地控制车辆的泊车动作,减少由于环境变化、传感器误差或初始泊车路线规划不准确等原因造成的泊车误差。
上述基于全景视觉的泊车方法中,通过全景图像的获取,能够更全面地感知车辆周围的环境,从而更准确地确定泊车位置和路线。全景视觉技术可以快速地对车辆周围环境进行捕捉和处理,使得泊车过程更加迅速和流畅。相比于依赖多个传感器如环视摄像头、毫米波雷达等,全景视觉技术减少了对这些传感器的依赖,从而降低了整体系统的复杂性和成本。准确和实时的泊车技术可以减少由于泊车不当导致的事故风险,从而提高了驾驶的安全性。全景视觉技术可以适应不同的停车环境和条件,包括狭窄的空间、复杂的交通状况等,使得自动泊车系统更加灵活和可靠。在泊车过程中,图像配准算法的使用可以进一步调节车辆的泊车动作误差,确保泊车过程的精确性。
在一个示例性的实施例中,如图3所示,根据当前车辆位置的全景图像和泊车位置的全景图像,获取车辆的泊车路线,包括:
步骤S302,将当前车辆位置的全景图像和泊车位置的全景图像进行对比,获得两者间重复的位置路标;
步骤S304,通过位置路标,建立当前车辆位置与泊车位置之间的对应关系;
步骤S306,根据对应关系,获取当前车辆位置指向泊车位置的归航向量;
步骤S308,利用位置路标,构建向量算法模型;
步骤S310,根据归航向量和向量算法模型,获取车辆的泊车路线。
具体地,首先,系统会将当前车辆位置的全景图像与泊车位置的全景图像进行对比,目的是为了找出两幅图像中共同的特征,如路标、建筑物、停车线等。通过图像对比,系统识别出两幅图像中重复出现的路标或特征点。这些重复的位置路标作为参照物,帮助系统确定两个位置之间的空间关系。使用识别出的位置路标,系统建立当前车辆位置与泊车位置之间的对应关系。这种对应关系涉及到路标的空间布局、方向和距离等信息。根据建立的对应关系,系统计算出从当前车辆位置指向泊车位置的归航向量。归航向量是一个矢量,它表示车辆需要遵循的方向和距离,以便从当前位置移动到泊车位置。
然后,利用位置路标,系统构建一个算法模型,该模型能够根据归航向量和其他环境信息来计算泊车路线。这个模型涉及到路径规划算法,如A*算法、Dijkstra算法等。最后,系统根据归航向量和向量算法模型,计算出一条具体的泊车路线。这条路线指导车辆如何从当前位置移动到泊车位置,包括必要的转向、速度调整等操作。
本实施例中,通过集成计算机视觉、图像处理、空间分析和算法模型的自动化系统,为车辆提供一条精确、安全的泊车路线,车辆能够在复杂的环境条件下,自动地找到并停入指定的泊车位。
在一个示例性的实施例中,将当前车辆位置的全景图像和泊车位置的全景图像进行对比,获得两者间重复的位置路标之后,还包括:
获取每个位置路标与预设基准路标之间的距离;
获取距离与预设基准距离的距离比;
根据距离比,通过高斯函数为每个位置路标分配权重;其中,距离比与权重呈正相关。
具体地,在确定了两个全景图像之间重复的位置路标之后,系统会测量每个位置路标与一个预设的基准路标之间的实际距离。这个基准路标可以是一个特定的、已知位置的参照点,用于作为测量其他路标的基准。接着,系统会计算每个位置路标与基准路标之间的距离与一个预设的基准距离之间的比例。这个基准距离是一个事先设定的标准距离,用于标准化距离测量,以便进行比较和计算。然后,系统使用高斯函数(正态分布函数)来根据距离比为每个位置路标分配一个权重。高斯函数是一种常见的数学函数,它在统计学和信号处理等领域有广泛应用,用于模拟自然现象中的分布。
当距离比越接近1(即与基准距离越接近),分配给该位置路标的权重就越大。换句话说,如果某个位置路标与基准路标的距离非常接近预设的基准距离,那么这个路标在泊车路径规划中的重要性就更高,对泊车路线的影响也就更大。
本实施例中,通过这种方式,系统能够为每个位置路标分配一个反映其重要性的权重,进而在泊车路径规划中考虑这些权重。这样的处理可以提高泊车路径的准确性和可靠性,尤其是在复杂的停车环境中,能够帮助车辆更安全、更精确地导航到泊车位。
在一个示例性的实施例中,将当前车辆位置的全景图像和泊车位置的全景图像进行对比,获得两者间重复的位置路标之后,还包括:
获取每个位置路标的归航子向量的方位角度值,以及全部位置路标的归航子向量的方位角度平均值;
根据每个位置路标的归航子向量的方位角度值和方位角度平均值的差异值,为每个位置路标分配权重。
具体地,在确定了当前车辆位置和泊车位置之间的重复位置路标后,系统会为每个位置路标计算一个归航子向量。这个归航子向量代表从当前车辆位置指向该位置路标的向量。每个归航子向量都有一个与之关联的方位角度值,这是从车辆当前朝向到子向量方向的角度。这个角度值有助于确定车辆需要转向的方向。系统会计算所有归航子向量方位角度值的平均值。这个平均值可以被看作是指向泊车位置的总体方向。系统会计算每个归航子向量的方位角度值与方位角度平均值之间的差异。这个差异值反映了每个位置路标相对于泊车位置的相对方向偏差。
然后,根据每个位置路标的归航子向量的方位角度值与方位角度平均值的差异值,系统会为每个位置路标分配一个权重。通常,差异值越小,意味着该位置路标的方向越接近泊车位置的总体方向,因此其权重会更高。权重的分配有助于泊车系统在规划泊车路线时,更重视那些更直接指向泊车位置的路标。这样,系统可以生成一条更加直接和高效的泊车路径。
本实施例中,通过这种方法,泊车系统能够更加精确地识别和利用环境中的路标信息,从而提高泊车路径规划的准确性和效率。这在复杂的停车环境中尤其有用,因为它可以帮助系统避免不必要的转弯和移动,从而减少泊车所需的时间和距离。
在一个示例性的实施例中,根据当前车辆位置的全景图像和泊车位置的全景图像,获取车辆的泊车路线之前,还包括:
分别获取当前车辆位置的全景图像和泊车位置的全景图像的图像噪声值;
在二者的图像噪声值中任一项超过预设噪声值的情况下,利用残差去噪网络模型,对当前车辆位置的全景图像和泊车位置的全景图像进行去噪处理。
具体地,在进行全景图像的对比和分析之前,系统首先需要评估当前车辆位置的全景图像和泊车位置的全景图像中的噪声水平。图像噪声是指图像中不包含有用信息的随机变化,这些变化由传感器噪声、光照条件、图像压缩等因素引起。
其中,预设的噪声阈值用于判断图像噪声是否在可接受的范围内。如果图像噪声值超过这个阈值,图像质量不足以进行准确的分析和处理。
如果任一全景图像的噪声值超过预设的噪声阈值,系统将采用残差去噪网络模型对图像进行去噪处理。残差去噪网络是一种深度学习模型,专门用于去除图像中的噪声,同时尽保留图像的细节和结构。这种模型通常包含多个卷积层,能够学习图像中的噪声模式,并有效地去除噪声。残差网络的特点是在网络中加入残差连接,这有助于网络学习更复杂的函数,提高去噪效果。经过去噪处理后,图像的质量得到提升,噪声被有效降低,从而使得图像中的特征更加清晰,有利于后续的图像分析和路径规划。去噪后的全景图像将被用于后续的泊车路线获取步骤,包括图像配准、特征点匹配、路径规划等,以确保泊车过程的准确性和安全性。
本实施例中,通过去噪处理,系统能够使用更清晰、更准确的图像信息来规划泊车路线,从而提高整个泊车系统的可靠性和效率。
在一个示例性的实施例中,利用残差去噪网络模型,对当前车辆位置的全景图像和泊车位置的全景图像进行去噪处理之前,还包括:
将残差去噪网络模型的注意力机制模块中的首个卷积残差模块替换为残差稠密连接模块。
具体地,残差去噪网络模型是一种深度学习架构(本实施例中可以采用RIDNet 全景图像去噪算法),它利用残差学习框架来处理图像去噪问题。这种网络能够学习从噪声图像到干净图像的映射,通过训练数据学习去除噪声的模式。在图像去噪的上下文中,注意力机制可以帮助网络专注于图像中的关键特征,从而更有效地去除噪声。在残差网络中,卷积残差模块是构成网络的基本单元,它包含卷积层和残差连接。残差连接允许网络学习残差函数,即输入和输出之间的残差,而不是直接学习整个映射。
稠密连接(Dense Connection)是另一种网络结构,它将每一层与前面所有层连接起来。这种连接方式可以增加网络的信息流,有助于梯度的流动,从而改善网络的训练效果。残差稠密连接模块是一种结合了残差学习和稠密连接的网络模块。它包含多个卷积层,并通过稠密连接将特征图与前面所有层的特征图相连接。
将残差去噪网络模型中的首个卷积残差模块替换为残差稠密连接模块。这种替换是为了增强网络的特征学习能力,提高去噪性能,或者改善网络的训练稳定性。通过这种结构上的调整,网络能够更好地捕捉图像中的复杂特征,更有效地去除噪声,从而提高去噪后的图像质量。
在其中一个实施例中,在以上替换的过程中,为了维持残差去噪网络模型的梯度值,通过张量拼接(Concatentation)操作进行稠密连接,即通道数进行相加,随后在经过一步卷积操作进行卷积融合,来保证输入和输出的通道数不变,最后通过残差操作将模块的输入添加到模块的最终输出。
具体地,张量拼接操作:在稠密连接过程中,使用张量拼接(Concatenation)技术。这意味着将不同层级的输出在通道维度上进行相加,从而实现特征的融合。
通道数相加:通过张量拼接,通道数会根据拼接的特征图数量相应增加。
卷积融合:拼接后的张量随后会经过一步卷积操作,这一步称为卷积融合。卷积融合的目的是将增加的通道数重新整合,并减少到原始的通道数,以保持网络结构的一致性。
操作:最后,执行残差操作,将卷积稠密连接模块的输入直接添加到模块的最终输出上。这一步骤是残差网络的核心,它有助于维持网络的梯度流动,避免梯度消失问题,从而提高深层网络的训练效率。
通道数保持不变:通过上述操作,尽管网络在中间步骤增加了通道数,但最终输入和输出的通道数保持不变,确保了网络结构的稳定性和预测的一致性。
本实施例中,通过将残差稠密连接模块集成到残差去噪网络中,可以增强模型对图像特征的学习能力,提高去噪效果,为后续的图像分析和泊车路线规划提供更高质量的图像数据。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的基于全景视觉的泊车方法的基于全景视觉的泊车装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于全景视觉的泊车装置实施例中的具体限定可以参见上文中对于基于全景视觉的泊车方法的限定,在此不再赘述。
在一个示例性的实施例中,如图4所示,提供了一种基于全景视觉的泊车装置,包括:采集模块402,用于获取当前车辆位置的全景图像和泊车位置的全景图像;
路线获取模块404,用于根据当前车辆位置的全景图像和泊车位置的全景图像,获取车辆的泊车路线;
控制模块406,用于根据泊车路线,控制车辆进行泊车;
控制模块406,还用于在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
在一个示例性的实施例中,路线获取模块404,用于将当前车辆位置的全景图像和泊车位置的全景图像进行对比,获得两者间重复的位置路标;通过位置路标,建立当前车辆位置与泊车位置之间的对应关系;根据对应关系,获取当前车辆位置指向泊车位置的归航向量;利用位置路标,构建向量算法模型;根据归航向量和向量算法模型,获取车辆的泊车路线。
在一个示例性的实施例中,路线获取模块404,还用于获取每个位置路标与预设基准路标之间的距离;获取距离与预设基准距离的距离比;根据距离比,通过高斯函数为每个位置路标分配权重;其中,距离比与权重呈正相关。
在一个示例性的实施例中,路线获取模块404,还用于获取每个位置路标的归航子向量的方位角度值,以及全部位置路标的归航子向量的方位角度平均值;根据每个位置路标的归航子向量的方位角度值和方位角度平均值的差异值,为每个位置路标分配权重。
在一个示例性的实施例中,去噪模块,用于分别获取当前车辆位置的全景图像和泊车位置的全景图像的图像噪声值;在二者的图像噪声值中任一项超过预设噪声值的情况下,利用残差去噪网络模型,对当前车辆位置的全景图像和泊车位置的全景图像进行去噪处理。
在一个示例性的实施例中,处理模块,用于将残差去噪网络模型的注意力机制模块中的首个卷积残差模块替换为残差稠密连接模块。
上述基于全景视觉的泊车装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储当前车辆位置的全景图像和泊车位置的全景图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于全景视觉的泊车方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取当前车辆位置的全景图像和泊车位置的全景图像;
根据当前车辆位置的全景图像和泊车位置的全景图像,获取车辆的泊车路线;
根据泊车路线,控制车辆进行泊车;
在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将当前车辆位置的全景图像和泊车位置的全景图像进行对比,获得两者间重复的位置路标;
通过位置路标,建立当前车辆位置与泊车位置之间的对应关系;
根据对应关系,获取当前车辆位置指向泊车位置的归航向量;
利用位置路标,构建向量算法模型;
根据归航向量和向量算法模型,获取车辆的泊车路线。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取每个位置路标与预设基准路标之间的距离;
获取距离与预设基准距离的距离比;
根据距离比,通过高斯函数为每个位置路标分配权重;其中,距离比与权重呈正相关。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取每个位置路标的归航子向量的方位角度值,以及全部位置路标的归航子向量的方位角度平均值;
根据每个位置路标的归航子向量的方位角度值和方位角度平均值的差异值,为每个位置路标分配权重。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
分别获取当前车辆位置的全景图像和泊车位置的全景图像的图像噪声值;
在二者的图像噪声值中任一项超过预设噪声值的情况下,利用残差去噪网络模型,对当前车辆位置的全景图像和泊车位置的全景图像进行去噪处理。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将残差去噪网络模型的注意力机制模块中的首个卷积残差模块替换为残差稠密连接模块。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取当前车辆位置的全景图像和泊车位置的全景图像;
根据当前车辆位置的全景图像和泊车位置的全景图像,获取车辆的泊车路线;
根据泊车路线,控制车辆进行泊车;
在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将当前车辆位置的全景图像和泊车位置的全景图像进行对比,获得两者间重复的位置路标;
通过位置路标,建立当前车辆位置与泊车位置之间的对应关系;
根据对应关系,获取当前车辆位置指向泊车位置的归航向量;
利用位置路标,构建向量算法模型;
根据归航向量和向量算法模型,获取车辆的泊车路线。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取每个位置路标与预设基准路标之间的距离;
获取距离与预设基准距离的距离比;
根据距离比,通过高斯函数为每个位置路标分配权重;其中,距离比与权重呈正相关。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取每个位置路标的归航子向量的方位角度值,以及全部位置路标的归航子向量的方位角度平均值;
根据每个位置路标的归航子向量的方位角度值和方位角度平均值的差异值,为每个位置路标分配权重。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
分别获取当前车辆位置的全景图像和泊车位置的全景图像的图像噪声值;
在二者的图像噪声值中任一项超过预设噪声值的情况下,利用残差去噪网络模型,对当前车辆位置的全景图像和泊车位置的全景图像进行去噪处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将残差去噪网络模型的注意力机制模块中的首个卷积残差模块替换为残差稠密连接模块。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取当前车辆位置的全景图像和泊车位置的全景图像;
根据当前车辆位置的全景图像和泊车位置的全景图像,获取车辆的泊车路线;
根据泊车路线,控制车辆进行泊车;
在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将当前车辆位置的全景图像和泊车位置的全景图像进行对比,获得两者间重复的位置路标;
通过位置路标,建立当前车辆位置与泊车位置之间的对应关系;
根据对应关系,获取当前车辆位置指向泊车位置的归航向量;
利用位置路标,构建向量算法模型;
根据归航向量和向量算法模型,获取车辆的泊车路线。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取每个位置路标与预设基准路标之间的距离;
获取距离与预设基准距离的距离比;
根据距离比,通过高斯函数为每个位置路标分配权重;其中,距离比与权重呈正相关。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取每个位置路标的归航子向量的方位角度值,以及全部位置路标的归航子向量的方位角度平均值;
根据每个位置路标的归航子向量的方位角度值和方位角度平均值的差异值,为每个位置路标分配权重。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
分别获取当前车辆位置的全景图像和泊车位置的全景图像的图像噪声值;
在二者的图像噪声值中任一项超过预设噪声值的情况下,利用残差去噪网络模型,对当前车辆位置的全景图像和泊车位置的全景图像进行去噪处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将残差去噪网络模型的注意力机制模块中的首个卷积残差模块替换为残差稠密连接模块。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性存储器和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(Resistive Random Access Memory,ReRAM)、磁变存储器(Magnetoresistive RandomAccess Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。本申请提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器、人工智能(Artificial Intelligence,AI)处理器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于全景视觉的泊车方法,其特征在于,所述方法包括:
获取当前车辆位置的全景图像和泊车位置的全景图像;
根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线;
根据所述泊车路线,控制车辆进行泊车;
在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
2.根据权利要求1所述的方法,其特征在于,所述根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线,包括:
将所述当前车辆位置的全景图像和所述泊车位置的全景图像进行对比,获得两者间重复的位置路标;
通过所述位置路标,建立当前车辆位置与泊车位置之间的对应关系;
根据所述对应关系,获取当前车辆位置指向泊车位置的归航向量;
利用所述位置路标,构建向量算法模型;
根据所述归航向量和所述向量算法模型,获取车辆的泊车路线。
3.根据权利要求2所述的方法,其特征在于,所述将所述当前车辆位置的全景图像和所述泊车位置的全景图像进行对比,获得两者间重复的位置路标之后,还包括:
获取每个位置路标与预设基准路标之间的距离;
获取所述距离与预设基准距离的距离比;
根据所述距离比,通过高斯函数为每个位置路标分配权重;其中,距离比与权重呈正相关。
4.根据权利要求2所述的方法,其特征在于,所述将所述当前车辆位置的全景图像和所述泊车位置的全景图像进行对比,获得两者间重复的位置路标之后,还包括:
获取每个位置路标的归航子向量的方位角度值,以及全部位置路标的归航子向量的方位角度平均值;
根据所述每个位置路标的归航子向量的方位角度值和所述方位角度平均值的差异值,为每个位置路标分配权重。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线之前,还包括:
分别获取所述当前车辆位置的全景图像和所述泊车位置的全景图像的图像噪声值;
在二者的图像噪声值中任一项超过预设噪声值的情况下,利用残差去噪网络模型,对所述当前车辆位置的全景图像和所述泊车位置的全景图像进行去噪处理。
6.根据权利要求5所述的方法,其特征在于,所述利用残差去噪网络模型,对所述当前车辆位置的全景图像和所述泊车位置的全景图像进行去噪处理之前,还包括:
将所述残差去噪网络模型的注意力机制模块中的首个卷积残差模块替换为残差稠密连接模块。
7.一种基于全景视觉的泊车装置,其特征在于,所述装置包括:
采集模块,用于获取当前车辆位置的全景图像和泊车位置的全景图像;
路线获取模块,用于根据所述当前车辆位置的全景图像和所述泊车位置的全景图像,获取车辆的泊车路线;
控制模块,用于根据所述泊车路线,控制车辆进行泊车;
控制模块,还用于在泊车的过程中,采用图像配准算法,调节车辆的泊车动作误差。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410732407.7A CN118618343A (zh) | 2024-06-06 | 2024-06-06 | 基于全景视觉的泊车方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410732407.7A CN118618343A (zh) | 2024-06-06 | 2024-06-06 | 基于全景视觉的泊车方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118618343A true CN118618343A (zh) | 2024-09-10 |
Family
ID=92612102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410732407.7A Pending CN118618343A (zh) | 2024-06-06 | 2024-06-06 | 基于全景视觉的泊车方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118618343A (zh) |
-
2024
- 2024-06-06 CN CN202410732407.7A patent/CN118618343A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11417017B2 (en) | Camera-only-localization in sparse 3D mapped environments | |
EP4152204A1 (en) | Lane line detection method, and related apparatus | |
CN109214986A (zh) | 从下采样的低分辨率lidar 3-d点云和摄像机图像生成高分辨率3-d点云 | |
CN109214987A (zh) | 从上采样的低分辨率lidar 3-d点云和摄像机图像生成高分辨率3-d点云 | |
CN109215067A (zh) | 基于cnn和crf模型生成高分辨率3-d点云 | |
CN112912920A (zh) | 用于2d卷积神经网络的点云数据转换方法和系统 | |
JP2021089724A (ja) | 構造的制約及び物理的制約を伴う3d自動ラベル付け | |
KR102677513B1 (ko) | 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치 | |
CN110136058B (zh) | 一种基于俯视拼接图的建图方法及车载终端 | |
US10891795B2 (en) | Localization method and apparatus based on 3D color map | |
CN111079619A (zh) | 用于检测图像中的目标对象的方法和装置 | |
KR20190030474A (ko) | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 | |
CN111169468A (zh) | 一种自动泊车的系统及方法 | |
CN111256693B (zh) | 一种计算位姿变化方法及车载终端 | |
CN108268831A (zh) | 一种无人车视觉检测的鲁棒性测试方法和系统 | |
CN113469045A (zh) | 无人集卡的视觉定位方法、系统、电子设备和存储介质 | |
Sales et al. | Vision-based autonomous navigation system using ann and fsm control | |
CN114067371A (zh) | 一种跨模态行人轨迹生成式预测框架、方法和装置 | |
CN110136049A (zh) | 一种基于环视图像与轮速计融合的定位方法及车载终端 | |
CN116189150B (zh) | 基于融合输出的单目3d目标检测方法、装置、设备和介质 | |
CN118618343A (zh) | 基于全景视觉的泊车方法、装置、计算机设备和存储介质 | |
CN114757824B (zh) | 图像拼接的方法、装置、设备以及存储介质 | |
US12026954B2 (en) | Static occupancy tracking | |
CN113793250B (zh) | 位姿评价方法、位姿确定方法、对应装置和电子设备 | |
CN116071442A (zh) | 三维点云数据的处理方法、装置和无人车 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |