CN109344801A - 一种物体检测方法及装置 - Google Patents
一种物体检测方法及装置 Download PDFInfo
- Publication number
- CN109344801A CN109344801A CN201811260405.3A CN201811260405A CN109344801A CN 109344801 A CN109344801 A CN 109344801A CN 201811260405 A CN201811260405 A CN 201811260405A CN 109344801 A CN109344801 A CN 109344801A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- scale
- detected
- programmable logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 132
- 230000015654 memory Effects 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 21
- 238000006116 polymerization reaction Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000005311 autocorrelation function Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 23
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
- G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
本发明实施例公开了一种物体检测方法及装置，以提高物体检测算法的运算速度。该物体检测装置，包括：异构处理器和存储器；所述异构处理器包括：处理单元和可编程逻辑单元；所述可编程逻辑单元，用于接收来自图像采集装置的待检测图像；对所述待检测图像进行特征提取，并将提取出的特征写入所述存储器；所述处理单元，用于从所述存储器中读取所述特征；根据所述特征进行目标物体检测，并将检测结果输出至所述可编程逻辑单元；所述可编程逻辑单元，还用于接收所述检测结果；根据所述检测结果，生成并输出提示信息。
Description
技术领域
本发明涉及物体检测领域，特别是涉及一种物体检测方法及装置。
背景技术
近年来，关于物体检测领域的研究，人们提出了各种各样的方法。物体检测具有极其广泛的应用，如智能辅助驾驶、智能监控、行人分析和智能机器人等领域。
目前，物体检测进入了一个快速的发展阶段，但是也存在很多问题亟待解决，主要是在性能和速度方面无法达到很好的平衡。通常，物体检测算法是在冯诺依曼体系架构的中央处理器(CPU)中进行处理，但是物体检测算法中存在大量的特征计算和图像的缩放，运算量非常大，使用冯诺依曼体系架构的CPU进行计算，就会出现计算效率非常低下，直接导致运算速度缓慢的问题发生。
发明内容
有鉴于此，本发明实施例提供一种物体检测方法及装置，主要目的在于有效地提高了物体检测算法的运算速度。
依据本发明实施例的第一方面，提供了一种物体检测装置，包括：异构处理器和存储器；所述异构处理器包括：处理单元和可编程逻辑单元；所述可编程逻辑单元，用于接收来自图像采集装置的待检测图像；对所述待检测图像进行特征提取，并将提取出的特征写入所述存储器；所述处理单元，用于从所述存储器中读取所述特征；根据所述特征进行目标物体检测，并将检测结果输出至所述可编程逻辑单元；所述可编程逻辑单元，还用于接收所述检测结果；根据所述检测结果，生成并输出提示信息。
在本发明实施例中，所述可编程逻辑单元，包括：色彩格式转换单元和特征提取单元；其中，所述色彩格式转换单元，用于接收来自所述图像采集装置的所述待检测图像，并对所述待检测图像进行色彩格式转换；将转换后的待检测图像输出至所述特征提取单元；所述特征提取单元，用于接收所述色彩格式转换单元输入的所述转换后的待检测图像；对所述转换后的待检测图像进行聚合通道特征(ACF，Aggregated Channel Features)提取；将提取出的ACF写入所述存储器。
在本发明实施例中，所述特征提取单元，包括：色彩空间转换单元、降采样单元、至少一个特征计算单元、与每个特征计算单元对应的直接访问存储(DMA，Direct MemoryAccess)单元和缩放单元；其中，所述色彩空间转换单元，用于将所述转换后的待检测图像进行色彩空间转换，获得所述待检测图像的色彩空间信息；将所述色彩空间信息输出至所述降采样单元；所述降采样单元，用于对所述色彩空间信息进行降采样处理，生成至少一个尺度的降采样图像，并将每一个尺度的降采样图像对应地输出至一个特征计算单元；所述特征计算单元，用于针对一个尺度的降采样图像中的每一个像素，计算对应的尺寸特征；将所述一个尺度的降采样图像对应的尺寸特征输出至自身对应的DMA单元；所述DMA单元，用于将所述特征计算单元输入的所述一个尺度的降采样图像对应的尺寸特征写入存储器；所述缩放单元，用于从所述存储器读取每一个尺寸特征；按照预设的尺度缩放规则，依次对所述每一个尺度特征进行缩放，获得预设数量的尺度特征；将预设数量的尺度特征作为所述AFC写入所述存储器。
在本发明实施例中，所述特征计算单元，具体用于针对所述一个尺度的降采样图像中的每一个像素，计算水平和竖直方向的梯度值；根据水平和竖直方向的梯度值，计算梯度幅值和方向角；将梯度幅值按预设比例缩小，生成梯度幅值特征；根据梯度幅度值和方向角度，计算对应的方向梯度直方图(HOG，Histogram of Oriented Gradient)；将所述一个尺度的降采样图像中每一个像素对应的色彩空间信息、梯度幅值特征和HOG确定为所述一个尺度的降采样图像对应的尺度特征。
在本发明实施例中，所述可编程逻辑单元，包括：提示输出单元，用于接收来自所述处理单元的检测结果，并根据所述检测结果生成对应的提示信息；输出所述提示信息。
在本发明实施例中，所述提示输出单元，具体用于根据检测结果，生成对应的预警信息，并输出至音频输出装置，以提示用户。
在本发明实施例中，所述提示输出单元，具体用于根据所述检测结果中目标物体的坐标和尺寸，生成对应的提示框，并将所述提示框在所述待检测图像中进行合成，并输出合成后的图像至显示装置，以提示用户。
依据本发明实施例的第二方面，提供了一种物体检测方法，其特征在于，应用于如上述技术方案中所述的物体检测装置；所述方法包括：接收来自图像采集装置的待检测图像；对所述待检测图像进行特征提取，并将提取出的特征写入所述存储器，其中，所述特征用于指示所述处理单元进行目标物体检测并将检测结果输出至所述可编程逻辑单元；接收来自所述处理单元的所述检测结果，并根据所述检测结果，生成并输出提示信息。
在本发明实施例中，所述对所述待检测图像进行ACF提取，包括：接收来自所述图像采集装置的所述待检测图像，并对所述待检测图像进行色彩格式转换；对所述转换后的待检测图像进行ACF提取。
在本发明实施例中，所述对所述转换后的待检测图像进行ACF提取，包括：将所述转换后的待检测图像进行色彩空间转换，获得所述待检测图像的色彩空间信息；对所述色彩空间信息进行降采样处理，生成至少一个尺度的降采样图像；针对一个尺度的降采样图像中的每一个像素，计算对应的尺寸特征，并将所述对应的尺寸特征写入存储器；从所述存储器读取每一个尺寸特征；按照预设的尺度缩放规则，依次对所述每一个尺度特征进行缩放，获得预设数量的尺度特征；将所述预设数量的尺度特征作为所述AFC写入所述存储器。
在本发明实施例中，所述特针对一个尺度的降采样图像中的每一个像素，计算对应的尺寸特征，包括：针对所述一个尺度的降采样图像中的每一个像素，计算水平和竖直方向的梯度值；根据水平和竖直方向的梯度值，计算梯度幅值和方向角；将梯度幅值按预设比例缩小，生成梯度幅值特征；根据梯度幅度值和方向角度，计算对应的HOG；将所述一个尺度的降采样图像中每一个像素对应的色彩空间信息、梯度幅值特征和HOG确定为所述一个尺度的降采样图像对应的尺度特征。
在本发明实施例中，所述根据所述检测结果，生成并输出提示信息，包括：根据所述检测结果，生成对应的预警信息，并输出至音频输出装置，以提示用户；或者，根据所述检测结果中目标物体的坐标和尺寸，生成对应的提示框，并将所述提示框在所述待检测图像中进行合成；输出合成后的图像至显示装置，以提示用户。
依据本发明实施例的第三方面，提供了一种物体检测方法，应用于如上述技术方案中所述的物体检测装置；所述方法包括：从所述存储器中读取特征，所述特征是由可编程逻辑单元从待检测图像中提取出来的；根据所述特征进行目标物体检测，并将检测结果输出至所述可编程逻辑单元，所述检测结果用于指示所述可编程逻辑单元生成并输出提示信息。
依据本发明实施例的第四方面，提供了一种电子设备，包括：如上述技术方案中所述的物体检测装置和图像采集装置；所述图像采集装置，用于采集所述待检测图像，并将采集到的所述待检测图像输出至所述可编程逻辑单元。
在本发明实施例中，所述电子设备还包括：输出装置，用于接收所述可编程逻辑单元输入的所述提示信息，并输出所述提示信息。
借由上述技术方案，本发明实施例提供的一种物体检测方法及装置，其中，该装置包括：异构处理器和存储器；异构处理器包括：处理单元和可编程逻辑单元；首先，可编程逻辑单元接收来自图像采集装置的待检测图像，然后，对待检测图像进行特征提取，并将提取出的特征写入存储器；接下来，处理单元从存储器中读取可编程单元写入的特征，并根据特征进行目标物体检测，再将检测结果输出至可编程逻辑单元；最后，可编程逻辑单元接收来自处理单元的检测结果，再根据检测结果生成并输出提示信息，以实现物体检测。可见，在本发明实施例中，在异构处理器的可编程逻辑单元中执行运算量较大的特征提取部分，充分利用了可编程逻辑单元的并行流水线处理特性，有效地提高了物体检测算法的运算速度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例中的物体检测装置的结构示意图；
图2为本发明实施例中的可编程逻辑单元的一种结构示意图；
图3为本发明实施例中的特征提取单元的结构示意图；
图4为本发明实施例中的对待检测图像进行AFC提取的实施过程示意图；
图5为本发明实施例中的可编程逻辑单元的另一种结构示意图；
图6为本发明实施例中的合成后的图像的示意图；
图7为本发明实施例中的处理单元的结构示意图；
图8为本发明实施例中的物体检测方法的实施流程示意图；
图9为本发明实施例中的电子设备的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种物体检测装置，该物体检测装置能够应用于如智能辅助驾驶、智能监控、行人分析和智能机器人等领域，当然还可以应用于其他计算机视觉应用领域，本发明实施例具体限定。该物体检测装置能够设置于如车载终端、高级驾驶辅助系统(ADAS，Advanced Driver Assistance Systems)、自主车、安防监控系统、智能交通系统等电子设备中。
图1为本发明实施例中的物体检测装置的结构示意图，参见图1所示，该物体检测装置100包括：异构处理器101和存储器102；异构处理器101包括：处理单元1011和可编程逻辑单元1012；
在本发明实施例中，上述异构处理器主要由两大部分组成，分别为处理单元，即PS(Processing System)部分，和可编程逻辑单元，即PL(Programmable Logic)部分。处理单元和可编程逻辑单元之间通过总线进行数据交互。
在实际应用中，PS部分可以为精简指令集处理单元(ARM)的片上系统(SOC，Systemon Chip)的部分，PL部分可以为FPGA(Field－Programmable Gate Array)，即现场可编程门阵列FPGA部分；总线可以为AXI(Advanced eXtensible Interface)总线、AHB(AdvancedHigh Performance Bus)总线等片内总线；存储器可以为DDR，如DDR2、DDR3等，本发明实施例不作具体限定。
结合上述物体检测装置，在本发明实施例中，可编程逻辑单元，用于接收来自图像采集装置的待检测图像；对待检测图像进行特征提取，并将提取出的特征写入存储器。处理单元，用于从存储器中读取特征；根据特征进行目标物体检测，并将检测结果输出至可编程逻辑单元。可编程逻辑单元，还用于接收检测结果；根据检测结果，生成并输出提示信息。
在实际应用中，上述物体检测装置能够与一图像采集装置连接，该图像采集装置可以为车载摄像头、监控摄像头等，该图像采集装置能够实时采集拍摄区域内的图像或者视频流，这些采集到的图像或者视频流就是物体检测装置要处理的待检测图像。图像采集装置在采集到待检测图像后，将其输出至物体检测装置进行处理。
需要说明的是，在本发明实施例中，可编辑逻辑单元可以对待检测图像进行ACF提取，相应地，处理单元可以进行基于ACF的物体检测。当然，可编辑逻辑单元还可以提取待检测图像的积分通道特征(ICF，Integral Channel Features)。相应地，处理单元可以进行基于ICF的物体检测。在实际应用中，可编辑逻辑单元还可以根据不同的物体检测算法对待检测图像提取不同的特征。相应地，处理单元进行基于不同特征的物体检测，本发明实施例不作具体限定。
在本发明实施例中，下面以基于ACF的物体检测算法为例，对上述物体检测装置进行详细的说明。
首先，介绍可编程逻辑单元。
图2为本发明实施例中的可编程逻辑单元的一种结构示意图，参见图2所示，可编程逻辑单元1012可以包括：色彩格式转换单元201和特征提取单元202；其中，色彩格式转换单元201，用于接收来自图像采集装置的待检测图像，并对待检测图像进行色彩格式转换；将转换后的待检测图像输出至特征提取单元；特征提取单元，用于接收色彩格式转换单元输入的转换后的待检测图像；对转换后的待检测图像进行ACF提取；将提取出的ACF写入存储器102。
具体来说，色彩格式转换单元在接收来自图像采集装置的待检测图像之后，先对该待检测图像进行色彩格式转换，例如，将图像采集装置采集到的信息被转换成RGB格式后，将转换后的待检测图像输出至特征提取单元。然后，特征提取单元对转化后的待检测图像进行ACF提取，在提取到ACF之后，特征提取单元可以将ACF通过总线写入存储器。
在本发明实施例中，在PS侧，即处理单元中设置有存储器对应的存储控制单元，所以，特征提取单元将ACF写入存储器时，就需要先将ACF通过总线输入至处理单元中的存储控制单元，由存储控制单元将ACF写入存储器。当然，如果可编程逻辑单元能够直接访问存储器的话，特征提取单元也可以直接将提取出的ACF写入存储器，本发明实施例不作具体限定。
在实际应用中，所谓的ACF，是把几个不同的通道特征叠加在一起，形成一个统一的特征。常用的特征通道有颜色通道(如，RGB颜色通道、LUV颜色通道、灰度通道等)、梯度通道(包括梯度幅值通道和梯度方向通道)和边缘通道(如，Sobel边缘通道、Canny边缘通道等)等。所以，特征提取单元就是对待检测图像进行通道特征提取，以提取ACF。
具体来说，图3为本发明实施例中的特征提取单元的结构示意图，参见图3所示，特征提取单元202包括：色彩空间转换单元2021、降采样单元2022、至少一个特征计算单元2023、与每个特征计算单元2023对应的DMA单元2024和缩放单元2025；其中，色彩空间转换单元2021，用于将转换后的待检测图像进行色彩空间转换，获得待检测图像的色彩空间信息；将色彩空间信息输出至降采样单元2022；降采样单元2022，用于对色彩空间信息进行降采样处理，生成至少一个尺度的降采样图像，并将每一个尺度的降采样图像对应地输出至一个特征计算单元2023；特征计算单元2023，用于针对一个尺度的降采样图像中的每一个像素，计算对应的尺寸特征；将一个尺度的降采样图像对应的尺寸特征输出至自身对应的DMA单元2024；DMA单元2021，用于将特征计算单元输入的一个尺度的降采样图像对应的尺寸特征写入存储器102；缩放单元2024，用于从存储器读取每一个尺寸特征；按照预设的尺度缩放规则，依次对每一个尺度特征进行缩放，获得预设数量的尺度特征；将预设数量的尺度特征作为AFC写入存储器102。
在本发明实施例中，色彩空间信息在进行降采样处理之后，生成多个尺寸分辨率的降采样图像，每一个尺寸的降采样图像输入对应的一个特征计算单元，特征计算单元基于降采样图像进行尺寸特征计算后，将每一个尺寸的尺寸特征输入对应的一个DMA单元，此时，该DMA单元可以为执行写操作的DMA单元，即WDMA单元，WDMA单元将自身输入的尺寸特征通过总线写入存储器，这样，每一个尺寸的尺寸特征就会被写入存储器。接下来，缩放单元中的执行读操作的DMA单元，即RDMA子单元通过总线依次读取每一个尺寸的尺寸特征，并将该尺寸特征输入缩放单元中的缩放子单元，缩放子单元按照预设的尺度缩放规则，对每一个尺度特征进行缩放，获得预设数量的尺度特征，并将其作为待检测图像的ACF输入，缩放单元中的执行写操作的DMA单元，即WDMA子单元，再由WDMA子单元通过总线将待检测图像的ACF写入存储器，至此。完成了对待检测图像的ACF提取过程。
需要说明的是，上述预设的尺度缩放规则是以各个降采样图像为基准，进行预设次数的缩放，获得预设数量的尺度特征，也就是说，通过对待检测图像进行降采样获得N个不同尺度的降采样图像，然后，针对每一个尺度的降采样图像，提取该降采样图像的尺度特征，这样，能够得到对应的N组尺度特征，接下来，按照预设的尺度缩放规则，分别以N组尺度特征为基准尺度，对每一组尺度特征进行M次缩小和/或放大，如此，获得S组的尺度特征。这里，每一个尺度特征的图像分辨率为该尺度下的特征分辨率的2倍，以保证有效判断特征方向的前提下，对计算复杂度进行一定程度的简化从而节省了硬件资源。在实际应用中，进行尺度缩放的次数可以根据实际运算性能的需要来设定。
进一步地，上述特征计算单元，具体用于针对一个尺度的降采样图像中的每一个像素，计算水平和竖直方向的梯度值；根据水平和竖直方向的梯度值，计算梯度幅值和方向角；将梯度幅值按预设比例缩小，生成梯度幅值特征；根据梯度幅度值和方向角度，计算对应的HOG；将一个尺度的降采样图像中每一个像素对应的色彩空间信息、梯度幅值特征和HOG确定为一个尺度的降采样图像对应的尺度特征。
举例来说，以RGB 3通道640×480输入图像为待检测图像为例。图4为本发明实施例中的对待检测图像进行AFC提取的实施过程示意图，参见图4所示，该AFC提取过程包括：
S401：色彩空间转换单元对待检测图像中每个像素进行RGB到LUV的颜色空间转换，得到LUV特征。
在实际应用中，色彩空间转换单元还可以将LUV图像进行1:2分辨率缩小，从而得到3通道LUV特征。
在实际应用中，色彩空间转换单元对待检测图像还可以进行如RGB到HIS或者RGB到HSV的颜色空间转换，本发明实施例不作具体限定。
S402：降采样单元将转换后的LUV图像记为S0尺度，对应图像分辨率为640×480图像；在S0尺幅的基础上缩小一半，得到S8尺度，对应图像分辨率320×240图像；在S8尺度的基础上缩小一半，得到S16尺度，对应图像分辨率160×120图像；在S16尺度的基础上缩小一半，得到S24尺度，对应80×60图像。
如此，降采样单元一共获得4个尺度的降采样图像，分别为S0尺度、S8尺度、S16尺度和S24尺度。
S403：针对上述4个尺度的采样图像，特征计算单元进行梯度幅值和HOG的计算；以上皆为流水处理的方式进行。
步骤一、计算水平方向梯度Gx和竖直方向梯度Gy。
第一种情况，对于l分量图像，计算水平方向梯度Gx和竖直方向梯度Gy，参见如下公式(1)：
其中，x表示第x行像素点，y表示第y列像素点，l[x,y]表示第x行中第y个像素点的l分量值。
第二种情况，对于边缘像素点，计算水平方向梯度Gx和竖直方向梯度Gy，参见如下公式(2)：
其中，x表示第x行像素点，y表示第y列像素点，w表示一行的像素个数，h代表一列的像素个数，l[x,y]表示第x行中的第y列像素点的l分量值。
步骤二、计算梯度幅值M和方向角O；
步骤三、生成1通道梯度幅值特征；
具体来说，将梯度幅值M[x,y]进行1:2分辨率缩小，从而得到1通道梯度幅度值。这里，上述1:2分辨率缩小是指将原始特征分成2×2的像素块，然后计算每个像素块上的梯度幅值的平均值，再将计算出的梯度幅值的平均值作为新的梯度幅值特征，如此，得到行列各缩小一半的梯度幅度值。
步骤四、生成HOG特征；
具体来说，对应2×2分块统计梯度方向直方图，梯度方向角O[x,y]的取值范围是0～π，将其量化为6个区间，6个区间的相邻点的相加，从而得到6通道的行列各缩小一半的HOG特征。
如此，针对每一个降采样图像提取出用于表征灰度、明暗度以及色彩信息的LUV特征、用于表示物体轮廓的梯度幅值特征和用于表征方向的6个通道的HOG特征，共计4个尺度，每个尺度10个通道。此时，将每个尺度的降采样图像中对应的LUV特征、梯度幅值特征和HOG确定为该尺度的降采样图像对应的尺度特征，进而可以以上述S0尺度、S8尺度、S16尺度和S24尺度的尺度特征为基准，通过对每一个尺度的尺度特征进行缩小和/或放大，来得到29个尺度的尺度特征，这些尺度信息为处理单元中分类器的判别提供依据。
S404：特征计算单元将尺度特征由WDMA写入到DDR中；
S405：缩放单元中的RDMA子单元从DDR中依次读取S0尺度、S8尺度、S16尺度和S24尺度的尺度特征；
S406：缩放单元中的缩放子单元分别以S0尺度、S8尺度、S16尺度和S24尺度为基准尺度，按照下表1所示的缩放规则对基准尺度的尺度特征进行缩放，获得29个尺度的尺度特征；
具体来说，表1为本发明实施例中各尺度的尺度特征对应的图像分辨率和特征分辨率，参见下表1，其中S1、S2、S3、S4尺度的尺度特征可以通过S0尺度的尺度特征缩放得到；S5、S6、S7、S9、S10、S11、S12尺度的尺度特征可以通过S8尺度的尺度特征缩放得到；S13、S14、S15、S17、S18、S19、S20尺度的尺度特征可以通过S16尺度的尺度特征缩放得到；S21、S22、S23、S25、S26、S27、S28尺度的尺度特征可以通过S24尺度的尺度特征缩放得到。
表1
其中，表1中的“-”表示空。
需要说明的是，在本发明实施例中，最终得到的29个尺度的尺度特征是根据算法复杂度以及物体检测结果的判别精度进行多次测试经验的平衡，是一个经验值。在实际应用中，还可以对基准尺度的尺度特征进行更多的次缩放，以增加获得的尺度数量，进而进一步提升处理单元识别物体的大小或者距离的准确度。
这里，在可编程逻辑单元之中因为可以使用高速时钟对其进行处理，因此对每一个尺度的计算过程如S406是串行处理的，速度上相对于分辨率640×480且60Hz的数据输入带宽完全可以做到实时处理。
S407：缩放单元中的WDMA子单元依次将29个尺度的尺度特征写入DDR。
这里，上述29个尺度的尺度特征就是待检测图像的ACF。另外，在S405中RDMA子单元从DDR中取出1个尺度的尺度特征后，缩放子单元对该尺度的尺度特征进行缩放后，再由WDMA子单元写入DDR，这样的过程重复29次，即可计算完全部的结果。
由上述可知，至此便完成了可编程逻辑单元，即异构处理器中PL部分的特征提取过程。
在本发明实施例中，图5为本发明实施例中的可编程逻辑单元的另一种结构示意图，参见图5所示，上述可编程逻辑单元1012还可以包括：提示输出单元502，用于接收来自处理单元1011的检测结果，并根据检测结果生成对应的提示信息；输出提示信息。
具体来说，可编程逻辑单元将提取的待检测图像的ACF写入存储器之后，处理单元可以从存储器中读取这些ACF，进行基于ACF的目标物体检测，并将检测结果再反馈给可编程逻辑单元，此时，上述提示输出单元接收该检测结果，并根据检测结果生成对应的提示信息，然后输出该提示信息。
在实际应用中，输出的提示信息可以且不限于以下几种情况，那么，相应地，输出提示信息的方式也对应存在不同的情况。
第一种情况，输出的提示信息可以为预警信息，如简单的提示音或者提示语音，相应地，上述提示输出单元具体可以根据检测结果，生成对应的预警信息，并输出至音频输出装置，以提示用户。例如，当检测结果表明待检测图像中有行人时，提示输出单元可以据此生成急促的“滴”声，并通过音频输出装置，如车载音响播放，以提示用户有行人，当然，提示输出单元也可根据检测结果，生成如“有行人，请注意”的提示语音，并通过车载音响播放，以提示用户有行人。
当然，上述提示信息还可以有其他的形式，只要为音频信息即可，相应地，上述音频输出装置也可以随着物体检测装置所应用的电子设备不同而不同，本发明实施例不作具体限定。
第二种情况，输出的提示信息还可以为目标物体对应的提示框，相应地，上述提示输出单元具体可以根据检测结果中目标物体的坐标和尺寸，生成对应的提示框，并将提示框在待检测图像中进行合成，并输出合成后的图像至显示装置，以提示用户。例如，图6为本发明实施例中的合成后的图像的示意图，参见图6所示，当检测结果表明待检测图像60中有行人601时，提示输出单元可以从检测结果中获取目标物体，也就是行人601在待检测图像60中的坐标和尺寸，据此生成对应的提示框602，然后，将待检测图像60与提示框602进行合成，使得提示框602在待检测图像60中将行人601框出来，接着，提示输出单元将该合成后的图像输出给车载显示屏上，以提示用户有行人和行人的位置。
当然，提示信息和输出提示信息的方式还可以为其他能够提示用户目标物体的情况。
另外，需要说明的是，在上述一个或者多个实施例中，异构处理器和存储器属于第一层级单元；处理单元和可编程逻辑单元属于第二层级单元；色彩格式转换单元、特征提取单元和提示输出单元属于第三层级单元；色彩空间转换单元、降采样单元、至少一个特征计算单元、与每个特征计算单元对应的DMA单元和缩放单元属于第四层级单元；缩放单元中的RDMA子单元、缩放子单元和缩放单元中的WDMA子单元属于第五层级单元。其中，第二层级单元为第一层级单元的下一级单元，第三层级单元为第二层级单元的下一级单元，第四层级单元为第三层级单元的下一级单元，第五层级单元为第四层级单元的下一级单元。
其次，介绍处理单元。
图7为本发明实施例中的处理单元的结构示意图，参见图7所示，该处理单元1011可以包括：存储控制单元701和物体检测单元702；其中，存储控制单元701为存储器102的控制器，用于从存储器102中读取ACF，这里，ACF是由上述一个或者多个实施例中的可编程逻辑单元1012，即PL部分从待检测图像中提取出来的；物体检测单元702，用于根据ACF进行目标物体检测，并将检测结果输出至可编程逻辑单元1012，该检测结果用于指示可编程逻辑单元102生成并输出提示信息。
这里，物体检测单元通过存储控制单元从存储器中取出可编程逻辑单元计算的ACF之后，使用分类器对ACF进行判断，即进行目标物体检测，获得检测结果，该检测结果可以为目标物体的坐标和尺寸。
举例来说，基于以上29个尺度的尺度特征进行目标物体检测，判断某一尺度中是否有目标存在。以Adaboost分类器为例，使用NT个随机决策森林(RDF，Random DecisionForests)弱分类器(如，NT＝3518)。每个RDF弱分类器是一个随机决策森林分类器，每个弱分类器的检测结果加在一起形成Adaboost强分类器的检测得分。最后，根据强分类器检测得分判断检测结果，再根据当前特征分块的坐标计算出最终检测结果。分别使用每个尺度的尺寸特征进行滑窗检测，每次在特征平面上平移2像素，对应原始图像上4个像素点，输出检测到的检测结果的集合至上述实施例所述的可编程逻辑单元，也就是异构处理器中PL部分。
由上述可知，至此便完成了处理单元，即异构处理器中PS部分的目标物体识别过程。
另外，需要说明的是，在上述一个或者多个实施例中，异构存储器和存储器属于第一层级单元；处理单元和可编程逻辑单元属于第二层级单元；存储控制单元和物体检测单元属于第三层级单元。其中，第二层级单元为第一层级单元的下一级单元，第三层级单元为第二层级单元的下一级单元。
借由上述技术方案，本发明实施例提供的物体检测装置，其中，该装置包括：异构处理器和存储器；异构处理器包括：处理单元和可编程逻辑单元；首先，可编程逻辑单元接收来自图像采集装置的待检测图像，然后，对待检测图像进行ACF提取，并将提取出的ACF写入存储器；接下来，处理单元从存储器中读取可编程单元写入的ACF，并根据ACF进行目标物体检测，再将检测结果输出至可编程逻辑单元；最后，可编程逻辑单元接收来自处理单元的检测结果，再根据检测结果生成并输出提示信息，以实现物体检测。可见，在本发明实施例中，在异构处理器的可编程逻辑单元中执行运算量较大的特征提取部分，充分利用了可编程逻辑单元的并行流水线处理特性，有效地提高了物体检测算法的运算速度。
基于同一发明构思，本发明实施例还提供一种物体检测方法，应用于如上述一个或者多个实施例所述的物体检测装置中。
图8为本发明实施例中的物体检测方法的实施流程示意图，参见图8所示，该方法可以包括：
S801：可编程逻辑单元接收来自图像采集装置的待检测图像；
S802：可编程逻辑单元对待检测图像进行ACF提取；
S803：可编程逻辑单元将提取出的ACF写入存储器；
S804：处理单元从存储器中读取可编程逻辑单元写入的ACF；
S805：处理单元根据ACF进行目标物体检测；
S806：处理单元将检测结果输出至可编程逻辑单元；
S807：可编程逻辑单元根据检测结果，生成并输出提示信息。
在本发明实施例中，S802可以包括：接收来自图像采集装置的待检测图像，并对待检测图像进行色彩格式转换；对转换后的待检测图像进行ACF提取。
进一步地，上述对转换后的待检测图像进行ACF提取的步骤可以包括：将转换后的待检测图像进行色彩空间转换，获得待检测图像的色彩空间信息；对色彩空间信息进行降采样处理，生成至少一个尺度的降采样图像；针对一个尺度的降采样图像中的每一个像素，计算对应的尺寸特征，并将对应的尺寸特征写入存储器；从存储器读取每一个尺寸特征；按照预设的尺度缩放规则，依次对每一个尺度特征进行缩放，获得预设数量的尺度特征；将预设数量的尺度特征作为AFC写入存储器。
进一步地，上述针对一个尺度的降采样图像中的每一个像素，计算对应的尺寸特征的步骤可以包括：针对一个尺度的降采样图像中的每一个像素，计算水平和竖直方向的梯度值；根据水平和竖直方向的梯度值，计算梯度幅值和方向角；将梯度幅值按预设比例缩小，生成梯度幅值特征；根据梯度幅度值和方向角度，计算对应的HOG；将一个尺度的降采样图像中每一个像素对应的色彩空间信息、梯度幅值特征和HOG确定为一个尺度的降采样图像对应的尺度特征。
在本发明实施例中，S807可以包括：根据检测结果，生成对应的预警信息，并输出至音频输出装置，以提示用户；或者，根据检测结果中目标物体的坐标和尺寸，生成对应的提示框，并将提示框在待检测图像中进行合成；输出合成后的图像至显示装置，以提示用户。
这里需要指出的是：以上方法实施例的描述，与上述装置实施例的描述是类似的，具有同装置实施例相似的有益效果。对于本发明方法实施例中未披露的技术细节，请参照本发明中装置实施例的描述而理解。
基于同一发明构思，本发明实施例还提供一种电子设备，与上述一个或者多个实施例中的电子设备一直，该电子设备用于进行物体检测。
图9为本发明实施例中的电子设备的示意图，结合图1和图9所示，该电子设备900可以包括：如上述一个或者多个实施例中所述的物体检测装置100和图像采集装置901；图像采集装置901，用于采集待检测图像，并将采集到的待检测图像输出至物体检测装置100中的可编程逻辑单元1012。
在本发明实施例中，仍参见图9所示，上述电子设备900还可以包括：输出装置902，用于接收可编程逻辑单元1012输入的提示信息，并输出提示信息。
在实际应用中，上述输出装置902可以为音频输出装置，如扬声器、耳机、车载音响等，还可以为显示单元，如车载显示屏、安检监视器等。当然，输出装置还可以为其他，本发明实施例不作具体限定。
这里需要指出的是：以上电子设备实施例的描述，与上述装置实施例的描述是类似的，具有同装置实施例相似的有益效果。对于本发明电子设备实施例中未披露的技术细节，请参照本发明中装置实施例的描述而理解。
由上述可知，本发明实施例提供的物体检测装置、方法及电子设备中，在异构处理器的可编程逻辑单元中执行运算量较大的特征提取部分，充分利用了可编程逻辑单元的并行流水线处理特性，有效地提高了物体检测算法的运算速度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、和流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的PLM插件。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令PLM插件的制造品，该指令PLM插件实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例和落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (15)
1.一种物体检测装置，其特征在于，包括：异构处理器和存储器；所述异构处理器包括：处理单元和可编程逻辑单元；
所述可编程逻辑单元，用于接收来自图像采集装置的待检测图像；对所述待检测图像进行特征提取，并将提取出的特征写入所述存储器；
所述处理单元，用于从所述存储器中读取所述特征；根据所述特征进行目标物体检测，并将检测结果输出至所述可编程逻辑单元；
所述可编程逻辑单元，还用于接收所述检测结果；根据所述检测结果，生成并输出提示信息。
2.根据权利要求1所述的物体检测装置，其特征在于，所述可编程逻辑单元，包括：色彩格式转换单元和特征提取单元；其中，
所述色彩格式转换单元，用于接收来自所述图像采集装置的所述待检测图像，并对所述待检测图像进行色彩格式转换；将转换后的待检测图像输出至所述特征提取单元；
所述特征提取单元，用于接收所述色彩格式转换单元输入的所述转换后的待检测图像；对所述转换后的待检测图像进行聚合通道特征ACF提取；将提取出的ACF写入所述存储器。
3.根据权利要求2所述的物体检测装置，其特征在于，所述特征提取单元，包括：色彩空间转换单元、降采样单元、至少一个特征计算单元、与每个特征计算单元对应的直接访问存储DMA单元和缩放单元；其中，
所述色彩空间转换单元，用于将所述转换后的待检测图像进行色彩空间转换，获得所述待检测图像的色彩空间信息；将所述色彩空间信息输出至所述降采样单元；
所述降采样单元，用于对所述色彩空间信息进行降采样处理，生成至少一个尺度的降采样图像，并将每一个尺度的降采样图像对应地输出至一个特征计算单元；
所述特征计算单元，用于针对一个尺度的降采样图像中的每一个像素，计算对应的尺寸特征；将所述一个尺度的降采样图像对应的尺寸特征输出至自身对应的DMA单元；
所述DMA单元，用于将所述特征计算单元输入的所述一个尺度的降采样图像对应的尺寸特征写入存储器；
所述缩放单元，用于从所述存储器读取每一个尺寸特征；按照预设的尺度缩放规则，依次对所述每一个尺度特征进行缩放，获得预设数量的尺度特征；将预设数量的尺度特征作为所述AFC写入所述存储器。
4.根据权利要求3所述的物体检测装置，其特征在于，所述特征计算单元，具体用于针对所述一个尺度的降采样图像中的每一个像素，计算水平和竖直方向的梯度值；根据水平和竖直方向的梯度值，计算梯度幅值和方向角；将梯度幅值按预设比例缩小，生成梯度幅值特征；根据梯度幅度值和方向角度，计算对应的方向梯度直方图HOG；将所述一个尺度的降采样图像中每一个像素对应的色彩空间信息、梯度幅值特征和HOG确定为所述一个尺度的降采样图像对应的尺度特征。
5.根据权利要求1所述的物体检测装置，其特征在于，所述可编程逻辑单元，包括：提示输出单元，用于接收来自所述处理单元的检测结果，并根据所述检测结果生成对应的提示信息；输出所述提示信息。
6.根据权利要求5所述的物体检测装置，其特征在于，所述提示输出单元，具体用于根据检测结果，生成对应的预警信息，并输出至音频输出装置，以提示用户。
7.根据权利要求5所述的物体检测装置，其特征在于，所述提示输出单元，具体用于根据所述检测结果中目标物体的坐标和尺寸，生成对应的提示框，并将所述提示框在所述待检测图像中进行合成，并输出合成后的图像至显示装置，以提示用户。
8.一种物体检测方法，其特征在于，应用于如权利要求1至7任一项所述的物体检测装置；所述方法包括：
接收来自图像采集装置的待检测图像；
对所述待检测图像进行特征提取，并将提取出的特征写入所述存储器，其中，所述特征用于指示所述处理单元进行目标物体检测并将检测结果输出至所述可编程逻辑单元；
接收来自所述处理单元的所述检测结果，并根据所述检测结果，生成并输出提示信息。
9.根据权利要求8所述的方法，其特征在于，所述对所述待检测图像进行特征提取，包括：
接收来自所述图像采集装置的所述待检测图像，并对所述待检测图像进行色彩格式转换；
对所述转换后的待检测图像进行聚合通道特征ACF提取。
10.根据权利要求9所述的方法，其特征在于，所述对所述转换后的待检测图像进行ACF提取，包括：
将所述转换后的待检测图像进行色彩空间转换，获得所述待检测图像的色彩空间信息；对所述色彩空间信息进行降采样处理，生成至少一个尺度的降采样图像；针对一个尺度的降采样图像中的每一个像素，计算对应的尺寸特征，并将所述对应的尺寸特征写入存储器；
从所述存储器读取每一个尺寸特征；按照预设的尺度缩放规则，依次对所述每一个尺度特征进行缩放，获得预设数量的尺度特征；将所述预设数量的尺度特征作为所述AFC写入所述存储器。
11.根据权利要求10所述的方法，其特征在于，所述特针对一个尺度的降采样图像中的每一个像素，计算对应的尺寸特征，包括：
针对所述一个尺度的降采样图像中的每一个像素，计算水平和竖直方向的梯度值；
根据水平和竖直方向的梯度值，计算梯度幅值和方向角；
将梯度幅值按预设比例缩小，生成梯度幅值特征；
根据梯度幅度值和方向角度，计算对应的方向梯度直方图HOG；
将所述一个尺度的降采样图像中每一个像素对应的色彩空间信息、梯度幅值特征和HOG确定为所述一个尺度的降采样图像对应的尺度特征。
12.根据权利要求8所述的方法，其特征在于，所述根据所述检测结果，生成并输出提示信息，包括：
根据所述检测结果，生成对应的预警信息，并输出至音频输出装置，以提示用户；或者，
根据所述检测结果中目标物体的坐标和尺寸，生成对应的提示框，并将所述提示框在所述待检测图像中进行合成；输出合成后的图像至显示装置，以提示用户。
13.一种物体检测方法，其特征在于，应用于如权利要求1至7任一项所述的物体检测装置；所述方法包括：
从所述存储器中读取特征，所述特征是由可编程逻辑单元从待检测图像中提取出来的；
根据所述特征进行目标物体检测，并将检测结果输出至所述可编程逻辑单元，所述检测结果用于指示所述可编程逻辑单元生成并输出提示信息。
14.一种电子设备，其特征在于，包括：如权利要求1-7任一项所述的物体检测装置和图像采集装置；
所述图像采集装置，用于采集所述待检测图像，并将采集到的所述待检测图像输出至所述可编程逻辑单元。
15.根据权利要求14所述的电子设备，其特征在于，所述电子设备还包括：输出装置，用于接收所述可编程逻辑单元输入的所述提示信息，并输出所述提示信息。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811260405.3A CN109344801A (zh) | 2018-10-26 | 2018-10-26 | 一种物体检测方法及装置 |
| PCT/CN2019/106145 WO2020082936A1 (zh) | 2018-10-26 | 2019-09-17 | 物体检测方法及装置 |
| US16/760,847 US11508144B2 (en) | 2018-10-26 | 2019-09-17 | Method and device for object detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811260405.3A CN109344801A (zh) | 2018-10-26 | 2018-10-26 | 一种物体检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109344801A true CN109344801A (zh) | 2019-02-15 |
Family
ID=65312177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811260405.3A Pending CN109344801A (zh) | 2018-10-26 | 2018-10-26 | 一种物体检测方法及装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11508144B2 (zh) |
| CN (1) | CN109344801A (zh) |
| WO (1) | WO2020082936A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079669A (zh) * | 2019-12-20 | 2020-04-28 | 京东方科技集团股份有限公司 | 一种图像处理方法、装置及存储介质 |
| WO2020082936A1 (zh) * | 2018-10-26 | 2020-04-30 | 京东方科技集团股份有限公司 | 物体检测方法及装置 |
| CN112016356A (zh) * | 2019-05-30 | 2020-12-01 | 西北工业大学深圳研究院 | 基于zynq的高光谱目标识别系统及方法 |
| WO2021237608A1 (zh) * | 2020-05-28 | 2021-12-02 | 京东方科技集团股份有限公司 | 基于异构平台的目标检测方法、终端设备和存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420767B (zh) * | 2021-07-22 | 2024-04-26 | 凌云光技术股份有限公司 | 一种用于字体分类的特征提取方法、系统和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760858A (zh) * | 2016-03-21 | 2016-07-13 | 东南大学 | 一种基于类Haar中间层滤波特征的行人检测方法及装置 |
| CN105847766A (zh) * | 2016-05-30 | 2016-08-10 | 福州大学 | 一种基于Zynq-7000的运动目标检测与跟踪系统 |
| CN108038447A (zh) * | 2017-12-12 | 2018-05-15 | 广西师范大学 | 一种基于Zynq-7000的行人检测系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9064157B2 (en) | 2012-11-30 | 2015-06-23 | National Chung Shan Institute Of Science And Technology | Pedestrian detection systems and methods |
| CN103325258A (zh) * | 2013-06-24 | 2013-09-25 | 武汉烽火众智数字技术有限责任公司 | 基于视频处理的闯红灯检测装置及其方法 |
| US10259390B2 (en) * | 2016-05-27 | 2019-04-16 | GM Global Technology Operations LLC | Systems and methods for towing vehicle and trailer with surround view imaging devices |
| US10949710B2 (en) * | 2016-06-15 | 2021-03-16 | Nokia Technologies Oy | Methods, systems and apparatuses of feature extraction and object detection |
| JP7151725B2 (ja) * | 2017-12-28 | 2022-10-12 | ソニーグループ株式会社 | 制御装置、および制御方法、プログラム、並びに移動体 |
| KR102042781B1 (ko) * | 2018-03-02 | 2019-11-08 | 주식회사 건화 | 작업자 안전 시스템 |
| JP6943340B2 (ja) * | 2018-05-29 | 2021-09-29 | 日本電気株式会社 | 物体検出装置、物体検出システム、物体検出方法、およびプログラム |
| JP6683280B1 (ja) * | 2018-10-19 | 2020-04-15 | ソニー株式会社 | センサ装置、信号処理方法 |
| CN109344801A (zh) * | 2018-10-26 | 2019-02-15 | 京东方科技集团股份有限公司 | 一种物体检测方法及装置 |
-
2018
- 2018-10-26 CN CN201811260405.3A patent/CN109344801A/zh active Pending
-
2019
- 2019-09-17 WO PCT/CN2019/106145 patent/WO2020082936A1/zh active Application Filing
- 2019-09-17 US US16/760,847 patent/US11508144B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760858A (zh) * | 2016-03-21 | 2016-07-13 | 东南大学 | 一种基于类Haar中间层滤波特征的行人检测方法及装置 |
| CN105847766A (zh) * | 2016-05-30 | 2016-08-10 | 福州大学 | 一种基于Zynq-7000的运动目标检测与跟踪系统 |
| CN108038447A (zh) * | 2017-12-12 | 2018-05-15 | 广西师范大学 | 一种基于Zynq-7000的行人检测系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020082936A1 (zh) * | 2018-10-26 | 2020-04-30 | 京东方科技集团股份有限公司 | 物体检测方法及装置 |
| US11508144B2 (en) | 2018-10-26 | 2022-11-22 | Beijing Boe Technology Development Co., Ltd. | Method and device for object detection |
| CN112016356A (zh) * | 2019-05-30 | 2020-12-01 | 西北工业大学深圳研究院 | 基于zynq的高光谱目标识别系统及方法 |
| CN111079669A (zh) * | 2019-12-20 | 2020-04-28 | 京东方科技集团股份有限公司 | 一种图像处理方法、装置及存储介质 |
| WO2021237608A1 (zh) * | 2020-05-28 | 2021-12-02 | 京东方科技集团股份有限公司 | 基于异构平台的目标检测方法、终端设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020082936A1 (zh) | 2020-04-30 |
| US11508144B2 (en) | 2022-11-22 |
| US20200356801A1 (en) | 2020-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344801A (zh) | 一种物体检测方法及装置 | |
| CN108229490B (zh) | 关键点检测方法、神经网络训练方法、装置和电子设备 | |
| JP6230751B1 (ja) | 物体検出装置および物体検出方法 | |
| EP3168810A1 (en) | Image generating method and apparatus | |
| US8447114B2 (en) | Method and apparatus for calculating pixel features of image data | |
| US8472669B2 (en) | Object localization using tracked object trajectories | |
| Zhao et al. | Real-time traffic sign detection using SURF features on FPGA | |
| JP2023545565A (ja) | 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム | |
| US20110199499A1 (en) | Face recognition apparatus and face recognition method | |
| JP6688277B2 (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
| Ardianto et al. | Real-time traffic sign recognition using color segmentation and SVM | |
| WO2006013913A1 (ja) | オブジェクト画像検出装置､ 顔画像検出プログラムおよび顔画像検出方法 | |
| US10860844B2 (en) | Recognition of activity in a video image sequence using depth information | |
| US11017262B2 (en) | Method and device to determine image features using multi-resolution gradient analysis | |
| Zhou et al. | A system-on-chip FPGA design for real-time traffic signal recognition system | |
| US11074716B2 (en) | Image processing for object detection | |
| CN107704797B (zh) | 基于安防视频中行人和车辆的实时检测方法和系统及设备 | |
| Zhang et al. | A pedestrian detection method based on SVM classifier and optimized Histograms of Oriented Gradients feature | |
| CN112541394A (zh) | 黑眼圈及鼻炎识别方法、系统及计算机介质 | |
| JP5201184B2 (ja) | 画像処理装置及びプログラム | |
| Luo et al. | IR-YOLO: Real-Time Infrared Vehicle and Pedestrian Detection. | |
| US11256950B2 (en) | Image feature amount output device, image recognition device, the image feature amount output program, and image recognition program | |
| CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
| JP2013003686A (ja) | 認識装置および方法、プログラム、並びに記録媒体 | |
| Manasa et al. | Real time object counting using Raspberry pi |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |