[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105718904A - 基于组合特征与车载摄像头的盲人检测与识别方法与系统 - Google Patents

基于组合特征与车载摄像头的盲人检测与识别方法与系统 Download PDF

Info

Publication number
CN105718904A
CN105718904A CN201610048194.1A CN201610048194A CN105718904A CN 105718904 A CN105718904 A CN 105718904A CN 201610048194 A CN201610048194 A CN 201610048194A CN 105718904 A CN105718904 A CN 105718904A
Authority
CN
China
Prior art keywords
pedestrian
seeing
blind
image
hog characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610048194.1A
Other languages
English (en)
Inventor
田雨农
吴子章
周秀田
于维双
陆振波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201610048194.1A priority Critical patent/CN105718904A/zh
Publication of CN105718904A publication Critical patent/CN105718904A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于主动驾驶领域，具体说是一种基于组合特征与车载摄像头的盲人检测与识别方法与系统。本发明在车载视觉传感器的帮助下，对前方视野范围内的在视觉行人检测的基础上，对检测出的行人进行盲杖、导盲犬、盲镜等组合特征进行检测，进而识别出盲人，帮助提醒驾驶者特殊注意。根据盲人与导盲犬的姿态信息判断其动作趋势，并提醒驾驶者以更好地保护双方安全。本发明利用离线训练的行人、盲杖、导盲犬、盲镜多个分类器联合，并行对目标进行具有几何关系的查找与检测，提高了检测的效率与准确性。

Description

基于组合特征与车载摄像头的盲人检测与识别方法与系统
技术领域
本发明属于主动驾驶领域，具体说是一种基于组合特征与车载摄像头的盲人检测与识别方法与系统。
背景技术
近年来随着汽车辅助驾驶项目的快速发展，基于车载摄像头的行人检测技术获得了长足的发展，并不断应用到汽车主动安全与主动驾驶项目中。目前，各个研发机构只是检测出行人并且进行相关的告警，以提醒驾驶者需要注意前方有行人需要注意。针对行人类型的检测与识别，虽然对驾驶者也有很大的参考价值，但是由于技术等方面问题，还没有相关比较公开的研究资料。
鉴于此，本发明提出一种基于组合特征的基于车载摄像头的盲人检测与识别方法，通过该技术可以帮助驾驶者在遇到盲人等特殊群体的时候，能够及时避让或做出特殊处理。
发明内容
针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于组合特征与车载摄像头的盲人检测与识别方法与系统。
本发明为实现上述目的所采用的技术方案是：一种基于组合特征与车载摄像头的盲人检测与识别方法，包括以下步骤：
S1：车载视觉传感器实时采集车辆周围的原始图像，同时并行执行步骤S2、S3；
S2：根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，若没有则进行下一帧检测；
在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，若没有则进行下一帧检测；
将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，若没有则进行下一帧检测；
对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人；若没有则进行下一帧检测；
S3：根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，若没有则进行下一帧检测；
对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，利用狗链标记连通区域的末端，在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，若没有则进行下一帧检测；若没有狗链则进行下一帧检测；
若狗链的另一端有行人，则依次利用盲杖分类器、盲镜分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖、盲镜，若同时有则在导盲犬hog特征图像中标记盲杖、盲镜，并判定原始图像中存在盲人；若没有则进行下一帧检测；
S4：根据S2的检测结果和S3的检测结果进行加权求和，当加权求和的结果大于预设阈值时，判定原始图像中存在盲人。
所述行人分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取行人hog特征图像；
在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{fk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t h t ( x ) > = β k 0 e l s e , x表示输入的行人hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt后即为αtht(x)，加权求和后则构成了强分类器，fk(x)表示行人分类器的一个强分类器，βk表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk时，则认为满足该强分类器。
所述行人hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。
所述导盲犬分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取导盲犬hog特征图像；
在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{pk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t ′ h t ( x ) > = β k ′ 0 e l s e , x表示输入的导盲犬hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α′t后即为α′tht(x)，加权求和后则构成了强分类器，pk(x)表示导盲犬分类器的一个强分类器，β′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′k时，则认为满足该强分类器。
所述导盲犬hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。
所述盲杖分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲杖hog特征图像；
在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{qk(x)}，k＝1，……，N，N为正整数，其中， q k ( x ) = { 1 Σ t = 1 T α t ′ ′ h t ( x ) > = β k ′ ′ 0 e l s e , x表示输入的盲杖hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″后即为α″tht(x)，加权求和后则构成了强分类器，qk(x)表示盲杖分类器的一个强分类器，β″k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″k时，则认为满足该强分类器。
所述盲杖hog特征图像通过以下步骤获得：
设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。
所述盲镜分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲镜hog特征图像；
在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{rk(x)}，k＝1，……，N，N为正整数，其中，x表示输入的盲镜hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″′t后即为α″′tht(x)，加权求和后则构成了强分类器，rk(x)表示盲镜分类器的一个强分类器，β″′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′k时，则认为满足该强分类器。
所述盲镜hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。
如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的姿态。
还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的运动信息。
一种基于组合特征与车载摄像头的盲人检测与识别系统，包括：
车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给第一行人检测模块和第一导盲犬检测模块；
第一行人检测模块，用于根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，输出给第一盲杖检测模块和第二导盲犬检测模块，若没有则进行下一帧检测；
第一盲杖检测模块，用于在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，输出给第一盲镜检测模块，若没有则进行下一帧检测；
第二导盲犬检测模块，用于将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，输出给第一盲镜检测模块，若没有则进行下一帧检测；
第一盲镜检测模块，用于在第一盲杖检测模块和第二导盲犬检测模块均有输出的情况下，对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；
第一导盲犬检测模块，用于根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，输出给狗链检测模块，若没有则进行下一帧检测；
狗链检测模块，用于对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，标记狗链并输出给末端查找模块，若没有狗链则进行下一帧检测；
末端查找模块，用于利用狗链标记连通区域的末端，输出给第二行人检测模块；
第二行人检测模块，用于在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，输出给第二盲镜检测模块和第二盲杖检测模块，若没有则进行下一帧检测；
第二盲镜检测模块，用于利用盲镜分类器在导盲犬hog特征图像中判断该行人头部区域是否有盲镜，若有则在导盲犬hog特征图像中标记盲镜，并输出给第一综合判定模块；若没有则进行下一帧检测；
第二盲杖检测模块，用于利用盲杖分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖，若有则在导盲犬hog特征图像中标记盲杖，并输出给第一综合判定模块；若没有则进行下一帧检测；
第一综合判定模块，用于在第二盲镜检测模块和第二盲杖检测模块均有输出的情况下，判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；
第二综合判定模块，用于根据第一盲镜检测模块和第一综合判定模块的输出，进行加权求和，进而判定原始图像是是否存在盲人并输出。
还包括：
导盲犬姿态检测模块，连接第二综合判定模块和第一导盲犬检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，
行人姿态检测模块，连接第二综合判定模块和第一行人检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测行人的姿态信息。
还包括：
运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。
本发明具有以下优点及有益效果：
1.本发明可以在车载视觉传感器的帮助下，对前方视野范围内的在视觉行人检测的基础上，对检测出的行人进行盲杖、导盲犬、盲镜等组合特征进行检测，进而识别出盲人，帮助提醒驾驶者特殊注意。
2.本发明根据盲人与导盲犬的姿态信息判断其动作趋势，并提醒驾驶者以更好地保护双方安全。
3.本发明利用离线训练的行人、盲杖、导盲犬、盲镜多个分类器联合，并行对目标进行具有几何关系的查找与检测，提高了检测的效率与准确性。
附图说明
图1为本发明方法中离线的组合模型训练过程图；
图2为本发明方法中在线实时盲人检测流程图；
图3为本发明系统结构框图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明在车载摄像头获取视觉信息基础上，利用组合特征对行人中的盲人进行检测。本发明主要分为两部分：训练部分与检测部分。
(1)训练部分。
如图1所示，本发明方法中离线的组合模型训练过程图。
其中，行人分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取行人hog特征图像；
在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{fk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t h t ( x ) > = β k 0 e l s e , x表示输入的行人hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt后即为αtht(x)，加权求和后则构成了强分类器，fk(x)表示行人分类器的一个强分类器，βk表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk时，则认为满足该强分类器。
所述行人hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。
其中，导盲犬分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取导盲犬hog特征图像；
在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{pk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t ′ h t ( x ) > = β k ′ 0 e l s e x表示输入的导盲犬hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α′t后即为α′tht(x)，加权求和后则构成了强分类器，pk(x)表示导盲犬分类器的一个强分类器，β′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′k时，则认为满足该强分类器。
所述导盲犬hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。
其中，盲杖分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲杖hog特征图像；
在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{qk(x)}，k＝1，……，N，N为正整数，其中， q k ( x ) = 1 Σ t = 1 T α t ′ ′ h t ( x ) > = β k ′ ′ 0 e l s e , x表示输入的盲杖hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″后即为α″tht(x)，加权求和后则构成了强分类器，qk(x)表示盲杖分类器的一个强分类器，βk″表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″k时，则认为满足该强分类器。
所述盲杖hog特征图像通过以下步骤获得：
设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。
其中，盲镜分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲镜hog特征图像；
在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{rk(x)}，k＝1，……，N，N为正整数，其中， r k ( x ) = 1 Σ t = 1 T α t ′ ′ ′ h t ( x ) > = β k ′ ′ ′ 0 e l s e , x表示输入的盲镜hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″′t后即为α″′tht(x)，加权求和后则构成了强分类器，rk(x)表示盲镜分类器的一个强分类器，β″′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′k时，则认为满足该强分类器。
所述盲镜hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分：▽Ix＝I(x+1,y)-I(x,y),▽Iy＝I(x,y)-I(x,y+1)；其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)
-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。
所述将原始图像或行人hog特征图像映射到三维世界坐标系下通过透视变换完成。
为了实时地进行行人检测，需要离线对海量的行人样本进行训练；同时，为了实时地进行导盲犬检测，本发明离线训练了海量的导盲犬走路等姿态下的样本；并且，针对不同姿态下盲人拄着的盲杖与不同角度下佩戴的盲镜也进行了海量样本的训练。
这样，我们得到了能够检测行人的模型、能够检测导盲犬的模型、能够检测不同姿态下盲人盲杖的模型与能够检测不同角度下的盲镜检测模型。利用该组合模型，我们可以检测出图像中是否具有行人、导盲犬、盲镜、盲杖等信息，如果在一定邻域内同时存在标记的4个坐标，那么就可以认为是检测出了盲人。
(2)检测部分。
在线实时盲人检测流程图如图2所示。
在得到了组合模型后，在车载摄像头获取的图像中对行人与导盲犬分别进行并行检测。
首先，一方面检测行人的处理线程，如果不是行人，则滑动检测窗口，对下一个位置进行检测；如果是行人，那么就对行人附件的地面物体进行检测，这里主要是并行地检测导盲犬与盲杖。通过投影变换将二维图像坐标系下的目标映射到三维世界坐标系下，查找其与地面接触点的Z轴坐标；同时，利用检测到的行人整体高度(行人头部Z轴坐标与地面Z轴坐标之差)来进一步限定导盲犬检测范围，这里假定导盲犬的身高不会超过行人的身高。利用地面Z轴坐标与导盲犬身高Z轴坐标来限定导盲犬的Z轴范围，利用反投影变换，将上述Z轴坐标限制范围映射回图像坐标系，进而缩小导盲犬滑动窗口的检测范围。
如果有导盲犬与盲杖，那么再从行人的头部区域中检测盲镜。如果检测到盲镜那么就认为该行人就是盲人；否则，不认为是盲人。如果没有导盲犬或盲杖，那么也不认为是盲人。
由于，有地面作为参考标准，因此本发明只检测地面以上且与地面有几何交集的图像区域，这样可以省去很多检测空间。
另一方面，通过车载视觉传感器对导盲犬进行检测。
对于导盲犬的检测，需要分不同姿态的情况，比如行进中的导盲犬、坐立时的导盲犬及躺着的导盲犬。以上情况的导盲犬都要进行识别，因为导盲犬的姿态可以预示盲人的行进与否的状态(当导盲犬躺着的时候，盲人应该是不会行进的；导盲犬行进时，盲人一般也是在行进；导盲犬坐立或站立时，盲人一般也都是停止的状态)。
当检测到导盲犬的时候，对其身上的狗链进行检测。导盲犬颈部区域进行二值化找出像素比例相对较小的区域进行标记连通，如果得到结果与颈部区域宽度相近，则可以认为导盲犬颈部区域是否有狗链。如果检测不到狗链，那么可以认为该狗不是导盲犬；如果有狗链，则利用狗链标记连通区域的末端进行行人检测，来判断狗链另一端的行人是否有盲杖与盲镜，若有就认为是盲人，反之不是盲人。
当判定为盲人的时候，同时对导盲犬的姿态与盲人的姿态都进行检测匹配，根据姿态信息确定盲人是行走还是站立。这样将带有动作趋势的盲人信息提示给驾驶者，将对其更加有提示意义。
如图3所示，为本发明的系统结构框图。包括：车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给第一行人检测模块和第一导盲犬检测模块；第一行人检测模块，用于根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，输出给第一盲杖检测模块和第二导盲犬检测模块，若没有则进行下一帧检测；第一盲杖检测模块，用于在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，输出给第一盲镜检测模块，若没有则进行下一帧检测；第二导盲犬检测模块，用于将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，输出给第一盲镜检测模块，若没有则进行下一帧检测；第一盲镜检测模块，用于在第一盲杖检测模块和第二导盲犬检测模块均有输出的情况下，对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；第一导盲犬检测模块，用于根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，输出给狗链检测模块，若没有则进行下一帧检测；狗链检测模块，用于对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，标记狗链并输出给末端查找模块，若没有狗链则进行下一帧检测；末端查找模块，用于利用狗链标记连通区域的末端，输出给第二行人检测模块；第二行人检测模块，用于在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，输出给第二盲镜检测模块和第二盲杖检测模块，若没有则进行下一帧检测；第二盲镜检测模块，用于利用盲镜分类器在导盲犬hog特征图像中判断该行人头部区域是否有盲镜，若有则在导盲犬hog特征图像中标记盲镜，并输出给第一综合判定模块；若没有则进行下一帧检测；第二盲杖检测模块，用于利用盲杖分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖，若有则在导盲犬hog特征图像中标记盲杖，并输出给第一综合判定模块；若没有则进行下一帧检测；第一综合判定模块，用于在第二盲镜检测模块和第二盲杖检测模块均有输出的情况下，判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；第二综合判定模块，用于根据第一盲镜检测模块和第一综合判定模块的输出，进行加权求和，进而判定原始图像是是否存在盲人并输出。
还包括：导盲犬姿态检测模块，连接第二综合判定模块和第一导盲犬检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测导盲犬的姿态信息；行人姿态检测模块，连接第二综合判定模块和第一行人检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测行人的姿态信息。
还包括：运动信息检测模块，用于根据导盲犬姿态检测模块和行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和导盲犬运动信息。

Claims (10)

1.一种基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，包括以下步骤：
S1：车载视觉传感器实时采集车辆周围的原始图像，同时并行执行步骤S2、S3；
S2：根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，若没有则进行下一帧检测；
在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，若没有则进行下一帧检测；
将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，若没有则进行下一帧检测；
对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人；若没有则进行下一帧检测；
S3：根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，若没有则进行下一帧检测；
对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，利用狗链标记连通区域的末端，在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，若没有则进行下一帧检测；若没有狗链则进行下一帧检测；
若狗链的另一端有行人，则依次利用盲杖分类器、盲镜分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖、盲镜，若同时有则在导盲犬hog特征图像中标记盲杖、盲镜，并判定原始图像中存在盲人；若没有则进行下一帧检测；
S4：根据S2的检测结果和S3的检测结果进行加权求和，当加权求和的结果大于预设阈值时，判定原始图像中存在盲人。
2.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，所述行人分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取行人hog特征图像；
在行人hog特征图像上进行行人的训练学习，获取行人的统计特征，即{fk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t h t ( x ) > = β k 0 e l s e , x表示输入的行人hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权αt后即为αtht(x)，加权求和后则构成了强分类器，fk(x)表示行人分类器的一个强分类器，βk表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于βk时，则认为满足该强分类器；
所述行人hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，16*16像素块，块中平均分割而成的四个单元像素块，大小为8*8；计算样本hog特征的步长为8个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到行人hog特征图像。
3.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，所述导盲犬分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取导盲犬hog特征图像；
在导盲犬hog特征图像上进行导盲犬的训练学习，获取导盲犬的统计特征，即{pk(x)}，k＝1，……，N，N为正整数，其中， f k ( x ) = 1 Σ t = 1 T α t ′ h t ( x ) > = β k ′ 0 e l s e , x表示输入的导盲犬hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α′t后即为α′tht(x)，加权求和后则构成了强分类器，pk(x)表示导盲犬分类器的一个强分类器，β′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β′k时，则认为满足该强分类器；
所述导盲犬hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，8*8像素块，块中平均分割而成的四个单元像素块，大小为4*4；计算样本hog特征的步长为4个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： ▿ I x = I ( x + 1 , y ) - I ( x , y ) , ▿ I y = I ( x , y ) - I ( x , y + 1 ) ; 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到导盲犬hog特征图像。
4.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，所述盲杖分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲杖hog特征图像；
在盲杖hog特征图像上进行盲杖的训练学习，获取盲杖的统计特征，即{qk(x)}，k＝1，……，N，N为正整数，其中， q k ( x ) = 1 Σ t = 1 T α t ′ ′ h t ( x ) > = β k ′ ′ 0 e l s e , x表示输入的盲杖hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″后即为α″tht(x)，加权求和后则构成了强分类器，qk(x)表示盲杖分类器的一个强分类器，β″k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″k时，则认为满足该强分类器；
所述盲杖hog特征图像通过以下步骤获得：
设计hog特征块高宽比为2:1，8*4像素块，块中平均分割而成的两个单元像素块，大小为4*4；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： ▿ I x = I ( x + 1 , y ) - I ( x , y ) , ▿ I y = I ( x , y ) - I ( x , y + 1 ) ; 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲杖hog特征图像。
5.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，所述盲镜分类器通过离线训练得到，具体包括：
通过视频采集传感器采集样本图像；
通过样本图像获取盲镜hog特征图像；
在盲镜hog特征图像上进行盲镜的训练学习，获取盲镜的统计特征，即{rk(x)}，k＝1，……，N，N为正整数，其中， r k ( x ) = 1 Σ t = 1 T α t ′ ′ ′ h t ( x ) > = β k ′ ′ ′ 0 e l s e , x表示输入的盲镜hog特征图像，ht(x)表示第t个弱分类器，其计算结果加权α″′t后即为α″′tht(x)，加权求和后则构成了强分类器，rk(x)表示盲镜分类器的一个强分类器，β″′k表示所有弱分类器加权求和后需要满足的阈值，当整体权重之和大于β″′k时，则认为满足该强分类器；
所述盲镜hog特征图像通过以下步骤获得：
设计hog特征块高宽比为1:1，4*4像素块，块中平均分割而成的四个单元像素块，大小为2*2；计算样本hog特征的步长为2个像素；
在YUV每个通道中，求出像素值的梯度方向的微分： ▿ I x = I ( x + 1 , y ) - I ( x , y ) , ▿ I y = I ( x , y ) - I ( x , y + 1 ) ; 其中，I(x,y)表示坐标x,y的像素值；
分别在x方向与y方向对微分结果进行积分，进而构成像素点I(p,q)的梯度变化直方图的积分图：其中，p,q分别为像素点I(p,q)的横坐标与纵坐标；
查表计算每一个图像块的内部的像素值的梯度变化之和：
RecSUM(r)＝SUM(x-1,y-1)+SUM(x+w-1,y+h-1)-SUM(x-1,y+h-1)-SUM(x+w-1,y-1)
其中，r表示图像块，h与w分别表示图像块的高与宽，RecSUM(r)表示图像块内的梯度变化之和；
在YUV三个通道中，对每个通道根据以上步骤进行加权联合计算，得到盲镜hog特征图像。
6.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的姿态。
7.根据权利要求1所述的基于组合特征与车载摄像头的盲人检测与识别方法，其特征在于，还包括：如果判定原始图像中存在盲人，通过连续帧图像检测盲人和/或导盲犬的运动信息。
8.一种基于组合特征与车载摄像头的盲人检测与识别系统，其特征在于，包括：
车载视觉传感器采集模块，用于实时采集车辆周围的原始图像，并输出给第一行人检测模块和第一导盲犬检测模块；
第一行人检测模块，用于根据行人特征获得每一帧原始图像的行人hog特征图像，利用行人分类器判断行人hog特征图像中是否有行人，若有行人则在原始图像或行人hog特征图像中标记行人，输出给第一盲杖检测模块和第二导盲犬检测模块，若没有则进行下一帧检测；
第一盲杖检测模块，用于在行人hog特征图像中的行人周围区域利用盲杖分类器判断是否有盲杖，若有则在原始图像或行人hog特征图像中标记盲杖，输出给第一盲镜检测模块，若没有则进行下一帧检测；
第二导盲犬检测模块，用于将原始图像或行人hog特征图像映射到三维世界坐标系下，利用导盲犬分类器判断三维世界坐标系下的图像中是否有导盲犬，若有则在原始图像或行人hog特征图像中标记导盲犬，输出给第一盲镜检测模块，若没有则进行下一帧检测；
第一盲镜检测模块，用于在第一盲杖检测模块和第二导盲犬检测模块均有输出的情况下，对行人hog特征图像内的行人头部区域进行窗口遍历，在每一个窗口利用盲镜分类器判断是否有盲镜，若有则在行人hog特征图像中标记盲镜；判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；
第一导盲犬检测模块，用于根据导盲犬特征获得每一帧原始图像的导盲犬hog特征图像，利用导盲犬分类器判断导盲犬hog特征图像是否有导盲犬，若有则在原始图像或导盲犬hog特征图像中标记导盲犬，输出给狗链检测模块，若没有则进行下一帧检测；
狗链检测模块，用于对导盲犬hog特征图像在导盲犬颈部区域进行二值化处理，找出像素比例最小的区域进行标记连通，如果得到的连通区域与颈部区域的宽度之比在设定范围内，则认为导盲犬颈部区域有狗链，标记狗链并输出给末端查找模块，若没有狗链则进行下一帧检测；
末端查找模块，用于利用狗链标记连通区域的末端，输出给第二行人检测模块；
第二行人检测模块，用于在末端利用行人分类器检测是否有行人，若有行人则在原始图像或导盲犬hog特征图像中标记行人，输出给第二盲镜检测模块和第二盲杖检测模块，若没有则进行下一帧检测；
第二盲镜检测模块，用于利用盲镜分类器在导盲犬hog特征图像中判断该行人头部区域是否有盲镜，若有则在导盲犬hog特征图像中标记盲镜，并输出给第一综合判定模块；若没有则进行下一帧检测；
第二盲杖检测模块，用于利用盲杖分类器在导盲犬hog特征图像中判断该行人周围区域是否有盲杖，若有则在导盲犬hog特征图像中标记盲杖，并输出给第一综合判定模块；若没有则进行下一帧检测；
第一综合判定模块，用于在第二盲镜检测模块和第二盲杖检测模块均有输出的情况下，判定该行人为盲人，输出给第二综合判定模块；若没有则进行下一帧检测；
第二综合判定模块，用于根据第一盲镜检测模块和第一综合判定模块的输出，进行加权求和，进而判定原始图像是是否存在盲人并输出。
9.根据权利要求8所述的基于组合特征与车载摄像头的盲人检测与识别系统，其特征在于，还包括：
导盲犬姿态检测模块，连接第二综合判定模块和第一导盲犬检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测导盲犬的姿态信息；和/或，
行人姿态检测模块，连接第二综合判定模块和第一行人检测模块，用于在第二综合判定模块的输出为盲人的情况下，检测行人的姿态信息。
10.根据权利要求9所述的基于组合特征与车载摄像头的盲人检测与识别系统，其特征在于，还包括：
运动信息检测模块，用于根据导盲犬姿态检测模块和/或行人姿态检测模块输出的连续帧的导盲犬姿态信息和行人姿态信息，得到行人和/或导盲犬运动信息。
CN201610048194.1A 2016-01-25 2016-01-25 基于组合特征与车载摄像头的盲人检测与识别方法与系统 Pending CN105718904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610048194.1A CN105718904A (zh) 2016-01-25 2016-01-25 基于组合特征与车载摄像头的盲人检测与识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610048194.1A CN105718904A (zh) 2016-01-25 2016-01-25 基于组合特征与车载摄像头的盲人检测与识别方法与系统

Publications (1)

Publication Number Publication Date
CN105718904A true CN105718904A (zh) 2016-06-29

Family

ID=56154725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610048194.1A Pending CN105718904A (zh) 2016-01-25 2016-01-25 基于组合特征与车载摄像头的盲人检测与识别方法与系统

Country Status (1)

Country Link
CN (1) CN105718904A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251703A (zh) * 2016-10-14 2016-12-21 蔡璟 一种基于rfid技术的无躲避车辆意识物靠近提醒系统
CN108280990A (zh) * 2016-12-30 2018-07-13 纵目科技（上海）股份有限公司 基于车顶信号灯检测的急救车辆检测与避让方法与系统
CN110758380A (zh) * 2018-07-10 2020-02-07 奥迪股份公司 视觉交互系统和视觉交互方法
CN112906678A (zh) * 2021-05-07 2021-06-04 南京甄视智能科技有限公司 基于监控视频的非法遛狗事件检测方法、装置
CN114885094A (zh) * 2022-03-25 2022-08-09 北京旷视科技有限公司 一种图像处理方法、图像处理器、图像处理模组及设备
CN117894063A (zh) * 2023-10-12 2024-04-16 深圳市综合交通与市政工程设计研究总院有限公司 一种残疾人识别暨助行号召方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271469A (zh) * 2008-05-10 2008-09-24 深圳先进技术研究院 一种基于三维模型库下二维图像的识别和物体的重建方法
CN102201059A (zh) * 2011-05-20 2011-09-28 北京大学深圳研究生院 一种行人检测方法及装置
CN102609716A (zh) * 2012-01-10 2012-07-25 银江股份有限公司 一种基于改进的hog特征和pca的行人检测方法
EP2383713B1 (en) * 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
CN103430214A (zh) * 2011-03-28 2013-12-04 日本电气株式会社 人员跟踪设备、人员跟踪方法以及存储人员跟踪程序的非瞬态计算机可读介质
CN103473571A (zh) * 2013-09-12 2013-12-25 天津大学 一种人体检测方法
CN103858156A (zh) * 2011-10-18 2014-06-11 本田技研工业株式会社 车辆周围监测装置
CN104091178A (zh) * 2014-07-01 2014-10-08 四川长虹电器股份有限公司 基于hog特征人体感知分类器的训练方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2383713B1 (en) * 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
CN101271469A (zh) * 2008-05-10 2008-09-24 深圳先进技术研究院 一种基于三维模型库下二维图像的识别和物体的重建方法
CN103155015A (zh) * 2010-09-08 2013-06-12 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
CN103430214A (zh) * 2011-03-28 2013-12-04 日本电气株式会社 人员跟踪设备、人员跟踪方法以及存储人员跟踪程序的非瞬态计算机可读介质
CN102201059A (zh) * 2011-05-20 2011-09-28 北京大学深圳研究生院 一种行人检测方法及装置
CN103858156A (zh) * 2011-10-18 2014-06-11 本田技研工业株式会社 车辆周围监测装置
CN102609716A (zh) * 2012-01-10 2012-07-25 银江股份有限公司 一种基于改进的hog特征和pca的行人检测方法
CN103473571A (zh) * 2013-09-12 2013-12-25 天津大学 一种人体检测方法
CN104091178A (zh) * 2014-07-01 2014-10-08 四川长虹电器股份有限公司 基于hog特征人体感知分类器的训练方法
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
倪洪印: "基于视频的人体检测与目标跟踪方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
吕敬钦: "视频行人检测及跟踪的关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251703A (zh) * 2016-10-14 2016-12-21 蔡璟 一种基于rfid技术的无躲避车辆意识物靠近提醒系统
CN106251703B (zh) * 2016-10-14 2018-11-23 江苏来德福汽车部件有限公司 一种基于rfid技术的无躲避车辆意识物靠近提醒系统
CN108280990A (zh) * 2016-12-30 2018-07-13 纵目科技（上海）股份有限公司 基于车顶信号灯检测的急救车辆检测与避让方法与系统
CN110758380A (zh) * 2018-07-10 2020-02-07 奥迪股份公司 视觉交互系统和视觉交互方法
CN110758380B (zh) * 2018-07-10 2023-05-05 奥迪股份公司 视觉交互系统和视觉交互方法
CN112906678A (zh) * 2021-05-07 2021-06-04 南京甄视智能科技有限公司 基于监控视频的非法遛狗事件检测方法、装置
CN114885094A (zh) * 2022-03-25 2022-08-09 北京旷视科技有限公司 一种图像处理方法、图像处理器、图像处理模组及设备
CN114885094B (zh) * 2022-03-25 2024-03-29 北京旷视科技有限公司 一种图像处理方法、图像处理器、图像处理模组及设备
CN117894063A (zh) * 2023-10-12 2024-04-16 深圳市综合交通与市政工程设计研究总院有限公司 一种残疾人识别暨助行号召方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN105718904A (zh) 基于组合特征与车载摄像头的盲人检测与识别方法与系统
Nieto et al. Road environment modeling using robust perspective analysis and recursive Bayesian segmentation
Saleh et al. Cyclist detection in lidar scans using faster r-cnn and synthetic depth images
Bajracharya et al. A fast stereo-based system for detecting and tracking pedestrians from a moving vehicle
US9213892B2 (en) Real-time bicyclist detection with synthetic training data
CN103034843B (zh) 一种基于单目视觉的夜间车辆检测方法
Yang et al. A RGB-D based real-time multiple object detection and ranging system for autonomous driving
CN106156725A (zh) 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN105260712A (zh) 一种车辆前方行人检测方法及系统
US20180208201A1 (en) System and method for a full lane change aid system with augmented reality technology
CN106682603A (zh) 一种基于多源信息融合的实时驾驶员疲劳预警系统
CN102768726A (zh) 一种预防行人碰撞的行人检测方法
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
Zhang et al. Road marking segmentation based on siamese attention module and maximum stable external region
Nie et al. Monocular vision based perception system for nighttime driving
CN107122756A (zh) 一种完全非结构道路边缘检测方法
CN105718907A (zh) 基于导盲犬特征与车载摄像头的盲人检测识别方法与系统
Chai et al. 3D gesture recognition method based on faster R-CNN network
Amini et al. New approach to road detection in challenging outdoor environment for autonomous vehicle
You et al. A mechanical part sorting system based on computer vision
Yang et al. Research on Target Detection Algorithm for Complex Scenes
Said et al. Real-time detection and classification of traffic light signals
CN105718905A (zh) 基于行人特征与车载摄像头的盲人检测与识别方法与系统
Park et al. Roadway image preprocessing for deep learning-based driving scene understanding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160629

RJ01 Rejection of invention patent application after publication