[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111428680B - 一种基于深度学习的瞳孔定位方法 - Google Patents

一种基于深度学习的瞳孔定位方法 Download PDF

Info

Publication number
CN111428680B
CN111428680B CN202010263340.9A CN202010263340A CN111428680B CN 111428680 B CN111428680 B CN 111428680B CN 202010263340 A CN202010263340 A CN 202010263340A CN 111428680 B CN111428680 B CN 111428680B
Authority
CN
China
Prior art keywords
pupil
human eye
face
positioning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010263340.9A
Other languages
English (en)
Other versions
CN111428680A (zh
Inventor
张欢
黄军文
钟浩
文戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huafu Technology Co ltd
Original Assignee
Shenzhen Huafu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huafu Technology Co ltd filed Critical Shenzhen Huafu Technology Co ltd
Priority to CN202010263340.9A priority Critical patent/CN111428680B/zh
Publication of CN111428680A publication Critical patent/CN111428680A/zh
Application granted granted Critical
Publication of CN111428680B publication Critical patent/CN111428680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的瞳孔定位方法，它涉及图像处理和模式识别领域，具体属于视线跟踪系统中瞳孔定位方法的改进。它采用以下三个步骤：1、人脸检测，2、人眼区域定位，3、人眼瞳孔特征检测；详细具体如下：首先输入图像，通过图像进行人脸检测，对人脸的可见光图像和红外图像进行匹配人脸检测模型的训练，通过训练后的人脸检测模型对人脸进行检测，对人脸特征点检测；确定人眼区域定位，通过区域定位对人眼瞳孔进行检测；通过人眼可见光图像和红外图像的训练，得到人眼瞳孔检测模型，通过模型对人眼瞳孔进行检测，最终确定瞳孔的位置。它在人工智能深度学习的背景下，利用一些成熟的人脸检测模型，人脸特征点检测模型下，再结合深度神经网络强大的特征学习能力，提出了一种基于深度学习方法的瞳孔定位方法，它具有准确度、鲁棒性高的有点，也能满足实时性的要求。

Description

一种基于深度学习的瞳孔定位方法
技术领域
本发明涉及图像处理和模式识别领域，具体属于视线跟踪系统中瞳孔定位方法的改进。
背景技术
瞳孔定位在安全驾驶检测方向有着很重要的应用，是用来判断驾驶员眼睛视线方向的一个重要的手段之一。驾驶员眼睛视线方向是目前判断驾驶员是否安全驾驶的一个重要指标之一，因而瞳孔定位方法的研究是目前学术界与工业界的一个热点方向。通过定位出驾驶员瞳孔的位置进而可以获取驾驶员眼睛视线方向，从而判断出驾驶员在驾驶行为过程中是否存在注意力不集中的情况，预防不安全驾驶行为的发生，对驾驶员起到提前预警作用。
目前现有的瞳孔定位方法，大多数都是采用hough变换法，椭圆拟合法，梯度向量法等传统图像处理方法。这些传统的图像处理方法虽然在处理速度上有一定的优势之外，在精度上却不尽人意，尤其当人眼区域在光照变化，遮挡的影响下，传统的图像处理方法就很难定位出瞳孔的位置，从而定位精度就大大降低。此外在红外的场景下，由于图像质量本身跟可见光下的图像相比，红外场景下的图像没有明显的对比度，亮度等原因，传统的瞳孔定位方法在红外场景下基本上不适用，定位精度更低。
中国专利CN201810217448.7公开了一种视线跟踪系统中的瞳孔定位方法，该方法通过红外摄像头采集亮瞳图像和暗瞳图像进而分析相关数据，该方法仍然通过红外摄像头的方法获取图像，该方法在精度上却不尽人意，尤其当人眼区域在光照变化，遮挡的影响下，传统的图像处理方法就很难定位出瞳孔的位置。
发明内容
本发明的目的在于针对现有技术的缺陷和不足，提供一种基于深度学习的瞳孔定位方法，在人工智能深度学习的背景下，利用一些成熟的人脸检测模型，人脸特征点检测模型下，再结合深度神经网络强大的特征学习能力，提出了一种基于深度学习方法的瞳孔定位方法，它具有准确度、鲁棒性高的有点，也能满足实时性的要求。
为实现上述目的，本发明采用以下技术方案是：它采用以下三个步骤：
1、人脸检测，2、人眼区域定位，3、人眼瞳孔特征检测；步骤1人脸检测：采用目前成熟的人脸检测网络，但由于本方法要适用可见光与红外场景下，所以在现有的检测网络中加入了可见光与红外场景下的图片进行训练得到鲁棒性更强的人脸检测器，使网络能检测到红外场景下的人脸；所述的步骤2人眼区域定位：对检测到人脸图像，采用人脸特征点定位网络检测出人的两个眼睛的十二个特征点位置，然后利用每个眼睛的六个关键点位置获取外接矩形区域，最后为了避免特征点检测可能存在微小的偏差导致获取在获取最大外界矩形区域没有把眼睛部分完全包围，因而矩形区域扩大五个像素点，最终定位到准确的人眼区域位置。
所述的步骤3人眼瞳孔特征检测：采用基于卷积神经网路的沙漏网络（hourglassnetwork）来提取人眼区域特征；沙漏网络是分别自底向上和自顶向下的，该方式可以捕捉每一个尺度的信息，确保一个有效大的感受野并允许对位置之间的空间关系进行编码；在获得人眼区域后，用沙漏网络训练出人眼瞳孔特征检测器。训练首先制作数据，在制作数据的过程中，自研瞳孔虹膜边缘标注工具，利用标注工具可以标注瞳孔边缘的四个点以及确定人眼区域的两个点，总共六个点；利用标注工具得到所述点1、点2、点3、点4，这四个点可以通过圆拟合算法拟合得到一个圆，所示圆的中心即为近似的瞳孔中心，具体算法可见公式1。
公式1中、/>、/>分别表示拟合得到的瞳孔中心的横、纵坐标以及圆的半径。
所述的步骤1、2、3的详细具体如下：首先输入图像，通过图像进行人脸检测，对人脸的可见光图像和红外图像进行匹配人脸检测模型的训练，通过训练后的人脸检测模型对人脸进行检测，对人脸特征点检测；确定人眼区域定位，通过区域定位对人眼瞳孔进行检测；通过人眼可见光图像和红外图像的训练，得到人眼瞳孔检测模型，通过模型对人眼瞳孔进行检测，最终确定瞳孔的位置。
本发明通过深度学习建立人脸检测模型和人眼瞳孔检测模型，分别对应人脸检测和人眼瞳孔检测，确保检测的效果，最终精确定位瞳孔位置。即使在遮挡的情况下也能够实现，人眼瞳孔区域虽然包含很少的全局元素，但是仍然有着重要的空间信息可以被大的感受野模型所利用，因此可以利用这个特性采用沙漏网络来检测瞳孔位置，即使在瞳孔中心被遮挡的情况下也可以有效定位出瞳孔中心的位置。
本发明在一张人脸图像中通过定位出人眼瞳孔位置，进而通过数学模型计算出驾驶员眼睛的视线方向，这在驾驶行为分析有着重要的应用。本文方法在人工智能深度学习的背景下，利用业界一些成熟的人脸检测模型，人脸特征点检测模型下，再结合深度神经网络强大的特征学习能力，提出了一种基于深度学习方法的瞳孔定位方法，该方法主要有以下几个优势：
1．准确度、鲁棒性高。采用深度学习中卷积神经网络模块检测瞳孔位置，能充分学习到瞳孔的位置特征，即使在人眼区域遮挡、光照变化大的情况下也能准确定位，另外在可见光与红外的场景下，也能准确定位出瞳孔位置。
2．满足实时性。通过长期的对各个检测模块的优化与改进，本方法在实际场景运用下，也能做到实时检测定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明中人眼区域定位示意图；
图2是本发明步骤2中六个关键点位置标注结构示意图；
图3是本发明步骤2中矩形区域扩大五个像素点后的标注结构示意图；
图4是本发明步骤3中沙漏网络结构示意图；
图5是本发明的方法流程框图。
附图标记说明：关键点A、矩形框B、最大外接矩形框D。
具体实施方式
参看图1-图5所示，本具体实施方式采用的技术方案是：它采用以下三个步骤：1、人脸检测，2、人眼区域定位，3、人眼瞳孔特征检测；步骤1人脸检测：采用目前成熟的人脸检测网络，但由于本方法要适用可见光与红外场景下，所以在现有的检测网络中加入了可见光与红外场景下的图片进行训练得到鲁棒性更强的人脸检测器，使网络能检测到红外场景下的人脸；所述的步骤2人眼区域定位：对检测到人脸图像，采用人脸特征点定位网络检测出人的两个眼睛的十二个特征点位置，然后利用每个眼睛的六个关键点位置获取最大外接矩形区域，最后为了避免特征点检测可能存在微小的偏差导致获取在获取最大外界矩形区域没有把眼睛部分完全包围，因而矩形区域扩大五个像素点，最终定位到准确的人眼区域位置。六个关键点A为特征点，矩形框B为通过六个关键点求取的最大外接矩形框D，最大外接矩形框D即为人眼区域位置；
所述的步骤3人眼瞳孔特征检测：采用基于卷积神经网路的沙漏网络（hourglassnetwork）来提取人眼区域特征，其沙漏网络结构示意图如下图4所示；沙漏网络是分别自底向上和自顶向下的，该方式可以捕捉每一个尺度的信息，确保一个有效大的感受野并允许对位置之间的空间关系进行编码；在获得人眼区域后，用沙漏网络训练出人眼瞳孔特征检测器。训练首先制作数据，在制作数据的过程中，自研瞳孔虹膜边缘标注工具，利用标注工具可以标注瞳孔边缘的四个点以及确定人眼区域的两个点，总共六个点；参看图3，利用标注工具得到所述点1、点2、点3、点4，这四个点可以通过圆拟合算法拟合得到一个圆，所示圆的中心即为近似的瞳孔中心，具体算法可见公式1。
公式1中、/>、/>分别表示拟合得到的瞳孔中心的横、纵坐标以及圆的半径。
所述的步骤1、2、3的详细具体如下参看图5：首先输入图像，通过图像进行人脸检测，对人脸的可见光图像和红外图像进行匹配人脸检测模型的训练，通过训练后的人脸检测模型对人脸进行检测，对人脸特征点检测；确定人眼区域定位，通过区域定位对人眼瞳孔进行检测；通过人眼可见光图像和红外图像的训练，得到人眼瞳孔检测模型，通过模型对人眼瞳孔进行检测，最终确定瞳孔的位置。
本发明通过深度学习建立人脸检测模型和人眼瞳孔检测模型，分别对应人脸检测和人眼瞳孔检测，确保检测的效果，最终精确定位瞳孔位置。即使在遮挡的情况下也能够实现，人眼瞳孔区域虽然包含很少的全局元素，但是仍然有着重要的空间信息可以被大的感受野模型所利用，因此可以利用这个特性采用沙漏网络来检测瞳孔位置，即使在瞳孔中心被遮挡的情况下也可以有效定位出瞳孔中心的位置。
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于深度学习的瞳孔定位方法，其特征在于：它采用以下三个步骤：1、人脸检测，2、人眼区域定位，3、人眼瞳孔特征检测；步骤1人脸检测：在检测网络中加入可见光与红外场景下的图片进行训练，得到鲁棒性更强的人脸检测器，使网络能检测到红外场景下的人脸；所述的步骤2人眼区域定位：对检测到人脸图像，采用人脸特征点定位网络检测出人的两个眼睛的十二个特征点位置，然后利用每个眼睛的六个关键点位置获取外接矩形区域，为了避免特征点检测可能存在微小的偏差导致获取的最大外界矩形区域没有把眼睛部分完全包围，将矩形区域扩大五个像素点，最终定位到准确的人眼区域位置；所述的步骤3人眼瞳孔特征检测：采用基于卷积神经网路的沙漏网络(hourglass network)来提取人眼区域特征；沙漏网络是分别自底向上和自顶向下的，该方式可以捕捉每一个尺度的信息，确保一个有效大的感受野并允许对位置之间的空间关系进行编码；在获得人眼区域后，用沙漏网络训练出人眼瞳孔特征检测器；训练首先制作数据，在制作数据的过程中，自研瞳孔虹膜边缘标注工具，利用标注工具可以标注瞳孔边缘的四个点以及确定人眼区域的两个点，总共六个点；利用标注工具得到点1、点2、点3、点4，这四个点可以通过圆拟合算法拟合得到一个圆，所示圆的中心即为近似的瞳孔中心，具体算法可见公式1；
(x-x0)2+(y-y0)2＝r2 (公式1)
公式1中x0、y0、r分别表示拟合得到的瞳孔中心的横、纵坐标以及圆的半径。
2.根据权利要求1所述的一种基于深度学习的瞳孔定位方法，其特征在于：所述的步骤1、2、3的详细具体如下：首先输入图像，通过图像进行人脸检测，对人脸的可见光图像和红外图像进行匹配人脸检测模型的训练，通过训练后的人脸检测模型对人脸进行检测，对人脸特征点检测；确定人眼区域定位，通过区域定位对人眼瞳孔进行检测；通过人眼可见光图像和红外图像的训练，得到人眼瞳孔检测模型，通过模型对人眼瞳孔进行检测，最终确定瞳孔的位置。
CN202010263340.9A 2020-04-07 2020-04-07 一种基于深度学习的瞳孔定位方法 Active CN111428680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010263340.9A CN111428680B (zh) 2020-04-07 2020-04-07 一种基于深度学习的瞳孔定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010263340.9A CN111428680B (zh) 2020-04-07 2020-04-07 一种基于深度学习的瞳孔定位方法

Publications (2)

Publication Number Publication Date
CN111428680A CN111428680A (zh) 2020-07-17
CN111428680B true CN111428680B (zh) 2023-10-20

Family

ID=71557556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010263340.9A Active CN111428680B (zh) 2020-04-07 2020-04-07 一种基于深度学习的瞳孔定位方法

Country Status (1)

Country Link
CN (1) CN111428680B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541433B (zh) * 2020-12-11 2024-04-19 中国电子技术标准化研究院 一种基于注意力机制的两阶段人眼瞳孔精确定位方法
CN113597616A (zh) * 2021-06-11 2021-11-02 华为技术有限公司 瞳孔位置的确定方法、装置及系统
CN113850130A (zh) * 2021-08-23 2021-12-28 宁波荣新安圣机械有限公司 一种验光仪瞳孔中心定位的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440476A (zh) * 2013-08-26 2013-12-11 大连理工大学 一种人脸视频中瞳孔的定位方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN110659674A (zh) * 2019-09-05 2020-01-07 东南大学 一种基于视线跟踪的测谎方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440476A (zh) * 2013-08-26 2013-12-11 大连理工大学 一种人脸视频中瞳孔的定位方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN110659674A (zh) * 2019-09-05 2020-01-07 东南大学 一种基于视线跟踪的测谎方法

Also Published As

Publication number Publication date
CN111428680A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN106778664B (zh) 一种虹膜图像中虹膜区域的分割方法及其装置
CN111428680B (zh) 一种基于深度学习的瞳孔定位方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN103413120B (zh) 基于物体整体性和局部性识别的跟踪方法
CN109800824A (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN104036278B (zh) 人脸算法标准脸部图像的提取方法
CN108205658A (zh) 基于单双目视觉融合的障碍物检测预警系统
CN108399361A (zh) 一种基于卷积神经网络cnn和语义分割的行人检测方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN105913013A (zh) 双目视觉人脸识别算法
CN110705468B (zh) 基于图像分析的眼动范围识别方法和系统
CN112651371B (zh) 着装安全检测方法、装置、存储介质及计算机设备
CN106485715A (zh) 一种非结构化道路识别方法
CN105654085A (zh) 一种基于图像技术的弹孔识别方法
CN103942539A (zh) 一种人头部椭圆精确高效提取及遮蔽人脸检测方法
CN109886086A (zh) 基于hog特征和线性svm级联分类器的行人检测方法
CN109389033A (zh) 一种新型的瞳孔快速定位方法
CN109948433A (zh) 一种嵌入式人脸跟踪方法及装置
CN118941998A (zh) 一种基于无人机的目标识别追踪系统
CN111046866B (zh) 一种结合ctpn和svm的人民币冠字号区域检测方法
CN105631410B (zh) 一种基于智能视频处理技术的课堂检测方法
CN105046230A (zh) 基于图像的人眼角检测的方法及系统
CN110598521A (zh) 一种基于人脸图像智能分析的行为与生理状态识别方法
CN106503611B (zh) 基于边缘信息投影定位镜架横梁的人脸图像眼镜检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518066 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen Huafu Technology Co.,Ltd.

Address before: 518066 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: SHENZHEN HUAFU INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant