CN110276231A - 一种眼睛开合度的检测装置、设备及方法 - Google Patents
一种眼睛开合度的检测装置、设备及方法 Download PDFInfo
- Publication number
- CN110276231A CN110276231A CN201810215923.7A CN201810215923A CN110276231A CN 110276231 A CN110276231 A CN 110276231A CN 201810215923 A CN201810215923 A CN 201810215923A CN 110276231 A CN110276231 A CN 110276231A
- Authority
- CN
- China
- Prior art keywords
- opening degree
- eyes
- practical
- corrected parameter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001508 eye Anatomy 0.000 title claims abstract description 336
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000011521 glass Substances 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 19
- 210000005252 bulbus oculi Anatomy 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010024642 Listless Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明实施例提供一种眼睛开合度的检测装置、设备及方法,涉及信息处理领域。本发明实施例能够在车辆行驶中获取到更加准确的驾驶员的眼睛开合度。该检测装置包括:图像获取单元,用于在车辆行驶中,获取驾驶员的眼部图像;图像处理单元,用于根据所述图像获取单元获取的所述眼部图像计算当前眼睛开合度P当前;眼镜检测单元,用于检测所述驾驶员是否佩戴眼镜;修正单元,用于在所述眼镜检测单元确定所述驾驶员佩戴有眼镜之后,根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际:P实际=P当前‑△修正参数。本发明应用于获取眼睛开合度。
Description
技术领域
本发明涉及信息处理领域,尤其涉及一种眼睛开合度的检测装置、设备及方法。
背景技术
目前,随着道路路况越来越复杂,驾驶员安全驾驶的问题也逐渐被重视起来。现有技术中已经能够从人的面部图像等信息中获取此人的眼睛的开合度,来判断这个人的精神状态,例如,当眼睛的开合度小于开合度阈值时可以确认此人的精神不佳,从而确定此人可能处于疲劳驾驶状态。
但本发明发明人发现,现有技术中由于获取到的眼睛开合度不够准确,出现误判断的可能性较高,影响用户体验。
发明内容
本发明的实施例提供了一种眼睛开合度的检测装置及方法,能够在车辆行驶中获取到更加准确的驾驶员的眼睛开合度,进而当根据驾驶员的眼睛开合度判断驾驶员是否疲劳驾驶时,能够得到更加精确的判断结果,提高使用体验。
为达到上述目的,本发明采用如下技术方案:
第一方面,本发明实施例提供一种眼睛开合度的检测装置,包括:图像获取单元,用于在车辆行驶中,获取驾驶员的眼部图像;图像处理单元,用于根据所述图像获取单元获取的所述眼部图像计算当前眼睛开合度P当前;眼镜检测单元,用于检测所述驾驶员是否佩戴眼镜;修正单元,用于在所述眼镜检测单元确定所述驾驶员佩戴有眼镜之后,根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际:P实际=P当前-△修正参数。
第二方面,一种疲劳驾驶检测设备,包括如上述第一方面所述的眼睛开合度的检测装置,以及提醒装置。该提醒装置用于根据实际眼睛开合度P实际发出疲劳提醒信息。
第三方面,本发明的实施例提供一种眼睛开合度的检测方法,包括:检测装置在车辆行驶中,获取驾驶员的眼部图像;根据获取到的所述眼部图像计算当前眼睛开合度P当前;检测所述驾驶员是否佩戴眼镜;在确定所述驾驶员佩戴有眼镜之后,根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际:P实际=P当前-△修正参数。
本发明实施例,考虑到在驾驶员带上眼睛后,由于光线折射,若直接根据获取的眼部图像计算眼睛开合度,则会出现误差。因此,本发明中在获取到驾驶员的眼部图像后,先判断驾驶员是否佩戴了眼镜。当确定驾驶员佩戴了眼镜后,根据预设修正参数对从图像中获得的当前眼睛开合度进行修正,计算出实际眼睛开合度。进而使获得到的驾驶员眼睛开合度不受佩戴眼镜的影响,提高了检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为未佩戴眼镜时眼睛的实际位置的示意图;
图2为在佩戴眼镜后眼睛的实际位置的示意图;
图3为本发明实施例提供一种眼睛开合度的检测装置的结构示意图;
图4为车辆颠簸时获取到的眼部图像的示意图;
图5为本发明实施例提供一种眼睛开合度的检测装置工作过程流程图;
图6为本发明实施例还提供一种疲劳驾驶检测设备的结构示意图;
图7为本发明实施例提供一种眼睛开合度的检测方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如本发明所使用的,术语“单元”、“模块”、“系统”等等旨在指代计算机相关实体,该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如,单元可以是,但不限于是:在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例,在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中,并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外,这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如,来自一个组件的数据,该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号,以本地和/或远程过程的方式进行通信。
本发明实施例所提供的一种眼睛开合度的检测装置及方法,可应用于通过驾驶员的眼部图像精确获取眼睛开合度,进而利用该眼睛开合度来判断驾驶员是否疲劳驾驶等情况。
首先对本发明的发明构思进行介绍:在通过检测驾驶员在驾驶车辆时眼睛开合度来检测驾驶员是否疲劳驾驶时,往往会因为计算出的眼睛开合度的数据不够准确,进而经常会出现错误检测的情况。而发明人发现,在通过眼部图像来计算眼睛的开合度时,是否佩戴有眼镜会对计算结果有较大的影响。例如,图1所示为未佩戴眼镜时眼睛的实际位置的示意图,若采用将一只眼睛的上下边缘之间距离和左右边缘之间的距离的比值作为眼睛开合度的参数,则通过采集此时眼部图像并根据眼部图像捕捉图像中的特征点(如图中圆圈所标记的点,其中X1为捕捉到的眼睛的左边缘点,X2为右边缘点,Y1为上边缘点,Y2为下边缘点),即可计算出眼睛的开合度为(Y1-Y2)/(X2-X1)。而当驾驶员佩戴有眼镜时,此时由于光线透过眼镜发生折射等原因,在根据此时的眼部图像捕捉特征点时,就会有误差。如图2所示,在佩戴眼镜后,捕捉到的特征点如图2中圆圈所示,可以看出该特征点与眼镜实际位置存在误差,进而在利用这些特征点计算眼睛开合度时所得计算结果也是不准确的。基于上述发现,本发明中通过在获取眼部图像后,先判断驾驶员是否佩戴有眼镜,若有则对还根据眼部图像所计算出的当前眼睛开合度进行修正,进而得到更加精确的眼睛开合度数据。
基于上述发明构思,如图3所示,本发明实施例提供一种眼睛开合度的检测装置的结构示意图。其中:该检测装置10,包括:图像获取单元101、图像处理单元102、眼镜检测单元103、修正单元104。其中:
图像获取单元101,用于在车辆行驶中,获取驾驶员的眼部图像。
例如,可以通过车载摄像头来拍摄车辆行驶中的驾驶员的头部图像,再利用相应的图像处理技术,从驾驶员头部图像中截取出驾驶员的眼部图像。
图像处理单元102,用于根据图像获取单元获取的眼部图像计算当前眼睛开合度P当前。
具体的,本发明实施例中,可以先分别确定眼部图像中眼睛上下左右四个边缘的位置,再将眼睛上下边缘之间的距离与左右边缘之间的距离的比值作为眼睛开合度的参数值。如图1所示,在获取到眼部图像后,采集该眼部图像中左边缘顶点X1、右边缘顶点X2、上边缘顶点Y1、下边缘顶点Y2四个特征点的位置坐标,并计算出左边缘顶点X1至右边缘顶点X2的距离X2-X1,以及上边缘顶点Y1至下边缘顶点Y2的距离Y1-Y2,将(Y1-Y2)/(X2-X1)的值作为眼睛开合度的具体参数。
当然也可以利用眼部图像中的其他特征点并进行相应的计算,来确定眼睛开合度的参数值。只要能够通过眼睛开合度的参数值来确定眼睛的张开程度即可,本发明实施例中对眼睛开合度的具体参数值的计算标准不作限制。
眼镜检测单元103,用于检测驾驶员是否佩戴眼镜。
示例性的,可以通过对驾驶员的头部图像进行相应的识别,来确定驾驶员是否佩戴眼镜。
修正单元104、用于在眼镜检测单元确定驾驶员佩戴有眼镜之后,根据当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际:P实际=P当前-△修正参数。
其中,预设修正参数△修正参数可以是一个固定值,也可以在检测装置的使用过程中不断调整。
本实施例中,考虑到在驾驶员带上眼睛后,由于光线折射,若直接根据获取的眼部图像计算眼睛开合度,则会出现误差。因此,本发明中在获取到驾驶员的眼部图像后,先判断驾驶员是否佩戴了眼镜。当确定驾驶员佩戴了眼镜后,根据预设修正参数对从图像中获得的当前眼睛开合度进行修正,计算出实际眼睛开合度。进而使获得到的驾驶员眼睛开合度不受佩戴眼镜的影响,提高了检测精度
在一种实施例中,为了得到更加准确的实际眼睛开合度,本发明实施例还包括:在修正单元104根据当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际之前;
图像获取单元101,还用于获取n帧驾驶员裸眼的眼部图像,n≥1;
示例性的,可以通过车载摄像头获取1000帧驾驶员的头部图像,从1000帧头部图像中截取出1000帧驾驶员裸眼的眼部图像。此处仅示例性的选择1000帧驾驶员的裸眼的眼部图像,为了提高计算出的未佩戴眼镜时眼睛开合度的精确度或者减少运算量,在具体实施时可以根据需要选择合适的帧数,对此本发明中不作限制。
另外,为了保证采样到的驾驶员眼部图像的准确性,本发明实施例还可以在车辆处于静止状态下时,获取n帧驾驶员裸眼的眼部图像。
图像处理单元102,还用于根据n帧驾驶员裸眼的眼部图像,确定未佩戴眼镜时眼睛开合度的平均值Pavg(戴)。
具体的,在获取到n帧驾驶员裸眼的眼部图像后,可以从n帧驾驶员裸眼的眼部图像中分别计算出n帧驾驶员裸眼的眼部图像中,每帧图像中驾驶员的眼睛开合度P1、P2……Pn,然后对这n个眼睛开合度计算平均值,得到未佩戴眼镜时眼睛开合度的平均值Pavg(戴)。
图像获取单元101,还用于获取m帧驾驶员佩戴眼镜的眼部图像,m≥1。
具体的,与上述获取n帧驾驶员未佩戴眼镜的眼部图像相同,为了提高计算出的佩戴眼镜时眼睛开合度的精确度或者减少运算量,在具体实施时可以根据需要选择合适的帧数,对此本发明中不作限制。
另外,为了保证采样到的驾驶员眼部图像的准确性,本发明实施例还可以在车辆处于静止状态下时,获取n帧驾驶员佩戴眼镜的眼部图像。
图像处理单元102,还用于根据m帧驾驶员佩戴眼镜的眼部图像,确定佩戴眼镜时眼睛开合度的平均值Pavg(未戴)。
具体的,确定佩戴眼镜时眼睛开合度的平均值Pavg(未戴)的计算过程可参照上述未佩戴眼镜时眼睛开合度的平均值Pavg(戴)的计算过程。
修正单元104,还用于根据未佩戴眼镜时眼睛开合度的平均值Pavg(戴)以及佩戴眼镜时眼睛开合度的平均值Pavg(未戴),计算预设修正参数△修正参数:△修正参数=Pavg(戴)-Pavg(未戴)。
本发明实施例中,通过预先获取n帧驾驶员裸眼的眼部图像以及m帧驾驶员佩戴眼镜的眼部图像,进而分别计算出驾驶员在未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)和佩戴眼镜时眼睛开合度的平均值Pavg(戴),然后将二者的差值作为预设修正参数。从而利用该预设修改参数能够更加准确的计算出驾驶员的实际眼睛开合度。
进一步的,考虑到当车辆行驶至颠簸路面时,车内人员的身体会跟着上下摆动,此时获取到的眼部图像就会存在误差。例如,如图4所示为车辆颠簸时可能获取到的眼部图像,可以看出由于车辆颠簸人眼的位置也会上下移动,此时获取到的眼部图像可能会出现重影。若根据图3中的眼部图像计算眼睛开合度时,则会由于眼睛上下边缘顶点捕捉不准确,导致计算出的眼睛开合度不准确。
为了解决上述问题,在一种实施例中,本发明实施例所提供的检测装置还包括:误差检测单元105;
误差检测单元105,用于在眼镜检测单元判断驾驶员佩戴有眼镜之后,计算当前眼睛开合度P当前与所述佩戴眼镜时眼睛开合度的平均值Pavg(戴)的差值Q。
修正单元104,具体用于在所述误差检测单元105确定差值Q小于等于误差阈值之后,根据当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际。
示例性的,若计算眼睛开合度的公式为(Y1-Y2)/(X2-X1),根据之前的m帧佩戴眼镜的眼部图像,计算出佩戴眼镜时眼睛开合度的平均值为0.5(即就是说在戴眼镜的情况下,眼睛的上下边缘间的距离与左右边缘间的距离之比的平均值为0.5),假设误差阈值为0.1,则当计算出的当前眼睛开合度与佩戴眼镜时眼睛开合度的平均值的差值大于0.1时,则说明当前眼睛开合度已经大于0.6,这也就是说本次检测存在错误,所获取的眼部图像可能存在如图3所示的情况,因此本次检测所获取到的当前眼睛开合度不能作为确定实际眼睛开合度的依据。
本发明实施例中,通过将当前眼睛开合度与佩戴眼镜时眼睛开合度的平均值进行比较,在确定差值Q小于等于误差阈值之后再对该当前眼睛开合度进行修正,从而将避免因车辆颠簸导致获取到的眼部图像失真,进而计算出的当前眼睛开合度大于实际的当前眼睛开合度,最终导致得出的实际眼睛开合度存在较大误差,影响判断结果的问题。
在一种实施例中,由于车辆在行驶过程中,会出现路面颠簸、人脸晃动等情况,因此用于对当前眼睛开合度P当前进行修正的预设修正参数△修正参数也可能会随着行驶状态的不同而有所浮动。为了解决上述问题,本发明实施例所提供的检测装置还包括:更新单元106,其中:
更新单元106,用于在所述修正单元104获取到所述实际眼睛开合度P实际后,若根据所述实际眼睛开合度P实际大于等于开合度阈值,则将所述实际眼睛开合度P实际保存至更新数据库中;
更新单元106,还用于当所述更新数据库中保存的实际眼睛开合度的个数满足预设条件时,计算所述更新数据库中的k个实际眼睛开合度的平均值并根据所述k个实际眼睛开合度的平均值和未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)计算动态差值△动态差值:
所述更新单元,还用于将所述预设修正参数更新为△第二修正差值:
△第二修正差值=△第一修正差值+△动态差值,
其中△第一修正差值表示所述预设修正参数在更新之前的参数值。
本发明实施例中,考虑到预设修正参数值会随着车辆的行驶状态的不同发生变化,进而每次修正单元104获取实际眼睛开合度P实际后,当确定该实际开合度P实际大于等于开合度阈值时,即根据该实际眼睛开合度P实际能够确定驾驶员此时没有处于疲劳驾驶等精神状态不佳的情况,则将该实际眼睛开合度保存至更新数据库中。之后再利用更新数据库中的k各实际眼睛开合度的平均值和未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)的差值△动态差值对预设修正参数进行更新,进一步提高了对佩戴眼镜时实际眼睛开合度的计算精度,有助于提高后续利用实际眼睛开合度检测驾驶员是否疲劳驾驶的精确度。
在一种实施例中,考虑到驾驶员在受到强光刺激时会眯起眼睛,此时虽然眼睛的开合度很小,但这并不能说明驾驶员的精神状态不佳。因此,为了避免这种情况对检测结果的影响,本发明实施例所提供的检测装置还包括:亮度检测单元107,其中:
所述亮度检测单元107,用于在所述图像处理单元102根据所述眼部图像计算当前眼睛开合度P当前之前,检测当前环境亮度;
所述图像处理单元102,具体用于在所述亮度检测单元检测到当前环境亮度低于阈值亮度之后,根据所述眼部图像计算当前眼睛开合度P当前。
本发明实施例中,通过在图像处理单元102根据眼部图像计算当前眼睛开合度P当前之前,先通过亮度检测单元107对当前环境亮度进行检测,当确定当前环境亮度低于阈值亮度后,再计算当前眼睛开合度。这样就避免了在亮度过大的环境中计算出的当前眼睛开合度对检测结果的影响。
本发明实施例,考虑到在驾驶员带上眼睛后,由于光线折射,若直接根据获取的眼部图像计算眼睛开合度,则会出现误差。因此,本发明中在获取到驾驶员的眼部图像后,先判断驾驶员是否佩戴了眼镜。当确定驾驶员佩戴了眼镜后,根据预设修正参数对从图像中获得的当前眼睛开合度进行修正,计算出实际眼睛开合度。进而使获得到的驾驶员眼睛开合度不受佩戴眼镜的影响,提高了检测精度。
基于本发明上述实施例所提供的眼睛开合度的检测装置,结合附图5,对该检测装置的工作过程进行说明:
S201、图像获取单元101获取N帧驾驶员裸眼的眼部图像;
S202、图像处理单元102根据n帧驾驶员裸眼的眼部图像,确定未佩戴眼镜时眼睛开合度的平均值Pavg(未戴);
S203、图像获取单元101获取m帧驾驶员佩戴眼镜的眼部图像;
S204、图像处理单元102根据所述m帧驾驶员佩戴眼镜的眼部图像,确定佩戴眼镜时眼睛开合度的平均值Pavg(戴);
S205、修正单元104未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)以及佩戴眼镜时眼睛开合度的平均值Pavg(戴),计算预设修正参数△修正参数:△修正参数=Pavg(戴)-Pavg(未戴);
S206、图像获取单元,在车辆行驶中,获取驾驶员的眼部图像;
S207、亮度检测单元107,检测当前环境亮度;
S208、图像处理单元102在亮度检测单元107检测到当前环境亮度低于阈值亮度之后,根据眼部图像计算当前眼睛开合度P当前;
S209、眼镜检测单元103检测驾驶员是否佩戴眼镜;
S210、误差检测单元105在眼镜检测单元103判断驾驶员佩戴有眼镜之后,计算当前眼睛开合度P当前与佩戴眼镜时眼睛开合度的平均值Pavg(戴)的差值Q。若确定差值Q大于误差阈值,则不再对该当前眼睛开合度进行处理,重新获取眼部图像。
S211、当确定差值Q小于等于误差阈值,则修正单元104根据当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际。以便将该实际眼睛开合度P实际应用于疲劳驾驶的检测。
S212、若实际眼睛开合度P实际大于等于开合度阈值,则将实际眼睛开合度P实际保存至更新数据库中。利用更新数据库中的k个实际眼睛开合度计算动态差值△动态差值,利用动态差值△动态差值对预设修正参数进行更新。
S213、若在上述步骤S209中确定驾驶员没有佩戴眼镜,则计算当前眼睛开合度P当前与未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)的差值Q2,若确定差值Q大于误差阈值,则不再对该当前眼睛开合度进行处理,重新获取眼部图像。
S214、当确定差值Q2小于等于误差阈值,则直接将当前眼睛开合度P当前应用于疲劳驾驶的检测。
基于上述眼睛开合度的检测装置,本发明实施例还提供一种疲劳驾驶检测设备30,如图6所示,包括上述眼睛开合度的检测装置301以及提醒装置302,该提醒装置用于根据实际眼睛开合度P实际发出疲劳提醒信息。
示例性的,当利用上述眼睛开合度的检测装置检测出驾驶员的实际眼睛开合度为P实际,若P实际小于等于开合度阈值时,则确定此时驾驶员处于疲劳驾驶状态,由检测装置向提醒装置发送提醒信号,提醒装置在接收到该提醒信号后通过声音、震动、显示器显示画面等方式,向驾驶员发出疲劳提醒信息,以便提醒驾驶员注意安全。
下面说明本发明实施例提供的与上文所提供的检测装置实施例相对应的方法实施例。需要说明的是,下述方法实施例中相关内容的解释,均可以参考上述装置实施例。
本发明实施例提供一种眼睛开合度的检测方法,如图7所示,包括:
S401、检测装置在车辆行驶中,获取驾驶员的眼部图像;
S403、根据获取到的眼部图像计算当前眼睛开合度P当前;
S405、检测驾驶员是否佩戴眼镜;
S407、在确定驾驶员佩戴有眼镜之后,根据当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际:P实际=P当前-△修正参数。
在一种实施例中,在步骤S407之前,该方法还包括以下步骤S1-S5:
S1、在车辆静止时,获取n帧驾驶员裸眼的眼部图像,n≥1;
S2、根据n帧驾驶员裸眼的眼部图像,确定未佩戴眼镜时眼睛开合度的平均值Pavg(未戴);
S3、在车辆静止时,获取m帧驾驶员佩戴眼镜的眼部图像,m≥1;
S4、根据m帧驾驶员佩戴眼镜的眼部图像,确定佩戴眼镜时眼睛开合度的平均值Pavg(戴);
S5、根据未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)以及佩戴眼镜时眼睛开合度的平均值Pavg(戴),计算预设修正参数△修正参数:
△修正参数=Pavg(戴)-Pavg(未戴)。
在一种实施例中,在步骤407之前,该方法还包括:
S406、在确定驾驶员佩戴有眼镜之后,计算当前眼睛开合度P当前与佩戴眼镜时眼睛开合度的平均值Pavg(戴)的差值Q;
步骤S407具体包括:在确定差值Q小于等于误差阈值之后,根据当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际。
在一种实施例中,在步骤S407之后,方法还包括:
S408、将实际眼睛开合度P实际保存至更新数据库中;
S409、当更新数据库中保存的实际眼睛开合度的个数满足预设条件时,计算更新数据库中的k个实际眼睛开合度的平均值并根据k个实际眼睛开合度的平均值和未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)计算动态差值△动态差值:将预设修正参数更新为△第二修正差值:△第二修正差值=△第一修正差值+△动态差值,其中△第一修正差值表示预设修正参数在更新之前的参数值。
在一种实施例中,在步骤S403之前,方法还包括:
S402、检测当前环境亮度;
步骤S403具体包括:在检测到当前环境亮度低于阈值亮度之后,根据眼部图像计算当前眼睛开合度P当前。
本发明实施例,考虑到在驾驶员带上眼睛后,由于光线折射,若直接根据获取的眼部图像计算眼睛开合度,则会出现误差。因此,本发明中在获取到驾驶员的眼部图像后,先判断驾驶员是否佩戴了眼镜。当确定驾驶员佩戴了眼镜后,根据预设修正参数对从图像中获得的当前眼睛开合度进行修正,计算出实际眼睛开合度。进而使获得到的驾驶员眼睛开合度不受佩戴眼镜的影响,提高了检测精度。
需要说明的是,本发明实施例中各步骤的序号、描述的先后顺序以及附图中各步骤的位置,仅起到便于读者理解的作用,并不对各步骤实施时的先后顺序进行限制,其各步骤实施时的先后顺序由其是否具有内在逻辑的先后执行顺序决定。例如,上述步骤S1-S5的内容,可以在执行步骤S407之前的任意时刻进行执行,如S401与S403之间或者S403与S405之间都可以,对此本发明不作限制。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (11)
1.一种眼睛开合度的检测装置,其特征在于,包括:
图像获取单元,用于在车辆行驶中,获取驾驶员的眼部图像;
图像处理单元,用于根据所述图像获取单元获取的所述眼部图像计算当前眼睛开合度P当前;
眼镜检测单元,用于检测所述驾驶员是否佩戴眼镜;
修正单元,用于在所述眼镜检测单元确定所述驾驶员佩戴有眼镜之后,根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际:
P实际=P当前-△修正参数。
2.根据权利要求1所述检测装置,其特征在于,在所述修正单元根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际之前;
所述图像获取单元,还用于获取n帧驾驶员裸眼的眼部图像,n≥1;
所述图像处理单元,还用于根据所述n帧驾驶员裸眼的眼部图像,确定未佩戴眼镜时眼睛开合度的平均值Pavg(未戴);
所述图像获取单元,还用于获取m帧驾驶员佩戴眼镜的眼部图像,m≥1;
所述图像处理单元,还用于根据所述m帧驾驶员佩戴眼镜的眼部图像,确定佩戴眼镜时眼睛开合度的平均值Pavg(戴);
所述修正单元,还用于根据所述未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)以及所述佩戴眼镜时眼睛开合度的平均值Pavg(戴),计算所述预设修正参数△修正参数:
△修正参数=Pavg(戴)-Pavg(未戴)。
3.根据权利要求2所述检测装置,其特征在于,所述检测装置还包括:误差检测单元;
所述误差检测单元,用于在所述眼镜检测单元判断所述驾驶员佩戴有眼镜之后,计算当前眼睛开合度P当前与所述佩戴眼镜时眼睛开合度的平均值Pavg(戴)的差值Q;
所述修正单元,具体用于在所述误差检测单元确定所述差值Q小于等于误差阈值之后,根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际。
4.根据权利要求2或3所述检测装置,其特征在于,所述检测装置还包括:更新单元;
所述更新单元,用于在所述修正单元获取到所述实际眼睛开合度P实际后,若所述实际眼睛开合度P实际大于等于开合度阈值,则将所述实际眼睛开合度P实际保存至更新数据库中;
所述更新单元,还用于当所述更新数据库中保存的实际眼睛开合度的个数满足预设条件时,计算所述更新数据库中的k个实际眼睛开合度的平均值并根据所述k个实际眼睛开合度的平均值和未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)计算动态差值△动态差值:
所述更新单元,还用于将所述预设修正参数更新为△第二修正差值:
△第二修正差值=△第一修正差值+△动态差值,
其中△第一修正差值表示所述预设修正参数在更新之前的参数值。
5.根据权利要求1-3任一项所述检测装置,其特征在于,所述检测装置还包括:亮度检测单元,
所述亮度检测单元,用于在所述图像处理单元根据所述眼部图像计算当前眼睛开合度P当前之前,检测当前环境亮度;
所述图像处理单元,具体用于在所述亮度检测单元检测到当前环境亮度低于阈值亮度之后,根据所述眼部图像计算当前眼睛开合度P当前。
6.一种疲劳驾驶检测设备,其特征在于,包括如上述权利要求1-5任一项所述的眼睛开合度的检测装置,以及提醒装置;
所述提醒装置用于根据实际眼睛开合度P实际发出疲劳提醒信息。
7.一种眼睛开合度的检测方法,其特征在于,包括:
检测装置在车辆行驶中,获取驾驶员的眼部图像;
根据获取到的所述眼部图像计算当前眼睛开合度P当前;
检测所述驾驶员是否佩戴眼镜;
在确定所述驾驶员佩戴有眼镜之后,根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际:
P实际=P当前-△修正参数。
8.根据权利要求7所述检测方法,其特征在于,在根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际之前,所述方法还包括:
在车辆静止时,获取n帧驾驶员裸眼的眼部图像,n≥1;
根据所述n帧驾驶员裸眼的眼部图像,确定未佩戴眼镜时眼睛开合度的平均值Pavg(未戴);
在车辆静止时,获取m帧驾驶员佩戴眼镜的眼部图像,m≥1;
根据所述m帧驾驶员佩戴眼镜的眼部图像,确定佩戴眼镜时眼睛开合度的平均值Pavg(戴);
根据所述未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)以及佩戴眼镜时眼睛开合度的平均值Pavg(戴),计算所述预设修正参数△修正参数:
△修正参数=Pavg(戴)-Pavg(未戴)。
9.根据权利要求8所述检测方法,其特征在于,在根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际之前,所述方法还包括:
在确定所述驾驶员佩戴有眼镜之后,计算所述当前眼睛开合度P当前与所述佩戴眼镜时眼睛开合度的平均值Pavg(戴)的差值Q;
所述根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际,具体包括:
在确定所述差值Q小于等于误差阈值之后,根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际。
10.根据权利要求8或9任一项所述检测方法,其特征在于,在根据所述当前眼睛开合度P当前以及预设修正参数△修正参数,获取实际眼睛开合度P实际之后,所述方法还包括:
若所述实际眼睛开合度P实际大于等于开合度阈值,将所述实际眼睛开合度P实际保存至更新数据库中;
当所述更新数据库中保存的实际眼睛开合度的个数满足预设条件时,计算所述更新数据库中的k个实际眼睛开合度的平均值并根据所述k个实际眼睛开合度的平均值和未佩戴眼镜时眼睛开合度的平均值Pavg(未戴)计算动态差值△动态差值:
将所述预设修正参数更新为△第二修正差值:
△第二修正差值=△第一修正差值+△动态差值,
其中△第一修正差值表示所述预设修正参数在更新之前的参数值。
11.根据权利要求7-9任一项所述检测方法,其特征在于,在所述根据所述眼部图像计算当前眼睛开合度P当前之前,所述方法还包括:检测当前环境亮度;
所述根据所述眼部图像计算当前眼睛开合度P当前,具体包括:在检测到当前环境亮度低于阈值亮度之后,根据所述眼部图像计算当前眼睛开合度P当前。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810215923.7A CN110276231B (zh) | 2018-03-15 | 2018-03-15 | 一种眼睛开合度的检测装置、设备及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810215923.7A CN110276231B (zh) | 2018-03-15 | 2018-03-15 | 一种眼睛开合度的检测装置、设备及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110276231A true CN110276231A (zh) | 2019-09-24 |
CN110276231B CN110276231B (zh) | 2023-11-28 |
Family
ID=67957717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810215923.7A Active CN110276231B (zh) | 2018-03-15 | 2018-03-15 | 一种眼睛开合度的检测装置、设备及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110276231B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329643A (zh) * | 2020-11-06 | 2021-02-05 | 重庆第二师范学院 | 一种学习效率检测方法、系统、电子设备及介质 |
CN114532977A (zh) * | 2022-02-18 | 2022-05-27 | 泉州爱尔眼科医院有限公司 | 一种眼科检测及数据收集的方法 |
CN114627450A (zh) * | 2020-12-10 | 2022-06-14 | 北京巴塔科技有限公司 | 疲劳状态检测装置及疲劳检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010029537A (ja) * | 2008-07-30 | 2010-02-12 | Toyota Motor Corp | 覚醒度判定装置 |
CN104881955A (zh) * | 2015-06-16 | 2015-09-02 | 华中科技大学 | 一种驾驶员疲劳驾驶检测方法及系统 |
CN106214166A (zh) * | 2016-09-30 | 2016-12-14 | 防城港市港口区高创信息技术有限公司 | 一种戴眼镜驾驶员疲劳检测方法 |
CN106919913A (zh) * | 2017-02-21 | 2017-07-04 | 上海蔚来汽车有限公司 | 基于计算机视觉的疲劳驾驶检测方法及装置 |
CN107679468A (zh) * | 2017-09-19 | 2018-02-09 | 浙江师范大学 | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 |
-
2018
- 2018-03-15 CN CN201810215923.7A patent/CN110276231B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010029537A (ja) * | 2008-07-30 | 2010-02-12 | Toyota Motor Corp | 覚醒度判定装置 |
CN104881955A (zh) * | 2015-06-16 | 2015-09-02 | 华中科技大学 | 一种驾驶员疲劳驾驶检测方法及系统 |
CN106214166A (zh) * | 2016-09-30 | 2016-12-14 | 防城港市港口区高创信息技术有限公司 | 一种戴眼镜驾驶员疲劳检测方法 |
CN106919913A (zh) * | 2017-02-21 | 2017-07-04 | 上海蔚来汽车有限公司 | 基于计算机视觉的疲劳驾驶检测方法及装置 |
CN107679468A (zh) * | 2017-09-19 | 2018-02-09 | 浙江师范大学 | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 |
Non-Patent Citations (1)
Title |
---|
胡世锋: "基于眼部特征的疲劳驾驶实时检测算法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 08, pages 1 - 59 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329643A (zh) * | 2020-11-06 | 2021-02-05 | 重庆第二师范学院 | 一种学习效率检测方法、系统、电子设备及介质 |
CN114627450A (zh) * | 2020-12-10 | 2022-06-14 | 北京巴塔科技有限公司 | 疲劳状态检测装置及疲劳检测方法 |
CN114532977A (zh) * | 2022-02-18 | 2022-05-27 | 泉州爱尔眼科医院有限公司 | 一种眼科检测及数据收集的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110276231B (zh) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240069631A1 (en) | Interactive Motion-Based Eye Tracking Calibration | |
Tsukada et al. | Illumination-free gaze estimation method for first-person vision wearable device | |
US20190340826A1 (en) | Image processing apparatus and display control method | |
CN109804220B (zh) | 用于跟踪头部运动的装置和方法 | |
Wang et al. | Estimating the eye gaze from one eye | |
CN109690553A (zh) | 执行眼睛注视跟踪的系统和方法 | |
CN107977586B (zh) | 显示内容处理方法、第一电子设备以及第二电子设备 | |
CN103809737A (zh) | 一种人机交互方法及装置 | |
CN114742863A (zh) | 具有滑动检测和校正功能的方法和装置 | |
CN104137028A (zh) | 控制被显示图像的旋转的设备和方法 | |
CN110276231A (zh) | 一种眼睛开合度的检测装置、设备及方法 | |
JP2018205819A (ja) | 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法 | |
US20220270287A1 (en) | Eye gaze detection method, eye gaze detection device, and non-transitory computer readable storage medium | |
US11144756B2 (en) | Method and system of distinguishing between a glance event and an eye closure event | |
CN111163303A (zh) | 一种图像显示方法、装置、终端及存储介质 | |
CN112101261B (zh) | 人脸识别方法、装置、设备及存储介质 | |
CN110727316A (zh) | 自动调节显示器的位置的方法和装置,以及显示器 | |
JP6906943B2 (ja) | 車載器 | |
CN114360043B (zh) | 模型参数标定方法、视线追踪方法、装置、介质及设备 | |
US20180024661A1 (en) | Method for performing display stabilization control in an electronic device with aid of microelectromechanical systems, and associated apparatus | |
US11009947B2 (en) | Systems and methods for screen brightness control and auto-lock based on eye detection | |
Türetkin et al. | Real time eye gaze tracking for human machine interaction in the cockpit | |
EP2846288A2 (en) | Dynamic Image Analyzing System And Operating Method Thereof | |
US20170302904A1 (en) | Input/output device, input/output program, and input/output method | |
US20230342976A1 (en) | Interpupillary distance estimation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |