CN1321394C - 图像处理装置 - Google Patents
图像处理装置 Download PDFInfo
- Publication number
- CN1321394C CN1321394C CNB028251091A CN02825109A CN1321394C CN 1321394 C CN1321394 C CN 1321394C CN B028251091 A CNB028251091 A CN B028251091A CN 02825109 A CN02825109 A CN 02825109A CN 1321394 C CN1321394 C CN 1321394C
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- distance
- face area
- capturing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明的图像处理装置具备:拍摄需要监视的对象区域内的图像的图像拍摄装置(1);从由图像拍摄装置(1)拍摄到的图像中抽出人的脸部区域的脸部区域抽出装置(3);针对由图像拍摄装置(1)拍摄到的图像的各位置,测量离开图像拍摄装置(1)的距离的距离测量装置(2);在从被抽出的人的脸部区域开始只离开规定距离的下方设定距离测量区域,使用由距离测量装置(2)测量到的距离,计算距离测量区域内的离开图像拍摄装置(1)的距离分布的距离分布计算装置(5);比较由距离测量装置(2)测量出的脸部区域离开上述图像拍摄装置(1)的距离和距离测量区域内的距离分布,判定具有上述脸部区域的人是否乘坐在轮椅中的轮椅存在判定装置(6)。
Description
技术领域
本发明涉及可以自动地识别电梯等的乘客的状态,具体地说可以自动地识别在乘客中是否有乘坐轮椅的乘客的图像处理装置。
背景技术
在电梯的运行中,判别在轿箱内的乘客是乘坐轮椅的残疾人还是健康人很重要。这是为了通过改变电梯的运行状态,在健康人利用电梯时以通常运行模式运行,当乘坐轮椅的乘客利用电梯时以照顾乘坐轮椅的乘客的特别的轮椅运行模式运行,从而提供对乘坐轮椅的乘客来说安全舒适的电梯使用。
作为轮椅运行模式,例如,有使轿箱的升降速度比通常运行模式低,另外在楼层停止时使轿箱和电梯间地面的平层精度比通常运行模式精度高等的运行形态。另外健康人乘梯时,不降低轿箱的升降速度,另外通过使平层精度不特别高来降低电梯的移动时间,进而可以提高电梯的运行效率。
以往,通过轮椅乘客在呼梯时自己操作轮椅乘客专用的按键,或者在进入轿箱后同样操作轮椅乘客专用的按键,进行这种针对乘坐轮椅的乘客上下的电梯系统运行模式的切换。
但是,考虑到轮椅乘客的方便性,希望通过自动地检测轮椅乘客进行这种针对乘坐轮椅的乘客的电梯系统运行模式的切换。另外,在年龄小的孩子乘坐电梯时,也有因搞错或者没注意按下了轮椅乘客专用的按键的情况,这种情况下因为其结果是影响了电梯运行效率,所以从这一观点出发理想的是自动地检测出轮椅乘客并自动地切换电梯运行模式。
为了这样根据乘客的种类自动地变更电梯运行模式,需要用来自动识别轮椅乘客是否要乘坐电梯的图像处理装置。虽然不是识别轮椅乘客的图像处理装置,但作为电梯中的与乘客图像识别有关的现有技术,例如在特开平6-92563号公报中揭示了电梯的人数测量装置。
图14是展示该现有的电梯人数测量装置构成的方框图。该电梯人数测量装置具有拍摄装置901、图像处理装置902、神经网络903以及人数判定装置904。在此,拍摄装置901被设置在电梯的轿箱内和电梯间中,位于乘客的头顶上的天花板处,垂直拍摄下方。
首先,最初由拍摄装置901拍摄电梯轿箱内或者电梯间的状态,输入到图像处理装置902。图15是用拍摄装置901拍摄的图像,表示拍摄3个人906~908的样子。图像处理装置902通过以拍摄到的图像和在预先没有人存在的状态下拍摄电梯轿箱内或者电梯间的背景图像中的各象素值的差的绝对值为基准,进行二值化的差分处理,生成差分图像,明确人的区域。另外,图像处理装置902把二值化后的差分图像分割成面积不同的多个块,对各块计算人的区域所占的比例,把计算出的结果作为输入数据输入到神经网络903。
以下,通过预先学习了的神经网络903处理输入数据,把其输出信号输入到人数判定装置904。在人数判定装置904中,从来自神经网络903的输出信号中判定人数,根据目的把其结果传送、输出到其他的控制装置等。
但是,如果假设把该现有的电梯人数测量装置适用于识别上述电梯中的轮椅乘客的图像处理装置的情况,则当从上方拍摄人时,因为与从横向或者斜上方拍摄的情况相比人极其小,所以存在不能稳定地判别被拍摄的人是通常的站立步行者,还是乘坐轮椅的人的问题。
另外,当多个人挨着的情况下,因为不能分离相邻的各个乘客,所以存在不能判别所得到的图像是通常的站立的步行者,还是乘坐轮椅的人的问题。
发明内容
因而,本发明的目的在于提供一种图像处理装置,它在多个人挨着的情况下,可以分离各个人,另外可以从拍摄到的图像中判别站立的步行者或者乘坐轮椅的人。
本发明的图像处理装置的特征在于包含:拍摄需要监视的对象区域内的图像的图像拍摄装置;从由上述图像拍摄装置拍摄到的图像中抽出人的脸部区域的脸部区域抽出装置;针对由上述图像拍摄装置拍摄到的图像的各位置,测量离开上述图像拍摄装置的距离的距离测量装置;在从上述抽出的人的脸部区域开始只离开规定距离的下方设定距离测量区域,使用由上述距离测量装置测量到的距离计算上述距离测量区域内的离开上述图像拍摄装置的距离分布的距离分布计算装置;比较由上述距离测量装置测量出的上述脸部区域离开上述图像拍摄装置的距离和上述距离测量区域内的距离分布,在上述脸部区域离开上述图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置不位于铅垂线上的情况下,判断为具有上述脸部区域的人乘坐在轮椅中,在上述脸部区域离开上述图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置位于铅垂线上的情况下,判断为具有上述脸部区域的人没有乘坐在轮椅中的轮椅存在判定装置。
如果采用本发明,则用图像拍摄装置拍摄需要监视的对象区域内的图像,用脸部区域抽出装置从用图像拍摄装置拍摄到的图像中抽出人的脸部。另外用距离测量装置,对用图像拍摄装置拍摄到的图像的各位置,测量离开图像拍摄装置的距离。进而,由距离分布计算装置在从被抽出的人的脸区域开始只离开规定距离的下方设定距离测量区域,使用在距离测量装置中测量出的距离计算距离测量区域内的离开图像拍摄装置的距离分布。而后,由轮椅存在判定装置比较用距离测量装置测量出的脸区域离开图像拍摄装置的距离和距离测量区域内的距离分布,判定具有脸部区域的人是否乘坐轮椅。
发明的另一个图像处理装置是在上述的发明中,其特征在于:进一步具备从用上述图像拍摄装置拍摄到的图像、上述对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域的变化区域检测装置,上述脸部区域抽出装置只从由上述变化区域检测装置抽出的有变化的区域中抽出脸部区域。
如果采用本发明,则由变化区域检测装置从用图像拍摄装置拍摄的图像、对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域。而后,由脸部区域抽出装置只从由变化区域检测装置抽出的有变化的区域中抽出脸部区域。
发明的另一个图像处理装置是在上述的发明中,其特征在于:上述距离测量装置是扫描型激光测距仪。
如果采用本发明,则使用扫描型激光测距仪作为距离测量装置。
发明的另一个图像处理装置是在上述的发明中,其特征在于:进一步包含:从用上述图像拍摄装置拍摄的图像、上述对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域的变化区域检测装置,上述脸部区域抽出装置只从由上述变换区域检测装置抽出的有变化的区域中抽出脸部区域。
如果采用本发明,则由变化区域检测装置从用图像拍摄装置拍摄的图像、对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域。而后,由脸部区域抽出装置只从由变化区域检测装置检测出的有变化的区域中抽出脸部区域。
发明的另一个图像处理装置的特征在于包含:拍摄需要监视的对象区域内的图像的第1图像拍摄装置;在水平方向上隔开预定距离配置的、分别拍摄上述对象区域的图像的第2以及第3图像拍摄装置;从由上述第1图像拍摄装置拍摄到的图像中抽出人的脸部区域的脸部区域抽出装置;使用由上述第2以及第3图像拍摄装置拍摄到的2张图像,用立体法针对由上述第1图像拍摄装置拍摄到的图像的各位置,测量离开上述第1图像拍摄装置的距离的立体计算装置;在从上述抽出的人的脸部区域开始只离开规定距离的下方设定距离测量区域,使用由上述立体计算装置测量出的距离,计算上述距离测量区域内的离开上述第1图像拍摄装置的距离分布的距离分布计算装置;比较由上述立体计算装置测量出的上述脸部区域的离开上述第1图像拍摄装置的距离和上述距离测量区域内的距离分布,在上述脸部区域离开上述第1图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置不位于铅垂线上的情况下,判断为具有上述脸部区域的人乘坐在轮椅中,在上述脸部区域离开上述第1图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置位于铅垂线上的情况下,判断为具有上述脸部区域的人没有乘坐在轮椅中的轮椅存在判定装置。
如果采用本发明,则用第1图像拍摄装置拍摄需要监视的对象区域内的图像,用脸部区域抽出装置从由第1图像拍摄装置拍摄到的图像中抽出人的脸部区域。另外,用在水平方向上以一定距离配置的第2以及第3图像拍摄装置拍摄对象区域的图像,由立体计算装置使用由第2以及第3图像拍摄装置拍摄的2张图像,以立体法对由第1图像拍摄装置拍摄的图像的各位置,测量距离第1图像拍摄装置的距离。进而,由距离分布计算装置在从被抽出的人的脸部区域开始只离开规定距离的下方设定距离测量区域,在立体计算装置中使用测量出的距离计算距离测量区域内的离开第1图像拍摄装置的距离分布。而后,由轮椅存在判定装置比较由立体计算装置测量出的脸部区域离开第1图像拍摄装置的距离和距离测量区域内的距离分布,判定具有脸部区域的人是否是乘坐轮椅。
发明的下一个图像处理装置的特征在于:在上述发明中进一步包含从由上述第1图像拍摄装置拍摄的图像、上述对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域的变化区域检测装置,上述脸部区域抽出装置只从由上述脸部区域检测装置抽出的有变化的区域中抽出脸部区域。
如果采用本发明,则由变化区域检测装置从由第1图像拍摄装置拍摄的图像、对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域。另外,由脸部区域抽出装置只从由变化区域检测装置抽出的有变化的区域中抽出脸部区域。
发明的另一个图像处理装置的特征在于包含:拍摄需要监视的对象区域内的图像的第1图像拍摄装置;在水平方向上与上述第1图像拍摄装置隔开预定距离配置的、拍摄上述对象区域的图像的第2图像拍摄装置;从由上述第1图像拍摄装置拍摄到的图像中抽出人的脸部区域的脸部区域抽出装置;使用由上述第1以及第2图像拍摄装置拍摄到的2张图像,用立体法针对由上述第1图像拍摄装置拍摄到的图像的各位置,测量离开上述第1图像拍摄装置的距离的立体计算装置;在从上述抽出的人的脸部区域开始只离开规定距离的下方设定距离测量区域,使用由上述立体计算装置测量出的距离,计算上述距离测量区域内的离开上述第1图像拍摄装置的距离分布的距离分布计算装置;比较由上述立体计算装置测量出的上述脸部区域的离开上述第1图像拍摄装置的距离和上述距离测量区域内的距离分布,在上述脸部区域离开上述第1图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置不位于铅垂线上的情况下,判断为具有上述脸部区域的人乘坐在轮椅中,在上述脸部区域离开上述第1图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置位于铅垂线上的情况下,判断为具有上述脸部区域的人没有乘坐在轮椅中的轮椅存在判定装置。
如果采用本发明,则用第1图像拍摄装置拍摄需要监视的对象区域内的图像,用在水平方向上与第1图像拍摄装置隔开距离配置的第2图像拍摄装置拍摄对象区域的图像。另外,由脸部区域抽出装置从由第1图像拍摄装置拍摄的图像中抽出人的脸部区域,由立体计算装置使用由第1以及第2图像拍摄装置拍摄的2张图像,以立体法对由第1图像拍摄装置拍摄的图像的各位置,测量离开第1图像拍摄装置的距离。进而,由距离分布计算装置在从抽出的人的脸部区域开始只离开规定距离的下方设定距离测量区域,在立体计算装置中使用测量出的距离计算距离测量区域内的离开第1图像拍摄装置的距离分布。而后,由轮椅存在判定装置比较由立体计算装置测量出的脸部区域离开第1图像拍摄装置的距离和距离测量区域内的距离分布,判定具有脸部区域的人是否乘坐轮椅。
发明的另一个图像处理装置的特征在于:在上述发明中,进一步包含从由上述第1图像拍摄装置拍摄的图像、上述对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域的变化区域检测装置,上述脸部区域抽出装置只从由上述变化区域检测装置抽出的有变化的区域中抽出脸部区域。
如果采用本发明,则由变化区域检测装置从由第1图像拍摄装置拍摄的图像、对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域。另外,由脸部区域抽出装置只从由变化区域检测装置抽出的有变化的区域中抽出脸部区域。
附图说明
图1是展示本发明的图像处理装置的实施例的方框图。
图2是展示概略地求出对象区域内的人的高度的方法的图。
图3A和图3B是用来说明判定对象区域内的人是否乘坐轮椅的方法的图。
图3A是模式化展示乘客站立状态的图。
图3B是用于展示对图3A的乘客设定的距离测量区域的正面图。
图4是用于说明判定对象区域内的人是否乘坐轮椅的方法的图。
图4A模式化展示乘客乘坐轮椅的状态。
图4B是用于展示对图4A的乘客设定的距离测量区域的正面图。
图5是用于说明在距离测量区域内的距离测量方法的模式图。
图6A是对构成距离测量区域的全部区域,把在各区域的距离测量区域内的水平方向的位置和各区域离开图像拍摄单元的水平距离作为参数制成的、乘客处于站立状态时的区域的分布图。
图6B是图示在图6A的分布图中乘客脸部区域的代表点离开图像拍摄单元的水平距离的图。
图7A是对构成距离测量区域的全部区域,把在各区域的距离测量区域内的水平方向的位置和各区域离开图像拍摄单元的水平距离作为参数制成的、乘客处于乘坐轮椅状态时的区域的分布图。
图7B是图示在图7A的分布图中乘客脸部区域的代表点离开图像拍摄单元的水平距离的图。
图8是展示图1所示的图像处理装置的处理顺序的流程图。
图9是展示本发明的图像处理装置的实施例2的方框图。
图10是用于说明2眼立体法的原理的图。
图11是展示图9所示的图像处理装置的处理顺序的流程图。
图12是展示本发明的图像处理装置的实施例3的方框图。
图13是展示图12所示的图像处理装置的处理顺序的流程图。
图14是展示图像处理装置的现有例子的方框图。
图15是展示由图14所示的图像处理装置的拍摄装置拍摄的图像的图。
具体实施方式
以下,参照附图详细说明本发明的图像处理装置的适宜的实施例。
图1是展示本发明的图像处理装置的实施例1的构成的方框图。在该图1中,图像处理装置包含:拍摄监视区域内的图像拍摄单元1;在视野内的各位置上测量距离的距离测量单元2;从用图像拍摄单元1拍摄到的图像中抽出脸部区域的脸部区域抽出单元3;设定用于根据图像求出距离的距离测量区域的距离测量区域计算单元4;计算在距离测量区域内的距离分布的距离分布计算单元5;以及根据距离分布判定人是否乘坐轮椅的轮椅存在判定单元6。进而,权利要求中的距离分布计算装置与距离测量区域计算单元4和距离分布计算单元5对应。
图像拍摄单元1由用CCD照相机等实现的装置构成,被设置在电梯的轿箱内或电梯间的天花板附近,可以拍摄人的脸部,并拍摄需要监视的对象区域。即,在本发明中,图像拍摄单元1被设置成并不拍摄对象区域的垂直下方,而从斜方向或者横方向拍摄对象区域。图像拍摄单元1和脸部区域抽出单元3连接,把拍摄数据输出到脸部区域抽出单元3。
距离测量单元2由在对象区域内一边扫描一边照射脉冲激光,根据在对象区域内的物体上的激光反射光测量到此物体的距离的扫描型激光测距仪等装置构成,包含激光发生单元21、激光扫描单元22、激光检测单元23、图像存储单元24、距离计算单元25以及距离数据存储单元26。
激光发生单元21由射出脉冲激光的半导体激光器等装置构成,被安装在和图像拍摄装置1大致相同的位置上。另外,具有改变激光的亮灭方式,用来使射出的激光和由激光检测单元23拍摄的反射光的点对应的发光图案,根据该发光图案,切换脉冲激光器的通/断进行控制。激光扫描单元22控制脉冲激光的扫描速度以及扫描范围,使得与激光检测单元23的图像取入时刻同步地扫描从激光发生单元21按照发光图案射出的脉冲激光。
激光检测单元23由CCD照相机等装置构成,它把由对象物反射从激光发生单元21照射出的脉冲激光的状态作为激光反射图像,与激光扫描单元22的扫描同步地进行拍摄,图像存储单元24把由该激光检测单元23拍摄的激光反射图像和时刻信息一同存储。
距离计算单元25读出被存储在图像存储单元24中的激光反射图像,通过图像处理计算从激光发生单元21到激光反射位置的距离。在该计算中,因为拍摄图像的时刻和此时的激光发生单元21的扫描角度(以及发光图案)对应,所以从该扫描角度、激光发生单元21和激光检测单元23之间的距离,根据三角测量的原理,测量照射该脉冲激光的对象物上的3维位置,即,离开激光发生单元21(图像拍摄单元1)的距离。距离数据存储单元26存储该测量出的距离数据。
脸部区域抽出单元3从来自图像拍摄单元1的输入图像中,用人的脸部区域抽出算法抽出人的脸部区域,并计算该被抽出的脸部区域的位置,例如脸部区域的重心位置。而后,一同存储脸部区域和脸部区域的位置。作为人的脸部区域抽出算法,例如使用基于抽出彩色图像中的肌肤颜色部分而抽出脸部区域的方法;作为样板准备特定的人的脸部图像,把匹配拍摄到的图像与该样板最相象的部分作为脸部区域抽出的方法(样板匹配);通过从拍摄到的图像中检测眼睛和鼻子、嘴、耳朵等脸部部分而抽出脸部区域的方法等公知的方法。进而,当在图像中存在多个人的情况下,抽出多个脸部区域,并与分别算出的脸部区域的位置一同存储。
距离测量区域计算单元4根据抽出的脸部区域的位置,设定距离测量区域。所谓距离测量区域是为了判定电梯的乘客是站立的乘客还是轮椅乘客而设定的对象区域中的一部分区域,在本发明中,以人的脸部位置为基准,与之对应把距离测量区域设定为乘坐轮椅的乘客的膝盖附近的区域(膝盖以下的区域)。
图2是展示距离测量区域计算单元4的距离测量区域的设定方法的图。基本上,根据乘坐轮椅的乘客的轮椅的位置(乘坐轮椅时的膝盖的位置)位于以乘坐轮椅的乘客100的脸部为中心只离开规定距离的下方这样的统计性数据来设定距离测量区域。具体地说,首先,在计算该距离测量区域时,距离测量区域计算单元4保存与一般的人脸部宽度有关的基准数据,把由脸部区域抽出单元3抽出的脸部区域111的宽度和基准数据比较,由此计算从图像拍摄单元11到具有脸部区域111的人的距离L。另外,因为可以在图像拍摄单元1的设置时测量图像拍摄单元1的设置俯角,即图像拍摄单元1的透镜的光轴与水平线所成的角度θ、从图像拍摄单元1的地面开始的设置高度H,所以使用这些距离L、设置俯角θ、设置高度H,用下式大致计算出乘客100从地面开始的高度h。
h=H-l·sinθ
而后,作为图像中的轮椅的位置(乘坐在轮椅上时的膝盖的位置),把从成为对象的乘客100的脸部中心只离开规定距离s的下方的部分设定为距离测量区域112。该距离测量区域112具有规定的范围,使得即使乘客100的大小不同也可以抽出作为目标的膝盖以下的部分。
距离分布计算单元5从由距离测量单元2测量出的距离数据中,只抽出由距离测量区域计算单元4设定的距离测量区域内的距离数据,计算距离测量区域内的距离分布。而后,把该距离分布的结果输出到轮椅存在判定单元6。进而,因为在该距离分布计算单元5中,只对被设定的距离测量区域内的距离数据计算距离分布,所以可以节约其他区域的距离分布的计算时间。
轮椅存在判定单元6根据脸部区域的重心位置离开图像拍摄单元1的距离、从距离分布计算单元5输入的距离分布,判定成为对象的人是否乘坐轮椅,并把该判定结果输出到外部。
在此,参照图3A~图7B说明判定成为对象的人(乘客)是站立状态还是乘坐轮椅的状态的方法。图3A模式化展示了乘客处于站立的状态,图3B是展示对图3A的乘客设定的距离测量区域的正面图。图4A模式化展示了乘客乘坐轮椅的状态。图4B是用于展示对图4A的乘客设定的距离测量区域的正面图。图5是用于说明距离测量区域内的距离测量方法的模式图。图6A是对构成距离测量区域的全部区域,把在各区域的距离测量区域内的水平方向的位置和各区域离开图像拍摄单元的水平距离作为参数制成的、乘客处于站立状态时的区域的分布图。图6B是图示在图6A的分布图中乘客脸部区域的代表点离开图像拍摄单元的水平距离的图。图7A是对构成距离测量区域的全部区域,把在各区域的距离测量区域内的水平方向的位置和各区域离开图像拍摄单元的水平距离作为参数制成的、乘客乘坐轮椅的状态时的区域的分布图。图7B是图示在图7A的分布图中乘客脸部区域的代表点离开图像拍摄单元的水平距离的图。
在这些图中,P1是脸部区域的代表点,例如表示重心位置(从正面看时的脸部区域的2维的重心位置),P2表示在从脸部区域的代表点P1开始只离开规定距离的下方位置上设定的距离测量区域112内的位置,T1、T2分别表示从图像拍摄单元1的透镜中心开始到位置P1、P2的距离测量线和水平线的角度,L1、L2分别表示从图像拍摄单元的透镜中心到位置P1、P2的距离。
另外,以下为了简化说明,假设在设定在图3B以及图4B中的距离测量区域112内,除了对象乘客100以外不存在其他移动的物体,与乘客离开图像拍摄装置的水平距离相比,背景在足够远的地方。
如图3A或者图4A所示当在图像拍摄单元1的对象区域内存在乘客100的情况下,用距离分布计算单元5计算如图3B或者图4B那样设定的距离测量区域112内的位置P2离开图像拍摄单元1的水平方向的距离L2·cos(T2)。
在由该距离分布计算单元5计算与距离测量区域112内的各位置P2有关的距离时,使用图5所示的距离测量区域112。在此,把距离测量区域112的左上端作为原点,把该原点的水平方向作为x轴,通过原点与x轴垂直向下作为y轴。把从靠近原点的方向开始顺序在x轴方向上m等分(m是自然数)得到的各列设置为x1,x2,……,xm,把从靠近原点的方向开始在y轴方向上n等分(n是自然数)得到的各行设置为y1,y2,……,yn,由此在距离测量区域112内可以划分m× n个区域。把成为列xi和行yi交叉的部分的区域设置为区域112ij(i,j都是自然数,i≤m,j≤n)。
在距离分布计算单元5中,首先,根据由行y1所在的区域1121,1~1121,m得到的从图像拍摄单元1的距离L2和图3A所示的关系,计算从图像拍摄单元1到行y1的各区域1121,1~1121,m的水平距离L2·cos(T2)。由此,得到行y1的距离测量区域112在x轴上的位置和从图像拍摄单元1的水平距离的组合。同样,对于行y2~行yn各自所在的区域,得到距离测量区域112在x轴上的位置和从图像拍摄单元1的水平距离的组合。
而后,如图6A以及图7A所示,把距离测量区域112的x轴上的位置和从图像拍摄单元1的水平距离作为参数,制成距离测量区域112内的全部区域的分布图。在这些图6A以及图7B中,x轴是“距离测量区域的x轴上的位置”,是和图5所示的距离测量区域112的x轴相同的轴。另外,y轴是“从图像拍摄单元的水平距离”,是对各区域求得的从图像拍摄单元1的水平距离。而后,z轴是“同一位置上的区域数”,表示在由上述的(距离测量区域的x轴上的位置,从图像拍摄单元的水平距离)组合表示的xy平面上的位置上,几个区域是否重叠。
在乘客100处于站立状态的情况下,得到图6A所示那样的分布图,而从图像拍摄单元1的水平距离描绘在R1的部分上的部分曲线,表示在图3B的距离测量区域112内存在的乘客100的脚(膝盖)附近的部分。另外,在R3的部分上描绘从图像拍摄单元1的水平距离的分布曲线是图3B的距离测量区域112内的不存在乘客100的腿的背景部分。
如图3A所示,当乘客100是站立状态的情况下,脸部区域的位置P1离开图像拍摄单元1的水平距离L1·cos(T1)与距离测量区域内的腿的位置P2离开图像拍摄单元1的水平距离L2·cos(T2)相等,如图6B所示,脸部区域的重心位置P1离开图像拍摄单元1的水平距离与R1相等。即,脸部区域的重心位置P1和距离测量区域112内的腿的位置位于垂直方向上的直线上。
另一方面,当乘客100处于乘坐轮椅的状态的情况下,可以得到图7A所示那样的分布图,但将从图像拍摄单元1的水平距离描绘在R1部分上的分布曲线表示图4B的距离测量区域112内的乘客100的腿(膝盖)附近的部分,将从图像拍摄单元1的水平距离描绘在R2部分上的分布曲线表示包含在距离测量区域112内的上部的腹部附近的部分。另外,将从图像拍摄单元1的水平距离描绘在R3部分上的分布曲线是在距离测量区域112内的不存在乘客100的腿的背景部分。
如图4A所示,当乘客处于乘坐轮椅的状态的情况下,脸部区域的中心位置P1离开图像拍摄单元1的水平方向的距离L1·cos(T1)比距离测量区域112内的腿部位置P2离开图像拍摄单元1的水平距离的距离L2·cos(T2)还长。进而,如果把脸部区域的重心位置P1离开图像拍摄单元1的水平距离图示在图7A上,则如图7B所示,其位置和从图像拍摄单元1的水平距离R2相等。即,脸部区域的重心位置P1(从图像拍摄单元的水平距离=R2)和距离测量区域112内的腿(膝盖)的部分的分布位置(从图像拍摄单元的水平距离=R1)不在垂直直线上。
因而,轮椅存在判定单元6比较由距离测量单元2测量的脸部区域的重心位置P1和由距离分布计算单元5计算出的距离测量区域112内的距离分布,在两者位于垂直方向上的直线上的情况下判断为作为其对象的乘客100处于站立状态,当两者没有垂直方向的直线位置关系的情况下,判断为作为对象的乘客100乘坐轮椅。而后,将其结果输出到电梯的控制装置等外部装置。
进而,在以上的说明中,以在轮椅存在判定单元6中,通过比较脸部区域的重心位置P1和距离测量区域112内的距离分布,判断乘客100是处于站立状态还是乘坐轮椅的状态的情况为例进行了说明,但作为脸部区域的代表点也可以不是重心位置P1,可以比较脸部区域整体离开图像拍摄单元1的水平距离和距离测量区域112内的距离分布。例如,在这种情况下,把脸部区域整体分割为多个区域,对于分割后的全部区域,把各区域在脸部区域内的水平方向的位置、各区域离开图像拍摄单元1的水平距离作为参数制成区域的分布图,通过适用图6A和图7A来进行比较,可以判断乘客100是处于站立状态还是处于乘坐轮椅的状态。
以下,参照图8所示的流程图,说明图1所示的图像处理装置的动作顺序。首先,用图像拍摄单元1拍摄电梯轿箱内或者电梯间等的对象区域,把拍摄的图像输入到脸部区域抽出单元3(步骤S1)。脸部区域抽出单元3从输入的图像中抽出成为对象的人的脸部区域,计算其重心位置(步骤S2)。距离测量区域计算单元4从抽出的脸部区域中求出成为其对象的人离开图像拍摄单元1的距离,在从脸部区域的重心位置开始只离开规定距离的下方设定距离测量区域(步骤S3)。
另一方面,如果用图像拍摄单元1拍摄图像,则激光发光单元21和激光扫描单元22对对象区域内一边照射一边扫描脉冲激光,激光检测单元23与激光扫描单元22同步地拍摄在对象区域内由对象物反射的激光的图像,把拍摄到的激光反射图像存储在图像存储装置24中。而后,距离计算单元25根据存储的激光反射图像和激光扫描单元22的扫描角度,计算从激光发生单元21(图像拍摄单元1)到对象物的距离,把计算出的距离数据存储在距离数据存储单元26中(步骤S4)。
距离分布计算单元5从距离数据存储单元26中抽出距离测量区域内的距离数据,计算其距离分布(步骤S5)。然后,轮椅存在判定单元6比较被存储在距离数据存储单元26中的脸部区域的重心位置和计算出的距离测量区域内的距离数据的距离分布,当判断出脸部区域的重心位置和距离测量区域内的距离数据的分布位置位于垂直线上的情况下,判定为成为对象的人处于站立的状态,当判断出脸部区域的重心位置和距离测量区域内的距离数据的分布位置不在垂直线上的情况下,判定为成为对象的人处于乘坐轮椅的状态(步骤S6)。而后,向外部输出判定结果(步骤S7),结束处理。
例如为了通过电梯的控制单元变更电梯的运行模式,而使用由轮椅存在判定单元6输出的结果。即,当由轮椅存在判定单元6判定为在对象区域上存在乘坐轮椅的乘客的情况下,在电梯控制单元中例如设定轮椅运行模式,使得轿箱升降速度比通常低,另外在楼层停止时把轿箱和电梯间地面的平层精度设定为比通常精度高等。另一方面,当由轮椅存在判定单元6判定为在对象区域中只有站立乘客的情况下,由电梯控制单元设定为不使轿箱升降速度下降,另外不使平层精度特别高等的通常运行模式。
进而,在上述的实施例1中,图像拍摄单元1和距离测量单元2的激光检测单元23分别设置在不同的位置上,但也可以把图像拍摄单元1和激光检测单元23设置在大致同一位置上。这种情况下,需要把激光发生单元21安装在和图像拍摄单元1不同的位置上。
另外,作为激光发生单元21也可以使用对圆柱形透镜变形为狭缝状的垂直(纵)方向长的脉冲激光。这种情况下,可以由激光检测单元23拍摄1张图像,测量纵方向的1线量的距离分布,因此,具有扫描方向只是水平方向即可的优点。
如果采用本实施例1,因为在由图像拍摄单元1拍摄到的图像中比较人的脸部区域的重心位置和从脸部区域只离开规定距离的下方的区域,具体地说比较膝盖以下的区域中的距离分布,判定拍摄到的人是否乘坐轮椅,所以具有能够高准确率地识别轮椅乘客存在的效果。
以下,说明本发明的实施例2。图9是展示本发明的图像处理装置的实施例2的构成的方框图。本实施例2中的图像处理装置代替实施例1所示的图1的图像处理装置的距离测量单元2而包含:用于从不同的位置拍摄对象区域的图像的第2图像拍摄单元31、第3图像拍摄单元32,以及根据由第2图像拍摄单元31和第3图像拍摄单元32拍摄的图像使用2眼立体法计算对象物的距离的立体计算单元33。其他的构成和实施例1一样,向同一构成要素上标注同一符号并省略其说明。进而,实施例2的第1图像拍摄单元1与图1的图像拍摄单元1对应。进而,权利要求中的距离分布计算装置与距离测量区域计算单元4和距离分布计算单元5对应。
第2图像拍摄单元31以及第3图像拍摄单元32由CCD照相机等装置构成,相互在水平方向上隔开距离配置。另外配置第2图像拍摄单元31以及第3图像拍摄单元32的拍摄区域使得可以拍摄由第1图像拍摄单元1拍摄的对象区域,另外把第2图像拍摄单元31以及第3图像拍摄单元32配置在和第1图像拍摄单元1的位置大致相同的位置上,使得可以计算从第1图像拍摄单元1到位于对象区域的对象物的距离。
立体计算单元33是通过求出从几何位置关系已知的第2图像拍摄单元31和第3图像拍摄单元32输入的2张图像的各象素间的对应关系并检测视差,把视差变换为距离,从而测量到对象物的距离的单元,具有距离计算单元34、距离数据存储单元35。
在此,参照图10说明使用2眼立体法的立体图像处理的原理。用光轴在水平方向上以规定间隔D配置由201A、201B相互平行并具有焦点距离f相等的透镜的CCD照相机等实现的2台图像拍摄单元31、32。在此,把配置2台图像拍摄单元31、32的水平轴设置为X,把和该X轴垂直并在高度方向上延伸的轴设置为Y轴,把与这些X轴以及Y轴两者垂直的轴设置为Z轴。另外,把用(第2)图像拍摄单元31拍摄的图像作为图像A,把用(第3)图像拍摄单元32拍摄的图像设置为图像B,求出2个图像A、B上的对应点,把这些图像A、B上的对应点的坐标分别设置为PA(xA,y),PB(xB,y)。由此,由下式求得从图像拍摄单元1到对象物P的距离z。
Z=f·D/(xA-xB)=f·D/S
其中,xA-xB=S是视差,当由光轴201A、201B平行并且隔着规定的间隔D设置的2个图像拍摄元件31、32拍摄一个物体的情况下,该视差S表示被各个图像拍摄单元31、32拍摄的图像的位置的差。由此可以根据用第2图像拍摄单元31和第3图像拍摄单元32拍摄的2张图像A、B,求出图像上的到对象物的距离。
立体计算单元33的距离计算单元34根据由第2图像拍摄单元31和第3图像拍摄单元32输入的2张图像A、B,通过上述的立体图像处理计算从第1图像拍摄单元1到对象物的距离。另外,距离数据存储单元35存储由距离计算单元34计算出的距离数据。
以下,参照图11所示的流程图说明图9所示的图像处理装置的动作处理顺序。首先,进行和在实施例1的图8中说明过的步骤S1~S3同样的处理,设定图像上的距离测量区域(步骤S11~S13)。即,根据由第1图像拍摄单元1拍摄的对象区域的图像,计算人的脸部区域的重心位置、成为其对象的人离开第1图像拍摄单元1的距离,在从脸部区域的重心位置开始只离开规定距离的下方设定距离测量区域。
另一方面,和步骤S11~S13的工序不同,如果由第1图像拍摄单元1拍摄对象区域的图像,则第2图像拍摄单元31拍摄对象区域的图像,把拍摄到的图像存储在立体计算单元33中(步骤S14)。接着,第3图像拍摄单元32拍摄对象区域的图像,把拍摄到的图像存储在立体计算单元33中(步骤S15)。进而,在步骤S14~S15中,第2图像拍摄单元31和第3图像拍摄单元32可以同时对对象区域进行拍摄,也可以错开规定时间进行。
而后,立体计算单元33的距离计算单元34从被存储着的2张图像中,通过立体图像处理,对各图像中的各位置计算距离第1图像拍摄单元1的距离,把计算出的距离数据存储在距离存储单元35(步骤S16)。
其后,进行和在实施例1的图8中说明的步骤S5~S7同样的处理,判定具有被抽出的脸部区域的人是否是乘坐在轮椅中的乘客(步骤S17~S19)。即,计算从用第1图像拍摄单元1拍摄的图像中的从脸部区域的重心位置只离开规定距离的下方的距离测量区域内的距离数据的距离分布,比较脸部区域的重心位置和计算出的距离测量区域内的距离数据的距离分布。在比较的结果是脸部区域的重心位置和距离测量区域内的距离数据的距离分布在垂直线上的情况下,判定为具有该脸部区域的人是站立的乘客,当脸部区域的重心位置和距离测量区域内的距离数据的距离分布不在垂直线上的情况下,判定为具有该脸部区域的人是乘坐在轮椅中的乘客,把该判定结果输出到外部,结束处理。
和实施例1一样,例如可以为了由电梯控制单元变更电梯运行模式而使用轮椅存在判定单元6的判定结果。
进而,在上述实施例2中,说明了设置用于抽出脸部区域的第1图像拍摄单元1、用于进行立体图像处理的第2图像拍摄单元31以及第3图像拍摄单元32的3台图像拍摄单元的情况,但也可以共用第1图像拍摄单元1和第2图像拍摄单元32,用2台图像拍摄单元进行上述的处理。即,其构成也可以是,用第1图像拍摄单元1拍摄对象区域,在得到用于抽出脸部区域的图像的同时,得到用于进行立体图像处理的图像,用第3图像拍摄单元32得到用于进行立体图像处理的另1张图像。这是因为在实施例2中,可以不必同时用第2图像拍摄单元31以及第3图像拍摄单元32拍摄用于进行立体图像处理所需要的2张图像的缘故。
另外,在上述说明中,对于在轮椅判定单元6中判定乘客是处于站立状态还是处于乘坐在轮椅中的状态,以通过比较脸部区域的重心位置和距离测量区域内的距离分布进行判断的情况为例进行了说明,但作为脸部区域的代表点也可以不是重心位置,而比较脸部整个区域离开第1图像拍摄单元1的水平距离和距离测量区域内的距离分布。
如果采用本实施例2,因为作为测量从第1图像拍摄单元1到对象物的距离的方法使用了立体图像处理,所以具有可以进一步使用于测量距离的装置构成紧凑的效果。
以下,说明本发明的实施例3。图12是展示本发明的图像处理装置的实施例3的构成的方框图。本实施例3的图像处理装置在实施例1所示的图像处理装置中,设置从由图像拍摄单元1拍摄的图像中只抽出变化区域的变化区域检测单元41。其他构成和实施例1相同,向同一构成要素上标注同一符号并省略其说明。
变化区域检测单元41在图像拍摄单元1拍摄的对象区域中,具有在不存在人等对象物的状态下拍摄的背景图像,如果输入由图像拍摄单元1拍摄的图像,则进行以规定的阈值为基准对该被拍摄到的图像和背景图像的2张图像中的各象素值差的绝对值进行二值化的差分计算处理,生成差分图像。在该差分图像中,将不存在于背景图像中的变化部分作为对象物的候补进行记录。而后,在该差分图像中,把有变化的部分的位置信息输出到脸部区域抽出单元3。进而,权利要求中的距离分布计算装置与距离测量区域计算单元4和距离分布计算单元5对应。
脸部区域抽出单元3如果从变化区域检测单元41接收到有变化的部分的位置信息,则利用该位置信息从由图像拍摄单元1输入的图像中,根据人的脸部区域抽出算法抽出人的脸部区域,计算该脸部区域的位置,例如重心位置。而后,将脸部区域和脸部区域的位置一同存储。
以下,参照图13的流程图,说明图12所示的图像处理装置的动作处理顺序。首先,用图像拍摄单元1拍摄电梯的轿箱或者电梯间,把拍摄到的图像输入到脸部区域抽出单元3和变化区域检测单元41(步骤S21)。变化区域检测单元41从输入的图像和背景图像中生成差分图像,从得到的差分图像中检查变化的区域,把其位置信息输出到脸部区域抽出单元3(步骤S22)。脸部区域抽出单元3根据从变化区域检测单元41输入的变化区域的位置信息,从由图像拍摄单元1输入的图像中的变化区域中抽出成为对象的人的脸部区域,计算其重心位置(步骤S23)。
其后的处理和在实施例1的图8中说明的步骤S3~S7的处理同样,判定在对象区域中是否存在乘坐轮椅的乘客,把其判定结果输出到外部(步骤S24~步骤S28)。即,如果拍摄到图像,则测量图像内的各位置到对象物的距离。另外,针对具有被抽出的脸部区域的人的图像设定距离测量区域,根据在该距离测量区域内测量到的各位置的距离数据,计算距离分布。而后,比较脸部区域的重心位置和计算出的距离测量区域内的距离数据的距离分布。在比较的结果是脸部区域的重心位置和距离测量区域内的距离数据的距离分布在垂直线上的情况下,判定为具有该脸部区域的人是站立的乘客,当脸部区域的重心位置和距离测量区域内的距离数据的距离分布不在垂直线上的情况下,判定为具有该脸部区域的人是乘坐在轮椅上的乘客,把该判定结果输出到外部,结束处理。
和实施例1一样,例如,是为了由电梯的控制单元变更电梯运行模式而使用轮椅存在判定单元6的判定结果。
在上述的实施例3中,作为距离测量单元示例了用和实施例1一样的扫描型激光测距仪等实现的装置构成的情况,但作为距离测量单元2也可以使用在实施例2中说明的2眼立体法的立体图像处理。即,其构成也可以是代替图12的距离测量单元2,而包含第2图像拍摄单元31、第3图像拍摄单元32以及立体计算单元33,或者第2图像拍摄单元31以及立体计算单元33。
另外,在上述的说明中,对于在轮椅存在判定单元6中判定乘客是处于站立状态还是处于乘坐轮椅的状态,以通过比较脸部区域的重心位置和距离测量区域内的距离分布进行判定的情况为例进行了说明,但作为脸部区域的代表点也可以不用重心位置,而比较脸部区域整体离开图像拍摄单元1的水平距离和距离测量区域内的距离分布。
如果采用本实施例3,因为通过变化区域检测单元41从拍摄的对象区域的图像和预先准备的背景图像中生成差分图像,抽出有变化的区域,在被抽出的有变化的区域中由脸部区域抽出单元3进行脸部区域的抽出,所以具有可以缩短进行脸部区域的抽出的时间的效果。另外,可以抑制把与对象区域内的人的脸部相似的图像图案判定为人脸的误判定,具有可以进行更正确的脸部区域的抽出的效果。
如上所述,如果采用本发明,因为从拍摄对象区域的图像中抽出脸部区域,通过比较在从该脸部区域只离开规定距离的下方设定的距离测量区域内的离开图像拍摄装置的距离分布、脸部区域离开图像拍摄装置的距离,判定具有脸部区域的人是否乘坐在轮椅中,所以具有可以高概率地识别轮椅乘客存在的效果。
如果采用另一个发明,因为进一步具备从由图像拍摄装置拍摄到的图像、对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域的变化区域检测装置,所以具有可以缩短由脸部区域抽出装置进行脸部区域的抽出的时间的效果。另外,可以抑制把对象区域内存在的与人脸相似的图像图案判定为人脸的误判定,具有可以进行更正确的脸部区域的抽出的效果。
如果采用另一个发明,因为作为距离测量装置使用扫描型激光测距仪,所以具有可以正确地测定从图像拍摄装置到存在于对象区域中的对象物的距离的效果。
如果采用另一个发明,因为其构成是进一步具备从由图像拍摄装置拍摄的图像、对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域的变化区域检测装置,所以可以缩短由脸部区域抽出装置进行脸部区域抽出的时间的效果。另外,可以抑制把在对象区域内存在的与人脸相似的图像图案判定为人脸的误判定,具有可以进行更正确的脸部区域的抽出的效果。
如果采用另一个发明,因为,根据用第2以及第3图像拍摄装置拍摄的对象区域内的2张图像,由立体计算装置测量由第1图像拍摄装置拍摄到的图像的各位置的从第1图像拍摄装到存在于该位置上的对象物的距离,所以具有可以用简单的装置构成来测量从第1图像拍摄装置到对象物的距离的效果。
如果采用另一个发明,因为其构成是进一步具备从由第1图像拍摄装置拍摄的图像、对象区域内不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域的变化区域检测装置,所以具有可以缩短由脸部区域抽出装置进行脸部区域抽出的时间的效果。另外,可以抑制把对象区域内与人脸相似的图像图案判定为人脸的误判定,具有可以进行更正确的脸部区域抽出的效果。
如果采用另一个发明,因为从由第1图像拍摄装置拍摄到的对象区域的图像、由在水平方向上和该第1图像拍摄装置隔开距离配置的第2图像拍摄装置拍摄的对象区域的图像中,由立体计算装置测量从由第1拍摄图像装置拍摄的图像的各位置的从第1图像拍摄装置到在该位置上存在的对象物的距离,所以具有可以通过简易的装置构成,测量从第1图像拍摄装置到对象物的距离的效果。另外,第1图像拍摄装置因为其构成是,承担拍摄用于抽出对象区域内的脸部区域的图像、用于通过立体法测量第1图像拍摄装置和对象区域内的对象物的距离的图像的作用,所以具有可以制成把必要的拍摄装置的数量限制在最小限度的图像拍摄装置。
如果采用另一个发明,因为其构成是进一步具备从由第1图像拍摄装置拍摄的图像、对象区域内的不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域的变化区域检测装置,所以具有可以缩短由脸部区域抽出装置进行脸部区域抽出的时间的效果,另外可以抑制把对象区域内与人脸相似的图像图案判定为人脸的误判定,具有可以进行更正确的脸部区域抽出的效果。
如上所述,本发明的图像处理装置适用于在电梯的轿箱内和电梯间等中存在乘坐在轮椅中的乘客的情况下,为了自动地切换电梯的运行模式而使用的电梯乘客检测系统等。
Claims (5)
1.一种图像处理装置,其特征在于包括:
拍摄需要监视的对象区域内的图像的图像拍摄装置(1);
从由上述图像拍摄装置(1)拍摄到的图像中抽出人的脸部区域的脸部区域抽出装置(3);
针对由上述图像拍摄装置(1)拍摄到的图像的各位置,测量离开上述图像拍摄装置(1)的距离的距离测量装置(2);
在从上述抽出的人的脸部区域开始只离开规定距离的下方设定距离测量区域,使用由上述距离测量装置(2)测量到的距离计算上述距离测量区域内的离开上述图像拍摄装置的距离分布的距离分布计算装置(5);
比较由上述距离测量装置(2)测量出的上述脸部区域离开上述图像拍摄装置(1)的距离和上述距离测量区域内的距离分布,在上述脸部区域离开上述图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置不位于铅垂线上的情况下,判断为具有上述脸部区域的人乘坐在轮椅中,在上述脸部区域离开上述图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置位于铅垂线上的情况下,判断为具有上述脸部区域的人没有乘坐在轮椅中的轮椅存在判定装置。
2.一种图像处理装置,其特征在于包括:
拍摄需要监视的对象区域内的图像的第1图像拍摄装置(1);
在水平方向上隔开预定距离配置的、分别拍摄上述对象区域的图像的第2(31)以及第3图像拍摄装置(32);
从由上述第1图像拍摄装置(1)拍摄到的图像中抽出人的脸部区域的脸部区域抽出装置(3);
使用由上述第2(31)以及第3图像拍摄装置(32)拍摄到的2张图像,用立体法针对由上述第1图像拍摄装置(1)拍摄到的图像的各位置,测量离开上述第1图像拍摄装置(1)的距离的立体计算装置(33);
在从上述抽出的人的脸部区域开始只离开规定距离的下方设定距离测量区域,使用由上述立体计算装置(33)测量出的距离,计算上述距离测量区域内的离开上述第1图像拍摄装置(1)的距离分布的距离分布计算装置(5);
比较由上述立体计算装置(33)测量出的上述脸部区域的离开上述第1图像拍摄装置(1)的距离和上述距离测量区域内的距离分布,在上述脸部区域离开上述第1图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置不位于铅垂线上的情况下,判断为具有上述脸部区域的人乘坐在轮椅中,在上述脸部区域离开上述第1图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置位于铅垂线上的情况下,判断为具有上述脸部区域的人没有乘坐在轮椅中的轮椅存在判定装置。
3.一种图像处理装置,其特征在于包括:
拍摄需要监视的对象区域内的图像的第1图像拍摄装置(1);
在水平方向上与上述第1图像拍摄装置(1)隔开预定距离配置的、拍摄上述对象区域的图像的第2图像拍摄装置(31);
从由上述第1图像拍摄装置(1)拍摄到的图像中抽出人的脸部区域的脸部区域抽出装置(3);
使用由上述第1(1)以及第2图像拍摄装置(31)拍摄到的2张图像,用立体法针对由上述第1图像拍摄装置(1)拍摄到的图像的各位置,测量离开上述第1图像拍摄装置(1)的距离的立体计算装置(33);
在从上述抽出的人的脸部区域开始只离开规定距离的下方设定距离测量区域,使用由上述立体计算装置(33)测量出的距离,计算上述距离测量区域内的离开上述第1图像拍摄装置(1)的距离分布的距离分布计算装置(5);
比较由上述立体计算装置(33)测量出的上述脸部区域的离开上述第1图像拍摄装置(1)的距离和上述距离测量区域内的距离分布,在上述脸部区域离开上述第1图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置不位于铅垂线上的情况下,判断为具有上述脸部区域的人乘坐在轮椅中,在上述脸部区域离开上述第1图像拍摄装置的距离位置和上述距离测量区域内的膝腿部分的分布位置位于铅垂线上的情况下,判断为具有上述脸部区域的人没有乘坐在轮椅中的轮椅存在判定装置。
4.根据权利要求2或3所述的图像处理装置,其特征在于:
进一步具备从由上述第1图像拍摄装置(1)拍摄到的图像、上述对象区域内不存在物体的背景图像中生成差分图像,根据生成的差分图像抽出有变化的区域的变化区域检测装置(41),
上述脸部区域抽出装置(3)只从由上述变化区域检测装置(41)抽出的有变化的区域中抽出脸部区域。
5.根据权利要求1所述的图像处理装置,其特征在于:
其中上述距离测量装置(2)是扫描型激光测距仪。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2002/007632 WO2004012142A1 (ja) | 2002-07-26 | 2002-07-26 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1605086A CN1605086A (zh) | 2005-04-06 |
CN1321394C true CN1321394C (zh) | 2007-06-13 |
Family
ID=30795867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028251091A Expired - Fee Related CN1321394C (zh) | 2002-07-26 | 2002-07-26 | 图像处理装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7142694B2 (zh) |
EP (1) | EP1526477B1 (zh) |
JP (1) | JP4127545B2 (zh) |
CN (1) | CN1321394C (zh) |
DE (1) | DE60236461D1 (zh) |
WO (1) | WO2004012142A1 (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007020033A (ja) * | 2005-07-11 | 2007-01-25 | Nikon Corp | 電子カメラおよび画像処理プログラム |
JP4533824B2 (ja) * | 2005-08-30 | 2010-09-01 | 株式会社日立製作所 | 画像入力装置及び校正方法 |
US7694885B1 (en) | 2006-01-26 | 2010-04-13 | Adobe Systems Incorporated | Indicating a tag with visual data |
US8259995B1 (en) | 2006-01-26 | 2012-09-04 | Adobe Systems Incorporated | Designating a tag icon |
US7978936B1 (en) | 2006-01-26 | 2011-07-12 | Adobe Systems Incorporated | Indicating a correspondence between an image and an object |
US7813526B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Normalizing detected objects |
US7716157B1 (en) | 2006-01-26 | 2010-05-11 | Adobe Systems Incorporated | Searching images with extracted objects |
US7813557B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Tagging detected objects |
US7706577B1 (en) * | 2006-01-26 | 2010-04-27 | Adobe Systems Incorporated | Exporting extracted faces |
US7636450B1 (en) | 2006-01-26 | 2009-12-22 | Adobe Systems Incorporated | Displaying detected objects to indicate grouping |
US7720258B1 (en) | 2006-01-26 | 2010-05-18 | Adobe Systems Incorporated | Structured comparison of objects from similar images |
JP4811651B2 (ja) * | 2006-03-30 | 2011-11-09 | 独立行政法人産業技術総合研究所 | ステレオカメラを用いた車椅子使用者検出システム |
WO2007125794A1 (ja) * | 2006-04-27 | 2007-11-08 | Konica Minolta Holdings, Inc. | データ測定装置及びデータ測定方法 |
JP5140256B2 (ja) * | 2006-09-12 | 2013-02-06 | 株式会社ユニバーサルエンターテインメント | サンド装置、入金残高精算機及び遊技システム |
JP5140257B2 (ja) * | 2006-09-12 | 2013-02-06 | 株式会社ユニバーサルエンターテインメント | サンド装置、入金残高精算機、管理サーバ及び遊技システム |
JP4848244B2 (ja) * | 2006-10-19 | 2011-12-28 | 富士電機株式会社 | 情報案内システムおよび情報案内プログラム |
EP2196425A1 (de) * | 2008-12-11 | 2010-06-16 | Inventio Ag | Verfahren zur Benachteiligungsgerechten Benutzung einer Aufzugsanlage |
US20120175192A1 (en) * | 2011-01-11 | 2012-07-12 | Utechzone Co., Ltd. | Elevator Control System |
KR101046677B1 (ko) * | 2011-03-15 | 2011-07-06 | 동국대학교 산학협력단 | 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프 |
JP5733614B2 (ja) * | 2011-03-29 | 2015-06-10 | リコーイメージング株式会社 | 撮影情報管理方法、及び撮影情報管理装置 |
JP5879877B2 (ja) * | 2011-09-28 | 2016-03-08 | 沖電気工業株式会社 | 画像処理装置、画像処理方法、プログラム、および画像処理システム |
JP5567065B2 (ja) * | 2012-05-29 | 2014-08-06 | 東芝エレベータ株式会社 | エレベータの呼び登録装置 |
US10457521B2 (en) * | 2014-12-03 | 2019-10-29 | Inventio Ag | System and method for alternatively interacting with elevators |
JP6523475B2 (ja) | 2015-10-21 | 2019-06-05 | 三菱電機株式会社 | 無線情報配信装置、無線情報配信装置の制御方法及び制御プログラム |
US10254402B2 (en) * | 2016-02-04 | 2019-04-09 | Goodrich Corporation | Stereo range with lidar correction |
JP6513594B2 (ja) * | 2016-03-30 | 2019-05-15 | 株式会社日立製作所 | エレベータ装置及びエレベータ制御方法 |
KR101774692B1 (ko) * | 2016-05-16 | 2017-09-04 | 현대자동차주식회사 | 에어백 제어 장치 및 방법 |
TWI719409B (zh) * | 2019-02-23 | 2021-02-21 | 和碩聯合科技股份有限公司 | 追蹤系統及其方法 |
CN109948494B (zh) * | 2019-03-11 | 2020-12-29 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110338800A (zh) * | 2019-07-17 | 2019-10-18 | 成都泰盟软件有限公司 | 自动测量身高体重的躺椅 |
CN111932596B (zh) * | 2020-09-27 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 摄像头遮挡区域的检测方法、装置、设备和存储介质 |
JP7367174B1 (ja) | 2022-12-20 | 2023-10-23 | 東芝エレベータ株式会社 | エレベータシステム |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04286596A (ja) * | 1991-03-13 | 1992-10-12 | Toshiba Corp | エスカレータ |
JPH061546A (ja) * | 1992-06-17 | 1994-01-11 | Hitachi Ltd | 車椅子運転仕様付エレベータの制御方法 |
JPH0692563A (ja) * | 1992-09-17 | 1994-04-05 | Hitachi Ltd | エレベータの人数計測装置 |
JPH09145362A (ja) * | 1995-11-29 | 1997-06-06 | Ikegami Tsushinki Co Ltd | ステレオ画像による物体の高さ測定方法 |
JPH10232985A (ja) * | 1997-02-19 | 1998-09-02 | Risou Kagaku Kenkyusho:Kk | 室内監視装置 |
JPH11268879A (ja) * | 1998-03-20 | 1999-10-05 | Mitsubishi Electric Corp | エレベータの運転制御装置 |
JP2000259833A (ja) * | 1999-03-08 | 2000-09-22 | Toshiba Corp | 顔画像処理装置及びその処理方法 |
CN1318504A (zh) * | 2000-04-19 | 2001-10-24 | 三菱电机株式会社 | 电梯装置 |
JP2001351190A (ja) * | 2000-06-05 | 2001-12-21 | Oki Electric Ind Co Ltd | 歩行支援システム |
JP2002197463A (ja) * | 2000-12-26 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 挙動検出装置および挙動検出システム |
WO2002056251A1 (fr) * | 2000-12-27 | 2002-07-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de traitement d'images et ascenseur sur lequel il est monte |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05147835A (ja) * | 1991-11-25 | 1993-06-15 | Hitachi Ltd | 身体障害者対応エレベータの乗場呼び登録装置 |
US5323470A (en) * | 1992-05-08 | 1994-06-21 | Atsushi Kara | Method and apparatus for automatically tracking an object |
US6027138A (en) * | 1996-09-19 | 2000-02-22 | Fuji Electric Co., Ltd. | Control method for inflating air bag for an automobile |
-
2002
- 2002-07-26 US US10/493,434 patent/US7142694B2/en not_active Expired - Fee Related
- 2002-07-26 EP EP02751738A patent/EP1526477B1/en not_active Expired - Lifetime
- 2002-07-26 DE DE60236461T patent/DE60236461D1/de not_active Expired - Lifetime
- 2002-07-26 CN CNB028251091A patent/CN1321394C/zh not_active Expired - Fee Related
- 2002-07-26 WO PCT/JP2002/007632 patent/WO2004012142A1/ja active Application Filing
- 2002-07-26 JP JP2004524082A patent/JP4127545B2/ja not_active Expired - Fee Related
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04286596A (ja) * | 1991-03-13 | 1992-10-12 | Toshiba Corp | エスカレータ |
JPH061546A (ja) * | 1992-06-17 | 1994-01-11 | Hitachi Ltd | 車椅子運転仕様付エレベータの制御方法 |
JPH0692563A (ja) * | 1992-09-17 | 1994-04-05 | Hitachi Ltd | エレベータの人数計測装置 |
JPH09145362A (ja) * | 1995-11-29 | 1997-06-06 | Ikegami Tsushinki Co Ltd | ステレオ画像による物体の高さ測定方法 |
JPH10232985A (ja) * | 1997-02-19 | 1998-09-02 | Risou Kagaku Kenkyusho:Kk | 室内監視装置 |
JPH11268879A (ja) * | 1998-03-20 | 1999-10-05 | Mitsubishi Electric Corp | エレベータの運転制御装置 |
JP2000259833A (ja) * | 1999-03-08 | 2000-09-22 | Toshiba Corp | 顔画像処理装置及びその処理方法 |
CN1318504A (zh) * | 2000-04-19 | 2001-10-24 | 三菱电机株式会社 | 电梯装置 |
JP2001351190A (ja) * | 2000-06-05 | 2001-12-21 | Oki Electric Ind Co Ltd | 歩行支援システム |
JP2002197463A (ja) * | 2000-12-26 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 挙動検出装置および挙動検出システム |
WO2002056251A1 (fr) * | 2000-12-27 | 2002-07-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de traitement d'images et ascenseur sur lequel il est monte |
Also Published As
Publication number | Publication date |
---|---|
EP1526477A4 (en) | 2008-09-10 |
JP4127545B2 (ja) | 2008-07-30 |
DE60236461D1 (de) | 2010-07-01 |
US20050013488A1 (en) | 2005-01-20 |
JPWO2004012142A1 (ja) | 2005-11-24 |
EP1526477B1 (en) | 2010-05-19 |
US7142694B2 (en) | 2006-11-28 |
WO2004012142A1 (ja) | 2004-02-05 |
CN1605086A (zh) | 2005-04-06 |
EP1526477A1 (en) | 2005-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1321394C (zh) | 图像处理装置 | |
NL1020909C2 (nl) | Beeldverwerkingsapparaat en lift die hiervan is voorzien. | |
CN100418112C (zh) | 用于记录和自动识别确认的面部成像系统 | |
EP1134691A2 (en) | Image processing apparatus and method for extracting feature of object | |
ES2305930T3 (es) | Dispositivo y procedimiento para la deteccion y el seguimiento de personas en una zona de inspeccion. | |
CN102149325A (zh) | 视线方向判定装置及视线方向判定方法 | |
CN106529399A (zh) | 人体信息采集方法、装置及系统 | |
US20190246000A1 (en) | Apparatus and method for processing three dimensional image | |
CN102609724A (zh) | 一种基于双摄像头的周围环境信息提示方法 | |
JP4056813B2 (ja) | 障害物検知装置 | |
US20100259597A1 (en) | Face detection apparatus and distance measurement method using the same | |
CN106937532A (zh) | 用于检测真正用户的系统和方法 | |
JP2010122078A (ja) | 身長検出システムおよびこれを用いた自動改札機 | |
EP0554647B1 (en) | Method for making patterns, in particular for the clothing industry | |
Hanna et al. | A System for Non-Intrusive Human Iris Acquisition and Identification. | |
JPH08161453A (ja) | 人数計数装置 | |
CN1261904C (zh) | 图象处理装置和装载该装置的电梯 | |
KR101355206B1 (ko) | 영상분석을 이용한 출입 계수시스템 및 그 방법 | |
KR102233288B1 (ko) | 복수의 카메라를 이용한 얼굴식별 발열감지 및 추적시스템 | |
JP2021003929A (ja) | 学習用データ生成装置及び物体検知装置 | |
CN110717466B (zh) | 一种基于人脸检测框回归安全帽位置的方法 | |
KR101558285B1 (ko) | 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법 | |
CN114596657A (zh) | 一种基于深度数据的闸机通行系统 | |
JP4825350B2 (ja) | 通過物体計数装置及び計数方法 | |
KR20110077059A (ko) | 다중 카메라를 이용한 얼굴 인식 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070613 Termination date: 20210726 |