[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108622176B - 一种基于tof手势识别的多功能方向盘人车交互系统 - Google Patents

一种基于tof手势识别的多功能方向盘人车交互系统 Download PDF

Info

Publication number
CN108622176B
CN108622176B CN201810497789.4A CN201810497789A CN108622176B CN 108622176 B CN108622176 B CN 108622176B CN 201810497789 A CN201810497789 A CN 201810497789A CN 108622176 B CN108622176 B CN 108622176B
Authority
CN
China
Prior art keywords
unit
steering wheel
near infrared
light source
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810497789.4A
Other languages
English (en)
Other versions
CN108622176A (zh
Inventor
刘正全
邓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Original Assignee
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Xingyu Automotive Lighting Systems Co Ltd filed Critical Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority to CN201810497789.4A priority Critical patent/CN108622176B/zh
Publication of CN108622176A publication Critical patent/CN108622176A/zh
Application granted granted Critical
Publication of CN108622176B publication Critical patent/CN108622176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04—Hand wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
    • B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开一种基于TOF手势识别的多功能方向盘人车交互系统，涉及人车交互接口领域。它包括近红外照明光源单元、TOF成像阵列传感器单元、透镜模组单元、TOP控制单元、三维点云图像处理单元和汽车方向盘，近红外照明光源单元对手势识别区域进行照明；TOP控制单元对近红外照明光源单元进行调制，同时控制TOF成像阵列传感器单元测量手势照明和反射之间的相移并转换为手势识别的距离深度信息，经由三维点云图像处理单元完成解析，通过CAN/LIN总线输出对应的方向盘多功能控制信号至车身控制器。本发明有效提高手势操作在车内应用的灵活性，可进行远距离、非接触的控制，使人车交互方式更自然、便捷。

Description

一种基于TOF手势识别的多功能方向盘人车交互系统
技术领域
本发明涉及人车交互接口领域，尤其是一种基于TOF手势识别的多功能方向盘人车交互系统。
背景技术
目前多功能方向盘上的人车交互方式以机械按键、拨杆以及旋钮为主。这些输入设备都存在一定的不足，输入习惯和人本身的自然交流习惯存在差异。
发明内容
为解决多功能方向盘上传统的机械按键、拨杆以及旋钮存在的不足，本发明提供一种基于TOF手势识别的多功能方向盘人车交互系统，采用非接触手势方式有效提高了手势操作在汽车内部应用的灵活性，可以对车身相关功能进行远距离、非接触的控制，使得人车交互方式更自然更便捷，符合未来智能汽车人车交互的发展趋势。
为实现上述目的，本发明采用下述技术方案：
一种基于TOF手势识别的多功能方向盘人车交互系统，该多功能方向盘人车交互系统包括近红外照明光源单元、TOF成像阵列传感器单元、TOP控制单元、三维点云图像处理单元和汽车方向盘，近红外照明光源单元和TOF成像阵列传感器单元分别设置在汽车方向盘的两侧；近红外照明光源单元对手势识别区域进行照明；TOP控制单元对近红外照明光源单元进行调制，同时控制TOF成像阵列传感器单元测量手势照明和反射之间的相移，并将其转换成为手势识别的距离深度信息，经由三维点云图像处理单元完成解析，通过CAN总线或LIN总线输出对应的方向盘多功能控制信号至车身控制器。
进一步地，近红外照明光源单元发出的近红外光经过识别手势反射后，通过TOF成像阵列传感器单元对反射的近红外光进行接收。
进一步地，近红外照明光源单元包含多个照明单体；TOF成像阵列传感器单元一次同时测量多个照明单体，每个照明单体之间间隔与照明单体数对应的相位，利用照明和反射之间的相位差异来计算手势识别的距离深度信息。
进一步地，TOP控制单元采用多频技术对近红外照明光源单元进行调制，兼顾了测量精度和测量距离问题，即添加一个或多个调制频率来工作，使得在足够的测量距离条件下获得最佳的检测精度。每个调制频率都将计算得到一个对应的测量距离，实际手势深度位置由这些调制频率所测得多个距离共同决定。
进一步地，TOP控制单元对近红外照明光源单元进行调制，同时控制TOF成像阵列传感器单元接收反射回来的近红外光，生成三维点云图像，可以提供每个像素点距离深度信息，并以灰度形式进行展现，灰度值越高，手势越接近TOF成像阵列传感器单元。
进一步地，三维点云图像处理单元根据TOF成像阵列传感器单元获得的距离深度信息(作为手势识别的一个重要特征)，将手势部位与图像的其他背景分割开。
进一步地，多功能方向盘人车交互系统还包括透镜模组单元，透镜模组单元调节TOF成像阵列传感器单元拾取手势图像的焦距，使得手势识别区域范围符合实际应用场景的需要。
有益效果：
1.本发明通过手势控制方式替代多功能方向盘上传统的机械按键、拨杆以及旋钮，实现灯光功能控制、音频功能控制、影音功能控制、雨刮器功能控制、仪表盘功能控制以及定速巡航和电话功能控制。
2.本发明采用视频输入的形式可以进行远距离和非接触的控制，实现手势控制车身相关功能；与传统方式相比，手势识别在弱光和强光环境下都能实现较高的正确率，使人车之间的交互更加自然便捷。
3.本发明的TOF手势识别集成度高、结构紧凑，由识别算法所带来的计算强度可以在嵌入式系统中实现，同时在车内环境下兼顾检测距离和测量精度两个要求，响应时间也是视觉系统中最快的，符合未来智能汽车人车交互的发展趋势。
附图说明
图1是本发明一实施例的基于TOF手势识别的多功能方向盘人车交互系统的正视图；
图2是本发明一实施例的基于TOF手势识别的多功能方向盘人车交互系统的左视图；
图3是本发明一实施例的透镜模组单元的示意图；
图4是本发明一实施例的照明和反射之间的相位差测量波形图；
图5是本发明一实施例的三维点云图；
图6是本发明一实施例的手势部位与图像其他背景的分割示意图；
图中：1-红外照明光源单元，2-TOF成像阵列传感器单元，3-透镜模组单元，4-TOP控制单元，5-三维点云图像处理单元，6-汽车方向盘。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本实施例提出一种基于TOF手势识别的多功能方向盘人车交互系统，如图1-2所示，它包括近红外照明光源单元1、TOF成像阵列传感器单元2、透镜模组单元3、TOP控制单元4、三维点云图像处理单元5和汽车方向盘6，近红外照明光源单元1和TOF成像阵列传感器单元2分别设置在汽车方向盘6的两侧；近红外照明光源单元1对手势识别区域进行照明；透镜模组单元3(图3)调节TOF成像阵列传感器单元2拾取手势图像的焦距，使得手势识别区域范围符合实际应用场景的需要；TOP控制单元4对近红外照明光源单元1进行调制，同时控制TOF成像阵列传感器单元2测量手势照明和反射之间的相移，并将其转换成为手势识别的距离深度信息，经由三维点云图像处理单元5完成解析，通过CAN总线或LIN总线输出对应的方向盘多功能控制信号至车身控制器。
在本实施例中，近红外照明光源单元1(型号：Lumentum 350mW,854nm TO-56Packaged Laser Diode 22045504)发出的近红外光经过识别手势反射后，通过TOF成像阵列传感器单元2(型号：320×240 Array OPT8241)对反射的近红外光进行接收。
在本实施例中，近红外照明光源单元1包含多个照明单体；TOF成像阵列传感器单元2一次同时测量多个照明单体，每个照明单体之间间隔与照明单体数对应的相位，利用照明和反射之间的相位差异来计算手势识别的距离深度信息。具体地：如图4所示，利用照明和反射之间的相位角φ(下式(1))计算手势识别的距离深度d(下式(2))。
其中，c为光速；Q1、Q2、Q3和Q4为TOF成像阵列传感器单元2采样得到的电荷量。
在本实施例中，TOP控制单元4采用多频技术对近红外照明光源单元1进行调制，兼顾了测量精度和测量距离问题，即添加一个或多个调制频率来工作，使得在足够的测量距离条件下获得最佳的检测精度。每个调制频率都将计算得到一个对应的测量距离，实际手势深度位置是由这些调制频率所测得多个距离共同决定。具体地：连续方波光源调制检测手势识别的距离测量方差可以表示为下式(3)：
其中，cd为调制对比度，描述了TOF成像阵列传感器单元2分离和收集光电子的能力。
其中，反射光亮度L是光功率的函数，可以表示为下式(4)：
其中，偏移量S是环境光和系统偏移量的函数，可以表示为下式(5)：
从式(3)中可以推断出反射光亮度，调制频率和调制对比度是影响距离测量精度三大因素。
在本实施例中，TOP控制单元4(型号：3D ToF Controller OPT9221)对近红外照明光源单元1进行调制，同时控制TOF成像阵列传感器单元2接收反射回来的近红外光，生成三维点云图像，可以提供每个像素点距离深度信息，如图5所示，并以灰度形式进行展现，灰度值越高，手势越接近TOF成像阵列传感器单元2。
在本实施例中，三维点云图像处理单元5(型号：高性能ARMAM437x)根据TOF成像阵列传感器单元2获得的距离深度信息(作为手势识别的一个重要特征)，将手势部位与图像的其他背景分割开，如图6所示。
对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (3)

1.一种基于TOF手势识别的多功能方向盘人车交互系统，其特征在于：所述多功能方向盘人车交互系统包括近红外照明光源单元(1)、TOF成像阵列传感器单元(2)、TOP控制单元(4)、三维点云图像处理单元(5)和汽车方向盘(6)，所述近红外照明光源单元(1)和所述TOF成像阵列传感器单元(2)分别设置在所述汽车方向盘(6)的两侧；所述近红外照明光源单元(1)对手势识别区域进行照明；所述TOP控制单元(4)对所述近红外照明光源单元(1)进行调制，同时控制所述TOF成像阵列传感器单元(2)测量手势照明和反射之间的相移，并将其转换成为手势识别的距离深度信息，经由所述三维点云图像处理单元(5)完成解析，通过CAN总线或LIN总线输出对应的方向盘多功能控制信号至车身控制器；
所述近红外照明光源单元(1)包含多个照明单体；所述TOF成像阵列传感器单元(2)一次同时测量多个照明单体，每个照明单体之间间隔与照明单体数对应的相位，利用照明和反射之间的相位差异来计算手势识别的距离深度信息；
所述TOP控制单元(4)采用多频技术对所述近红外照明光源单元(1)进行调制；所述多频技术通过添加一个或多个调制频率来工作，每个调制频率都将计算得到一个对应的测量距离，实际手势深度位置是由这些调制频率所测得多个距离共同决定；
所述多功能方向盘人车交互系统还包括透镜模组单元(3)，所述透镜模组单元(3)调节所述TOF成像阵列传感器单元(2)拾取手势图像的焦距；
所述三维点云图像处理单元(5)根据所述TOF成像阵列传感器单元(2)获得的距离深度信息，将手势部位与图像的其他背景分割开。
2.根据权利要求1所述的基于TOF手势识别的多功能方向盘人车交互系统，其特征在于：所述近红外照明光源单元(1)发出的近红外光经过识别手势反射后，通过所述TOF成像阵列传感器单元(2)对反射的近红外光进行接收。
3.根据权利要求1所述的基于TOF手势识别的多功能方向盘人车交互系统，其特征在于：所述TOP控制单元(4)对所述近红外照明光源单元(1)进行调制，同时控制所述TOF成像阵列传感器单元(2)接收反射回来的近红外光，生成三维点云图像。
CN201810497789.4A 2018-05-23 2018-05-23 一种基于tof手势识别的多功能方向盘人车交互系统 Active CN108622176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810497789.4A CN108622176B (zh) 2018-05-23 2018-05-23 一种基于tof手势识别的多功能方向盘人车交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810497789.4A CN108622176B (zh) 2018-05-23 2018-05-23 一种基于tof手势识别的多功能方向盘人车交互系统

Publications (2)

Publication Number Publication Date
CN108622176A CN108622176A (zh) 2018-10-09
CN108622176B true CN108622176B (zh) 2024-10-29

Family

ID=63694081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810497789.4A Active CN108622176B (zh) 2018-05-23 2018-05-23 一种基于tof手势识别的多功能方向盘人车交互系统

Country Status (1)

Country Link
CN (1) CN108622176B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110822719A (zh) * 2019-10-08 2020-02-21 广东万博电气有限公司 一种手势控制的电热水器
CN111679439B (zh) * 2020-08-11 2020-12-18 上海鲲游光电科技有限公司 光场调制器及其调制方法
CN116009275B (zh) * 2022-12-30 2024-07-19 福州大学 可识别动态手势的裸眼3d显示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016636A (zh) * 2009-03-05 2011-04-13 松下电器产业株式会社 距离测定装置、距离测定方法、程序以及集成电路
KR101328441B1 (ko) * 2012-06-07 2013-11-20 자동차부품연구원 차량용 스티어링 휠의 사용자 인터페이스 장치
CN103998949A (zh) * 2012-01-10 2014-08-20 索弗特凯耐提克传感器股份有限公司 对飞行时间信号处理的改进或与之相关的改进
CN104755308A (zh) * 2013-06-29 2015-07-01 奥迪股份公司 具有手势识别的机动车操作接口
CN105730496A (zh) * 2014-12-31 2016-07-06 哈曼国际工业有限公司 测力方向盘
CN108038453A (zh) * 2017-12-15 2018-05-15 罗派智能控制技术（上海）有限公司 一种基于rgbd的汽车驾驶员状态检测和识别系统
CN208411849U (zh) * 2018-05-23 2019-01-22 常州星宇车灯股份有限公司 一种基于tof手势识别的多功能方向盘人车交互系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775023B2 (en) * 2009-02-15 2014-07-08 Neanode Inc. Light-based touch controls on a steering wheel and dashboard
DE102013207664A1 (de) * 2013-04-26 2014-10-30 Zumtobel Lighting Gmbh Anordnung und Verfahren zum Erkennen von Gesten
CN103513491B (zh) * 2013-09-25 2016-04-20 南京大学 一种基于抛物线相位调制产生光学频率梳的方法和装置
CN104122995A (zh) * 2014-05-28 2014-10-29 重庆大学 一种利用视觉信息模拟赛车游戏方向盘的方法
DE102014116292A1 (de) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System zur Informationsübertragung in einem Kraftfahrzeug
DE102015015248A1 (de) * 2015-11-18 2017-05-18 Elmos Semiconductor Aktiengesellschaft Einfache Gestenerkennungsvorrichtung
CN105718065B (zh) * 2016-01-27 2018-08-21 北京交通大学 车路协同环境下的交互式视景仿真系统
CN206921118U (zh) * 2017-03-09 2018-01-23 深圳奥比中光科技有限公司 双波长图像采集系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016636A (zh) * 2009-03-05 2011-04-13 松下电器产业株式会社 距离测定装置、距离测定方法、程序以及集成电路
CN103998949A (zh) * 2012-01-10 2014-08-20 索弗特凯耐提克传感器股份有限公司 对飞行时间信号处理的改进或与之相关的改进
KR101328441B1 (ko) * 2012-06-07 2013-11-20 자동차부품연구원 차량용 스티어링 휠의 사용자 인터페이스 장치
CN104755308A (zh) * 2013-06-29 2015-07-01 奥迪股份公司 具有手势识别的机动车操作接口
CN105730496A (zh) * 2014-12-31 2016-07-06 哈曼国际工业有限公司 测力方向盘
CN108038453A (zh) * 2017-12-15 2018-05-15 罗派智能控制技术（上海）有限公司 一种基于rgbd的汽车驾驶员状态检测和识别系统
CN208411849U (zh) * 2018-05-23 2019-01-22 常州星宇车灯股份有限公司 一种基于tof手势识别的多功能方向盘人车交互系统

Also Published As

Publication number Publication date
CN108622176A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN111257866B (zh) 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN108622176B (zh) 一种基于tof手势识别的多功能方向盘人车交互系统
EP3049285B1 (en) Driver assistance system for displaying surroundings of a vehicle
CN103852067B (zh) 调整飞行时间(tof)测量系统的操作参数的方法
CN105807912B (zh) 车辆、用于控制该车辆的方法和其中的手势识别装置
CN103852754B (zh) 飞行时间(tof)测量系统中的干扰抑制的方法
KR101143176B1 (ko) 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
CN107749194B (zh) 一种变道辅助方法及移动终端
JP2016506572A (ja) インフォテイメントシステム
KR20050099623A (ko) 차량의 내부 또는 외부 장면의 3차원 검출용 차량 장치
JPH10208047A (ja) 車載用走行環境認識装置
CN109840014A (zh) 虚拟触摸识别装置及用于校正其识别误差的方法
JP7517335B2 (ja) 信号処理装置、信号処理方法、および、測距モジュール
KR101808714B1 (ko) 영상의 깊이 정보와 가상 터치 센서를 이용한 자동차 센터페시아 제어 방법
JP3961584B2 (ja) 区画線検出装置
CN109963144A (zh) 一种基于ar-hud的车载识别系统
CN112889272B (zh) 深度图像获取方法、深度图像获取装置及电子装置
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
CN208411849U (zh) 一种基于tof手势识别的多功能方向盘人车交互系统
CN114868148A (zh) 信息处理装置、信息处理系统、信息处理程序及信息处理方法
KR101809916B1 (ko) 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
CN105323539A (zh) 车用安全系统及其操作方法
CN212992427U (zh) 一种图像采集模组
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP2002314990A (ja) 車両周辺視認装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant