[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118302648A - 一次性校准 - Google Patents

一次性校准 Download PDF

Info

Publication number
CN118302648A
CN118302648A CN202280077885.8A CN202280077885A CN118302648A CN 118302648 A CN118302648 A CN 118302648A CN 202280077885 A CN202280077885 A CN 202280077885A CN 118302648 A CN118302648 A CN 118302648A
Authority
CN
China
Prior art keywords
target
image
features
reflection
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280077885.8A
Other languages
English (en)
Inventor
P·辛德勒
C·邦西诺
B·莱因
R·胡纳贝因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TrinamiX GmbH
Original Assignee
TrinamiX GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TrinamiX GmbH filed Critical TrinamiX GmbH
Publication of CN118302648A publication Critical patent/CN118302648A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/208Homogenising, shaping of the illumination light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2006Lamp housings characterised by the light source
    • G03B21/2013Plural light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提出了一种用于校准包括至少一个相机(112)和至少一个投影仪(114)的检测器(110)的方法。投影仪(114)被配置用于利用包括多个照射特征(120)的至少一个预定义照射图案(118)来照射至少一个目标(126)。相机(112)具有至少一个传感器元件(124),该至少一个传感器元件具有光学传感器矩阵,这些光学传感器各自具有光敏区域,其中,每个光学传感器被设计为响应于从目标(126)传播到相机(112)的光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号。目标(126)包括至少一个第一目标(128)和至少一个第二目标(130)。第一目标(128)和第二目标(130)具有预定义的固定相对距离。目标(126)定位在距检测器(110)预定义距离处。

Description

一次性校准
技术领域
本发明涉及一种用于校准检测器的方法、一种用于确定至少一个对象的位置的方法、一种用于确定至少一个对象的位置的检测器以及一种移动装置。本发明进一步涉及该检测器的各种用途。根据本发明的装置、方法和用途具体地可以用于各个领域,例如日常生活、游戏、交通技术、生产技术、安保技术、摄影(比如用于艺术、文档或技术目的的数字摄影或视频摄影)、医疗技术或科学。进一步地,本发明具体可以用于例如在建筑学、计量学、考古学、艺术、医学、工程或制造领域中扫描一个或多个对象和/或扫描风景,比如用于生成对象或风景的深度剖面。然而,其他应用也是可能的。
现有技术
如主动三角测量系统等3D传感器通常包括至少一个相机和至少一个光投影仪,例如结构光系统。其他三角测量系统(如立体相机)可以包括至少两个相机。要通过三角测量法进行正确的三维重建,必须了解与如相机和投影仪等部件的位置和旋转有关的情况。另外,通过三角测量法进行三维重建还需要解决场景上的重要点(例如激光光斑、投影仪的光斑或由相机捕获到的检测边缘)的对应关系。可以通过相机与投影仪的已知平移和相对旋转来计算三维位置。该参数定义了三角测量系统的外部校准。因此,三维测量结果的质量取决于外部校准。取决于硬件,已经校准的系统可能会因物理应力或温度变化而退化,即,相对位置和旋转会随时间变化。这可能导致错误的测量结果。显然,可以通过额外的重新校准过程来修复系统。这可能会耗费大量时间并且不切实际,具体取决于应用。
已经存在用于重新校准算法的概念,例如:E.Rehder等人,“Online StereoCamera Calibration From Scratch[从零开始的在线立体相机校准]”,2017年6月,会议:2017年IEEE智能车辆研讨会,DOI:10.1109/IVS.2017.7995952;以及T.Dang,“ContinuousStereo Self-Calibration by Camera Parameter Tracking[通过相机参数跟踪实现连续立体自校准]”,2009年8月IEEE图像处理汇刊8(7):1536-50,DOI:10.1109/TIP.2009.2017824。这些重新校准方法基于找到特征的对应关系,其必须满足与外部参数有关的方程组(例如对极条件)。著名的示例是八点算法。例如,在三维测量系统具有一个相机和激光点投影仪的情况下,可以假设捕获到的相机图像上的激光光斑被正确地指派到激光网格上。这意味着正确发现了对应关系。可以使用参考激光网格的关系和相机图像上的激光光斑的位置来得到线性方程组。这个线性方程要求至少有八个激光光斑对应于参考网格。这个方程可以用最小平方拟合法求解。熟练使用奇异值分解法可以确定相机和激光投影仪的旋转和平移。但是,如果对应关系是错误的,则结果可能会非常糟糕。
已知的校准过程可以基于捕获在已知距离上具有定义目标的静态场景。为了校准3D传感器,每个装置(例如,智能电话)都必须安装在特殊的校准装置上并进行一些测量。3D传感器可以在多个不同距离处测量图像,以找到投影仪和传感器光路的相关性。因此,可以在平面目标上在不同距离处记录图像。通常,可以使用线性平台来接近这些位置。然后将这些图像传输到校准算法并计算外部校准。然而,出于缩小规模的目的,必须简化3D传感器的校准。对具有不同距离的设置进行多点测量,每次测量都需要时间,因此非常耗时。
CN113066134 A描述了一种视觉传感器校准方法和装置、电子设备及存储介质。该方法包括以下步骤:确定至少两个校准对象上的参考点在世界坐标系中的第一坐标值,其中,校准对象包括第一校准对象,第一校准对象上的参考点与视觉传感器之间的距离大于第一阈值,并且不同的第一校准对象上的参考点之间的距离大于第二阈值;确定视觉传感器收集的图像中参考点的第二坐标值;以及根据第一坐标值和第二坐标值确定视觉传感器的待校准参数。CN113109829 A和CN113052919 A中描述了其他校准方法。
本发明解决的问题
因此,本发明的目的是提供面对已知装置和方法的上述技术挑战的装置和方法。具体地,本发明的目的是提供允许简化且耗时更少的3D传感器校准的装置和方法。
发明内容
该问题通过具有专利独立权利要求的特征的本发明来解决。可以单独或组合地实现的本发明的有利发展在从属权利要求和/或以下说明书和详细实施例中呈现。
在本发明的第一方面中,披露了一种用于校准包括至少一个相机和至少一个投影仪的检测器的方法。
如本文所使用的,术语“校准”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于找到投影仪和相机的光路的至少一个相关性的过程。校准可以包括补偿投影仪和相机的未对准。如本文所使用的,术语“对准”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于相机和投影仪的相对位置和/或取向。如本文所使用的,术语“未对准”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于相机和投影仪的相对位置和/或取向与标称相对位置和/或取向的偏差。
如本文所使用的,术语“检测器”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于被配置用于确定和/或检测和/或感测至少一个对象的任意传感器装置。检测器可以是固定装置或移动装置。进一步地,检测器可以是独立的装置,也可以形成另一装置(比如,计算机、车辆或任何其他装置)的一部分。进一步地,检测器可以是手持式装置。检测器的其他实施例也是可行的。检测器可以是附接到或集成在移动装置(比如,移动电话或智能电话)中的一种。检测器可以集成在移动装置中,例如在移动装置的外壳内。附加地或可替代地,检测器或检测器的至少一个部件可以比如通过使用如USB等连接器或如耳机插孔等电话连接器来附接到移动装置。
如本文所使用的,术语“投影仪”,也表示为光投影仪,是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于被配置为将至少一个照射图案投射到对象上、具体地投射到对象的表面上的光学装置。
投影仪被配置用于利用包括多个照射特征的至少一个照射图案来照射至少一个对象。
如本文所使用的,术语“图案”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于包括多个任意形状的特征(比如,符号)的任意已知的或预定的布置。图案可以包括多个特征。图案可以包括周期性或非周期性特征的布置。如本文所使用的,术语“至少一个照射图案”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于包括适于照射对象的至少一部分的照射特征的至少一个任意图案。
如本文所使用的,术语“照射特征”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于图案的至少一个至少部分延伸的特征。照射图案包括多个照射特征。照射图案可以是规则的、特别是周期性的图案。照射图案可以包括选自由以下各项组成的组中的至少一个图案:至少一个准随机图案;至少一个Sobol图案;至少一个准周期性图案;至少一个点图案,特别是伪随机点图案;至少一个线图案;至少一个条纹图案;至少一个棋盘图案;至少一个三角形图案;至少一个矩形图案;至少一个六边形图案或包括进一步的凸镶嵌的图案。照射图案可以表现出选自由以下各项组成的组中的至少一个照射特征:至少一个点;至少一条线;至少两条线,比如平行线或交叉线;至少一个点和一条线;周期性特征的至少一种布置;至少一个任意形状的特征图案。例如,照射图案包括至少一个图案,该至少一个图案包括至少一个预知特征。例如,照射图案包括至少一个线图案,该至少一个线图案包括至少一条线。例如,照射图案包括至少一个线图案,该至少一个线图案包括比如平行线或交叉线等至少两条线。例如,投影仪可以被配置用于生成和/或投射点云或非点状特征。例如,投影仪可以被配置用于生成点云或非点状特征,使得照射图案可以包括多个点特征或非点状特征。
如本文进一步使用的,术语“利用至少一个照射图案来照射对象”可以是指提供至少一个照射图案用于照射至少一个对象。
如本文所使用的,术语“射线”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于垂直于光的波前、指向能量流方向的线。如本文所使用的,术语“射束”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于射线的集合。在下文中,术语“射线”和“射束”将作为同义词使用。如本文所使用的,术语“光束”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于一定量的光,具体地是指基本上沿相同方向行进的一定量的光,包括光束具有扩展角或加宽角的可能性。光束可以具有空间延伸。具体地,光束可以具有非高斯射束剖面。射束剖面可以选自由以下各项组成的组:梯形射束剖面;三角形射束剖面;锥形射束剖面。梯形射束剖面可以具有高台区和至少一个边缘区。光束具体可以是高斯光束或高斯光束的线性组合,如下面将进一步详细概述的。然而,其他实施例也是可行的。
投影仪可以包括至少一个发射器和/或至少一个发射器阵列。这些发射器中的每一个可以被配置用于发射至少一个光束。
由发射器产生的光束通常可以平行于光轴传播或相对于光轴倾斜(例如,包括与光轴成角度)传播。检测器可以被配置为使得一个或多个光束沿着该检测器的光轴从该检测器向对象传播。为此目的,检测器可以包括用于将光束偏转到光轴上的至少一个反射元件,优选地偏转到至少一个棱镜。作为示例,光束与光轴可以包括小于10°,优选地小于5°或者甚至小于2°的角度。然而,其他实施例也是可行的。进一步地,光束可以位于光轴上或在光轴外。作为示例,一个或多个光束可以平行于光轴,并且与光轴的距离小于10mm,优选地与光轴的距离小于5mm或者甚至与光轴的距离小于1mm,或者甚至可以与光轴重合。
如本文所使用的,术语“发射器”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于被配置用于提供至少一个光束以用于照射该对象的至少一个任意装置。这些发射器中的每一个可以是和/或可以包括选自由至少一个激光源和至少一个非激光光源组成的组中的至少一个元件,该至少一个激光源比如为至少一个半导体激光器、至少一个双异质结构激光器、至少一个外腔激光器、至少一个分离约束异质结构激光器、至少一个量子级联激光器、至少一个分布式布拉格反射激光器、至少一个极化激元激光器、至少一个混合硅激光器、至少一个扩展腔二极管激光器、至少一个量子点激光器、至少一个体布拉格光栅激光器、至少一个砷化铟激光器、至少一个砷化镓激光器、至少一个晶体管激光器、至少一个二极管泵浦激光器、至少一个分布式反馈激光器、至少一个量子阱激光器、至少一个带间级联激光器、至少一个半导体环形激光器、至少一个垂直腔面发射激光器(VCSEL);该至少一个非激光光源比如为至少一个LED或至少一个灯泡。
该发射器阵列可以是二维或一维阵列。阵列可以包括布置成矩阵的多个发射器。如本文所使用的,术语“矩阵”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于多个元件按预定几何顺序的布置。具体地,矩阵可以是或者可以包括具有一行或多行和一列或多列的矩形矩阵。具体地,行和列可以以矩形方式布置。然而,其他布置也是可行的,比如非矩形布置。作为示例,圆形布置也是可行的,其中,元件围绕中心点布置成同心圆或椭圆形。
例如,发射器可以是VCSEL阵列。如本文所使用的,术语“垂直腔面发射激光器”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于被配置用于相对于顶表面垂直地发射激光束的半导体激光二极管。VCSEL的示例可以例如在en.wikipedia.org/wiki/Vertical-cavity_surface-emitting_laser中找到。VCSEL通常是技术人员已知的,比如从WO 2017/222618 A中可知。VCSEL中的每一个被配置用于产生至少一个光束。VCSEL可以布置在公共的衬底上或不同的衬底上。阵列可以包括最多2500个VCSEL。例如,阵列可以包括38x 25个VCSEL,比如具有3.5W的高功率阵列。例如,阵列可以包括10x 27个VCSEL,具有2.5W。例如,阵列可以包括96个VCSEL,具有0.9W。例如具有2500个元件的阵列的尺寸可以最多为2mm x2mm。
由相应的发射器所发射的光束可以具有300至1100nm、优选地为500至1100nm的波长。例如,光束可以具有940nm的波长。例如,可以使用红外光谱范围内的光,比如780nm至3.0μm范围内的光。具体地,可以使用硅光电二极管适用的近红外区的部分中(具体地是在700nm至1100nm的范围内)的光。发射器可以被配置用于在红外区、特别是在近红外区内生成至少一个照射图案。使用近红外区内的光可以允许光不被人眼检测到或仅微弱地被人眼检测到,并且仍然可由硅传感器、特别是标准硅传感器检测到。例如,发射器可以是VCSEL阵列。VCSEL可以被配置用于发射波长范围为800至1000nm的光束。例如,VCSEL可以被配置用于发射808nm、850nm、940nm或980nm的光束。优选地,VCSEL发射940nm的光,因为地面太阳辐射在该波长处具有辐照度的局部最小值,例如如CIE 085-1989“Solar spectralIrradiance[太阳光谱辐照度]”中所述。
投影仪可以包括传递装置,其被配置用于从照射在传递装置上的光束生成照射特征。术语“传递装置”(也表示为“传递系统”)通常可以是指适于改变光束(比如通过改变光束的射束参数、光束的宽度或光束的方向中的一个或多个)的一个或多个光学元件。传递装置可以包括至少一个成像光学装置。传递装置具体地可以包括以下各项中的一项或多项:至少一个透镜,例如选自由至少一个可调焦透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅耳透镜组成的组中的至少一个透镜;至少一个衍射光学元件;至少一个凹面镜;至少一个射束偏转元件,优选为至少一个反射镜;至少一个分束元件,优选为分束立方体或分束镜中的至少一者;至少一个多透镜系统;至少一个全息光学元件;至少一个超构光学元件。具体地,传递装置包括至少一个折射光学透镜模组。因此,传递装置可以包括具有折射特性的多透镜系统。
投影仪可以包括被配置用于生成照射图案的至少一个衍射光学元件(DOE)。DOE可以被配置用于从单个入射光束产生多个光束。
相机具有至少一个传感器元件,该至少一个传感器元件具有光学传感器矩阵。光学传感器各自具有光敏区域。每个光学传感器被设计为响应于从对象传播到相机的光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号。
如本文所使用的,术语“相机”可以是指具有至少一个成像元件的装置,该至少一个成像元件被配置用于记录或捕获空间解析的一维、二维或甚至三维光学数据或信息。作为示例,相机可以包括至少一个相机芯片,比如被配置用于记录图像的至少一个CCD芯片和/或至少一个CMOS芯片。如本文所使用的,非限制性地,术语“图像”具体地可以涉及通过使用相机记录的数据,比如来自成像装置的多个电子读数,比如相机芯片的像素。
如本文所使用的,术语“传感器元件”通常可以是指被配置用于感测至少一个参数的装置、或多个装置的组合。在这种情况下,参数具体地可以为光学参数,并且传感器元件具体地可以为光学传感器元件。传感器元件可以形成为整体的单个装置或者形成为若干装置的组合。具体地,矩阵可以是或者可以包括具有一行或多行和一列或多列的矩形矩阵。具体地,行和列可以以矩形方式布置。然而,其他布置也是可行的,比如非矩形布置。作为示例,圆形布置也是可行的,其中,元件围绕中心点布置成同心圆或椭圆形。例如,矩阵可以是单行像素。其他布置也是可行的。
如本文所使用的,“光学传感器”通常可以是指用于检测光束(比如用于检测由至少一个光束生成的照射和/或光斑)的光敏装置。如本文进一步使用的,“光敏区域”通常是指光学传感器的可以由至少一个光束从外部照射的区域,响应于该照射,生成该至少一个传感器信号。光敏区域具体地可以位于相应光学传感器的表面上。然而,其他实施例也是可行的。具体地,矩阵的光学传感器在尺寸、敏感性和其他光学特性、电特性和机械特性中的一个或多个方面可以相同。具体地,矩阵的所有光学传感器的光敏区域可以位于公共平面内,该公共平面优选面向对象,使得从对象传播到检测器的光束可以在该公共平面上产生光斑。
如本文所使用的,术语“各自具有至少一个光敏区域的光学传感器”是指各自具有一个光敏区域的多个单一光学传感器的配置以及具有多个光敏区域的一个组合光学传感器的配置。因此,术语“光学传感器”还是指被配置为生成一个输出信号的光敏装置,而在本文中,被配置为生成两个或更多个输出信号的光敏装置(例如至少一个CCD和/或CMOS器件)被称为两个或更多个光学传感器。每个光学传感器可以被实施为使得在相应光学传感器中存在恰好一个光敏区域,比如通过提供恰好一个可以被照射的光敏区域,响应于该照射,为整个光学传感器生成恰好一个统一的传感器信号。因此,每个光学传感器可以是单区域光学传感器。然而,单区域光学传感器的使用使得检测器的设置具体地变得特别简单和高效。因此,作为示例,可以在设置中使用各自仅具有一个敏感区域的可商购的光电传感器,比如可商购的硅光电二极管。然而,其他实施例也是可行的。因此,作为示例,可以使用包括两个、三个、四个或多于四个的光敏区域的光学装置,该光学装置在本发明的上下文中被视为两个、三个、四个或多于四个的光学传感器。如上所述,传感器元件包括光学传感器矩阵。因此,作为示例,光学传感器可以是像素化光学装置的一部分或构成像素化光学装置。作为示例,光学传感器可以是至少一个具有像素矩阵的CCD和/或CMOS器件的一部分或构成至少一个CCD和/或CMOS器件,每个像素形成一个光敏区域。
具体地,光学传感器可以是或可以包括光电检测器,优选为无机光电检测器,更优选为无机半导体光电检测器,最优选为硅光电检测器。具体地,光学传感器可以在红外光谱范围内是敏感的。具体地,矩阵的所有光学传感器或者矩阵的至少一组光学传感器可以是相同的。具体地,可以针对不同的光谱范围提供矩阵中的多组相同的光学传感器,或者所有光学传感器在光谱敏感度方面可以是相同的。进一步地,光学传感器在尺寸上和/或在它们的电子或光电特性方面可以是相同的。
具体地,光学传感器可以是或者可以包括在红外光谱范围内、优选地在780nm至3.0微米的范围内具有敏感性的无机光电二极管。具体地,光学传感器可以在硅光电二极管适用的近红外区的一部分中(具体地是在700nm至1000nm的范围内)是敏感的。可以用于光学传感器的红外光学传感器可以是可商购的红外光学传感器,比如可从德国莱茵河畔路德维希港(D-67056)的trinamiX GmbH公司以商品名HertzstueckTM商购的红外光学传感器。因此,作为示例,光学传感器可以包括至少一个本征光伏型的光学传感器,更优选地选自由以下各项组成的组中的至少一个半导体光电二极管:Ge光电二极管、InGaAs光电二极管、扩展型InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或可替代地,光学传感器可以包括至少一个非本征光伏型的光学传感器,更优选地选自由以下各项组成的组中的至少一个半导体光电二极管:Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或可替代地,光学传感器可以包括至少一个辐射热测量计,优选地选自由VO辐射热测量计和非晶Si辐射热测量计组成的组中的辐射热测量计。
矩阵可以由独立的光学传感器组成。因此,矩阵可以由无机光电二极管组成。然而,可替代地,可以使用可商购矩阵,比如CCD检测器(比如CCD检测器芯片)和/或CMOS检测器(比如CMOS检测器芯片)中的一者或多者。
因此,一般来说,检测器的光学传感器可以形成传感器阵列,或者可以是传感器阵列(比如上述矩阵)的一部分。因此,作为示例,检测器可以包括光学传感器的阵列,比如具有m行和n列的矩形阵列,其中,m、n分别为正整数。优选地多于一列和多于一行,即,n>1,m>1。因此,作为示例,n可以是2至16或更高,并且m可以是2至16或更高。优选地,行数与列数之比接近1。作为示例,可以将n和m选择成使得0.3≤m/n≤3,比如通过选择m/n=1:1、4:3、16:9等等。作为示例,阵列可以是具有相同数量的行和列的正方形阵列,比如通过选择m=2、n=2或m=3、n=3等。
具体地,矩阵可以为具有至少一行(优选地多行)和多列的矩形矩阵。作为示例,行和列可以基本上垂直地定向,其中,关于术语“基本上垂直”,可以参考上文给出的定义。因此,作为示例,小于20°、具体地小于10°或者甚至小于5°的公差可以是可接受的。为了提供宽范围的视野,矩阵具体地可以具有至少10行,优选地至少50行,更优选地至少100行。类似地,矩阵可以具有至少10列,优选地至少50列,更优选地至少100列。矩阵可以包括至少50个光学传感器,优选地至少100个光学传感器,更优选地至少500个光学传感器。矩阵可以包括数百万像素范围内的像素数量。然而,其他实施例也是可行的。因此,在预期具有轴向旋转对称的设置中,矩阵的光学传感器(也可以称为像素)的圆形布置或同心布置可能是优选的。
传感器元件可以基本上垂直于检测器的光轴定向。再次,关于术语“基本上垂直”,可以参考上文给出的定义和公差。光轴可以是笔直的光轴,或可以是弯曲的或甚至是分离的(比如通过使用一个或多个偏转元件和/或通过使用一个或多个分束器),其中,在后一种情况下,基本上垂直的取向可以是指光学设置的相应分支或射束路径中的局部光轴。
反射光束可以从对象向相机传播。反射光束可以源自对象。投影仪可以利用至少一个照射图案来照射对象,并且光被对象再发射、反射和/或散射,并且由此至少部分地作为反射光束被引导至相机。
具体地,由对象生成的光束(也表示为反射光束)可以完全照射传感器元件,使得传感器元件完全位于光束内,其中,光束的宽度大于矩阵。反之,优选地,反射光束具体地可以在整个矩阵上产生小于矩阵的光斑,使得光斑完全位于矩阵内。这种情况可以由光学领域的技术人员通过选择对光束具有聚焦或散焦效果的一个或多个合适的透镜或元件(比如通过使用合适的传递装置)来容易地调整。
具体地,光敏区域可以定向为朝向对象。如本文所使用的,术语“定向为朝向对象”通常是指从对象上完全或部分可见光敏区域的相应表面的情况。具体地,对象的至少一点与相应的光敏区域的至少一点之间的至少一条互连线可以与光敏区域的表面元件形成不为0°的角度,比如角度在20°至90°范围内,优选地80°至90°,比如90°。因此,当对象位于光轴上或接近光轴时,从对象向检测器传播的光束可以基本上平行于光轴。如本文所使用的,术语“基本上垂直”是指垂直取向的状况,公差为例如±20°或更小,优选地公差为±10°或更小,更优选公差为±5°或更小。类似地,术语“基本上平行”是指平行取向的条件,公差例如为±20°或更小,优选地公差为±10°或更小,更优选地公差为±5°或更小。
光学传感器可以在紫外光谱范围、可见光谱范围或红外光谱范围中的一个或多个光谱范围中是敏感的。具体地,光学传感器可以在500nm至780nm的可见光谱范围内、最优选地在650nm至750nm或在690nm至700nm是敏感的。具体地,光学传感器可以在近红外区中是敏感的。具体地,光学传感器可以在硅光电二极管适用的近红外区的一部分中(具体地是在700nm至1000nm的范围内)是敏感的。具体地,光学传感器可以在红外光谱范围内、具体地在780nm至3.0微米的范围内是敏感的。例如,光学传感器均独立地可以是或者可以包括选自由光电二极管、光电池、光电导体、光电晶体管或以上各项的任意组合组成的组中的至少一个元件。例如,光学传感器可以是或者可以包括选自由CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或以上各项的任意组合组成的组中的至少一个元件。可以使用任何其他类型的光敏元件。光敏元件通常可以全部或部分地由无机材料制成和/或可以全部或部分地由有机材料制成。最常见的是,可以使用一个或多个光电二极管,比如可商购的光电二极管,例如无机半导体光电二极管。
如本文进一步使用的,“传感器信号”通常是指由光学传感器响应于光束的照射而生成的信号。具体地,传感器信号可以是或者可以包括至少一个电信号,比如至少一个模拟电信号和/或至少一个数字电信号。更具体地,传感器信号可以是或者可以包括至少一个电压信号和/或至少一个电流信号。更具体地,传感器信号可以包括至少一个光电流。进一步地,可以使用原始传感器信号,或者检测器、光学传感器或任何其他元件可以被配置用于处理或预处理传感器信号(比如通过滤波等进行预处理),从而生成次级传感器信号,这些次级传感器信号也可以用作传感器信号。
如本文所使用的,术语“对象”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于任意对象、特别是表面或区域,其被配置用于至少部分地反射和/或散射照射到对象上的至少一个光束。光束可以源自投影仪,该投影仪照射对象,其中,光束被对象反射和/或散射。
根据本发明的用于校准检测器的方法所使用的对象是目标。目标定位在距检测器预定义距离处。术语“预定义距离”可以是指目标与检测器之间的相对距离。具体地,预定义距离可以是纵坐标。该方法可以包括手动或自动将目标定位到预定义距离,例如,通过使用至少一个z轴平台。该方法可以包括至少一个定位步骤,该定位步骤包括将目标定位在预定义距离处。
目标包括至少一个第一目标和至少一个第二目标。例如,目标可以包括两个目标屏幕。如本文所使用的,术语“目标屏幕”可以是指具有被配置用于显示投射光束的平面表面的投影屏幕。例如,目标屏幕可以是不透明的屏幕。投影仪和相机可以布置在目标屏幕的同一侧。
这些方法步骤可以以给定的顺序执行或者可以以不同的顺序执行。进一步地,可以存在未列出的一个或多个额外的方法步骤。进一步地,可以重复执行其中一个、多于一个或者甚至所有方法步骤。
该方法包括以下步骤:
a)通过使用该投影仪,利用该照射图案的第一部分照射该第一目标,并利用该照射图案的第二部分照射该第二目标,其中,该照射图案的第一部分和第二部分不同,并且通过使用该相机成像出被照射的第一目标和被照射的第二目标的至少一个组合反射图像,其中,该组合反射图像包括由该第一目标响应于该照射图案的第一部分而生成的多个第一反射特征以及由该第二目标响应于该照射图案的第二部分而生成的多个第二反射特征;
b)通过使用该检测器的至少一个评估装置将该组合反射图像分割成第一反射图像和第二反射图像,其中,该第一反射图像包括这些第一反射特征,并且该第二反射图像包括这些第二反射特征;
c)对于该第一反射图像,通过使用该评估装置使用该预定义照射图案来重建与该照射图案的第二部分有关的缺失反射特征,并且,对于该第二反射图像,通过使用该评估装置使用该预定义照射图案来重建与该照射图案的第一部分有关的缺失反射特征;
d)通过使用该评估装置通过将与该照射图案的第二部分有关的重建反射特征添加到该第一反射图像来确定第一重建图像,并且通过使用该评估装置通过将与该照射图案的第一部分有关的重建反射特征添加到该第二反射图像来确定第二重建图像;
e)通过使用该评估装置评估该第一重建图像和该第二重建图像,其中,该评估包括
e1)考虑到该目标的预定义距离以及该第一目标和该第二目标的该预定义的固定相对距离,将该第一重建图像的反射特征与该第二重建图像的反射特征进行匹配,从而确定匹配的反射特征对;
e2)针对这些匹配的反射特征对中的每一对确定对极线,其中,这些相应的匹配的反射特征位于该对极线上;
f)通过使用该评估装置使用所确定的对极线来确定该检测器的至少一个外部校准信息。
第一目标和第二目标具有预定义的固定相对距离。“预定义的固定相对距离”可以是指第一目标与第二目标之间的相对位置,其至少在组合反射图像的成像期间保持不变和/或不可变。第一目标和第二目标在空间中具有固定的相对x、y和z坐标。目标可以包括不同的步长(step)。目标可以包括至少一个机械元件和/或至少一个机械结构,其被配置用于将第一目标和第二目标保持在预定义的固定相对距离处。机械元件和/或至少一个机械结构可以包括至少一个光具座和/或至少一个光轨。然而,机械元件和/或机械结构可以被配置用于允许仅在照射和成像之前和/或之后设置和/或适配第一目标与第二目标之间的相对距离。可替代地,机械元件和/或机械结构可以被配置用于永久固定第一目标与第二目标之间的相对距离。第一目标和第二目标可以形成静态结构。如本文所使用的,术语“静态”结构可以是指至少在照射和成像期间是静态的。例如,第一目标和第二目标可以是定位在不同纵坐标(z)的两个目标屏幕,特别是一个位于另一个后面。至少一个横坐标(x和/或y)也可以不同,使得可以同时照射和成像出第一目标和第二目标。
第一目标可以布置在检测器的测量范围的前部,并且第二目标可以布置在检测器的测量范围的后部。具体地,第一目标和第二目标的表面定位在测量范围的前部和后部。第一目标可以是前部目标,并且第二目标可以是后部目标。如本文所使用的,术语“测量范围”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于测量偏差保持在指定限制内的范围。例如,固定相对距离可以是600mm。例如,第一目标可以定位在距检测器200mm的位置处,并且第二目标可以定位在距检测器800mm的位置处。
检测器(例如,相机)可以包括另外的传递装置,其被配置用于将该光束引导到这些光学传感器上并且用于在该传感器元件上形成该反射图像。另外的传递装置可以构成坐标系,其中,纵坐标z是沿传递装置的光轴的坐标。坐标系可以是极坐标系,其中传递装置的光轴形成z轴,并且其中,距z轴的距离、以及极角可以用作附加坐标。例如,另外的传递装置可以构成坐标系,其中,检测器的光轴形成z轴,并且其中,附加地,可以设置垂直于z轴且彼此垂直的x轴和y轴。作为示例,检测器可以停留在该坐标系中的特定点处,比如该坐标系的原点处。平行于或反平行于z轴的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵坐标。垂直于z轴的任何方向可以被认为是横向方向,并且极坐标和/或极角可以被认为是横坐标。可替代地,可以使用其他类型的坐标系。因此,作为示例,可以使用极坐标系,其中,光轴形成z轴,并且其中,距z轴的距离、以及极角可以用作附加坐标。平行于或反平行于z轴的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵坐标。垂直于z轴的任何方向可以被认为是横向方向,并且极坐标和/或极角可以被认为是横坐标。
照射图案的第一部分和照射图案的第二部分可以是照射图案的两半。照射图案的照射特征的一半可以投射在第一目标上,而另一半可以投射在第二目标上。
如本文所使用的,术语“反射图像”通常可以是指由相机确定的包括多个反射特征的图像。如本文所使用的,术语“反射特征”通常可以是指由对象响应于利用至少一个照射特征进行照射而产生的图像平面中的特征。反射图像可以包括包含反射特征的至少一个反射图案。如本文所使用的,术语“成像出至少一个反射图像”是指捕获、记录以及生成反射图像中的一项或多项。
如本文所使用的,术语“组合反射图像”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于包括被照射的第一目标的反射图像和被照射的第二目标的反射图像两者的图像。具体地,组合反射图像是由相机的单次拍摄成像出的一个单一图像。可以仅拍摄一张图像,其中照射特征的一半投射在第一目标上,另一半投射在第二目标上。
这些反射特征中的每一个反射特征包括至少一个射束剖面。如本文所使用的,术语“射束剖面”通常可以是指光束强度的空间分布,特别是在垂直于光束传播的至少一个平面中的空间分布。射束剖面可以是光束的横向强度剖面。射束剖面可以是光束的截面。射束剖面可以选自由以下各项组成的组:梯形射束剖面;三角形射束剖面;圆锥形射束剖面、以及高斯射束剖面的线性组合。然而,其他实施例也是可行的。
术语“评估装置”通常可以是指适于优选地通过使用至少一个数据处理装置、更优选地通过使用至少一个处理器和/或至少一个专用集成电路执行指定操作的任意装置。因此,作为示例,该至少一个评估装置可以包括至少一个数据处理装置,该至少一个数据处理装置上存储有软件代码,该软件代码包括多个计算机命令。评估装置可以提供用于执行指定操作中的一个或多个指定操作的一个或多个硬件元件和/或可以提供一个或多个在其上运行软件以执行指定操作中的一个或多个指定操作的处理器。操作包括对图像进行评估。因此,作为示例,一个或多个指令可以以软件和/或硬件来实施。因此,作为示例,评估装置可以包括一个或多个可编程装置,比如被配置为执行上述评估的一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。然而,附加地或可替代地,评估装置还可以完全或部分地由硬件实施。
评估装置可以是或可以包括一个或多个集成电路(比如一个或多个专用集成电路(ASIC))、和/或一个或多个数据处理装置(比如一个或多个计算机,优选地一个或多个微型计算机和/或微控制器)、现场可编程阵列或数字信号处理器。可以包括附加部件,比如一个或多个预处理装置和/或数据采集装置,比如用于接收和/或预处理传感器信号的一个或多个装置,比如一个或多个AD转换器和/或一个或多个滤波器。进一步地,评估装置可以包括一个或多个测量装置,比如用于测量电流和/或电压的一个或多个测量装置。进一步地,评估装置可以包括一个或多个数据存储装置。进一步地,评估装置可以包括一个或多个接口,比如一个或多个无线接口和/或一个或多个有线接口。
评估装置可以连接到或可以包括至少一个另外的数据处理装置,该数据处理装置可以用于显示、可视化、分析、分发、传送或进一步处理信息(比如光学传感器和/或评估装置获得的信息)中的一项或多项。作为示例,数据处理装置可以连接或合并有显示器、投影仪、监视器、LCD、TFT、扬声器、多通道音响系统、LED图案、或另一可视化装置中的至少一个。数据处理装置可以进一步连接或合并有通信装置或通信接口、连接器或端口中的至少一个,能够使用电子邮件、文本消息、电话、蓝牙、Wi-Fi、红外或互联网接口、端口或连接件中的一种或多种来发送加密或未加密的信息。数据处理装置可以进一步连接到或合并有以下各项中的至少一个:处理器、图形处理器、CPU、开放多媒体应用平台(OMAPTM)、集成电路、片上系统(比如来自Apple A系列或三星S3C2系列的产品)、微控制器或微处理器,一个或多个存储器块(比如ROM、RAM、EEPROM或闪存)、比如振荡器或锁相环等定时源、计数器-定时器、实时定时器、或上电复位发生器、电压调节器、电源管理电路、或DMA控制器。各个单元可以进一步通过总线(比如AMBA总线)连接,或者集成到物联网或工业4.0类型的网络中。
评估装置和/或数据处理装置可以通过另外的外部接口或端口连接或具有另外的外部接口或端口,比如以下中的一个或多个:串行或并行接口或端口、USB、Centronics端口、火线、HDMI、以太网、蓝牙、RFID、Wi-Fi、USART或SPI、或者模拟接口或端口,比如ADC或DAC中的一个或多个,或者到其他装置(比如使用RGB接口(比如CameraLink)的2D相机装置)的标准化接口或端口。评估装置和/或数据处理装置可以进一步通过处理器间接口或端口、FPGA-FPGA接口、或者串行或并行接口端口中的一个或多个来连接。评估装置和数据处理装置可以进一步连接到光盘驱动器、CD-RW驱动器、DVD+RW驱动器、闪存驱动器、存储卡、磁盘驱动器、硬盘驱动器、固态盘或固态硬盘中的一个或多个。
评估装置和/或数据处理装置可以通过一个或多个另外的外部连接器连接或具有一个或多个另外的外部连接器,比如电话连接器、RCA连接器、VGA连接器、雌雄同体连接器、USB连接器、HDMI连接器、8P8C连接器、BCN连接器、IEC 60320 C14连接器、光纤连接器、D-超小型连接器、RF连接器、同轴连接器、SCART连接器、XLR连接器中的一个或多个,和/或可以合并有用于这些连接器中的一个或多个连接器的至少一个合适的插座。
如本文所使用的,术语“分割组合反射图像”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于将组合反射图像划分成两个图像区。该方法可以包括通过使用评估装置来确定组合反射图像内的边缘。可以在边缘位置处将组合反射图像分割成第一反射图像和第二反射图像。
如本文所使用的,术语“与照射图案的一部分有关”可以是指反射特征由照射图案的相应部分生成。如上所述,通过构建,第一反射图像可以仅包括由照射图案的第一部分生成的反射特征,并且第二反射图像可以仅包括由照射图案的第二部分生成的反射特征。因此,在第一反射图像中,本应由照射图案的第二部分生成的反射特征缺失,并且在第二反射图像中,本应由照射图案的第一部分生成的反射特征缺失。如本文所使用的,术语“缺失反射特征”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于本应由未照射相应目标的照射图案的一部分生成的反射特征。
在步骤c)中,对于第一反射图像和第二反射图像,使用预定义的照射图案来重建缺失反射特征。如上所述,预定义照射图案(也表示为标称网格)可以是具有照射特征的预定义位置和照射特征之间的预定义距离的周期性且规则的图案。评估装置可以被配置用于使用标称网格确定第一反射图像和第二反射图像中缺失的反射特征。例如,评估装置可以被配置用于将第一反射图像的反射特征与标称网格进行比较,并且将第二反射图像的反射特征与标称网格进行比较,以确定缺失反射特征。然而,在可行的实施例中,评估装置简单地假设照射图案的另一部分的反射特征缺失,并且继续重建假设的缺失反射特征。
如本文所使用的,术语“重建”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于确定反射图像中反射特征的位置。对于重建,可以使用标称网格。重建可以包括将标称网格内的照射特征的位置适配到反射图像内的假设位置。评估装置可以被配置用于确定包括第一反射图像的第一反射特征的第一反射图案的规律性和/或周期性。评估装置可以被配置用于确定包括第二反射图像的第二反射特征的第二反射图案。评估装置可以被配置用于针对第一反射图像,通过考虑所确定的第一反射图案的规律性和/或周期性来适配照射图案的第二部分的照射特征的位置,以重建与照射图案的第二部分有关的缺失反射特征。评估装置可以被配置用于针对第二反射图像,通过考虑所确定的第二反射图案的规律性和/或周期性来适配照射图案的第一部分的照射特征的位置,以重建与照射图案的第一部分有关的缺失反射特征。在标称网格的帮助下,可以在两半上重建反射图案的缺失部分。
步骤d)包括通过将与照射图案的第二部分有关的重建反射特征添加到第一反射图像来确定第一重建图像,并且通过将与照射图案的第一部分有关的重建反射特征添加到第二反射图像来确定第二重建图像。如本文所使用的,术语“重建图像”是广义的术语,并且将被赋予其对于本领域普通技术人员而言普通和常规的含义并且不限于特殊或自定义含义。该术语具体地可以是指但不限于在图像的一半上包括成像的反射特征并在图像的另一半上包括重建反射特征的图像。这两个重建图像用于校准。
步骤e)包括评估第一重建图像和第二重建图像。
该方法可以包括通过使用至少一种图像分析和/或图像处理算法来识别第一重建图像和第二重建图像中的反射特征。评估装置可以被配置用于选择相应的第一和第二重建图像的反射特征。如本文所使用的,术语“选择至少一个反射特征”通常可以是指识别、确定以及选择重建图像的至少一个反射特征中的一项或多项。评估装置可以被配置用于执行至少一种图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下一项或多项:滤波;选择至少一个关注区;形成由传感器信号创建的图像与至少一个偏移之间的差分图像;通过反转由传感器信号创建的图像来反转传感器信号;形成由传感器信号在不同时间创建的图像之间的差分图像;背景校正;分解为颜色通道;分解为色调;饱和度;以及亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯拉普拉斯滤波器;应用高斯差分滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用罗伯茨算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅里叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值化;创建二值图像。关注区可以是由用户手动确定的或者可以是比如通过识别图像内的对象来自动确定的。
评估装置可以被配置用于执行至少一种图像校正。图像校正可以包括至少一种背景减除。评估装置可以适于例如通过在没有另外的照射的情况下成像来从射束剖面中去除背景光的影响。
评估装置可以被配置用于考虑目标的预定义距离以及第一目标和第二目标的预定义的固定相对距离来匹配第一重建图像和第二重建图像的反射特征。评估装置可以被配置用于考虑目标的预定义距离以及第一目标和第二目标的预定义的固定相对距离来明确匹配第一重建图像和第二重建图像的反射特征。如本文所使用的,术语“匹配”可以是指识别和/或确定和/或评估第一重建图像和第二重建图像的对应反射特征。如本文所使用的,术语“对应反射特征”可以是指第一重建图像的反射特征中的每个反射特征在第二重建图像中具有由同一照射特征生成(或本应生成)的对应反射特征的事实。如本文所使用的,术语“明确匹配”可以是指仅将第一重建图像的一个反射特征指派到第二重建图像的一个反射特征和/或不能将第一重建图像的其他(多个)反射特征指派到第二重建图像的同一反射特征,反之亦然。由于预定义距离是已知的,因此不需要解决对应问题。因此,该方法可以包括对第一重建图像和第二重建图像的反射特征中的每一个反射特征进行编号并匹配对应的编号。在步骤e1)之后,匹配的反射特征对是已知的,包括其像素坐标和其相应的预定义距离。
该方法进一步包括在步骤e2)中针对匹配的反射特征对中的每一对确定对极线。针对匹配的反射特征对中的每一对的对极线由相应的匹配的反射特征位于同一对极线上的事实来定义。评估装置可以被配置用于使用匹配的反射特征的像素坐标和预定义距离来确定对极线。对于对极几何的描述,请参考例如编者为X.Jiang和H.Bunke的“三维计算机视觉[Dreidimensionales Computersehen]”中第2章,施普林格,柏林、海德堡,1997年。
步骤f)包括通过使用评估装置使用所确定的对极线来确定检测器的外部校准信息,特别是相机和投影仪的外部校准信息。该方法可以包括根据对极线几何计算外部校准信息。该方法可以包括通过评估对极线的倾斜、移位、畸变中的一项或多项来确定外部校准信息。例如,外部校准信息是具有选自由以下各项组成的组中的至少一种信息:投影仪与相机之间的旋转角度、投影仪与相机之间的平移分量、孔径角、传感器元件的中心、孔径、焦距。例如,在z轴方向上的平移、特别是投影仪与相机之间的z偏移可能会导致倾斜的对极线。例如,围绕x轴旋转可能会导致对极线的图案移位和梯形畸变。
该方法可以包括通过使用评估装置将外部校准信息与至少一个预定义标称值进行比较,从而确定投影仪和相机的对准的校正。例如,预定义标称值可以是具有选自由以下各项组成的组中的至少一种预定义标称值:投影仪与相机之间的旋转角度、投影仪与相机之间的平移分量、孔径角、传感器元件的中心、孔径、焦距。例如,预定义标称值可以是投影仪与相机之间的平移的标称距离值。例如,旋转的标称值可以是0°,使得投影仪和相机被视为定位在同一平面上。比较可以包括使用至少一种数学运算来将外部校准信息与预定义标称值进行比较。
该方法可以包括在外部校准信息超过预定义标称值至少一个预定义公差范围以上的情况下,校正投影仪和相机的对准。如本文所使用的,术语“校正”可以是指补偿所确定的未对准。对准的校正可以包括例如在检测器的制造期间适配投影仪和相机的相对位置,和/或例如在检测器的操作期间校正成像出的反射图像。例如,预定义公差范围可以是标称值的±10%、优选地标称值的±5%、更优选地标称值的±1%。然而,公差范围的其他实施例是可行的。在预定义公差范围内没有发现外部校准信息和相应标称值的偏差的情况下,投影仪和相机的对准被认为是“正确的”。在这种情况下,可能不需要校正。
该方法可以包括至少一个验证步骤,其中,验证步骤包括重复步骤a)至f),并将外部校准信息与至少一个预定义标称值进行比较,以用于验证校正是否成功,使得外部校准信息至少一次在预定义公差范围内与该预定义标称值相当。
在另一方面中,披露了一种用于确定至少一个对象的位置的方法。该方法包括通过使用根据本发明的用于校准的方法来校准检测器。因此,关于定义和实施例,参考根据本发明的用于校准的方法。
这些方法步骤可以以给定的顺序执行或者可以以不同的顺序执行。进一步地,可以存在未列出的一个或多个额外的方法步骤。进一步地,可以重复执行其中一个、多于一个或者甚至所有方法步骤。
该方法进一步包括以下步骤:
-通过使用该投影仪利用包括多个照射特征的至少一个照射图案来照射至少一个对象,并且通过使用该相机成像出至少一个反射图像,该至少一个反射图像包括由该对象响应于由这些照射特征的照射而生成的多个反射特征,其中,这些反射特征中的每一个反射特征包括至少一个射束剖面;
-通过使用该检测器的至少一个评估装置对这些反射特征中的每一个反射特征的相应射束剖面的分析来确定该每一个反射特征的至少一个纵坐标。
在距离测量的上下文中,对象可以是任意对象。例如,对象可以是人、特别是人脸。
如本文所使用的,术语“位置”可以是指关于对象和/或对象的至少一部分在空间中的位置的至少一项信息。因此,该至少一项信息可以暗示对象的至少一个点与至少一个检测器之间的至少一个距离。该距离可以是对象的点的纵坐标,或者可以有助于确定其纵坐标。附加地或可替代地,可以确定关于对象和/或对象的至少一部分的位置的一项或多项其他信息。作为示例,附加地,可以确定对象和/或对象的至少一部分的至少一个横坐标。因此,对象的位置可以暗示对象和/或对象的至少一部分的至少一个纵坐标。附加地或可替代地,对象的位置可以暗示对象和/或对象的至少一部分的至少一个横坐标。此外,位置可以暗示关于对象在空间中的取向的信息。如本文所使用的,术语“取向”可以是指对象在空间中的角位置。取向可以由三个空间角度给出。
射束剖面的分析可以包括确定射束剖面的至少一个第一区域和至少一个第二区域。评估装置可以被配置用于通过以下各项中的一项或多项得出组合信号Q:第一区域和第二区域相除,第一区域和第二区域的倍数相除,第一区域和第二区域的线性组合相除。确定纵坐标可以进一步包括使用组合信号Q与纵坐标之间的至少一个预定关系来确定对象的纵坐标。
评估装置被配置用于通过对这些反射特征的射束剖面的分析确定其中每一个反射特征的至少一个纵坐标,也表示为zDPR。如本文所使用的,术语“射束剖面的分析”通常可以是指射束剖面的评估,并且可以包括至少一个数学运算和/或至少一个比较和/或至少一个对称化和/或至少一个滤波和/或至少一个归一化。例如,射束剖面的分析可以包括直方图分析步骤、差异量度的计算、神经网络的应用、机器学习算法的应用中的至少一个。评估装置可以被配置用于将射束剖面对称化和/或归一化和/或滤波,特别是去除来自在较大角度的、记录边缘等下的记录的噪声或不对称性。评估装置可以通过去除高空间频率(比如通过空间频率分析和/或中值滤波等)来对射束剖面滤波。可以通过光斑的强度中心并对距中心相同距离处的所有强度进行平均来执行汇总。评估装置可以被配置用于将射束剖面归一化至最大强度,特别是考虑由于所记录的距离而导致的强度差异。评估装置可以被配置用于例如通过在没有照射的情况下成像来从射束剖面中去除背景光的影响。
反射特征可以覆盖图像的至少一个像素或者可以延伸于其上。例如,反射特征可以覆盖多个像素或者可以延伸于其上。评估装置可以被配置用于确定和/或选择连接到和/或属于反射特征(例如光斑)的所有像素。评估装置可以被配置用于通过下式确定强度中心:
其中,Rcoi是强度中心的位置,rpixel是像素位置,并且l=∑jItotal,其中,j是连接到和/或属于反射特征的像素的数量j,并且Itotal是总强度。
评估装置可以被配置用于通过使用光子比率深度技术(也表示为射束剖面分析)来确定这些反射特征中的每一个反射特征的纵坐标。关于光子比率深度(DPR)技术,请参考以下文献:WO 2018/091649 A1;WO 2018/091638A1;WO 2018/091640A1;以及C.Lennartz、F.Schick、S.Metz的“Whitepaper-Beam Profile Analysis for 3D imaging andmaterial detection[白皮书-用于3D成像和材料检测的射束剖面分析]”,2021年4月28日,德国路德维希港,这些文献的完整内容通过引用包括在本文中。
评估装置可以被配置用于确定这些反射特征中的每一个反射特征的射束剖面。如本文所使用的,术语“确定射束剖面”是指识别由光学传感器提供的至少一个反射特征和/或选择由光学传感器提供的至少一个反射特征,并评估该反射特征的至少一个强度分布。作为示例,可以使用和评估矩阵区来确定强度分布,比如三维强度分布或二维强度分布,比如沿穿过矩阵的轴线或线。作为示例,可以比如通过确定具有最高照射度的至少一个像素来确定光束的照射中心,并且可以通过照射中心选择截面轴线。强度分布可以是随着沿穿过照射中心的该截面轴线的坐标而变化的强度分布。其他评估算法也是可行的。
这些反射特征之一的射束剖面的分析可以包括确定射束剖面的至少一个第一区域和至少一个第二区域。射束剖面的第一区域可以是区域A1并且射束剖面的第二区域可以是区域A2。评估装置可以被配置用于对第一区域和第二区域积分。评估装置可以被配置为通过以下各项中的一项或多项得出组合信号Q(也表示为商Q):经积分的第一区域和经积分的第二区域相除,经积分的第一区域和经积分的第二区域的倍数相除,经积分的第一区域和经积分的第二区域的线性组合相除。
评估装置可以被配置用于确定射束剖面的至少两个区域和/或将射束剖面分段成包括射束剖面的不同区域的至少两个部段,其中,只要这些区域不全等,这些区域的重叠就可以是可能的。例如,评估装置可以被配置用于确定多个区域,比如两个、三个、四个、五个或最多十个区域。评估装置可以被配置用于将光斑分段成射束剖面的至少两个区域和/或将射束剖面分段成包括射束剖面的不同区域的至少两个部段。评估装置可以被配置用于针对区域中的至少两个确定射束剖面在相应区域上的积分。评估装置可以被配置用于比较所确定的积分中的至少两个。具体地,评估装置可以被配置用于确定射束剖面的至少一个第一区域和至少一个第二区域。如本文所使用的,术语“射束剖面的区域”通常是指用于确定组合信号的光学传感器的位置处的射束剖面的任意区。射束剖面的第一区域和射束剖面的第二区域可以是相邻或重叠区中的一者或两者。射束剖面的第一区域和射束剖面的第二区域可以在面积上不全等。例如,评估装置可以被配置用于将传感器元件的传感器区划分为至少两个子区,其中,评估装置可以被配置用于将传感器元件的传感器区划分为至少一个左侧部分和至少一个右侧部分和/或至少一个上部部分和至少一个下部部分和/或至少一个内部部分和至少一个外部部分。附加地或可替代地,检测器可以包括至少两个光学传感器,其中,第一光学传感器的光敏区域和第二光学传感器的光敏区域可以被布置为使得第一光学传感器适于确定反射特征的射束剖面的第一区域,并且第二光学传感器适于确定反射特征的射束剖面的第二区域。评估装置可以适于对第一区域和第二区域积分。
射束剖面的第一区域可以包括射束剖面的基本上边缘信息,并且射束剖面的第二区域包括射束剖面的基本上中心信息,和/或射束剖面的第一区域可以包括基本上关于射束剖面的左侧部分的信息,并且射束剖面的第二区域包括基本上关于射束剖面的右侧部分的信息。射束剖面可以具有中心(即射束剖面的最大值和/或射束剖面的高台的中心点和/或光斑的几何中心)、以及从中心延伸的下降边缘。第二区可以包括截面的内部区并且第一区可以包括截面的外部区。如本文所使用的,术语“基本上中心信息”通常是指与中心信息的比例(即,对应于中心的强度分布的比例)相比,边缘信息的比例(即,对应于边缘的强度分布的比例)低。优选地,中心信息具有不到10%、更优选地不到5%的边缘信息比例,最优选地中心信息不包括边缘内容。如本文所使用的,术语“基本上边缘信息”通常是指与边缘信息的比例相比,中心信息的比例低。边缘信息可以包括整个射束剖面的信息,特别是来自中心和边缘区的信息。边缘信息可以具有不到10%、优选地不到5%的中心信息比例,更优选地边缘信息不包括中心内容。如果射束剖面的至少一个区域靠近或围绕中心并且包括基本上中心信息,则可以将该区域确定和/或选择为射束剖面的第二区域。如果射束剖面的至少一个区域包括截面的下降边缘的至少多个部分,则可以将该区域确定和/或选择为射束剖面的第一区域。例如,可以将截面的整个区域确定为第一区。
第一区域A1和第二区域A2的其他选择也可以是可行的。例如,第一区域可以包括射束剖面的基本上外部区,并且第二区域可以包括射束剖面的基本上内部区。例如,在二维射束剖面的情况下,射束剖面可以划分为左侧部分和右侧部分,其中,第一区域可以包括基本上射束剖面的左侧部分的区域,并且第二区域可以包括基本上射束剖面的右侧部分的区域。
边缘信息可以包括与射束剖面的第一区域中的光子数量有关的信息,并且中心信息可以包括与射束剖面的第二区域中的光子数量有关的信息。评估装置可以被配置用于确定射束剖面的面积积分。评估装置可以被配置用于通过对第一区域进行积分和/或求和来确定边缘信息。评估装置可以被配置用于通过对第二区域进行积分和/或求和来确定中心信息。例如,射束剖面可以是梯形射束剖面,并且评估装置可以被配置用于确定梯形的积分。进一步地,当可以假设梯形射束剖面时,对边缘信号和中心信号的确定可以被替换为利用对梯形射束剖面的特性进行的等效评估,比如确定边缘的斜率和位置以及中心高台的高度并通过几何考虑得出边缘信号和中心信号。
在一个实施例中,A1可以对应于特征点在光学传感器上的全部或完整区域。A2可以是特征点在光学传感器上的中心区域。中心区域可以是恒定值。与特征点的整个区域相比,中心区域可以更小。例如,在圆形特征点的情况下,中心区域的半径可以为特征点全半径的0.1至0.9,优选地为全半径的0.4至0.6。
在一个实施例中,照射图案可以至少包括点图案。A1可以对应于点图案在光学传感器上的点的全半径的区域。A2可以是点图案中在光学传感器上的点的中心区域。中心区域可以是恒定值。中心区域可以具有与全半径相比的半径。例如,中心区域的半径可以为全半径的0.1至0.9,优选地为全半径的0.4至0.6。
评估装置可以被配置为通过以下各项中的一项或多项得出商Q:第一区域和第二区域相除,第一区域和第二区域的倍数相除,第一区域和第二区域的线性组合相除。评估装置可以被配置用于通过下式得出商Q:
其中,x和y是横坐标,A1和A2分别是射束剖面的第一区域和第二区域,E(x,y)表示射束剖面。
附加地或可替代地,评估装置可以适于根据光斑的至少一个切片或切割确定中心信息或边缘信息中的一者或两者。这可以例如通过用沿切片或切割的线积分代替商Q中的面积积分来实现。为了提高准确性,可以使用光斑的若干个切片或切割并对其进行平均。在椭圆形光斑剖面的情况下,对若干个切片或切割进行平均可以得到改进的距离信息。
例如,在光学传感器具有像素矩阵的情况下,评估装置可以被配置用于通过以下方式评估射束剖面:
-确定具有最高传感器信号的像素并形成至少一个中心信号;
-评估矩阵的传感器信号并形成至少一个总和信号;
-通过将中心信号与总和信号相组合来确定商Q;以及
-通过评估商Q来确定对象的至少一个纵坐标z。
传感器信号可以是由光学传感器和/或光学传感器的至少一个像素响应于照射而生成的信号。具体地,传感器信号可以是或者可以包括至少一个电信号,比如至少一个模拟电信号和/或至少一个数字电信号。更具体地,传感器信号可以是或者可以包括至少一个电压信号和/或至少一个电流信号。更具体地,传感器信号可以包括至少一个光电流。进一步地,可以使用原始传感器信号,或者检测器、光学传感器或任何其他元件可以适于处理或预处理传感器信号(比如通过滤波等进行预处理),从而生成次级传感器信号,这些次级传感器信号也可以用作传感器信号。术语“中心信号”通常是指包括射束剖面的基本上中心信息的至少一个传感器信号。如本文所使用的,术语“最高传感器信号”是指局部最大值或关注区中的最大值中的一者或两者。例如,中心信号可以是在整个矩阵中或矩阵内关注区中的像素生成的多个传感器信号中具有最高传感器信号的像素的信号,其中,该关注区可以是预定的或可在由矩阵的像素生成的图像内确定。中心信号可以源自单一像素或一组光学传感器,其中,在后一种情况下,作为示例,该组像素的传感器信号可以被相加、积分或平均,以便确定中心信号。产生中心信号的该组像素可以是一组相邻的像素,比如与具有最高传感器信号的实际像素相距小于预定距离的像素,也可以是生成的传感器信号在最高传感器信号的预定范围内的一组像素。可以以尽可能大的方式来选择产生中心信号的该组像素,以便允许最大动态范围。评估装置可以适于通过对多个传感器信号(例如具有最高传感器信号的像素周围的多个像素)进行积分来确定中心信号。例如,射束剖面可以是梯形射束剖面,并且评估装置可以适于确定梯形的积分,特别是梯形的高台的积分。
如上所述,中心信号通常可以是单个传感器信号,比如来自光斑中心的像素的传感器信号,也可以是多个传感器信号的组合,比如,由光斑中心的像素产生的传感器信号的组合,还可以是通过处理由一种或多种上述可能性得出的传感器信号而得出的次级传感器信号。由于常规电子设备能相当简单地实施传感器信号的比较,因此中心信号的确定可以以电子方式执行,或者可以完全或部分地通过软件执行。具体地,中心信号可以选自由以下各项组成的组:最高传感器信号;处于与最高传感器信号的预定公差范围内的一组传感器信号的平均值;来自一组像素(其包含具有最高传感器信号的像素和一组预定的相邻像素)的传感器信号的平均值;来自一组像素(其包含具有最高传感器信号的像素和一组预定的相邻像素)的传感器信号的总和;处于与最高传感器信号的预定公差范围内的一组传感器信号的总和;高于预定阈值的一组传感器信号的平均值;高于预定阈值的一组传感器信号的总和;来自一组光学传感器(其包含具有最高传感器信号的光学传感器和一组预定的相邻像素)的传感器信号的积分;处于与最高传感器信号的预定公差范围内的一组传感器信号的积分;高于预定阈值的一组传感器信号的积分。
类似地,术语“总和信号”通常是指包括射束剖面的基本上边缘信息的信号。例如,可以通过将传感器信号相加、对传感器信号进行积分或者对整个矩阵中或矩阵内的关注区中的传感器信号求平均来得出总和信号,其中,该关注区可以是预定的或可在由矩阵的光学传感器生成的图像内确定。当对传感器信号进行相加、积分或平均时,生成传感器信号的实际光学传感器可以被排除在相加、积分或平均之外,可替代地,其也可以被包括在相加、积分或平均中。评估装置可以适于通过对整个矩阵中或矩阵内的关注区中的信号进行积分来确定总和信号。例如,射束剖面可以是梯形射束剖面,并且评估装置可以适于确定整个梯形的积分。进一步地,当可以假设梯形射束剖面时,对边缘信号和中心信号的确定可以被替换为利用对梯形射束剖面的特性进行的等效评估,比如确定边缘的斜率和位置以及中心高台的高度并通过几何考虑得出边缘信号和中心信号。
类似地,也可以通过使用射束剖面的部段(比如射束剖面的圆形部段)来确定中心信号和边缘信号。例如,可以通过不经过射束剖面的中心的割线或弦将射束剖面划分为两个部段。因此,一个部段将基本上包含边缘信息,而另一部段将包含基本上中心信息。例如,为了进一步减少中心信号中的边缘信息量,可以进一步从中心信号中减去边缘信号。
商Q可以是通过组合中心信号与总和信号而生成的信号。具体地,该确定可以包括以下各项中的一项或多项:形成中心信号与总和信号的商,反之亦然;形成中心信号的倍数与总和信号的倍数的商,反之亦然;形成中心信号的线性组合与总和信号的线性组合的商,反之亦然。附加地或可替代地,商Q可以包括包含关于中心信号与总和信号之间的比较的至少一项信息的任意信号或信号组合。
如本文所使用的,术语“对象的纵坐标”是指光学传感器与对象之间的距离。评估装置可以被配置用于使用组合信号与纵坐标之间的至少一个预定关系来确定纵坐标。该预定关系可以是经验关系、半经验关系和分析得出的关系中的一个或多个。评估装置可以包括至少一个数据存储装置,用于存储预定关系,比如查找列表或查找表。
评估装置可以被配置用于执行至少一种光子比率深度算法,该算法计算具有零阶和更高阶的所有反射特征的距离。
评估装置可以被配置用于将所述反射特征指派给对应的发射器。如本文所使用的,术语“将所述反射特征指派给阵列的对应的发射器”通常可以是指确定(特别是明确地确定)阵列中已发射引起所选反射特征的照射特征的一个发射器。在已知的3D感测装置(比如使用三角测量或结构光技术的装置)中,解决该对应关系问题是复杂且耗时的。评估装置可以被配置用于通过使用纵坐标zDPR来明确地匹配反射特征与对应的发射器。利用光子比率深度技术确定的纵坐标可以用于解决对应关系问题。这样,可以将每个反射特征的距离信息用于找到发射器阵列的对应关系。该匹配包括识别和/或确定和/或评估对应的发射器和反射特征。如本文所使用的,术语“对应的发射器和反射特征”可以是指这样的事实:照射图案的这些照射特征中的每一个照射特征由发射器之一生成、被投射到对象并由相机成像为反射特征,其中,所成像的反射特征被指派给已生成所述反射特征的照射特征。
可以使用对极几何来确定与反射特征相对应的照射特征(并且因此,发射器)。对于对极几何的描述,请参考例如编者为X.Jiang和H.Bunke的“三维计算机视觉[Dreidimensionales Computersehen]”中第2章,施普林格,柏林、海德堡,1997年。对极几何可以假设照射图像(即,未畸变的照射图案的图像)和反射图像可以是在具有固定距离的不同空间位置和/或空间取向处确定的图像。该距离可以是相对距离,也表示为基线。照射图像也可以被表示为参考图像。评估装置可以适于确定参考图像中的对极线。参考图像和反射图像的相对位置可以是已知的。例如,参考图像和反射图像的相对位置可以存储在评估装置的至少一个存储单元内。评估装置可以适于确定从反射图像的所选反射特征延伸到该反射特征所源自的真实世界特征的直线。因此,该直线可以包括与所选反射特征相对应的可能对象特征。该直线和基线张成对极平面。由于参考图像是在与反射图像不同的相对星座处确定的,因此对应的可能对象特征可能被成像在参考图像中的一条直线上,这条直线被称为对极线。对极线可以是对极平面与参考图像的相交。因此,与反射图像的所选特征相对应的参考图像的特征位于对极线上。
取决于距已反射照射特征的对象的距离,与照射特征相对应的反射特征可以在反射图像内位移。参考图像可以包括至少一个位移区,与所选反射特征相对应的照射特征将被成像在该区中。位移区可以仅包括一个照射特征。位移区还可以包括多于一个照射特征。位移区可以包括对极线或对极线的一部分。位移区可以包括多于一条对极线或多于一条对极线的多个部分。位移区可以沿着对极线延伸、正交于对极线延伸或以这两种方式延伸。评估装置可以适于确定沿着对极线的照射特征。评估装置可以适于根据组合信号Q确定反射特征的纵坐标z以及误差间隔±ε,以便确定沿着对极线的与z±ε相对应的位移区或者与对极线正交的位移区。使用组合信号Q进行距离测量的测量不确定度可能导致第二图像中非圆形的位移区,因为测量不确定度在不同方向上可能不同。具体地,沿着一条或多条对极线的测量不确定度可能大于在相对于一条或多条对极线的正交方向上的测量不确定度。位移区可以包括在相对于一条或多条对极线的正交方向上的延伸。评估装置可以适于将所选反射特征与位移区内的至少一个照射特征进行匹配。评估装置可以适于在考虑所确定的纵坐标zDPR的情况下通过使用至少一种评估算法来将反射图像的所选特征与位移区内的照射特征进行匹配。评估算法可以是线性缩放算法。评估装置可以适于确定与位移区最接近和/或在位移区内的对极线。评估装置可以适于确定与反射特征的图像位置最接近的对极线。沿着对极线的位移区的范围可以大于与对极线正交的位移区的范围。评估装置可以适于在确定对应的照射特征之前确定对极线。评估装置可以确定每个反射特征的图像位置周围的位移区。评估装置可以适于向反射特征的每个图像位置的每个位移区指派对极线,比如通过指派与位移区最接近和/或在位移区内和/或与沿正交于对极线的方向的位移区最接近的对极线。评估装置可以适于通过确定与指派位移区最接近和/或在指派位移区内和/或与沿指派对极线的指派位移区最接近和/或在沿指派对极线的指派位移区内的照射特征,来确定与反射特征相对应的照射特征。
附加地或可替代地,评估装置可以被配置为执行以下步骤:
-确定每个反射特征的图像位置的位移区;
-向每个反射特征的位移区指派对极线,比如通过指派与位移区最接近和/或在位移区内和/或与沿正交于对极线的方向的位移区最接近的对极线;
-为每个反射特征指派和/或确定至少一个照射特征,比如通过指派与指派位移区最接近和/或在指派位移区内和/或与沿指派对极线的指派位移区最接近和/或在沿指派对极线的指派位移区内的照射特征。
附加地或可替代地,评估装置可以适于在要指派给一个反射特征的多于一条/个对极线和/或照射特征之间进行判定,比如通过比较照射图像内的反射特征和/或对极线的距离,和/或通过比较照射图像内照射特征和/或对极线的误差加权距离(比如ε加权距离),并将距离和/或ε加权距离较短的对极线和/或照射特征指派给照射特征和/或反射特征。
评估装置可以被配置用于通过使用至少一种三角测量方法来确定至少一个纵坐标ztriang。评估装置可以适于确定照射特征和反射特征的位移。评估装置可以适于确定匹配的照射特征和所选反射特征的位移。评估装置(例如评估装置的至少一个数据处理装置)可以被配置为确定照射特征和反射特征的位移,特别是通过比较照射图像和反射图像的相应图像位置。如本文所使用的,术语“位移”可以是指照射图像中的图像位置与反射图像中的图像位置之间的差异。评估装置可以适于使用纵坐标与位移之间的预定关系来确定相匹配特征的纵坐标。评估装置可以适于通过使用三角测量方法来确定预定关系。用于确定至少一个纵坐标的其他方法(比如离焦深度和/或结构光技术)也是可能的。
在另一方面中,披露了一种用于确定至少一个对象的位置的检测器。
该检测器包括
-至少一个投影仪,该至少一个投影仪用于利用包括多个照射特征的至少一个照射图案来照射至少一个对象,
-至少一个相机,该至少一个相机具有至少一个传感器元件,该至少一个传感器元件具有光学传感器矩阵,这些光学传感器各自具有光敏区域,其中,每个光学传感器被设计为响应于从该对象传播到该相机的反射光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号,其中,该相机被配置用于成像出至少一个反射图像,该至少一个反射图像包括由该对象响应于由这些照射特征的照射而生成的多个反射特征;
-至少一个评估装置,该至少一个评估装置被配置用于执行根据涉及用于校准检测器的方法的本发明的方法和/或根据涉及用于确定至少一个对象的位置的方法的本发明的用于确定至少一个对象的位置的方法。
关于检测器的实施例和定义,参考方法的描述。
投影仪可以包括至少一个发射器和/或至少一个发射器阵列。发射器中的每一个可以是和/或可以包括选自由至少一个激光源和至少一个非激光光源组成的组中的至少一个元件,该至少一个激光源比如为至少一个半导体激光器、至少一个双异质结构激光器、至少一个外腔激光器、至少一个分离约束异质结构激光器、至少一个量子级联激光器、至少一个分布式布拉格反射激光器、至少一个极化激元激光器、至少一个混合硅激光器、至少一个扩展腔二极管激光器、至少一个量子点激光器、至少一个体布拉格光栅激光器、至少一个砷化铟激光器、至少一个砷化镓激光器、至少一个晶体管激光器、至少一个二极管泵浦激光器、至少一个分布式反馈激光器、至少一个量子阱激光器、至少一个带间级联激光器、至少一个半导体环形激光器、至少一个垂直腔面发射激光器;该至少一个非激光光源比如为至少一个LED或至少一个灯泡。
相机可以包括至少一个CCD传感器或至少一个CMOS传感器。
评估装置可以被配置用于通过对这些反射特征中的每一个反射特征的射束剖面的分析来确定该每一个反射特征的纵坐标,其中,对射束剖面的分析包括确定射束剖面的至少一个第一区域和至少一个第二区域。评估装置可以被配置用于通过以下各项中的一项或多项得出组合信号Q:第一区域和第二区域相除,第一区域和第二区域的倍数相除,第一区域和第二区域的线性组合相除。评估装置可以被配置用于使用组合信号Q与纵坐标之间的至少一个预定关系来确定对象的纵坐标。
在另一方面中,披露了一种套件。该套件包括根据本发明(比如根据上文披露的一个或多个实施例或根据下文进一步详细披露的一个或多个实施例)的检测器。细节、选项和定义可以参考上文讨论的方法和检测器。该套件进一步包括目标。该目标包括至少一个第一目标和至少一个第二目标,其中,第一目标和第二目标具有预定义的固定相对距离。与目标有关的细节、选项和定义可以参考上文讨论的对方法和检测器的描述。
在另一方面中,披露了一种移动装置。该移动装置包括至少一个根据本发明(比如根据上文披露的一个或多个实施例或根据下文进一步详细披露的一个或多个实施例)的检测器。细节、选项和定义可以参考上文讨论的方法和检测器。该移动装置是移动通信装置(比如蜂窝电话或智能电话)、平板计算机、便携式计算机中的一者或多者。
在另一方面中,披露了一种计算机程序,其包括用于当在计算机上或计算机网络上执行该程序时执行根据本发明的用于校准和/或用于确定位置的方法的计算机可执行指令。
具体地,计算机程序可以存储在计算机可读数据载体和/或计算机可读存储介质上。如本文所使用的,术语“计算机可读数据载体”和“计算机可读存储介质”具体地可以是指非暂态数据存储装置,比如其上存储有计算机可执行指令的硬件存储介质。计算机可读数据载体或存储介质具体地可以是或可以包括诸如随机存取存储器(RAM)和/或只读存储器(ROM)等存储介质。
因此,具体地,如上所指示的方法步骤中的一个、多于一个或者甚至所有都可以通过使用计算机或计算机网络、优选地通过使用计算机程序来执行。
本文进一步披露和提出了一种具有程序代码装置的计算机程序产品,以便当程序在计算机或计算机网络上执行时执行本文所包含的一个或多个实施例中的根据本发明的一种或多种方法。具体地,程序代码装置可以存储在计算机可读数据载体和/或计算机可读存储介质上。
本文进一步披露和提出了一种其上存储有数据结构的数据载体,该数据载体在加载到计算机或计算机网络中(比如加载到计算机或计算机网络的工作存储器或主存储器中)之后,可以执行根据本文所披露的一个或多个实施例的一种或多种方法。
本文进一步披露和提出了一种计算机程序产品,其具有存储在机器可读载体上的程序代码装置,以便当该程序在计算机或计算机网络上执行时执行根据本文所披露的一个或多个实施例的一种或多种方法。如本文所用,计算机程序产品是指作为可交易产品的程序。产品通常可以以任意格式存在,比如以纸质格式,或者存在于计算机可读数据载体和/或计算机可读存储介质上。具体地,计算机程序产品可以通过数据网络分布。
最后,本文披露和提出了一种调制数据信号,其包含计算机系统或计算机网络可读的指令,用于执行根据本文所披露的一个或多个实施例的一种或多种方法。
参考本发明的计算机实施的方面,根据本文披露的实施例中的一个或多个的方法的方法步骤中的一个或多个或者甚至所有方法步骤可以通过使用计算机或计算机网络来执行。因此,通常,包括数据的提供和/或操控的方法步骤中的任一个可以通过使用计算机或计算机网络来执行。通常,这些方法步骤可以包括任何方法步骤,但通常需要手动工作的方法步骤除外,比如提供样本和/或执行实际测量的某些方面。
具体地,本文进一步披露了:
-一种计算机或计算机网络,其包括至少一个处理器,其中,该处理器适于执行根据本说明书中描述的实施例之一的一种或多种方法,
-一种计算机可加载数据结构,其适于当在计算机上执行该数据结构时,执行根据本说明书中描述的实施例之一的一种或多种方法,
-一种计算机程序,其中,该计算机程序适于当在计算机上执行该程序时,执行根据本说明书中描述的实施例之一的一种或多种方法,
-一种计算机程序,其包括用于当在计算机上或计算机网络上执行该计算机程序时执行根据本说明书中描述的实施例之一的一种或多种方法的程序装置,
-一种计算机程序,其包括根据前述实施例的程序装置,其中,该程序装置存储在计算机可读的存储介质上,
-一种存储介质,其中,数据结构存储在该存储介质上,并且其中,该数据结构适于在被加载到计算机或计算机网络的主存储设备和/或工作存储设备中之后执行根据本说明书中描述的实施例之一的一种或多种方法,以及
-一种具有程序代码装置的计算机程序产品,其中,该程序代码装置可以存储在或被存储在存储介质上,用于当在计算机或计算机网络上执行该程序代码装置时执行根据本说明书中描述的实施例之一的一种或多种方法。
在本发明的另一方面中,提出了根据本发明(比如根据上文给出的或下文进一步详细给出的一个或多个实施例)的检测器的用于选自由以下各项组成的组的使用目的的用途:交通技术中的位置测量;娱乐应用;安保应用;监视应用;安全应用;人机界面应用;物流应用;跟踪应用;户外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用;步态监测应用;人体监测应用;家庭护理;智能生活、汽车应用。
关于本发明的检测器和装置的另外用途,请参考以下文献:WO 2018/091649A1;WO2018/091638 A1;WO 2018/091640 A1;以及C.Lennartz、F.Schick、S.Metz,“Whitepaper-Beam Profile Analysis for 3Dimaging and material detection[白皮书-用于3D成像和材料检测的射束剖面分析]”,2021年4月28日,德国路德维希港,这些文献的内容通过引用包括在本文中。
如本文所使用的,术语“具有”、“包括”或“包含”或其任何任意语法变型以非排他性方式使用。因此,这些术语既可以指的是除了这些术语引入的特征之外,在该上下文中描述的实体中不存在另外特征的情况,又可以指的是存在一个或多个另外特征的情况。作为示例,表述“A具有B”、“A包括B”和“A包含B”既可以指的是除B之外,A中不存在另外要素的情况(即,A仅且单独地由B组成的情况),又可以指的是除了B之外,实体A中还存在一个或多个另外要素(比如要素C、要素C和D或者甚至另外要素)。
进一步地,应当注意,术语“至少一个”、“一个或多个”、或指示特征或要素可能出现一次或不止一次的类似表达典型地仅在引入相应的特征或要素时使用一次。本文中,在大多数情况下,当提及相应特征或要素时,表述“至少一个”或“一个或多个”不被重复,但是相应特征或要素可以出现一次或多于一次。
进一步地,如本文所使用的,术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似术语与可选特征结合使用,而不限制替代性的可能性。因此,这些术语引入的特征是可选特征并且不旨在以任何方式限制权利要求的范围。正如技术人员认识到的,本发明可以通过使用替代性特征来执行。类似地,由“在本发明的实施例中”或类似表述引入的特征旨在是可选特征,而不对本发明的替代性实施例有任何限制,不对本发明的范围有任何限制,并且不对以这种方式引入的特征与本发明的其他可选或非可选特征组合的可能性有任何限制。
总体上,在本发明的上下文中,以下实施例被认为是优选的:
实施例1.一种用于校准检测器的方法,该检测器包括至少一个相机和至少一个投影仪,其中,该投影仪被配置用于利用包括多个照射特征的至少一个预定义照射图案来照射至少一个目标,其中,该相机具有至少一个传感器元件,该至少一个传感器元件具有光学传感器矩阵,这些光学传感器各自具有光敏区域,其中,每个光学传感器被设计为响应于从该目标传播到该相机的光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号,其中,该目标包括至少一个第一目标和至少一个第二目标,其中,该第一目标和该第二目标具有预定义的固定相对距离,其中,该目标定位在距该检测器的预定义距离处,其中,该方法包括以下步骤:
a)通过使用该投影仪,利用该照射图案的第一部分照射该第一目标,并利用该照射图案的第二部分照射该第二目标,其中,该照射图案的第一部分和第二部分不同,并且通过使用该相机成像出被照射的第一目标和被照射的第二目标的至少一个组合反射图像,其中,该组合反射图像包括由该第一目标响应于该照射图案的第一部分而生成的多个第一反射特征以及由该第二目标响应于该照射图案的第二部分而生成的多个第二反射特征;
b)通过使用该检测器的至少一个评估装置将该组合反射图像分割成第一反射图像和第二反射图像,其中,该第一反射图像包括这些第一反射特征,并且该第二反射图像包括这些第二反射特征;
c)对于该第一反射图像,通过使用该评估装置使用该预定义照射图案来重建与该照射图案的第二部分有关的缺失反射特征,并且,对于该第二反射图像,通过使用该评估装置使用该预定义照射图案来重建与该照射图案的第一部分有关的缺失反射特征;
d)通过使用该评估装置通过将与该照射图案的第二部分有关的重建反射特征添加到该第一反射图像来确定第一重建图像,并且通过使用该评估装置通过将与该照射图案的第一部分有关的重建反射特征添加到该第二反射图像来确定第二重建图像;
e)通过使用该评估装置评估该第一重建图像和该第二重建图像,其中,该评估包括
e1)考虑到该目标的预定义距离以及该第一目标和该第二目标的该预定义的固定相对距离,将该第一重建图像的反射特征与该第二重建图像的反射特征进行匹配,从而确定匹配的反射特征对;
e2)针对这些匹配的反射特征对中的每一对确定对极线,其中,这些相应的匹配的反射特征位于该对极线上;
f)通过使用该评估装置使用所确定的对极线来确定该检测器的至少一个外部校准信息。
实施例2.根据前一项实施例所述的方法,该组合反射图像是由该相机的单次拍摄成像出的一个单一图像。
实施例3.根据前述实施例中任一项所述的方法,其中,该外部校准信息是具有选自由以下各项组成的组中的至少一种信息:该投影仪与该相机之间的旋转角度、该投影仪与该相机之间的平移分量、孔径角、该传感器元件的中心、孔径、焦距。
实施例4.根据前述实施例中任一项所述的方法,其中,该方法包括通过评估这些对极线的倾斜、移位、畸变中的一项或多项来确定该外部校准信息。
实施例5.根据前述实施例中任一项所述的方法,其中,该第一目标和该第二目标形成静态结构。
实施例6.根据前述实施例中任一项所述的方法,其中,该第一目标布置在该检测器的测量范围的前部,并且该第二目标布置在该检测器的测量范围的后部。
实施例7.根据前述实施例中任一项所述的方法,其中,该照射图案的第一部分和该照射图案的第二部分是该照射图案的两半,其中,该照射图案的照射特征的一半投射在该第一目标上,而另一半投射在该第二目标上。
实施例8.根据前述实施例中任一项所述的方法,其中,该方法包括通过使用该评估装置来确定该组合反射图像内的边缘,其中,在该边缘位置处将该组合反射图像分割成该第一反射图像和该第二反射图像。
实施例9.根据前述实施例中任一项所述的方法,其中,该方法包括通过使用至少一种图像分析和/或图像处理算法来识别该第一重建图像和该第二重建图像的反射特征。
实施例10.根据前述实施例中任一项所述的方法,其中,该方法包括通过使用该评估装置将该外部校准信息与至少一个预定义标称值进行比较,从而确定该投影仪和该相机的对准的校正。
实施例11.根据前一项实施例所述的方法,其中,该方法包括在该外部校准信息超过该预定义标称值至少一个预定义公差范围以上的情况下,校正该投影仪和该相机的对准。
实施例12.根据前一项实施例所述的方法,其中,该对准的校正包括适配该投影仪和该相机的相对位置和/或校正由该相机成像出的反射图像。
实施例13.根据前三项实施例中任一项所述的方法,其中,该方法包括至少一个验证步骤,其中,该验证步骤包括重复步骤a)至f),并将该外部校准信息与该至少一个预定义标称值进行比较,以用于验证该校正是否成功,使得该外部校准信息至少一次在该预定义公差范围内与该预定义标称值相当。
实施例14.一种用于确定至少一个对象的位置的方法,该方法包括通过使用根据前述实施例中任一项所述的用于校准的方法来校准检测器,其中,该方法进一步包括以下步骤:
-通过使用该投影仪利用包括多个照射特征的至少一个照射图案来照射至少一个对象,并且通过使用该相机成像出至少一个反射图像,该至少一个反射图像包括由该对象响应于由这些照射特征的照射而生成的多个反射特征,其中,这些反射特征中的每一个反射特征包括至少一个射束剖面;
-通过使用该检测器的至少一个评估装置对这些反射特征中的每一个反射特征的相应射束剖面的分析来确定该每一个反射特征的至少一个纵坐标。
实施例15.根据前一项实施例所述的方法,其中,该射束剖面的分析包括确定该射束剖面的至少一个第一区域和至少一个第二区域,以及通过以下各项中的一项或多项来得出组合信号Q:该第一区域和该第二区域相除,该第一区域和该第二区域的倍数相除,该第一区域和该第二区域的线性组合相除,其中,确定该纵坐标进一步包括使用该组合信号Q与纵坐标之间的至少一个预定关系来确定该对象的纵坐标。
实施例16.一种用于确定至少一个对象的位置的检测器,该检测器包括
-至少一个投影仪,该至少一个投影仪用于利用包括多个照射特征的至少一个照射图案来照射至少一个对象,
-至少一个相机,该至少一个相机具有至少一个传感器元件,该至少一个传感器元件具有光学传感器矩阵,这些光学传感器各自具有光敏区域,其中,每个光学传感器被设计为响应于从该对象传播到该相机的反射光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号,其中,该相机被配置用于成像出至少一个反射图像,该至少一个反射图像包括由该对象响应于由这些照射特征的照射而生成的多个反射特征;
-至少一个评估装置,该至少一个评估装置被配置用于执行根据前述涉及用于校准检测器的方法的实施例中任一项所述的方法和/或根据前述涉及用于确定至少一个对象的位置的方法的实施例中任一项所述的用于确定至少一个对象的位置的方法。
实施例17.根据前一项实施例所述的检测器,其中,该投影仪包括至少一个发射器和/或至少一个发射器阵列,其中,这些发射器中的每一个是和/或包括选自由至少一个激光源和至少一个非激光光源组成的组中的至少一个元件,该至少一个激光源比如为至少一个半导体激光器、至少一个双异质结构激光器、至少一个外腔激光器、至少一个分离约束异质结构激光器、至少一个量子级联激光器、至少一个分布式布拉格反射激光器、至少一个极化激元激光器、至少一个混合硅激光器、至少一个扩展腔二极管激光器、至少一个量子点激光器、至少一个体布拉格光栅激光器、至少一个砷化铟激光器、至少一个砷化镓激光器、至少一个晶体管激光器、至少一个二极管泵浦激光器、至少一个分布式反馈激光器、至少一个量子阱激光器、至少一个带间级联激光器、至少一个半导体环形激光器、至少一个垂直腔面发射激光器;该至少一个非激光光源比如为至少一个LED或至少一个灯泡。
实施例18.根据前述涉及检测器的实施例中任一项所述的检测器,其中,该相机包括至少一个CCD传感器或至少一个CMOS传感器。
实施例19.根据前述涉及检测器的实施例中任一项所述的检测器,其中,该评估装置被配置用于通过对这些反射特征中的每一个反射特征的射束剖面的分析来确定该每一个反射特征的纵坐标,其中,对该射束剖面的分析包括确定该射束剖面的至少一个第一区域和至少一个第二区域,其中,该评估装置被配置用于通过以下各项中的一项或多项来得出组合信号Q:该第一区域和该第二区域相除,该第一区域和该第二区域的倍数相除,该第一区域和该第二区域的线性组合相除,其中,该评估装置被配置用于使用该组合信号Q与纵坐标之间的至少一个预定关系来确定该对象的纵坐标。
实施例20.一种套件,该套件包括根据前述涉及检测器的实施例中任一项所述的检测器和目标,其中,该目标包括至少一个第一目标和至少一个第二目标,其中,该第一目标和该第二目标具有预定义的固定相对距离。
实施例21.一种移动装置,包括根据前述涉及检测器的实施例中任一项所述的至少一个检测器,其中,该移动装置是移动通信装置、平板计算机、便携式计算机中的一者或多者。
实施例22.根据前述涉及检测器的实施例中任一项所述的检测器的用于选自由以下各项组成的组的使用目的的用途:交通技术中的位置测量;娱乐应用;安保应用;监视应用;安全应用;人机界面应用;物流应用;跟踪应用;户外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用;步态监测应用;人体监测应用;家庭护理;智能生活、汽车应用。
附图说明
根据下面结合从属权利要求对优选示例性实施例的描述,本发明的另外可选的细节和特征是明显的。在本上下文中,特定特征可以以单独的方式或与其他特征组合来实现。本发明不限于示例性实施例。示例性实施例在附图中示意性地示出。各个附图中相同的附图标记指的是相同的元件或具有相同功能的元件,或者在其功能方面彼此对应的元件。
具体地,在附图中:
图1示出了根据本发明的用于校准的方法和用于确定对象的位置的方法的实施例;
图2示出了根据本发明的检测器、套件和移动装置的实施例;以及
图3A至图3C示出了组合反射图像、第一重建图像和第二重建图像的实施例。
具体实施方式
图1示出了根据本发明的用于校准检测器110的方法的实施例,该检测器包括至少一个相机112和至少一个投影仪114。图2示出了检测器110的实施例。检测器110可以是移动装置115的一部分。图2进一步示出了包括根据本发明的检测器110和目标126的套件117的实施例。
投影仪114被配置用于利用包括多个照射特征120的至少一个照射图案118来照射至少一个对象116。照射图案118可以是规则的、特别是周期性的图案。照射图案118可以包括选自由以下各项组成的组中的至少一个图案:至少一个准随机图案;至少一个Sobol图案;至少一个准周期性图案;至少一个点图案,特别是伪随机点图案或随机点图案;至少一个线图案;至少一个条纹图案;至少一个棋盘图案;至少一个三角形图案;至少一个矩形图案;至少一个六边形图案或包括进一步的凸镶嵌的图案。照射图案118可以包括选自由以下各项组成的组中的至少一个图案:至少一个准随机图案;至少一个Sobol图案;至少一个准周期性图案;至少一个点图案,特别是伪随机点图案;至少一个线图案;至少一个条纹图案;至少一个棋盘图案;至少一个三角形图案;至少一个矩形图案;至少一个六边形图案或包括进一步的凸镶嵌的图案。照射图案118可以表现出选自由以下各项组成的组中的至少一个照射特征120:至少一个点;至少一条线;至少两条线,比如平行线或交叉线;至少一个点和一条线;周期性特征的至少一种布置;至少一个任意形状的特征图案。例如,照射图案118包括至少一个图案,该至少一个图案包括至少一个预知特征。例如,照射图案118包括至少一个线图案,该至少一个线图案包括至少一条线。例如,照射图案118包括至少一个线图案,该至少一个线图案包括比如平行线或交叉线等至少两条线。例如,投影仪114可以被配置用于生成和/或投射点云或非点状特征。例如,投影仪114可以被配置用于生成点云或非点状特征,使得照射图案118可以包括多个点特征或非点状特征。
投影仪114可以包括至少一个发射器122和/或至少一个发射器122阵列。这些发射器122中的每一个可以被配置用于发射至少一个光束。发射器122中的每一个可以是和/或可以包括选自由至少一个激光源和至少一个非激光光源组成的组中的至少一个元件,该至少一个激光源比如为至少一个半导体激光器、至少一个双异质结构激光器、至少一个外腔激光器、至少一个分离约束异质结构激光器、至少一个量子级联激光器、至少一个分布式布拉格反射激光器、至少一个极化激元激光器、至少一个混合硅激光器、至少一个扩展腔二极管激光器、至少一个量子点激光器、至少一个体布拉格光栅激光器、至少一个砷化铟激光器、至少一个砷化镓激光器、至少一个晶体管激光器、至少一个二极管泵浦激光器、至少一个分布式反馈激光器、至少一个量子阱激光器、至少一个带间级联激光器、至少一个半导体环形激光器、至少一个垂直腔面发射激光器(VCSEL);该至少一个非激光光源比如为至少一个LED或至少一个灯泡。发射器122阵列可以是二维阵列或一维阵列。阵列可以包括布置成矩阵的多个发射器122。
例如,发射器122可以是VCSEL阵列。VCSEL的示例可以例如在en.wikipedia.org/wiki/Vertical-cavity_surface-emitting_laser中找到。VCSEL通常是技术人员已知的,比如从WO 2017/222618 A中可知。VCSEL中的每一个被配置用于产生至少一个光束。VCSEL可以布置在公共的衬底上或不同的衬底上。阵列可以包括最多2500个VCSEL。例如,阵列可以包括38x 25个VCSEL,比如具有3.5W的高功率阵列。例如,阵列可以包括10x 27个VCSEL,具有2.5W。例如,阵列可以包括96个VCSEL,具有0.9W。例如具有2500个元件的阵列的尺寸可以最多为2mm x 2mm。
由相应的发射器122所发射的光束可以具有300至1100nm、优选地为500至1100nm的波长。例如,光束可以具有940nm的波长。例如,可以使用红外光谱范围内的光,比如780nm至3.0μm范围内的光。具体地,可以使用硅光电二极管适用的近红外区的部分中(具体地是在700nm至1100nm的范围内)的光。发射器122可以被配置用于在红外区、特别是在近红外区内生成至少一个照射图案。使用近红外区内的光可以允许光不被人眼检测到或仅微弱地被人眼检测到,并且仍然可由硅传感器、特别是标准硅传感器检测到。例如,发射器122可以是VCSEL阵列。VCSEL可以被配置用于发射波长范围为800至1000nm的光束。例如,VCSEL可以被配置用于发射808nm、850nm、940nm或980nm的光束。优选地,VCSEL发射940nm的光,因为地面太阳辐射在该波长处具有辐照度的局部最小值,例如如CIE 085-1989“Solar spectralIrradiance[太阳光谱辐照度]”中所述。
相机112具有至少一个传感器元件124,该至少一个传感器元件具有光学传感器矩阵。光学传感器各自具有光敏区域。每个光学传感器被设计为响应于从对象传播到相机112的光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号。作为示例,相机112可以包括至少一个相机芯片,比如被配置用于记录图像的至少一个CCD芯片和/或至少一个CMOS芯片。
具体地,光学传感器可以是或者可以包括在红外光谱范围内、优选地在780nm至3.0微米的范围内具有敏感性的无机光电二极管。具体地,光学传感器可以在硅光电二极管适用的近红外区的一部分中(具体地是在700nm至1000nm的范围内)是敏感的。可以用于光学传感器的红外光学传感器可以是可商购的红外光学传感器,比如可从德国莱茵河畔路德维希港(D-67056)的trinamiX GmbH公司以商品名HertzstueckTM商购的红外光学传感器。因此,作为示例,光学传感器可以包括至少一个本征光伏型的光学传感器,更优选地选自由以下各项组成的组中的至少一个半导体光电二极管:Ge光电二极管、InGaAs光电二极管、扩展型InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或可替代地,光学传感器可以包括至少一个非本征光伏型的光学传感器,更优选地选自由以下各项组成的组中的至少一个半导体光电二极管:Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或可替代地,光学传感器可以包括至少一个辐射热测量计,优选地选自由VO辐射热测量计和非晶Si辐射热测量计组成的组中的辐射热测量计。
光学传感器可以在紫外光谱范围、可见光谱范围或红外光谱范围中的一个或多个光谱范围中是敏感的。具体地,光学传感器可以在500nm至780nm的可见光谱范围内、最优选地在650nm至750nm或在690nm至700nm是敏感的。具体地,光学传感器可以在近红外区中是敏感的。具体地,光学传感器可以在硅光电二极管适用的近红外区的一部分中(具体地是在700nm至1000nm的范围内)是敏感的。具体地,光学传感器可以在红外光谱范围内、具体地在780nm至3.0微米的范围内是敏感的。例如,光学传感器均独立地可以是或者可以包括选自由光电二极管、光电池、光电导体、光电晶体管或以上各项的任意组合组成的组中的至少一个元件。例如,光学传感器可以是或者可以包括选自由CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或以上各项的任意组合组成的组中的至少一个元件。可以使用任何其他类型的光敏元件。光敏元件通常可以全部或部分地由无机材料制成和/或可以全部或部分地由有机材料制成。最常见的是,可以使用一个或多个光电二极管,比如可商购的光电二极管,例如无机半导体光电二极管。
对象116可以是被配置用于至少部分地反射和/或散射照射到对象116上的至少一个光束的任意对象,特别是表面或区。光束可以源自投影仪,该投影仪照射对象,其中,光束被对象116反射和/或散射。根据本发明的用于校准检测器的方法所使用的对象116是目标126。目标126定位在距检测器预定义距离处。预定义距离可以是目标126与检测器110之间的相对距离。具体地,预定义距离可以是纵坐标。该方法可以包括手动或自动将目标126定位到预定义距离,例如,通过使用至少一个z轴平台。该方法可以包括至少一个定位步骤,该定位步骤包括将目标126定位在预定义距离处。
目标126包括至少一个第一目标128和至少一个第二目标130。例如,目标126可以包括两个目标屏幕。例如,目标屏幕可以是不透明的屏幕。投影仪114和相机112可以布置在目标屏幕的同一侧。
这些方法步骤可以以给定的顺序执行或者可以以不同的顺序执行。进一步地,可以存在未列出的一个或多个额外的方法步骤。进一步地,可以重复执行其中一个、多于一个或者甚至所有方法步骤。
该方法包括以下步骤:
a)(用附图标记132表示)通过使用投影仪114,利用照射图案118的第一部分134照射第一目标128,并利用照射图案118的第二部分136照射第二目标130,其中,照射图案118的第一部分134和第二部分136不同,并且通过使用相机112成像出被照射的第一目标128和被照射的第二目标130的至少一个组合反射图像138,其中,组合反射图像138包括由第一目标128响应于照射图案118的第一部分134而生成的多个第一反射特征140以及由第二目标130响应于照射图案118的第二部分136而生成的多个第二反射特征142;
b)(用附图标记144表示)通过使用检测器110的至少一个评估装置150将组合反射图像138分割成第一反射图像146和第二反射图像148,其中,第一反射图像146包括第一反射特征152,并且第二反射图像148包括第二反射特征154;
c)(用附图标记156表示)对于第一反射图像146,通过使用评估装置150使用预定义照射图案118来重建与照射图案118的第二部分136有关的缺失反射特征158,并且,对于第二反射图像148,通过使用评估装置150使用预定义照射图案118来重建与照射图案118的第一部分134有关的缺失反射特征160;
d)(用附图标记162表示)通过使用评估装置150通过将与照射图案118的第二部分136有关的重建反射特征166添加到第一反射图像146来确定第一重建图像164,并且通过使用评估装置150通过将与照射图案118的第一部分134有关的重建反射特征170添加到第二反射图像148来确定第二重建图像168;
e)(用附图标记172表示)通过使用评估装置150评估第一重建图像164和第二重建图像168,其中,评估包括
e1)考虑到目标126的预定义距离以及第一目标128和第二目标130的预定义的固定相对距离,将第一重建图像164的反射特征与第二重建图像168的反射特征进行匹配,从而确定匹配的反射特征对;
e2)针对匹配的反射特征对中的每一对确定对极线,其中,相应的匹配的反射特征位于对极线上;
f)(用附图标记174表示)通过使用评估装置150使用所确定的对极线来确定检测器110的至少一个外部校准信息。
第一目标128和第二目标130具有预定义的固定相对距离。预定义的固定相对距离可以是第一目标128与第二目标130之间的相对位置,其至少在组合反射图像138的成像期间保持不变和/或不可变。第一目标128和第二目标130在空间中具有固定的相对x、y和z坐标。目标126可以包括不同的步长。目标126可以包括至少一个机械元件和/或至少一个机械结构,其被配置用于将第一目标128和第二目标130保持在预定义的固定相对距离处。机械元件和/或至少一个机械结构可以包括至少一个光具座和/或至少一个光轨。然而,机械元件和/或机械结构可以被配置用于允许仅在照射和成像之前和/或之后设置和/或适配第一目标与第二目标之间的相对距离。可替代地,机械元件和/或机械结构可以被配置用于永久固定第一目标128与第二目标130之间的相对距离。第一目标128和第二目标130可以形成静态结构。例如,如图2所示,第一目标128和第二目标130可以是定位在不同纵坐标(z)的两个目标屏幕,特别是一个位于另一个后面。至少一个横坐标(x和/或y)也可以不同,使得可以同时照射和成像出第一目标128和第二目标130。
第一目标128可以布置在检测器110的测量范围的前部,并且第二目标130可以布置在检测器110的测量范围的后部。具体地,第一目标128和第二目标130的表面定位在测量范围的前部和后部。第一目标128可以是前部目标,并且第二目标130可以是后部目标。例如,固定相对距离可以是600mm。例如,第一目标128可以定位在距检测器110 200mm的位置处,并且第二目标130可以定位在距检测器110 800mm的位置处。
照射图案118的第一部分134和照射图案118的第二部分136可以是照射图案118的两半。照射图案118的照射特征120的一半可以投射在第一目标128上,而另一半可以投射在第二目标128上。
组合反射图像138可以是包括被照射的第一目标128的反射图像和被照射的第二目标130的反射图像两者的图像。具体地,组合反射图像138是由相机112的单次拍摄成像出的一个单一图像。可以仅拍摄一张图像,其中照射特征120的一半投射在第一目标128上,另一半投射在第二目标130上。图3A示出了组合反射图像138的实施例。
这些反射特征中的每一个反射特征包括至少一个射束剖面。射束剖面可以是光束的横向强度剖面。射束剖面可以是光束的截面。射束剖面可以选自由以下各项组成的组:梯形射束剖面;三角形射束剖面;圆锥形射束剖面、以及高斯射束剖面的线性组合。然而,其他实施例也是可行的。
组合反射图像138在步骤b)144中的分割可以包括将组合反射图像138划分成两个图像区。该方法可以包括通过使用评估装置150来确定组合反射图像138内的边缘。可以在边缘位置处将组合反射图像138分割成两个反射图像。
如上所述,通过构建,第一反射图像146可以仅包括由照射图案118的第一部分134生成的反射特征,并且第二反射图像148可以仅包括由照射图案118的第二部分136生成的反射特征。因此,在第一反射图像146中,本应由照射图案118的第二部分136生成的反射特征缺失,并且在第二反射图像148中,本应由照射图案118的第一部分134生成的反射特征缺失。
在步骤c)156中,对于第一反射图像146和第二反射图像148,使用预定义的照射图案118来重建相应的缺失反射特征。如上所述,预定义照射图案118(也表示为标称网格)可以是具有照射特征120的预定义位置和照射特征120之间的预定义距离的周期性且规则的图案。评估装置150可以被配置用于使用标称网格118确定第一反射图像146和第二反射图像148中缺失的反射特征。例如,评估装置150可以被配置用于将第一反射图像146的反射特征与标称网格118进行比较,并且将第二反射图像148的反射特征与标称网格118进行比较,以确定缺失反射特征。然而,在可行的实施例中,评估装置150简单地假设照射图案118的另一部分的反射特征缺失,并且继续重建假设的缺失反射特征。
重建可以包括确定反射图像中反射特征的位置。对于重建,可以使用标称网格118。重建可以包括将标称网格118内的照射特征120的位置适配到相应反射图像146、148内的假设位置。评估装置150可以被配置用于确定包括第一反射图像146的第一反射特征的第一反射图案的规律性和/或周期性。评估装置150可以被配置用于确定包括第二反射图像148的第二反射特征的第二反射图案。评估装置150可以被配置用于针对第一反射图像146,通过考虑所确定的第一反射图案的规律性和/或周期性来适配照射图案118的第二部分136的照射特征120的位置,以重建与照射图案118的第二部分136有关的缺失反射特征158。评估装置150可以被配置用于针对第二反射图像148,通过考虑所确定的第二反射图案的规律性和/或周期性来适配照射图案118的第一部分134的照射特征118的位置,以重建与照射图案118的第一部分134有关的缺失反射特征160。在标称网格118的帮助下,可以在两半上重建反射图案的缺失部分。
步骤d)162包括通过将与照射图案118的第二部分136有关的重建反射特征166添加到第一反射图像146来确定第一重建图像164,并且通过将与照射图案118的第一部分134有关的重建反射特征170添加到第二反射图像148来确定第二重建图像168。因此,第一重建图像164和第二重建图像168可以在图像的一半上包括成像的反射特征并在图像的另一半上包括重建反射特征。第一重建图像164和第二重建图像168的实施例如图3B和图3C所示。这两个重建图像164、168用于校准。
步骤e)172包括评估第一重建图像164和第二重建图像168。
该方法可以包括通过使用至少一种图像分析和/或图像处理算法来识别第一重建图像164和第二重建图像168中的反射特征。评估装置150可以被配置用于选择相应的第一重建图像164和第二重建图像168的反射特征。评估装置150可以被配置用于执行至少一种图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下一项或多项:滤波;选择至少一个关注区;形成由传感器信号创建的图像与至少一个偏移之间的差分图像;通过反转由传感器信号创建的图像来反转传感器信号;形成由传感器信号在不同时间创建的图像之间的差分图像;背景校正;分解为颜色通道;分解为色调;饱和度;以及亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯拉普拉斯滤波器;应用高斯差分滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用罗伯茨算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅里叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值化;创建二值图像。关注区可以是由用户手动确定的或者可以是比如通过识别图像内的对象来自动确定的。
评估装置150可以被配置用于执行至少一种图像校正。图像校正可以包括至少一种背景减除。评估装置150可以适于例如通过在没有另外的照射的情况下成像来从射束剖面中去除背景光的影响。
评估装置150可以被配置用于考虑目标126的预定义距离以及第一目标128和第二目标130的预定义的固定相对距离来匹配第一重建图像164和第二重建图像168的反射特征。评估装置150可以被配置用于考虑目标126的预定义距离以及第一目标128和第二目标130的预定义的固定相对距离来明确地匹配反射特征。匹配可以包括识别和/或确定和/或评估第一重建图像164和第二重建图像168的对应反射特征。由于预定义距离是已知的,因此不需要解决对应问题。因此,该方法可以包括对第一重建图像164和第二重建图像168的反射特征中的每一个反射特征进行编号并匹配对应的编号。在步骤e1)之后,匹配的反射特征对是已知的,包括其像素坐标和其相应的预定义距离。
该方法进一步包括在步骤e2)中针对匹配的反射特征对中的每一对确定对极线。针对匹配的反射特征对中的每一对的对极线由相应的匹配的反射特征位于同一对极线上的事实来定义。评估装置150可以被配置用于使用匹配的反射特征的像素坐标和预定义距离来确定对极线。对于对极几何的描述,请参考例如编者为X.Jiang和H.Bunke的“三维计算机视觉[Dreidimensionales Computersehen]”中第2章,施普林格,柏林、海德堡,1997年。
步骤f)包括通过使用评估装置150使用所确定的对极线来确定检测器110的外部校准信息,特别是相机112和投影仪114的外部校准信息。该方法可以包括根据对极线几何计算外部校准信息。该方法可以包括通过评估对极线的倾斜、移位、畸变中的一项或多项来确定外部校准信息。例如,外部校准信息是具有选自由以下各项组成的组中的至少一种信息:投影仪114与相机112之间的旋转角度、投影仪114与相机112之间的平移分量、孔径角、传感器元件124的中心、孔径、焦距。例如,在z轴方向上的平移、特别是投影仪114与相机112之间的z偏移可能会导致倾斜的对极线。例如,围绕x轴旋转可能会导致对极线的图案移位和梯形畸变。
该方法可以包括通过使用评估装置150将外部校准信息与至少一个预定义标称值进行比较,从而确定投影仪114和相机112的对准的校正。例如,预定义标称值可以是具有选自由以下各项组成的组中的至少一种预定义标称值:投影仪114与相机112之间的旋转角度、投影仪114与相机112之间的平移分量、孔径角、传感器元件124的中心、孔径、焦距。例如,预定义标称值可以是投影仪114与相机112之间的平移的标称距离值。例如,旋转的标称值可以是0°,使得投影仪114和相机112被视为定位在同一平面上。比较可以包括使用至少一种数学运算来将外部校准信息与预定义标称值进行比较。
该方法可以包括在外部校准信息超过预定义标称值至少一个预定义公差范围以上的情况下,校正投影仪114和相机112的对准。对准的校正可以包括例如在检测器的制造期间适配投影仪114和相机112的相对位置,和/或例如在检测器110的操作期间校正成像出的反射图像。例如,预定义公差范围可以是标称值的±10%、优选地标称值的±5%、更优选地标称值的±1%。然而,公差范围的其他实施例是可行的。在预定义公差范围内没有发现外部校准信息和相应标称值的偏差的情况下,投影仪114和相机112的对准被认为是“正确的”。在这种情况下,可能不需要校正。
该方法可以包括至少一个验证步骤,其中,验证步骤包括重复步骤a)至f),并将外部校准信息与至少一个预定义标称值进行比较,以用于验证校正是否成功,使得外部校准信息至少一次在预定义公差范围内与该预定义标称值相当。
图1进一步示出了披露了用于确定至少一个对象116的位置的方法176的实施例。该方法包括通过使用根据本发明的用于校准的方法来校准检测器110。该方法进一步包括以下步骤:
-(178)通过使用投影仪114利用包括多个照射特征120的至少一个照射图案118来照射至少一个对象116,并且通过使用相机112成像出至少一个反射图像,该至少一个反射图像包括由对象116响应于由生成的照射特征120的照射而生成的多个反射特征,其中,这些反射特征中的每一个反射特征包括至少一个射束剖面;
-(180)通过使用检测器110的至少一个评估装置150对这些反射特征中的每一个反射特征的相应射束剖面的分析来确定该每一个反射特征的至少一个纵坐标z。
在距离测量的上下文中,对象116可以是任意对象。例如,对象116可以是人、特别是人脸。
射束剖面的分析可以包括确定射束剖面的至少一个第一区域和至少一个第二区域。评估装置150可以被配置用于通过以下各项中的一项或多项得出组合信号Q:第一区域和第二区域相除,第一区域和第二区域的倍数相除,第一区域和第二区域的线性组合相除。确定纵坐标可以进一步包括使用组合信号Q与纵坐标之间的至少一个预定关系来确定对象116的纵坐标。关于确定至少一个纵坐标z,请参考以下文献:WO 2018/091649A1;WO 2018/091638 A1;WO 2018/091640 A1;以及C.Lennartz、F.Schick、S.Metz的“Whitepaper-BeamProfile Analysis for 3Dimaging and material detection[白皮书-用于3D成像和材料检测的射束剖面分析]”,2021年4月28日,德国路德维希港,这些文献的完整内容通过引用包括在本文中。
附图标记清单
110 检测器
112 相机
114 投影仪
115 移动装置
116 对象
117 套件
118 照射图案
120 照射特征
122 发射器
124 传感器元件
126 目标
128 第一目标
130 第二目标
132 步骤a
134 照射图案的第一部分
136 照射图案的第二部分
138 组合反射图像
140 第一反射特征
142 第二反射特征
144 步骤b
146 第一反射图像
148 第二反射图像
150 评估装置
152 第一反射特征
154 第二反射特征
156 步骤c
158 缺失反射特征
160 缺失反射特征
162 步骤d
164 第一重建图像
166 重建反射特征
168 第二重建图像
170 重建反射特征
172 步骤e
174 步骤f
176 确定位置

Claims (15)

1.一种用于校准检测器(110)的方法,该检测器包括至少一个相机(112)和至少一个投影仪(114),其中,该投影仪(114)被配置用于利用包括多个照射特征(120)的至少一个预定义照射图案(118)来照射至少一个目标(126),其中,该相机(112)具有至少一个传感器元件(124),该至少一个传感器元件具有光学传感器矩阵,这些光学传感器各自具有光敏区域,其中,每个光学传感器被设计为响应于从该目标(126)传播到该相机(112)的光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号,其中,该目标(126)包括至少一个第一目标(128)和至少一个第二目标(130),其中,该第一目标(128)和该第二目标(130)具有预定义的固定相对距离,其中,该目标(126)定位在距该检测器(110)的预定义距离处,其中,该方法包括以下步骤:
a)(132)通过使用该投影仪(114),利用该照射图案(118)的第一部分(134)照射该第一目标(128),并利用该照射图案(118)的第二部分(136)照射该第二目标(130),其中,该照射图案(118)的第一部分和第二部分(134,136)不同,并且通过使用该相机(112)成像出被照射的第一目标(128)和被照射的第二目标(130)的至少一个组合反射图像(138),其中,该组合反射图像(138)包括由该第一目标(128)响应于该照射图案(118)的第一部分(134)而生成的多个第一反射特征(140)以及由该第二目标(130)响应于该照射图案(118)的第二部分(136)而生成的多个第二反射特征(142);
b)(144)通过使用该检测器(110)的至少一个评估装置(150)将该组合反射图像(138)分割成第一反射图像(146)和第二反射图像(148),其中,该第一反射图像(146)包括这些第一反射特征(152),并且该第二反射图像(148)包括这些第二反射特征(154);
c)(156)对于该第一反射图像(146),通过使用该评估装置(150)使用该预定义照射图案(118)来重建与该照射图案(118)的第二部分(136)有关的缺失反射特征(158),并且,对于该第二反射图像(148),通过使用该评估装置(150)使用该预定义照射图案(118)来重建与该照射图案(118)的第一部分(134)有关的缺失反射特征(160);
d)(162)通过使用该评估装置(150)通过将与该照射图案(118)的第二部分(136)有关的重建反射特征(166)添加到该第一反射图像(146)来确定第一重建图像(164),并且通过使用该评估装置(150)通过将与该照射图案(118)的第一部分(134)有关的重建反射特征(170)添加到该第二反射图像(148)来确定第二重建图像(168);
e)(172)通过使用该评估装置(150)评估该第一重建图像(164)和该第二重建图像(168),其中,该评估包括
e1)考虑到该目标(126)的预定义距离以及该第一目标(128)和该第二目标(130)的该预定义的固定相对距离,将该第一重建图像(164)的反射特征与该第二重建图像(168)的反射特征进行匹配,从而确定匹配的反射特征对;
e2)针对这些匹配的反射特征对中的每一对确定对极线,其中,这些相应的匹配的反射特征位于该对极线上;
f)(174)通过使用该评估装置(150)使用所确定的对极线来确定该检测器(110)的至少一个外部校准信息。
2.根据前一项权利要求所述的方法,该组合反射图像(138)是由该相机(112)的单次拍摄成像出的一个单一图像。
3.根据前述权利要求中任一项所述的方法,其中,该外部校准信息是具有选自由以下各项组成的组中的至少一种信息:该投影仪(114)与该相机(112)之间的旋转角度、该投影仪(114)与该相机(112)之间的平移分量、孔径角、该传感器元件(124)的中心、孔径、焦距。
4.根据前述权利要求中任一项所述的方法,其中,该方法包括通过评估这些对极线的倾斜、移位、畸变中的一项或多项来确定该外部校准信息。
5.根据前述权利要求中任一项所述的方法,其中,该第一目标(128)和该第二目标(130)形成静态结构。
6.根据前述权利要求中任一项所述的方法,其中,该第一目标(128)布置在该检测器(110)的测量范围的前部,并且该第二目标(130)布置在该检测器(110)的测量范围的后部。
7.根据前述权利要求中任一项所述的方法,其中,该照射图案(118)的第一部分(134)和该照射图案(118)的第二部分(136)是该照射图案(118)的两半,其中,该照射图案(118)的照射特征(120)的一半投射在该第一目标(128)上,而另一半投射在该第二目标(130)上。
8.根据前述权利要求中任一项所述的方法,其中,该方法包括通过使用该评估装置(150)来确定该组合反射图像(138)内的边缘,其中,在该边缘位置处将该组合反射图像(138)分割成该第一反射图像(146)和该第二反射图像(148)。
9.根据前述权利要求中任一项所述的方法,其中,该方法包括通过使用该评估装置(150)将该外部校准信息与至少一个预定义标称值进行比较,从而确定该投影仪(114)和该相机(112)的对准的校正,其中,该方法包括在该外部校准信息超过该预定义标称值至少一个预定义公差范围以上的情况下,校正该投影仪(114)和该相机(112)的对准。
10.一种用于确定至少一个对象(116)的位置的方法,该方法包括通过使用根据前述权利要求中任一项所述的用于校准的方法来校准检测器(110),其中,该方法进一步包括以下步骤:
-(178)通过使用该投影仪(114)利用包括多个照射特征(120)的至少一个照射图案(118)来照射至少一个对象(116),并且通过使用该相机(112)成像出至少一个反射图像,该至少一个反射图像包括由该对象(116)响应于由这些照射特征(120)的照射而生成的多个反射特征,其中,这些反射特征中的每一个反射特征包括至少一个射束剖面;
-(180)通过使用该检测器(110)的至少一个评估装置(150)对这些反射特征中的每一个反射特征的相应射束剖面的分析来确定该每一个反射特征的至少一个纵坐标。
11.根据前一权利要求所述的方法,其中,该射束剖面的分析包括确定该射束剖面的至少一个第一区域和至少一个第二区域,以及通过以下各项中的一项或多项来得出组合信号Q:该第一区域和该第二区域相除,该第一区域和该第二区域的倍数相除,该第一区域和该第二区域的线性组合相除,其中,确定该纵坐标进一步包括使用该组合信号Q与纵坐标之间的至少一个预定关系来确定该对象(116)的纵坐标。
12.一种用于确定至少一个对象(116)的位置的检测器(110),该检测器(110)包括
-至少一个投影仪(114),该至少一个投影仪用于利用包括多个照射特征(120)的至少一个照射图案(118)来照射至少一个对象(116);
-至少一个相机(112),该至少一个相机具有至少一个传感器元件(124),该至少一个传感器元件具有光学传感器矩阵,这些光学传感器各自具有光敏区域,其中,每个光学传感器被设计为响应于从该对象(116)传播到该相机(112)的反射光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号,其中,该相机(112)被配置用于成像出至少一个反射图像,该至少一个反射图像包括由该对象(116)响应于由这些照射特征(120)的照射而生成的多个反射特征;
-至少一个评估装置(150),该至少一个评估装置被配置用于执行根据前述涉及用于校准检测器的方法的权利要求中任一项所述的方法和/或根据前述涉及用于确定至少一个对象的位置的方法的权利要求中任一项所述的用于确定至少一个对象的位置的方法。
13.一种套件(117),该套件包括根据前述涉及检测器的权利要求中任一项所述的检测器(110)和目标(126),其中,该目标包括至少一个第一目标(128)和至少一个第二目标(130),其中,该第一目标(128)和该第二目标(130)具有预定义的固定相对距离。
14.一种移动装置(115),该移动装置包括至少两个根据前述涉及检测器的权利要求中任一项所述的至少一个检测器(110),其中,该移动装置(115)是移动通信装置、平板计算机、便携式计算机中的一者或多者。
15.根据前述涉及检测器(110)的权利要求中任一项所述的检测器的用于选自由以下各项组成的组的使用目的的用途:交通技术中的位置测量;娱乐应用;安保应用;监视应用;安全应用;人机界面应用;物流应用;跟踪应用;户外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用;步态监测应用;人体监测应用;家庭护理;智能生活、汽车应用。
CN202280077885.8A 2021-11-25 2022-11-24 一次性校准 Pending CN118302648A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21210477.2 2021-11-25
EP21210477 2021-11-25
PCT/EP2022/083146 WO2023094530A1 (en) 2021-11-25 2022-11-24 One shot calibration

Publications (1)

Publication Number Publication Date
CN118302648A true CN118302648A (zh) 2024-07-05

Family

ID=78789849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280077885.8A Pending CN118302648A (zh) 2021-11-25 2022-11-24 一次性校准

Country Status (3)

Country Link
US (1) US11920918B2 (zh)
CN (1) CN118302648A (zh)
WO (1) WO2023094530A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240013435A1 (en) * 2022-07-06 2024-01-11 Inuitive Ltd. Calibration arrangement

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8282222B2 (en) * 2007-10-10 2012-10-09 Gerard Dirk Smits Image projector with reflected light tracking
DE102014113389A1 (de) * 2014-09-17 2016-03-17 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Identifizieren von Strukturelementen eines projizierten Strukturmusters in Kamerabildern
WO2018128655A2 (en) * 2016-09-25 2018-07-12 Okeeffe James Distributed laser range finder with fiber optics and micromirrors
US10072815B2 (en) 2016-06-23 2018-09-11 Apple Inc. Top-emission VCSEL-array with integrated diffuser
JP6617662B2 (ja) * 2016-08-24 2019-12-11 株式会社Jvcケンウッド 視線検出装置、視線検出方法、及びコンピュータプログラム
JP6979068B2 (ja) 2016-11-17 2021-12-08 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも1つの物体を光学的に検出するための検出器
US11025887B2 (en) * 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10580157B2 (en) * 2017-08-04 2020-03-03 Capsovision Inc Method and apparatus for estimating area or volume of object of interest from gastrointestinal images
WO2019042956A1 (en) * 2017-08-28 2019-03-07 Trinamix Gmbh DETECTOR FOR DETERMINING A POSITION OF AT LEAST ONE OBJECT
US11143736B2 (en) * 2017-11-17 2021-10-12 Trinamix Gmbh Detector for determining a position of at least one object comprising at least one device to determine relative spatial constellation from a longitudinal coordinate of the object and the positions of reflection image and reference image
US11372320B2 (en) * 2020-02-27 2022-06-28 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
CN113109829B (zh) 2021-03-17 2023-06-30 北京控制工程研究所 一种同步扫描交会测量敏感器的标定方法
CN113052919B (zh) 2021-04-23 2024-12-10 深圳市商汤科技有限公司 一种视觉传感器的标定方法及装置、电子设备和存储介质
CN113066134B (zh) 2021-04-23 2024-11-22 深圳市商汤科技有限公司 一种视觉传感器的标定方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
US11920918B2 (en) 2024-03-05
US20240011770A1 (en) 2024-01-11
WO2023094530A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
US11989896B2 (en) Depth measurement through display
US20230078604A1 (en) Detector for object recognition
US20230403906A1 (en) Depth measurement through display
KR20230028303A (ko) 확산 조명 및 구조화 광을 위한 프로젝터
US11920918B2 (en) One shot calibration
US11995857B2 (en) Shape-from-shading
US20240402342A1 (en) Extended material detection involving a multi wavelength projector
JP2024520598A (ja) 投影パターン内のエピポーラ線距離からの自動較正
US20240418503A1 (en) Recalibration of a 3d detector based on structured light
US20250003739A1 (en) Eye safety for projectors
US20240284031A1 (en) Emitter array with two or more independently driven areas
CN118056111A (zh) 用于对准投影仪的光学部件的方法
CN118176404A (zh) 与标记投影相结合的结构光图案
CN118984949A (zh) 8位转换

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination