[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113038096B - 投影设备与投影校正方法 - Google Patents

投影设备与投影校正方法 Download PDF

Info

Publication number
CN113038096B
CN113038096B CN201911373189.8A CN201911373189A CN113038096B CN 113038096 B CN113038096 B CN 113038096B CN 201911373189 A CN201911373189 A CN 201911373189A CN 113038096 B CN113038096 B CN 113038096B
Authority
CN
China
Prior art keywords
information
projection
point cloud
dimensional point
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911373189.8A
Other languages
English (en)
Other versions
CN113038096A (zh
Inventor
甘凯翔
陈柏戎
陈俊元
郭建春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN113038096A publication Critical patent/CN113038096A/zh
Application granted granted Critical
Publication of CN113038096B publication Critical patent/CN113038096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种投影设备，包括投影装置、取像装置与处理装置。投影装置投射可逆结构光码至表面上。取像装置对被投射可逆结构光码的表面进行取像，并取得图像数据。处理装置耦接投影装置及取像装置，接收图像数据，并依据图像数据产生三维点云信息，且依据三维点云信息及对应表面的三维信息进行运算，以取得对应投影装置的射线偏移信息。

Description

投影设备与投影校正方法
技术领域
本发明关于一种投影设备与投影校正方法。
背景技术
由于技术的发展演进，结构光三维扫描相机(Structured-light 3D scanner)逐渐被使用者所使用。一般来说，结构光三维扫描相机的成本主要取决于其内设置的投影机。目前，就市面上来说，结构光三维扫描相机所使用的投影机为数字光处理(digital lightprocessing,DLP)投影机、扫描式振镜投影机等。
扫描式振镜投影机的成本较数字光处理投影机的成本低，然而，虽然扫描式振镜投影机的成本较低，但是扫描式振镜投影机所产生的数字光会有射线偏移的现象，使得扫描式振镜投影机的投射出现变形，进而影响产出的三维点云的精确度。因此，如何有效改善点云信息的质量及降低硬件成本将成为重要议题。
发明内容
本发明提供一种投影设备与投影校正方法，藉以有效地得到射线偏移量，以改善点云信息的质量及降低硬件的使用成本。
本发明提供一种投影设备，包括投影装置、取像装置与处理装置。投影装置投射可逆结构光码至表面上。取像装置对被投射可逆结构光码的表面进行取像，并取得图像数据。处理装置耦接投影装置及取像装置，接收图像数据，并依据图像数据进行解码以产生三维点云信息，且依据三维点云信息及对应表面的三维信息进行运算，以取得对应投影装置的射线偏移信息。
本发明另提供一种投影设备的投影校正方法，包括下列步骤。通过投影装置，投射可逆结构光码至表面上。通过取像装置，对被投射可逆结构光码的表面进行取像，并取得图像数据。通过处理装置，接收图像数据，并依据图像数据进行解码以产生三维点云信息，且依据三维点云信息及对应表面的三维信息进行运算，以取得对应投影装置的射线偏移信息。
本发明所公开的投影设备与投影校正方法，通过投影装置投射可逆结构光码至表面上，且通过取像装置被投射可逆结构光码的表面进行取像，并取得图像数据，以及通过处理装置接收图像数据，并依据图像数据进行解码以产生三维点云信息，且依据三维点云信息及对应表面的三维信息进行运算，以取得对应投影装置的射线偏移信息。如此一来，可以有效地藉以有效地得到对应投影装置的射线偏移量，以改善点云信息的质量及降低硬件的使用成本。
附图说明
为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
图1为依据本发明的实施例的投影设备的示意图。
图2为依据本发明的实施例的可逆结构光码的投影的示意图。
图3为依据本发明的实施例的像素点与像素偏移量的对应关系示意图。
图4为依据本发明的实施例的投影设备的投影校正方法的流程图。
图5为图4的步骤S406的详细流程图。
图6为图4的步骤S406的另一详细流程图。
图7为依据本发明的另一实施例的投影设备的投影校正方法的流程图。
具体实施方式
本说明书的技术用语参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释以本说明书的说明或定义为准。本公开的各个实施例分别具有一个或多个技术特征。在可能实施的前提下，本技术领域具有通常知识者可选择性地实施任一实施例中部分或全部的技术特征，或者选择性地将这些实施例中部分或全部的技术特征加以组合。
在以下所列举的各实施例中，将以相同的附图标记代表相同或相似的元件或组件。
图1为依据本发明的实施例的投影设备的示意图。在本实施例中，投影设备100可适用于三维(three-dimension,3D)相机、手机、平板电脑、笔记本电脑等，但不用于限制本发明的应用。请参考图1，投影设备100包括投影装置110、取像装置120与处理装置130。
投影装置110投射可逆结构光码至表面150上。在本实施例中，投影装置110例如为扫描式振镜(micro electro mechanical systems mirror,MEMS mirror)投影机。另外，可逆结构光码例如为格雷条纹光码，亦即可逆结构光码是利用格雷码进行编码，其经投影后呈现如图2所示。但本发明实施例不限于此，可逆结构光码也可以利用其他方式进行编码，例如二进码十进数(binary-coded decimal,BCD)码、余3-BCD码等等，都可达到相同的效果。需要注意的是，图2所示是投影装置110未经校正的情况下的投影结果。
此外，在一实施例中，可逆结构光例如包括通过结构光编码信息取得三维(3D)深度信息。在另一实施例中，可逆结构光编码信息也可由三维深度信息反推回结构光光斑来取得。
在一些实施例中，上述表面150例如为标准件的表面，其中标准件可以为实体的对象，例如特定规格的配件，或现有的物件如桌子、屏幕或块规等。另外，标准件的尺寸例如为已知的。在一些实施例中，上述表面150也可以是地面或墙壁的表面。另外，可逆结构光码投射于地面或墙壁的表面的尺寸或范围例如也为已知的。
取像装置120对被投射可逆结构光码的表面150进行取像，并取得图像数据。前述取像装置120所取得的图像数据例如为二维(two-dimension,2D)图像数据。在本实施例中，取像装置120例如为电荷耦合元件(charge coupled device,CCD)或其他具有取像功能的摄影机。
处理装置130耦接投影装置110与取像装置120。处理装置130接收图像数据，并依据图像数据产生三维点云信息。进一步来说，处理装置130例如依据立体视觉三角测距法对图像数据进行计算，以得到对应表面150的深度信息，进而产生对应图像数据的三维点云信息。接着，处理装置130依据三维点云信息及对应表面150的三维信息进行运算，以取得对应投影装置110的射线偏移信息。如此一来，本实施例可有效地取得对应投影装置110的射线偏移信息，以便进一步校正该投影装置110并改善点云信息的质量。
在一些实施例中，使用者可预先将对应表面150的三维信息储存于投影设备100的储存装置(图未示)，例如存储器或硬盘等。在一些实施例中，使用者也可通过取像装置120对表面150进行取像，并取得对应表面150的图像数据。
接着，处理装置130可以对图像数据进行处理，以取得对应表面150的三维信息，并将对应表面150的三维信息储存于投影设备100的储存装置(图未示)。在本实施例中，对应表面150的三维信息例如包括表面150的每一位置的三维坐标信息，具体来说可以是在表面150上每一位置的X轴的值、Y轴的值以及Z轴的值。
进一步来说，在处理装置130接收取像装置120所产生的图像数据后，处理装置130可以对图像数据进行解码。也就是说，处理装置130可以通过格雷码的解码方式以及立体视觉三角测距法，对图像数据中的可逆结构光码进行解码，以产生三维点云信息。并且，此三维点云信息可以包括图像数据中多个像素的三维坐标信息，亦即图像数据中的每一个像素所对应的X轴的值、Y轴的值及Z轴的值。
另外，处理装置130也会取得表面150的三维信息。例如，处理装置130由投影设备100的储存装置(图未示)中取得表面150的三维信息，亦即表面150的每一位置所对应的坐标(X轴的值、Y轴的值及Z轴的值)。补充说明的是，该取像装置120可以对该表面150的部分区域进行取像，此情况下该图像数据仅涵括对应于该表面150的部分区域，因此处理装置130可依据图像数据中涵括的对应该表面150的区域范围，取用区域范围中的坐标，也就是依运算需求只取用该表面150的局部的三维信息。
接着，处理装置130会依据三维点云信息与表面150的三维信息，以取得深度误差信息。举例来说，处理装置130可以将三维点云信息减去表面150的三维信息，以取得深度误差信息。具体来说，深度误差信息即是三维点云信息的Z轴的值与表面150对应的三维信息的Z轴的值之间的差。
在本实施例中，深度误差信息的运算例如通过如下式(1)：
ΔZ(x,y)＝ZA(x,y)-ZR(x,y) (1)
其中，(x,y)是表示表面150上的二维坐标，ΔZ(x,y)为深度误差信息，ZA(x,y)为三维点云信息，ZR(x,y)为表面150的三维信息。在本实施例中，处理装置130可以通过式(1)，将表面150上点(x,y)对应的三维点云信息的Z轴的值减去表面150上点(x,y)的三维信息的Z轴的值。也就是说，处理装置130计算该表面150上坐标(x,y)的区域所对应的像素点的三维点云信息(也就是ZA(x,y))，与该表面150上坐标(x,y)的三维信息的Z轴的值(也就是ZR(x,y))，以得到对应每一像素点的深度误差信息(也就是ΔZ(x,y))。
接着，处理装置130可依据深度误差信息、三维点云信息与补偿深度信息进行运算，以取得投影误差信息。进一步来说，处理装置130可以先依据深度误差信息、三维点云信息与多笔补偿深度信息进行运算，以取得对应每一像素点的像素偏移量。具体来说，补偿深度信息即是该投影装置110的投影坐标利用像素偏移量补偿后的坐标点的深度值，像素偏移量即是补偿深度信息的像素补偿量；再计算补偿深度信息与三维点云信息之间的多笔补偿深度差，最小化补偿深度差与深度误差信息间的差距，以取得最佳的像素偏移量；也就是依据该深度误差信息与补偿深度差间的差距的最小者，选择最小差距对应的所述像素偏移量中之一。
在本实施例中，决定每一像素点的像素偏移量的算法例如式(2)：
Figure GDA0003861098370000051
其中，C(x,y)为对应取像装置120的图像坐标，
Figure GDA0003861098370000052
为对应投影装置110的图像坐标，
Figure GDA0003861098370000053
为三维点云信息的深度值，
Figure GDA0003861098370000054
为补偿深度信息，(i,j)为该投影装置110在投影坐标上X轴方向及Y轴方向的像素偏移量(如图3所示)，
Figure GDA0003861098370000055
Figure GDA0003861098370000056
为补偿深度差，(x,y)是表示该表面150上的点坐标，(xC,yC)是表示取像装置120取得的图像数据的点坐标(也就是经由C(x,y)转换)，
Figure GDA0003861098370000057
则是将取像装置120取得的图像数据的点坐标(也就是(xC,yC))转换为投影装置110投影的数据坐标，P(*)为运算符并且是依据二维坐标数据运算取得三维坐标信息。
举例来说，假设以该表面150上坐标(1,1)为例，即坐标(x,y)＝(1,1)，并且该表面150的坐标点(x,y)＝(1,1)经由取像装置120对该表面150取像的图像数据中对应的坐标点表示为坐标(xc,yc)＝(1,1)，再进一步由该取像装置120的坐标点(xc,yc)转为投影装置110的坐标点
Figure GDA0003861098370000058
本实施例中以
Figure GDA0003861098370000059
的像素点310为例说明，即像素点310对应坐标
Figure GDA00038610983700000510
接着处理装置130依据对应投影装置110的坐标
Figure GDA00038610983700000511
的像素点及441个像素偏移量(i,j)，以产生441个偏移后的像素点之坐标，即偏移了(1,0)、(2,0)…、(10,0)、(0,1)、(0,2)…、(0,10)、…(10,10)、(-1,0)、…、(-10,0)、…、(-10,10)、(0,-1)、…、(0,-10)、…、(-10,-10)、…、(10,-10)的像素点的坐标，也就是
Figure GDA00038610983700000512
如图3所示。另外，由于像素点310为基准点，因此像素点310偏移了(0,0)的像素点的坐标。
接着，由于已运算取得ΔZ(1,1)且P(C(1,1),G(1,1))为已知的，处理装置130可以通过式(2)进行运算，以由上述441个像素偏移量中选择出一个可使对应坐标(1,1)的式(2)的数值最小者。以像素偏移量(i,j)＝(0,5)为例说明，也就是在像素偏移量为(0,5)的情况下，使对应坐标(x,y)＝(1,1)的式(2)的数值为最小值，则判断像素偏移量(0,5)便可作为该投影装置110的投影坐标
Figure GDA0003861098370000061
的像素点的像素偏移量。而其余坐标的像素点所对应的像素偏移量的计算方式可参考如上实施例的说明，故在此不再赘述。
在式(2)中，-10≤i≤10与-10≤j≤10的设定仅为本发明实施例的一种实施范例，不用于限制本发明实施例。使用者以可视其需求调整式(2)的i与j的范围，都可达到相同的效果。例如，-5≤i≤5与-5≤j≤5、-3≤i≤3与-3≤j≤3、-6≤i≤6与-6≤j≤6、-8≤i≤8与-8≤j≤8等。其余i与j的范围则类推。另外，调整后的i与j的范围的实施方式可参考如上实施例的说明，故在此不再赘述。
此外，在本实施例中，
Figure GDA0003861098370000062
的运算可例如通过如下式(3)：
Figure GDA0003861098370000063
其中，C(x,y)为对应取像装置120的坐标，
Figure GDA0003861098370000064
为对应投影装置110的坐标，Normal Vector＝投影装置110的X轴的坐标向量×VP，
Figure GDA0003861098370000065
Figure GDA0003861098370000066
L0为对应取像装置120的图像数据的中心坐标，并定义L＝VC-L0，
Figure GDA0003861098370000067
P0为投影装置110的中心坐标。
接着，处理装置130可以将对应该投影装置110的每一像素点坐标
Figure GDA0003861098370000068
的像素偏移量(例如
Figure GDA0003861098370000069
的像素点的像素偏移量(0,5))与转换比例进行运算，以取得投影误差信息。在本实施例中，投影误差信息的运算例如通过如下式(4)：
Δd(x,y)＝(i,j)×Pd (4)
其中，Δd(x,y)为投影误差信息，(i,j)为像素偏移量，Pd为像素与长度间的转换比例(例如一个像素转换成几公分，单位为cm/pixel)。具体来说，投影误差信息即是投影装置110实际投射的可逆结构光码与理想的可逆结构光码的X轴方向与Y轴方向的差距。
在处理装置130取得投影误差信息后，处理装置130可以依据投影误差信息与投影距离进行运算，以取得对应投影装置110的射线偏移信息。在本实施例中，对应投影装置110的射线偏移信息的运算例如通过如下式(5)：
Figure GDA0003861098370000071
其中，θ(x,y)是射线偏移信息、d(x,y)是投影误差信息及h是投影距离(例如投影装置110与表面150之间的距离)。另外，在一些实施例中，投影距离可以预先储存于投影设备100的储存装置中。
在一些实施例中，投影设备100也可设置测距装置。并且，在取得对应投影装置110的射线偏移量的运算之前，投影设备100可以通过测距装置测量投影装置110与表面之间的距离，以产生测距信息，并将测距信息传送至处理装置130，使处理装置130取得测距信息对应的投影距离，并将投影距离储存于投影设备100的储存装置中。
进一步来说，在处理装置130取得对应投影装置110的射线偏移信息后，处理装置130可依据上述射线偏移信息，对投影装置110进行校正，使得投影装置110所投射的可逆结构光码更为精确，以降低投影装置110的射线偏移量，并提高三维点云信息的质量。
图4为依据本发明的实施例的投影设备的投影校正方法的流程图。在步骤S402中，通过投影装置，投射可逆结构光码至表面上。在步骤S404中，通过取像装置，对被投射可逆结构光码的表面进行取像，并取得图像数据。在步骤S406中，通过处理装置，接收图像数据，并依据图像数据进行解码以产生三维点云信息，且依据三维点云信息及对应表面的三维信息进行运算，以取得对应投影装置的射线偏移信息。
在本实施例中，上述可逆结构光码为格雷条纹光码。另外，上述投影装置为扫描式振镜投影机。此外，上述表面为标准件的表面。再者，射线偏移信息的运算通过式(5)。
图5为图4的步骤S406的详细流程图。在步骤S502中，依据三维点云信息与对应表面的三维信息进行运算，以取得深度误差信息。在步骤S504中，依据深度误差信息、三维点云信息与多笔补偿深度信息进行运算，以取得投影误差信息。在步骤S506中，依据投影误差信息与投影距离进行运算，以取得射线偏移信息。在本实施例中，射线偏移信息的运算通过式(5)。
图6为图4的步骤S406的另一详细流程图。在本实施例中，步骤S502、S506与图5的步骤S502、S506相同，可参考图5的实施例的说明，故在此不再赘述。在步骤S602中，经由处理装置依据多个像素偏移量运算取得多笔补偿深度信息。在步骤S604中，经由处理装置运算三维点云信息与补偿深度信息间的多笔补偿深度差。在步骤S606中，经由处理装置依据深度误差信息与补偿深度差间的差距的最小者，选择最小差距对应的像素偏移量中之一，并依据选择的像素偏移量运算投影误差信息。在本实施例中，投影误差信息的运算通过式(4)，且射线偏移信息的运算通过式(5)。
图7为依据本发明的另一实施例的投影设备的投影校正方法的流程图。在本实施例中，步骤S402～S406与图4的步骤S402～S406相同，可参考图4的实施例的说明，故在此不再赘述。
在步骤S702中，依据射线偏移信息校正投影装置。在本实施例中，上述可逆结构光码为格雷条纹光码。另外，上述投影装置为扫描式振镜投影机。此外，上述表面为标准件的表面。再者，上述射线偏移信息的运算通过式(5)。
综上所述，本发明所公开的投影设备与投影校正方法，通过投影装置投射可逆结构光码至表面上，且通过取像装置对被投射可逆结构光码的表面进行取像，并取得图像数据，以及通过处理装置接收图像数据，并依据图像数据产生三维点云信息，且依据三维点云信息及对应表面的三维信息进行运算，以取得对应投影装置的射线偏移信息。如此一来，可以有效地藉以有效地得到对应投影装置的射线偏移量，以改善点云信息的质量及降低硬件的使用成本。
另外，本实施例的处理装置还可进一步依据射线偏移信息对投影装置进行校正，使得投影装置所投射的可逆结构光码更为精确，以降低投影装置的射线偏移量，并提高三维点云信息的质量，进而在兼顾点云信息质量的情况下，降低整体硬件成本。
补充说明的是，在一些实施例中，该处理装置可以是一个或多个的单核处理器或多核处理器结合存储器，并经由软/固体驱动运作。
本发明虽以实施例公开如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视后附的权利要求书所界定者为准。
【符号说明】
100：投影设备
110：投影装置
120：取像装置
130：处理装置
150：表面
310：像素点
S402～S406、S502～S506、S602～S606、S702：步骤

Claims (18)

1.一种投影设备，包括：
投影装置，投射可逆结构光码至表面上；
取像装置，对被投射该可逆结构光码的该表面进行取像，并取得图像数据；以及
处理装置，耦接该投影装置及该取像装置，接收该图像数据，并经配置以执行依据该图像数据进行解码以产生三维点云信息，且依据该三维点云信息、对应该表面的三维信息、多笔补偿深度信息及投影距离进行运算，以取得对应该投影装置的射线偏移信息；
其中该处理装置经配置还执行依据该三维点云信息与对应该表面的该三维信息进行运算，以取得深度误差信息，且依据该深度误差信息、该三维点云信息与多笔补偿深度信息进行运算，以取得投影误差信息，并依据该投影误差信息与投影距离进行运算，以取得该射线偏移信息。
2.如权利要求1所述的投影设备，其中该射线偏移信息的运算通过如下式：
Figure FDA0004088447710000011
其中，θ(x,y)是该射线偏移信息，d(x,y)是该投影误差信息，h是该投影距离。
3.如权利要求1所述的投影设备，其中该处理装置经配置还执行依据多个像素偏移量运算取得所述多笔补偿深度信息。
4.如权利要求3所述的投影设备，其中该处理装置经配置还执行运算该三维点云信息与所述多笔补偿深度信息间的多笔补偿深度差，并依据该深度误差信息与所述多笔补偿深度差间的差距的最小者，选择最小差距对应的所述多个像素偏移量中之一，并依据选择的该像素偏移量运算该投影误差信息。
5.如权利要求4所述的投影设备，其中该投影误差信息的运算通过如下式：
Δd(x,y)＝(i,j)×Pd
其中，Δd(x,y)是该投影误差信息，(i,j)是像素偏移量，Pd是像素与长度间的转换比例。
6.如权利要求1所述的投影设备，其中该可逆结构光码为格雷条纹光码。
7.如权利要求1所述的投影设备，其中该投影装置为扫描式振镜投影机。
8.如权利要求1所述的投影设备，其中该表面为标准件的表面。
9.如权利要求1所述的投影设备，其中该处理装置还依据该射线偏移信息校正该投影装置。
10.一种投影校正方法，包括：
通过投影装置，投射可逆结构光码至表面上；
通过取像装置，对被投射该可逆结构光码的该表面进行取像，并取得图像数据；以及
通过处理装置，接收该图像数据，并依据该图像数据进行解码以产生三维点云信息，且依据该三维点云信息、对应该表面的三维信息、多笔补偿深度信息及投影距离进行运算，以取得对应该投影装置的射线偏移信息；
其中通过该处理装置，接收该图像数据，并依据该图像数据产生该三维点云信息，且依据该三维点云信息及对应该表面的该三维信息进行运算，以取得对应该投影装置的该射线偏移信息的步骤还包括：
依据该三维点云信息与对应该表面的该三维信息进行运算，以取得深度误差信息；
依据该深度误差信息、该三维点云信息与所述多笔补偿深度信息进行运算，以取得投影误差信息；以及
依据该投影误差信息与该投影距离进行运算，以取得该射线偏移信息。
11.如权利要求10所述的投影校正方法，其中该射线偏移信息的运算通过如下式：
Figure FDA0004088447710000021
其中，θ(x,y)是该射线偏移信息、d(x,y)是该投影误差信息及h是该投影距离。
12.如权利要求10所述的投影校正方法，其中通过该处理装置，接收该图像数据，并依据该图像数据产生该三维点云信息，且依据该三维点云信息及对应该表面的该三维信息进行运算，以取得对应该投影装置的该射线偏移信息的步骤还包括：
经由该处理装置依据多个像素偏移量运算取得所述多笔补偿深度信息。
13.如权利要求12所述的投影校正方法，其中依据该深度误差信息、该三维点云信息与所述多笔补偿深度信息进行运算，以取得该投影误差信息的步骤包括：
经由该处理装置运算该三维点云信息与所述多笔补偿深度信息间的多笔补偿深度差；以及
经由该处理装置依据该深度误差信息与所述多笔补偿深度差间的差距的最小者，选择最小差距对应的所述多个像素偏移量中之一，并依据选择的该像素偏移量运算该投影误差信息。
14.如权利要求13所述的投影校正方法，其中该投影误差信息的运算通过如下式：
Δd(x,y)＝(i,j)×Pd
其中，Δd(x,y)是该投影误差信息，(i,j)是像素偏移量，Pd是像素与长度间的转换比例。
15.如权利要求10所述的投影校正方法，其中该可逆结构光码为格雷条纹光码。
16.如权利要求10所述的投影校正方法，其中该投影装置为扫描式振镜投影机。
17.如权利要求10所述的投影校正方法，其中该表面为标准件的表面。
18.如权利要求10所述的投影校正方法，还包括：
依据该射线偏移信息校正该投影装置。
CN201911373189.8A 2019-12-09 2019-12-27 投影设备与投影校正方法 Active CN113038096B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108144913 2019-12-09
TW108144913A TWI722703B (zh) 2019-12-09 2019-12-09 投影設備與投影校正方法

Publications (2)

Publication Number Publication Date
CN113038096A CN113038096A (zh) 2021-06-25
CN113038096B true CN113038096B (zh) 2023-05-02

Family

ID=76036137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911373189.8A Active CN113038096B (zh) 2019-12-09 2019-12-27 投影设备与投影校正方法

Country Status (3)

Country Link
US (1) US11549805B2 (zh)
CN (1) CN113038096B (zh)
TW (1) TWI722703B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524238B (zh) * 2020-04-23 2022-02-01 南京航空航天大学 一种基于编码点驱动的三维点云变形方法
CN114332191A (zh) * 2021-11-29 2022-04-12 盛景智能科技(嘉兴)有限公司 三维点云误差补偿方法及装置
CN115115788B (zh) * 2022-08-12 2023-11-03 梅卡曼德（北京）机器人科技有限公司 三维重建方法、装置及电子设备、存储介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975361B2 (en) * 2000-02-22 2005-12-13 Minolta Co., Ltd. Imaging system, two-dimensional photographing device and three-dimensional measuring device
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US7773827B2 (en) * 2006-02-15 2010-08-10 Mersive Technologies, Inc. Hybrid system for multi-projector geometry calibration
GB0615956D0 (en) * 2006-08-11 2006-09-20 Univ Heriot Watt Optical imaging of physical objects
WO2008144370A1 (en) * 2007-05-16 2008-11-27 Honda Motor Co., Ltd. Camera-projector duality: multi-projector 3d reconstruction
US8107083B2 (en) 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
CN102175179A (zh) 2011-02-23 2011-09-07 东南大学 一种人体表面轮廓三维重建的方法与装置
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
US10008007B2 (en) * 2012-09-20 2018-06-26 Brown University Method for generating an array of 3-D points
CN104395813B (zh) 2013-06-28 2018-08-10 英特尔公司 Mems扫描反射镜光模式
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
US9305345B2 (en) * 2014-04-24 2016-04-05 General Electric Company System and method for image based inspection of an object
TWI517101B (zh) * 2014-12-09 2016-01-11 財團法人工業技術研究院 三維掃描器校正系統及其校正方法
DE102016105405B4 (de) 2015-03-25 2017-07-20 EXTEND3D GmbH Verfahren und eine Vorrichtungsanordnung zur hochgenauen, (semi-)automatischen in-situ-Kalibrierung und -Registrierung eines Projektor-Kamera-Systems zu einem Bauteil
US10203499B2 (en) * 2015-08-24 2019-02-12 Finisar Corporation Image projection system
CN105551039B (zh) 2015-12-14 2017-12-08 深圳先进技术研究院 结构光三维扫描系统的标定方法及装置
AU2015275255A1 (en) * 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Multi-projector alignment refinement
DE102015122842B4 (de) * 2015-12-27 2019-02-07 Faro Technologies, Inc. Verfahren zum Kalibrieren einer 3D-Messvorrichtung mittels einer Kalibrierplatte
US10009585B2 (en) 2016-01-04 2018-06-26 Microvision, Inc. MEMS scan controlled keystone and distortion correction
CN105809668B (zh) 2016-01-15 2018-10-02 武汉武大卓越科技有限责任公司 基于线扫描三维点云的物体表面变形特征提取方法
EP4239371A3 (en) * 2016-11-17 2023-11-08 trinamiX GmbH Detector for optically detecting at least one object
CN109212510B (zh) * 2017-07-04 2021-04-23 百度在线网络技术（北京）有限公司 用于测量多线激光雷达的角分辨率的方法和装置
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描系统的三维重构方法和装置
CN107607040B (zh) * 2017-08-11 2020-01-14 天津大学 一种适用于强反射表面的三维扫描测量装置及方法
CN107462184B (zh) 2017-08-15 2019-01-22 东南大学 一种结构光三维测量系统的参数重标定方法及其设备
US10681318B2 (en) * 2017-11-14 2020-06-09 Texas Instruments Incorporated Camera-assisted arbitrary surface characterization and slope-based correction
GB2569656B (en) * 2017-12-22 2020-07-22 Zivid Labs As Method and system for generating a three-dimensional image of an object
CN110300292B (zh) * 2018-03-22 2021-11-19 深圳光峰科技股份有限公司 投影畸变校正方法、装置、系统及存储介质
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
US11971961B2 (en) * 2018-09-28 2024-04-30 Daegu Gyeongbuk Institute Of Science And Technology Device and method for data fusion between heterogeneous sensors
EP3682424B1 (en) * 2018-11-23 2021-02-17 Brainlab AG Relative pose determination of non-overlapping cameras
US11512946B2 (en) * 2020-02-17 2022-11-29 Purdue Research Foundation Method and system for automatic focusing for high-resolution structured light 3D imaging

Also Published As

Publication number Publication date
US11549805B2 (en) 2023-01-10
CN113038096A (zh) 2021-06-25
US20210172732A1 (en) 2021-06-10
TWI722703B (zh) 2021-03-21
TW202122904A (zh) 2021-06-16

Similar Documents

Publication Publication Date Title
CN113038096B (zh) 投影设备与投影校正方法
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP5635218B1 (ja) 空間コード化スライド画像に対するパターンのアライメント方法およびシステム
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
CN110689581A (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11620732B2 (en) Multi-projection system, image projection method and projector
JP2010041419A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
KR102093622B1 (ko) 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치
JP2010197198A (ja) 画像の差分による高精度ステレオカメラキャリブレーション
US9696613B2 (en) Image processing apparatus, projector and image processing method
JP2011086111A (ja) 撮像装置校正方法及び画像合成装置
JP6592277B2 (ja) 計測装置、校正方法およびプログラム
JP2016217833A (ja) 画像処理システム及び画像処理方法
US10362297B2 (en) Image generation apparatus, image generation method, and calibration method
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
JP2007288295A (ja) 観察位置追従式映像提示装置及び観察位置追従式映像提示プログラム，映像提示装置及び映像提示プログラム
WO2017197085A1 (en) System and method for depth estimation using a movable image sensor and illumination source
JP5996233B2 (ja) 画像撮像装置
JP5901379B2 (ja) 撮像装置校正方法および画像合成装置
CN115239816A (zh) 一种相机标定方法、系统、电子设备及存储介质
JP2012070168A (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
US20160212395A1 (en) Method of determining an optimal point in three-dimensional space
Marrugo Hernández et al. Method for large-scale structured-light system calibration
KR20220106292A (ko) 미러를 이용한 카메라 캘리브레이션 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant