[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107318010B - 用于生成立体全景图像的方法和设备 - Google Patents

用于生成立体全景图像的方法和设备 Download PDF

Info

Publication number
CN107318010B
CN107318010B CN201710541008.2A CN201710541008A CN107318010B CN 107318010 B CN107318010 B CN 107318010B CN 201710541008 A CN201710541008 A CN 201710541008A CN 107318010 B CN107318010 B CN 107318010B
Authority
CN
China
Prior art keywords
image
images
rectangular images
intermediate image
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710541008.2A
Other languages
English (en)
Other versions
CN107318010A (zh
Inventor
牟俊舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoyi Technology Co Ltd
Original Assignee
Shanghai Xiaoyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoyi Technology Co Ltd filed Critical Shanghai Xiaoyi Technology Co Ltd
Priority to CN201710541008.2A priority Critical patent/CN107318010B/zh
Publication of CN107318010A publication Critical patent/CN107318010A/zh
Priority to US15/873,018 priority patent/US10481482B2/en
Priority to EP18181781.8A priority patent/EP3425588A3/en
Application granted granted Critical
Publication of CN107318010B publication Critical patent/CN107318010B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

本公开提供用于生成立体全景图像的方法和设备。该方法包括从圆形阵列中的多个位置捕捉图像，将捕捉的图像投影到对应的等矩形图像中，从等矩形图像中提取中间图像的集合，并将该集合的中间图像进行融合以生成多个全景图像进而生成立体全景图像。

Description

用于生成立体全景图像的方法和设备
技术领域
本公开涉及图像处理设备和方法，更具体地，涉及用于生成立体全景图像的设备和方法。
背景技术
在许多工业、商业和科学应用中，360度全景成像设备是创建虚拟现实内容的重要设备。通常，全景成像设备可以包括圆形阵列中的多个摄像机(例如，6、12或16个摄像机)，以捕捉360°内的场景的图像，使得可以通过生成全景图像的方法将场景的图像组合成平面全景图像。生成多个连续的全景图像之后，可以进一步生成全景视频。
除了二维全景图像和视频之外，全景成像设备还可以生成立体全景图像和视频。
由于摄像机捕捉的图像数量众多，因此必须处理大数据流，以生成全景图像和视频。需要甚至更多的处理能力来生成三维视频。然而，通常，全景成像设备仅具有有限的计算资源可支配，并且可能需要长时间来处理所有图像。因此，由于处理时间长，用户体验可能无法令人满意。
本公开的实施例通过提供用于生成全景图像的改进的方法和设备来解决上述问题。
发明内容
根据本公开的一个方面，提供了一种用于生成立体全景图像的方法。该方法可以包括：从圆形阵列中的多个位置捕捉图像；将捕捉的图像投影到对应的等矩形(equirectangular)图像中；从等矩形图像中提取中间图像的集合；以及将所述集合的中间图像融合以生成多个全景图像进而生成立体全景图像。
根据本公开的另一方面，提供了一种用于生成立体全景图像的设备。该设备可以包括：摄像机架；至少一个摄像机，安装在摄像机架上并被配置为从圆形阵列中的多个位置捕捉图像；存储器，被配置为存储捕捉的图像和指令；以及处理器，被配置为执行指令以：将捕捉的图像投影到对应的等矩形图像中；从等矩形图像中提取中间图像的集合；以及融合该集合的中间图像以生成多个全景图像进而生成立体全景图像。
应当理解，前面的一般描述和以下详细描述仅仅是示例性和解释性的，而不对本发明构成限制。
附图说明
图1是根据本公开的一些实施例的用于生成立体全景图像的示例性成像设备的框图。
图2是根据本公开的一些实施例的具有设置在其上的摄像机的示例性摄像机架的顶视图。
图3是根据本公开的一些实施例的摄像机的视野的示例性示意图。
图4是根据本公开的一些实施例的等距形图像的像素和摄像机图像中的相应像素之间的示例性位置关系。
图5是根据本公开的一些实施例的用于成像设备的球面坐标系的示意图。
图6是根据本公开的一些实施例的摄像机坐标系的示意图。
图7是根据本公开的一些实施例的两个部分重叠的中间图像的示例性示意图。
图8是根据本公开的一些实施例的成像设备生成的示例性全景图像。
图9是根据本公开的一些实施例的摄像机图像之间的重叠视图的示例性示意图。
图10A和10B是根据本公开的一些实施例的等矩形图像中的左眼部分和右眼部分的示意图；
图11是根据本公开的一些实施例的部分重叠的左眼中间图像的示例性示意图。
图12A和12B分别示出了根据本公开的一些实施例生成的示例性左眼和右眼全景图像。
图13是根据本公开的一些实施例的用于生成立体全景图像的方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。尽可能地，贯穿附图中将使用相同的附图标记来指代相同或相似的部件。
图1是根据本公开的一些实施例的用于生成立体全景图像的示例性成像设备的框图。如图1所示，成像设备100可以包括至少一个摄像机102、存储器106和处理器108。
图2是具有设置在其上的摄像机的示例性摄像机架的顶视图。在图2所示的实施例中，成像设备100可以包括具有安装在圆形摄像机架104上的多个摄像机102a-102p的摄像机阵列101。每个摄像机102a-102p都包括图像传感器(未示出)。图像传感器可以是互补金属氧化物半导体(CMOS)传感器，电荷耦合器件(CCD)传感器或能够捕捉入射光子并读取像素数据以生成图像的任何类型的图像传感器。由摄像机102a-102p生成的图像可以被传送到处理器108进一步处理。
机架104可以包括圆形阵列中的多个凹槽或插座，使得至少一个摄像机102可以布置在对应于圆形阵列中的不同位置的凹槽或插座处。摄像机102a-102p面向径向向外以捕捉成像设备100的周围场景。摄像机102a-102p可以固定或可移除地附接到机架104。
摄像机102a-102p均包括视野(FOV)，其可以包括竖直FOV和水平FOV。通常，摄像机水平布置以同时捕捉周围场景的图像，并且水平地融合图像以生成全景图像。因此，除非另有说明，本公开中提及的FOV通常指水平FOV。在图2所示的实施例中，在机架104上布置十六个摄像机以捕捉图像。在这种情况下，每个摄像机102a-102p的FOV可以大于22.5°(即360°/16)，使得十六个摄像机可以覆盖360°的周围场景。因为下面讨论的融合过程通常需要一些重叠区域，所以每个摄像机的FOV可能远远大于最小FOV(例如，22.5°)。应当理解，当需要时可以修改摄像机的数量。
如图2所示，圆形阵列中的十六个摄像机102a-102p设置在机架104上，面向径向向外以捕捉周围的场景。因此，用于观看捕捉的周围场景的原点是圆形阵列的中心，其在图2中被标记为O1。在一些实施例中，圆形阵列的半径可以是200毫米。在一些实施例中，十六个摄像机102a～102p中的每一个可以具有90°(大于22.5°的最小值)的水平FOV和120°的竖直FOV。
在另一个实施例中，机架104还可以包括旋转单元(未示出)，使得机架104上的摄像机可以由旋转单元旋转。例如，成像设备100可以仅包括一个摄像机，并且可以通过摄像机在第一位置处捕捉第一图像，然后经由旋转单元将摄像机旋转角度(例如，22.5°)到第二位置以捕捉第二个图像。通过继续旋转摄像机并捕捉图像，可能同时由十六个摄像机捕捉的所有图像也可以被更少的摄像机(例如，仅一个摄像机)捕捉。
应当理解，成像设备100可以包括其他数量的摄像机。例如，成像设备100可以包括均匀地设置在圆形阵列中的四个摄像机。也就是说，参考图2，可以仅提供摄像机102a、102e、102i和102m并且可以由旋转单元旋转。例如，摄像机102a可以顺序旋转到摄像机102b、102c和102d的位置，并且可以从每个位置捕捉图像。相应地，摄像机102e可以顺序旋转到摄像机102f、102g和102h的位置并且捕捉图像，摄像机102i可以顺序旋转到摄像机102j、102k和1021的位置并且捕捉图像，并且摄像机102m可以顺序旋转到摄像机102n、102o和102p的位置并且捕捉图像。因此，仅四个摄像机就可以捕捉十六张图像，就像有十六个摄像机一样。
因此，旋转单元允许较少的摄像机覆盖360度的视野，从而降低了成像设备100的成本。应该注意的是，具有旋转单元的这种配置仅可以生成静止的全景图像，因为它需要有限的时段旋转成像单元捕捉所需图像。
存储器106(图1)可以被配置为存储指令、数据和捕捉的图像用于进一步处理。可以使用任何类型的易失性或非易失性存储器件或其组合来实现存储器106，例如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程读取存储器只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存或磁盘或光盘。
处理器108可以被配置为执行软件指令(程序代码)，并且根据本文所描述的技术来执行功能。例如，处理器108可以接收所捕捉的图像并且执行根据本公开的一些实施例的方法，以便生成全景图像。软件指令包括执行本文进一步描述的特定功能的例程、程序、对象、组件、数据结构、过程、模块和功能。
图3是根据本公开的一些实施例的摄像机102a-102p之一(例如，102a)的视野的示例性示意图。如图3所示，摄像机102a可以生成对应于观察球体的部分304的平面摄像机图像302。观察球体是虚拟球体，指示成像设备100可捕捉的范围。应当注意，十六个摄像机中的每一个可以生成对应于观察球体的一部分的平面摄像机图像。换句话说，摄像机捕捉观察球体的一部分内的场景并将场景投影在平面摄像机图像上。在图3中，由于摄像机102a具有90°的水平FOV和120°的竖直FOV，所以观察球体的部分304对应于90°的水平视图和120°的竖直视图。
图3还示出了用于平面摄像机图像中的像素的直线图像坐标系。图3的直线图像坐标系是包括水平轴u和竖直轴v的二维坐标系。应该注意的是，每个平面摄像机图像都有其自己的图像坐标系，平面摄像机图像中的每个像素的坐标在相应的直线图像坐标系中表示。
由于每个摄像机图像具有其自己的图像坐标系，所以基于平面图像直接生成全景图像是不方便的。因此，在任何进一步的处理之前，摄像机图像应该投影到公共坐标系中的图像中。
如上所述，由十六个摄像机捕捉的每个摄像机图像对应于观察球体的一部分。也就是说，摄像机图像可以投影到观察球体的球坐标系中的球图像。当观察球体的部分(例如，球图像)被拉伸到平面上时，可以生成与摄像机图像相对应的等矩形图像。因为所有的球图像可以在相同的球坐标系中测量，所生成的等矩形图像也可以在相同的坐标系中测量。因此，可以以更有效的方式对等矩形图像执行进一步的处理。用于生成等矩形图像的过程可以被称为等矩形投影过程。
应当注意，由于通过将观察球体的一部分“拉伸”到平面上来生成等矩形图像，所以等矩形图像也在平面图像坐标系中，但是与用于摄像机图像的平面图像坐标系不同的系统。因此，等矩形投影过程将用于摄像机图像的第一图像坐标系中的像素的坐标转换为用于等矩形图像的第二图像坐标系中的对应像素的坐标。
在等矩形投影过程中，摄像机图像的每个像素可以根据等矩形映射表投影到等矩形图像。等矩形映射表包括摄像机图像的像素和等矩形图像的像素之间的位置关系。在一些实施例中，等矩形映射表被预先确定并存储在成像设备100中，使得可以有效地执行等矩形投影过程。
图4示出了根据本公开的一些实施例的等矩形图像的像素和摄像机图像中的相应像素之间的示例性位置关系。在图4中，(ue,ve)表示等矩形图像中的像素的位置，(uc,vc)表示摄像机图像中相同像素的位置。此外，等矩形图像的宽度是we，等矩形图像的高度是he，摄像机图像的宽度是wc，摄像机图像的高度是hc。从图4中可以看出，摄像机图像的顶部区域和底部区域在等矩形图像中朝向两侧“拉伸”。
等矩形图像中的每个像素与摄像机图像中的相应像素之间的位置关系构成等矩形映射表的元素。类似地，等矩形图像中的每个像素与另一摄像机图像中的对应像素之间的位置关系也构成等矩形映射表的元素。
现在将描述用于确定等矩形图像和摄像机图像之间的这些位置关系以构造等矩形映射表的过程。可以在不同的坐标系之间变换每个像素的坐标，以便确定等矩形图像和摄像机图像之间的位置关系。在一些实施例中，坐标系可以包括用于等矩形图像的第一图像坐标系，用于摄像机图像的第二图像坐标系、球坐标系、世界坐标系和摄像机坐标系，这将进一步讨论。
将首先转换等矩形图像的(ue,ve)处的像素，以确定球坐标系中的对应位置。球坐标系可以进一步转换为世界坐标系，然后转换为摄像机坐标系，最后是摄像机图像的第二图像坐标系。通过坐标系之间的这些转换，可以确定摄像机图像中(uc,vc)处的像素与等矩形图像中(ue,ve)处的像素之间的位置关系。类似地，也可以确定另一摄像机图像中的像素与等矩形图像中的对应像素之间的位置关系。
首先，可以在用于等矩形图像的图像坐标系和球坐标系之间执行第一坐标转换。图5是根据本公开的一些实施例的用于成像设备的球坐标系的示意图。如上所述，等矩形图像的(ue,ve)处的像素将首先被转换为球坐标系。球坐标系中像素的位置可以由坐标(r,θ,ρ)表示，其中r是径向距离，θ是方位角，ρ是极角。
等矩形图像中的坐标(ue,ve)可以通过下面的等式对应于球坐标系中的坐标(r,θ,ρ)。
在一些实施例中，r可以设定为1500毫米。
然后，可以在球坐标系和世界坐标系(WCS)之间执行第二坐标转换。世界坐标系(WCS)是通用坐标系。任何其他坐标系中的坐标可以转换为WCS中的坐标，或反之。图5还示出了示例性世界坐标系。如图5所示，世界坐标系的原点和球坐标系的原点都位于由摄像机形成的圆形阵列的中心。
因此，球面坐标系中的坐标(r,θ,ρ)可以通过下面的等式进一步变换到世界坐标系中的对应坐标(xw,yw,zw)。
xw＝-cos(θ)sin(ρ)r 等式2.1
yw＝sin(θ)r 等式2.2
zw＝cos(θ)cos(ρ)r 等式2.3
可以执行第三坐标转换，以将世界坐标系中的坐标转换为摄像机坐标系(CCS)中的坐标。图6是根据本公开的一些实施例的摄像机坐标系的示意图。摄像机坐标系是具有位于摄像机光学中心的原点Oc的另一三轴坐标系。在CCS中，Xc轴和Yc轴分别平行于图像平面的u轴和v轴，Zc轴是摄像机的光轴。从图6可以看到，世界坐标系和摄像机坐标系之间存在位移。
世界坐标系中的坐标(xw,yw,zw)将通过下面的等式进一步转换为摄像机坐标系中的摄像机坐标(xc,yc,zc)。
[xc,yc,zc]T＝R[xw,yw,zw]T+T 等式3.1
在上述等式3.1中，R是摄像机坐标系和世界坐标系之间的3×3旋转矩阵。T是两个坐标系的3×1平移向量。换句话说，R和T描述了摄像机坐标系与世界坐标系之间的相对位置关系。R和T都是每个摄像机独有的外在参数。
通常，摄像机坐标系相对于世界坐标系移位，并可进一步偏移或旋转。例如，返回参考图5，世界坐标系和摄像机的摄像机坐标系之间的位移可以是圆形阵列的中心和摄像机的光学中心(它们分别是世界坐标系和摄像机坐标系的原点)之间的矢量。并且R和T可以反映例如世界坐标系和摄像机的摄像机坐标系之间的上述示例性位置关系。
因此，可以根据上述等式1.1、1.2、2.1-2.3和3.1生成摄像机图像的像素和等矩形图像的对应像素之间的位置关系。通常，可以预先生成等矩形图像的所有像素和摄像机图像的所有对应像素之间的位置关系。可以存储位置关系以形成等矩形映射表。
可以为在不同位置捕捉的每个图像中的像素生成位置关系，并且分别存储在相同的等矩形映射表或多个映射表中。
给定摄像机图像中的像素的坐标，可以从等矩形映射表获得等矩形图像中的对应坐标。然后，摄像机图像中的像素的值可以被提供给等矩形图像中相应坐标处的像素，以便生成等矩形图像。
此外，可以将图像坐标系、世界坐标系、摄像机坐标系和球坐标系当中的一个坐标系中的像素的坐标变换为上述坐标系当中的另一个坐标系中的坐标。
如上所述，在一些实施例中，十六个摄像机设置在圆形阵列中以捕捉360°的周围场景的图像，并且十六个摄像机中的每一个可以具有90°的FOV。理论上，这16个摄像机可以覆盖1440°(即90°×16)。因此，每个摄像机具有远远大于生成全景图像所需的最小FOV的FOV。
在一些实施例中，可以从每个等矩形图像中提取中间图像，以生成中间图像的集合。例如，可以提取每个等矩形图像的中心部分作为中间图像，以生成中间图像的集合。返回参考图4，可以提取虚线之间的等矩形图像的中心部分作为中间图像。
如上所述，等矩形图像中的每个像素的坐标可以被变换为球坐标系中的坐标。也就是说，由摄像机捕捉的任何图像也可以在球坐标系中以对应的球图像的形式进行讨论。因此，等矩形度图像的中心部分可以以度数来测量，就像它在球坐标系中一样。
可以进一步融合该集合的中间图像以生成全景图像。例如，可以确定两个中间图像之间的重叠区域并用于融合两个中间图像。
图7是根据本公开的一些实施例的两个部分重叠的中间图像的示例性示意图。如图7所示，例如，中间图像702和相邻中间图像704可以各自对应于30°的视图。因为两个相邻摄像机的光轴之间的角度是22.5°(即360°/16)，所以中间图像702相对于中间图像704移位22.5°。也就是说，例如，当中间图像702覆盖75°～105°的方位角θ1(即30°的视图)时，中间图像704覆盖52.5°～82.5°的方位角θ2。因此，在75°～82.5°之间的区域706，如图7中的加重弧所示，是中间图像702和中间图像704之间的重叠。
如上所述，给定两个中间图像的视角和对应于两个中间图像的摄像机的位置，可以在球坐标系中确定中间图像之间的重叠区域，并且在任何其它坐标系中标识(如果需要)。应当理解，可以采用用于确定重叠区域的其他方法。例如，可以使用两个中间图像之间的相同特征点来确定重叠区域。
在确定重叠区域之后，可以通过任何合适的融合方法，例如金字塔融合方法，基于重叠区域来融合两个中间图像。一种金字塔融合方法可以从两个中间图像构建拉普拉斯金字塔LA和LB，从两个中间图像进一步与掩模M(例如，5×5的矩阵)组合构建高斯金字塔GM，并且基于拉普拉斯金字塔和高斯金字塔生成融合图像。
在金字塔融合方法中，高斯金字塔可以包括由图像金字塔组成的若干图像。原始图像可以被认为是图像金字塔的最低层(层0)。可以基于掩模M对原始图像执行卷积以生成卷积图像。然后，可以例如通过去除奇数行和奇数列来对卷积图像进行采样，从而生成原始图像上方的层1。层1可以进一步用作上述过程的输入，以获得更高的层。这些层可以构成高斯金字塔。
在计算高斯金字塔期间，卷积和采样可能丢弃相当大量的高频信息。为了描述在计算高斯金字塔期间丢失的高频信息，生成拉普拉斯金字塔。在生成拉普拉斯金字塔之后，可以基于高斯金字塔和拉普拉斯金字塔进行融合处理。通过金字塔融合方法，融合图像中的重叠区域可以更平滑，并且颜色失真也可以被修复。
通过融合从与摄像机图像相对应的等矩形图像中提取的所有中间图像，可以生成全景图像。应当理解，在一些实施例中，中间图像可以是等矩形图像本身。
图8是根据本公开的一些实施例的由成像设备100生成的示例性全景图像。如图8所示，从图4的示例性等矩形图像中提取的中间图像801已经与其他中间图像一起融合成全景图像。从示例性等矩形图像提取的中间图像801由虚线框指示。
成像设备100可以进一步生成立体全景，如下所述。
图9是根据本公开的一些实施例的可以用于生成立体图像的摄像机图像之间的重叠视图的示例性示意图。如上所述，由摄像机捕捉的任何图像可以以相应的球图像的形式表示在球坐标系中。因此，如图9所示，对应于位置910、912和914处的摄像机捕捉的视图的球图像901、903和905被示出为球图像的示例。位置910、912和914例如是圆形阵列中的相邻位置，其中位置910位于位置912的左侧，位置914位于位置912的右侧。为了清楚，省略其他摄像机和位置。
由于球图像被具有宽FOV(例如，90°)的摄像机捕捉，并且摄像机的光轴之间的角度仅为22.5°(即，360°/16)，所以球图像903与球图像901部分重叠以形成重叠区域907，并且球图像903还与球图像905部分重叠以形成重叠区域909。也就是说，位置910处的摄像机和位置912处的摄像机都捕捉与重叠区域907相对应的场景，并且位置912处的摄像机和位置914处的摄像机都捕捉与重叠区域909相对应的场景。
当位置910处的摄像机被认为是左眼，并且位置912处的摄像机被认为是右眼时，球图像903中的重叠区域907是右眼区域。类似地，当位置912处的摄像机被认为是左眼，并且位置914处的摄像机被认为是右眼时，球图像903中的重叠区域909是左眼区域。也就是说，球图像903可以包括重叠区域907和909。应当注意，重叠区域907和909还具有进一步重叠的区域。因此，可以从每个球图像确定左眼区域和右眼区域。
以上在球坐标系中讨论。由于坐标系可以彼此转换，所以与从球图像确定左眼区域和右眼区域类似地也可以从每个等矩形图像确定左眼区域和右眼区域。例如，可以接收对应于在第一位置捕捉的第一图像的第一等矩形图像、对应于在第二位置捕捉的第二图像的第二等矩形图像和对应于在第三位置捕捉的第三图像的第三等矩形图像，其中所述第二位置位于所述第一位置的左侧，所述第三位置位于所述第一位置的右侧。然后，可以提取第一等矩形图像中与第二等矩形图像重叠的左眼部分作为左眼图像，并且可以提取第一等矩形图像中与第三等矩形图像重叠的右眼部分作为右眼图像。
应当注意，左眼部分可以是第一等矩形图像和第二等矩形图像之间的重叠区域的一部分，而不是整个重叠区域。右眼部分也是如此。
从图9中可以看出，给定摄像机的位置、球坐标系的参数和摄像机的视野，可以确定两个球图像之间的重叠区域。在一些实施例中，十六个摄像机设置成圆形阵列，其半径可以是200毫米。球坐标系的半径r可以是1500毫米，并且每个摄像机的FOV可以是90°。基于上述参数，可以根据常规数学计算来确定两个球图像之间的重叠区域。并且也可以类似地确定两个等矩形图像之间的重叠区域，从而可以从两个等矩形图像中提取左眼部分和右眼部分。
应当注意，可以采用用于确定重叠区域的其他方法。例如，可以使用两个图像之间的相同特征点来确定重叠区域。
图10A和10B是根据本公开的一些实施例的等矩形图像中的左眼部分和右眼部分的示意图。可以从等矩形图像中提取左眼部分和右眼部分作为左眼中间图像和右眼中间图像。左眼中间图像和右眼中间图像可以形成中间图像的集合，包括左眼中间图像的子集和右眼中间图像的子集。
在一些实施例中，左眼中间图像1002是从如图10A所示的等矩形图像1000中提取的，右眼中间图像1004是从如图10B所示的相同等矩形图像1000中提取的。左眼中间图像1002和右眼中间图像1004可以各自覆盖例如30°的视角。
如上所述，可以使用两个中间图像之间的重叠区域来生成全景图像。图11是根据本公开的一些实施例的部分重叠的左眼中间图像的示例性示意图。可以确定两个左眼中间图像1102和1104之间的第一重叠区域1106(图11中的阴影部分)。
与参考图7所讨论的类似，给定两个左眼中间图像的视角和对应于左眼中间图像的摄像机的位置，可以在球坐标系中确定左眼中间图像之间的重叠区域，并且如果需要可以在任何其他坐标系中标识。
也可以相应地确定每两个左眼中间图像之间的第一重叠区域。类似地，也可以相应地确定每两个右眼中间图像之间的第二重叠区域，为了清楚起见，这里省略了描述和示意图。
可以对左眼中间图像和右眼中间图像执行任何合适的融合方法(例如，上述的金字塔融合方法)，使得可以基于第一重叠区域来融合左眼中间图像以获得左眼全景图像，并且可以基于第一重叠区域来融合左眼中间图像以获得左眼全景图像。通过融合从等矩形图像确定的所有左眼和右眼区域，可以生成左眼全景图像和右眼全景图像。当左眼和右眼全景图像分别显示给用户的左眼和右眼时，可以为用户生成立体全景。
图12A和12B分别示出了根据本公开的一些实施例生成的示例性左眼和右眼全景图像。图12A中的左眼全景图像1202和图12B中的右眼全景图像1204被竖直对准，并且提供参考线(即虚线)以示出左眼全景图像1202和右眼全景图像1204之间的视差。视差是例如两眼观察物体的显现位置的位移或差异。参考线设置在右眼全景图像1204中的树旁边。当参考线延伸穿过左眼全景图像1202时，相同的树从参考线移位某个间隙。左眼全景图像1202中的该间隙(或位移)指示所谓的视差。因此，当左眼和右眼全景图像分别显示给用户的左眼和右眼时，可以为用户生成立体全景。
上面公开的成像设备100可以从圆形阵列中的多个位置捕捉图像，将捕捉的图像投影到对应的等矩形图像中，并且基于对应的等矩形图像生成用于2D或3D显示的全景图像。因为可以在相同的坐标系中处理投影的等矩形图像，所以可以极大地减少处理负担。
本公开的实施例还包括用于生成全景图像的方法。图13是根据一些实施例的用于生成全景图像的方法1300的流程图。例如，方法1300可以由成像设备100执行，并且可以包括以下讨论的步骤S1302-S1308。
在步骤S1302中，成像设备100可以从圆形阵列中的多个位置捕捉图像。成像设备100可以包括成像单元，成像单元包括至少一个摄像机。在一些实施例中，成像设备100可以通过分别设置在面向径向向外的位置处的摄像机捕捉图像。例如，成像单元可以包括对应于十六个不同位置的十六个摄像机。摄像机的数量可能不限于十六，只要摄像机覆盖周围的场景即可。
然而，在一些实施例中，成像单元可以包括较少的摄像机以覆盖周围的场景。在这种情况下，成像设备100还可以包括用于旋转成像单元的旋转单元，以捕捉周围场景的图像。例如，成像设备100可以通过如下捕捉图像：通过成像单元(例如，包括一个摄像机)在第一位置处捕捉第一图像，并且将成像单元旋转角度至第二位置以捕捉第二图像。通过继续旋转成像单元，成像设备100可捕捉足够的图像以生成全景图像。
在步骤S1304中，成像设备100可以将捕捉的图像投影到对应的等矩形图像中。在一些实施例中，成像设备100可以通过如下来投影捕捉的图像：接收捕捉的图像中的像素的坐标，在映射表中查找坐标，从映射表获得等矩形图像中的像素的对应坐标，以及将捕捉的图像中的像素的值提供给等矩形图像的对应坐标上的像素。映射表可以预先生成并存储在成像设备100中。以上已经讨论了生成映射表的方法，为了清楚起见，将省略其描述。由于摄像机捕捉的图像位于不同的摄像机坐标系中，因此直接处理捕捉的图像是不方便的。通过将捕捉的图像投影到公共坐标系中的等矩形图像中，可以在随后的步骤中有效地处理等矩形图像。
在步骤S1306中，成像设备100可以从等矩形图像提取中间图像的集合。在一个实施例中，成像设备100可以接收等矩形图像，并且提取每个等矩形图像的中心部分作为中间图像，以获得中间图像的集合。在另一个实施例中，成像设备100可以接收对应于在第一位置捕捉的第一图像的第一等矩形图像、对应于在第二位置捕捉的第二图像的第二等矩形图像和对应于在第三位置捕捉的第三图像的第三等矩形图像。在圆形阵列中，第二位置位于第一位置的左侧，第三位置位于第一位置的右侧。成像设备100可以进一步提取第一等矩形图像中与第二等矩形图像重叠的第一部分作为第一中间图像，并且提取第一等距图像中与第三等矩形图像重叠的第二部分作为第二中间图像，并且中间图像的集合可以包括第一中间图像的子集和第二中间图像的子集。第一中间图像可以包括用于呈现给用户的右眼的场景，并且第二中间图像可以包括用于呈现给用户的左眼的场景。
可以进一步处理从每个等矩形图像的中心部分生成的或包括第一中间图像的子集和第二中间图像的子集的中间图像集合，以生成全景图像。
在步骤S1308中，成像设备100可以融合所述集合的中间图像以生成全景图像。在一些实施例中，成像设备100可以确定中间图像集合中的两个中间图像之间的重叠区域，并且基于重叠区域来融合两个中间图像以生成全景图像。例如，当从每个等矩形图像的中心部分生成中间图像的集合时，可以生成二维全景图像。当中间图像的集合包括第一中间图像的子集和第二中间图像的子集时，成像设备100可以确定第一中间图像的子集中的两个第一中间图像之间的第一重叠区域，并且基于第一重叠区域融合两个第一中间图像以获得第一全景图像(例如，图12中的图像1204)；并且确定第二中间图像的子集中的两个第二中间图像之间的第二重叠区域，并且基于第二重叠区域融合两个第二中间图像以获得第二全景图像(例如，图12中的图像1202)。第一全景图像可以呈示给用户的右眼，并且第二全景图像可以呈示给用户的左眼。由于第一和第二全景图像之间的视差，用户可以将图像感知为三维全景。
附图中的流程图和框图示出了根据本发明的多个实施例的系统和方法的可能实现的系统架构、功能和操作。在这方面，流程图或框图中的每个块可以表示一个模块、一个程序段或代码的一部分，其中模块、程序段或代码部分包括用于实现指定的逻辑功能的一个或多个可执行指令。还应当注意，在一些替代实现中，块中标记的功能也可以以与附图中所标记的顺序不同的顺序发生。例如，两个连续的块可以基本上并行地执行，并且有时它们也可以以相反的顺序执行，这取决于所涉及的功能。框图和/或流程图中的每个块以及框图和/或流程图中的块的组合可以由用于执行相应功能或操作的专用基于硬件的系统来实现，或者可以通过专用硬件和计算机指令的组合来实现。
如本领域技术人员将理解的，本公开的实施例可以体现为方法、系统或计算机程序产品。因此，本公开的实施例可以采取完全硬件实施例、完全软件实施例或结合软件和硬件的实施例的形式，用于允许专用组件执行上述功能。此外，本公开的实施例可以采用以一个或多个计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)体现的计算机程序产品的形式，其包含计算机可读程序代码。
参考根据本公开的实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述本公开的实施例。应当理解，流程图和/或框图的每个流程和/或块以及流程图和/或框图中的流程和/或块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供给计算机的处理器、嵌入式处理器或其他可编程数据处理设备以产生机器，使得经由计算机的处理器或其他可编程数据处理设备执行的指令创建用于实现流程图中一个或多个流中和/或框图中的一个或多个块中指定的功能的手段。
这些计算机程序指令还可以存储在计算机可读存储器中，计算机可读存储器可引导计算机或其他可编程数据处理设备以特定方式工作，使得存储在计算机可读存储器中的指令产生包括用于实现流程图中的一个或多个流中和/或框图中的一个或多个块中所指定的功能的指令装置在内的制造品。
这些计算机程序指令还可以被加载到计算机或其他可编程数据处理设备上，以使得在计算机或其他可编程设备上执行一系列操作步骤以产生由计算机实现的处理，使得在计算机或其他可编程设备上执行的指令提供了用于实现流程图中一个或多个流中和/或框图中的一个或多个块中所指定的功能的步骤。在典型的配置中，计算机设备包括一个或多个中央处理单元(CPU)、输入/输出接口、网络接口和存储器。存储器可以包括易失性存储器、随机存取存储器(RAM)和/或非易失性存储器等的形式，诸如计算机可读存储介质中的只读存储器(ROM)或闪存RAM。存储器是计算机可读存储介质的示例。
计算机可读存储介质是指可以存储可由处理器读取的信息或数据的任何类型的物理存储器。因此，计算机可读存储介质可以存储用于由一个或多个处理器执行的指令，包括用于使处理器执行与本文所述的实施例一致的步骤或阶段的指令。计算机可读介质包括非易失性和易失性介质以及可移除和不可移动介质，其中信息存储可以用任何方法或技术来实现。信息可以是计算机可读指令、数据结构和程序或其他数据的模块。非瞬时性计算机可读介质的示例包括但不限于相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、致密盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带、磁带或磁盘存储器或其他磁存储设备、高速缓存、寄存器或可用于存储能够被计算机设备访问的信息的任何其它非传输介质。计算机可读存储介质是非瞬时性的，并且不包括诸如调制数据信号和载波之类的瞬时介质。
所示的步骤旨在解释所示的示例性实施例，并且应当预期持续的技术发展将改变执行特定功能的方式。因此，为了说明而不是限制，这些实施例在本文中给出。例如，本文公开的步骤或过程不限于以所描述的顺序执行，而是可以以任何顺序执行，并且可以省略与所公开的实施例一致的一些步骤。此外，为了方便描述，功能构建块的边界已经被任意定义。只要指定的功能和关系被适当地执行，可以定义替代边界。基于本文所包含的教导，替代方案(包括本文所述的那些的等价物、扩展、变型、偏差等)对于相关技术领域的技术人员而言将是显而易见的。这样的替代方案落入所公开的实施例的范围和精神内。
尽管本文描述了所公开原理的示例和特征，但是在不脱离所公开的实施例的精神和范围的情况下，可以进行修改、适配和其他实现。此外，“包括”、“具有”、“包含”和“包括”等词语意图具有等同意义，并且是开放式的，因为这些单词中的任何一个之后的一个或多个项不是意图是对这一个或多个项的详尽列表，或意图仅限于列出的一个或多个项。还必须注意的是，如本文和所附权利要求中所使用的，除非上下文另有明确规定，单数形式“一”、“一个”和“该”包括多个参考。
应当理解，本公开不限于上面已经描述并在附图中示出的确切构造，并且在不脱离其范围的情况下可以进行各种修改和改变。意图是本公开的范围应仅由所附权利要求限制。

Claims (16)

1.一种用于生成立体全景图像的方法，包括：
从圆形阵列中的多个位置捕捉图像；
将捕捉的所述图像投影到对应的等矩形图像中；
从所述等矩形图像中提取中间图像的集合；以及
将所述集合的中间图像进行融合以生成多个全景图像进而生成立体全景图像；
所述等矩形图像在与用于摄像机图像的平面图像坐标系不同的平面图像坐标系中；
提取中间图像的集合包括：
接收所述等矩形图像；以及
提取每个所述等矩形图像的中心部分作为中间图像，以获得中间图像的集合；
或者提取中间图像的集合包括：
接收与在第一位置处捕捉的第一图像相对应的第一等矩形图像、与在第二位置处捕捉的第二图像相对应的第二等矩形图像、以及与在第三位置处捕捉的第三图像相对应的第三等矩形图像，在所述圆形阵列中，所述第二位置在所述第一位置的左侧，并且所述第三位置在所述第一位置的右侧；
提取所述第一等矩形图像中与所述第二等矩形图像重叠的第一部分作为第一中间图像；以及
提取所述第一等矩形图像中与所述第三等矩形图像重叠的第二部分作为第二中间图像。
2.根据权利要求1所述的方法，其中，投影捕捉的所述图像还包括：
接收捕捉的所述图像中的像素的坐标；
在映射表中查找所述坐标；
从所述映射表获取所述等矩形图像中的像素的对应坐标；以及
将捕捉的所述图像中的像素的值提供给所述等矩形图像的对应坐标上的像素。
3.根据权利要求1所述的方法，其中：
中间图像的集合包括中间图像的第一子集和中间图像的第二子集；以及融合所述集合的中间图像包括：
确定所述第一子集中的两个中间图像之间的第一重叠区域，以及基于所述第一重叠区域来融合所述第一子集中的所述两个中间图像，以获得第一全景图像；以及
确定所述第二子集中的两个中间图像之间的第二重叠区域，以及基于所述第二重叠区域来融合所述第二子集中的所述两个中间图像，以获得第二全景图像。
4.根据权利要求3所述的方法，其中，所述第一全景图像包括用于呈现给用户的右眼的场景，并且所述第二全景图像包括用于呈现给所述用户的左眼的场景。
5.根据权利要求1所述的方法，其中融合所述集合的中间图像包括：
确定所述中间图像的集合中的两个中间图像之间的重叠区域；以及
基于所述重叠区域融合所述两个中间图像。
6.根据权利要求1所述的方法，其中，从圆形阵列中的多个位置捕捉图像包括：
利用分别放置在所述位置上面向径向向外的十六个摄像机来捕捉图像。
7.根据权利要求1所述的方法，其中，从圆形阵列中的多个位置捕捉图像包括：
利用在第一位置处的一个摄像机捕捉第一图像；以及
将所述摄像机旋转角度到第二位置以捕捉第二图像。
8.根据权利要求7所述的方法，其中，所述角度为22.5度。
9.一种用于生成立体全景图像的设备，包括：
摄像机架；
至少一个摄像机，安装在所述摄像机架上并被配置为从圆形阵列中的多个位置捕捉图像；
存储器，被配置为存储捕捉的所述图像和指令；以及
处理器，被配置为执行所述指令以：
将捕捉的所述图像投影到对应的等矩形图像中；
从所述等矩形图像中提取中间图像的集合；以及
融合所述集合的中间图像以生成多个全景图像进而生成立体全景图像；
所述等矩形图像在与用于摄像机图像的平面图像坐标系不同的平面图像坐标系中；
所述处理器还执行所述指令以通过以下操作来提取中间图像的集合：
接收所述等矩形图像；以及
提取每个所述等矩形图像的中心部分作为中间图像，以获得中间图像的集合；
或者所述处理器还执行所述指令以通过以下操作来提取中间图像的集合：
接收与在第一位置处捕捉的第一图像相对应的第一等矩形图像、与在第二位置处捕捉的第二图像相对应的第二等矩形图像、以及与在第三位置处捕捉的第三图像相对应的第三等矩形图像，在所述圆形阵列中，所述第二位置在所述第一位置的左侧，并且所述第三位置在所述第一位置的右侧；
提取所述第一等矩形图像中与所述第二等矩形图像重叠的第一部分作为第一中间图像；以及
提取所述第一等矩形图像中与所述第三等矩形图像重叠的第二部分作为第二中间图像。
10.根据权利要求9所述的设备，其中所述处理器还执行所述指令，以通过以下操作将捕捉的所述图像投影到对应的等矩形图像中：
接收捕捉的所述图像中的像素的坐标；
在映射表中查找所述坐标；
从所述映射表获取所述等矩形图像中的像素的对应坐标；以及
将捕捉的所述图像中的像素的值提供给所述等矩形图像的对应坐标上的像素。
11.根据权利要求9所述的设备，其中：
中间图像的集合包括中间图像的第一子集和中间图像的第二子集；以及
所述处理器还执行所述指令以通过以下操作来融合所述集合的中间图像：
确定所述第一子集中的两个中间图像之间的第一重叠区域，以及基于所述第一重叠区域来融合所述第一子集中的所述两个中间图像，以获得第一全景图像；以及
确定所述第二子集中的两个中间图像之间的第二重叠区域，以及基于所述第二重叠区域来融合所述第二子集中的所述两个中间图像，以获得第二全景图像。
12.根据权利要求11所述的设备，其中，所述第一全景图像包括用于呈现给用户的右眼的场景，并且所述第二全景图像包括用于呈现给所述用户的左眼的场景。
13.根据权利要求9所述的设备，其中所述处理器还执行所述指令以通过以下操作来融合所述集合的中间图像：
确定所述中间图像的集合中的两个中间图像之间的重叠区域；以及基于所述重叠区域融合所述两个中间图像。
14.根据权利要求9所述的设备，其中，所述设备包括分别设置在所述位置处面向径向向外的十六个摄像机。
15.根据权利要求9所述的设备，还包括：旋转单元，其中所述设备包括一个摄像机，并且由所述摄像机在第一位置处捕捉第一图像，并且经由所述旋转单元将所述摄像机旋转角度至第二位置以捕捉第二图像。
16.根据权利要求15所述的设备，其中，所述角度为22.5度。
CN201710541008.2A 2017-07-05 2017-07-05 用于生成立体全景图像的方法和设备 Expired - Fee Related CN107318010B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710541008.2A CN107318010B (zh) 2017-07-05 2017-07-05 用于生成立体全景图像的方法和设备
US15/873,018 US10481482B2 (en) 2017-07-05 2018-01-17 Method and device for generating panoramic images
EP18181781.8A EP3425588A3 (en) 2017-07-05 2018-07-04 Method and device for generating panoramic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710541008.2A CN107318010B (zh) 2017-07-05 2017-07-05 用于生成立体全景图像的方法和设备

Publications (2)

Publication Number Publication Date
CN107318010A CN107318010A (zh) 2017-11-03
CN107318010B true CN107318010B (zh) 2019-10-11

Family

ID=60181171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710541008.2A Expired - Fee Related CN107318010B (zh) 2017-07-05 2017-07-05 用于生成立体全景图像的方法和设备

Country Status (3)

Country Link
US (1) US10481482B2 (zh)
EP (1) EP3425588A3 (zh)
CN (1) CN107318010B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
WO2019161289A1 (en) 2018-02-17 2019-08-22 Dreamvu, Inc. System and method for capturing omni-stereo videos using multi-sensors
CN109902122A (zh) * 2019-01-25 2019-06-18 深圳市买买提信息科技有限公司 一种数据可视化方法、装置、电子设备以及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN103501409A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种超高分辨率全景高速球一体机系统
CN103945103A (zh) * 2013-01-17 2014-07-23 成都国腾电子技术股份有限公司 基于柱面的多平面二次投影消除全景摄像机图像畸变的方法
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US20020114987A1 (en) * 1997-09-24 2002-08-22 Sven Oscarsson Method of arraying nanoparticles and macromolecules on surfaces
US20040001138A1 (en) * 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
US7058237B2 (en) * 2002-06-28 2006-06-06 Microsoft Corporation Real-time wide-angle image correction system and method for computer image viewing
KR100790890B1 (ko) * 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
US9369679B2 (en) * 2006-11-07 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8554014B2 (en) 2008-08-28 2013-10-08 Csr Technology Inc. Robust fast panorama stitching in mobile phones or cameras
US9055277B2 (en) * 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
WO2012132234A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US8933985B1 (en) * 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
US9402026B2 (en) * 2013-01-05 2016-07-26 Circular Logic Systems, Inc. Spherical panoramic image camera rig
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
WO2014178235A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2014178234A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6467787B2 (ja) 2014-05-27 2019-02-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
US9443488B2 (en) * 2014-10-14 2016-09-13 Digital Vision Enhancement Inc Image transforming vision enhancement device
EP3782912A1 (en) * 2014-12-23 2021-02-24 SZ DJI Osmo Technology Co., Ltd. Uav panoramic imaging
US20160295108A1 (en) 2015-04-01 2016-10-06 Cheng Cao System and method for panoramic imaging
KR102328020B1 (ko) * 2015-04-03 2021-11-17 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
US20170363949A1 (en) * 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US10038887B2 (en) * 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
EP3304195A1 (en) * 2015-05-27 2018-04-11 Google LLC Camera rig and stereoscopic image capture
WO2017087537A1 (en) * 2015-11-16 2017-05-26 Google Inc. Stabilization based on accelerometer data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN103945103A (zh) * 2013-01-17 2014-07-23 成都国腾电子技术股份有限公司 基于柱面的多平面二次投影消除全景摄像机图像畸变的方法
CN103501409A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种超高分辨率全景高速球一体机系统
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法

Also Published As

Publication number Publication date
CN107318010A (zh) 2017-11-03
EP3425588A3 (en) 2019-04-03
US10481482B2 (en) 2019-11-19
US20190011826A1 (en) 2019-01-10
EP3425588A2 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
CN104699842B (zh) 图片展示方法和装置
US10506154B2 (en) Method and device for generating a panoramic image
Perazzi et al. Panoramic video from unstructured camera arrays
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
CA3019163C (en) Generating intermediate views using optical flow
WO2015180659A1 (zh) 图像处理方法和图像处理装置
US20200288100A1 (en) Image reconstruction method, system, device and computer-readable storage medium
Guo et al. Enhancing light fields through ray-space stitching
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
JP6615545B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
CN107318010B (zh) 用于生成立体全景图像的方法和设备
WO2020033427A1 (en) Optical image stabilization movement to create a super-resolution image of a scene
Couture et al. Panoramic stereo video textures
Popovic et al. Real-time implementation of Gaussian image blending in a spherical light field camera
CN107563959A (zh) 全景图生成方法及装置
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
JP2016504828A (ja) 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム
CN110278366B (zh) 一种全景图像虚化方法、终端及计算机可读存储介质
US20090059018A1 (en) Navigation assisted mosaic photography
Popovic et al. Image blending in a high frame rate FPGA-based multi-camera system
JP2012256274A (ja) 画像生成装置、画像生成方法、及びコンピュータプログラム
CN110796690B (zh) 图像匹配方法和图像匹配装置
KR101986433B1 (ko) 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
JP7397241B2 (ja) 画像つなぎ合わせ方法、コンピュータ可読記憶媒体およびコンピュータデバイス

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191011

Termination date: 20210705