[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2017026705A1 - 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법 - Google Patents

360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법 Download PDF

Info

Publication number
WO2017026705A1
WO2017026705A1 PCT/KR2016/008256 KR2016008256W WO2017026705A1 WO 2017026705 A1 WO2017026705 A1 WO 2017026705A1 KR 2016008256 W KR2016008256 W KR 2016008256W WO 2017026705 A1 WO2017026705 A1 WO 2017026705A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
spherical
images
sub
electronic device
Prior art date
Application number
PCT/KR2016/008256
Other languages
English (en)
French (fr)
Inventor
김도완
김성진
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160041538A external-priority patent/KR102458339B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201680046576.9A priority Critical patent/CN107852487B/zh
Priority to US15/751,086 priority patent/US10595004B2/en
Priority to EP16835345.6A priority patent/EP3334156B1/en
Publication of WO2017026705A1 publication Critical patent/WO2017026705A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators

Definitions

  • the present disclosure relates to an electronic device for generating a 360 degree 3D stereoscopic image and an image processing method thereof. Specifically, the present disclosure relates to an electronic device and a method of processing an image thereof, which extract a depth from a plurality of images photographed using a plurality of cameras to generate a 360 degree 3D stereoscopic image.
  • a depth is generated in a low distortion region photographed from a fisheye image to generate a stereoscopic image.
  • the pin cushion region has a problem in that it is difficult to restore the depth because the pin cushion region lacks overlap of images captured by the plurality of fisheye cameras. Accordingly, there is a need for a technique for improving stereoscopic feeling in all areas of an image captured by a miniaturized 360-degree 3D VR (Virtual Reality) photographing device.
  • VR Virtual Reality
  • An object of the present disclosure is to solve the above-described problem, and extracts a plurality of distortion-free sub-images covering an entire area of 360 degrees from an image photographed using a plurality of cameras, and extracts a depth of the extracted sub-images.
  • the present invention provides an electronic device capable of providing a 360 degree 3D stereoscopic image without distortion and an image processing method thereof.
  • an electronic device that performs a 360 degree 3D stereoscopic image processing may include a photographing unit that photographs a plurality of images using a plurality of cameras, and a left eye of each of the plurality of images. The image is divided into a right eye image, a left eye image of the plurality of images is projected onto a left unit sphere surface, and a left eye sphere image is generated, and the right eye images of the plurality of images are right unit sphere surface.
  • a right eye spherical image by projecting onto a unit sphere surface, obtaining depth information using the left eye spherical image and the right eye spherical image, and generating a 360 degree 3D stereoscopic image using the depth information. It may include a processor.
  • the processor may be further configured to separate at least one first spherical surface image corresponding to a designated angle of view from an origin of the left eye spherical image, and to generate at least one second spherical surface image corresponding to the specified angle of view from an origin of the right eye spherical image.
  • the first spherical surface image and the second spherical surface image are overlapped among the images photographed by the plurality of cameras, the overlapped first spherical surface image is projected onto a plane corresponding to the designated angle of view.
  • One sub image may be extracted, and the second sub image may be extracted by projecting the overlapped second spherical surface image onto a plane corresponding to the designated angle of view.
  • the processor may divide an entire area of a unit sphere surface of each of the left eye spherical image and the right eye spherical image into N regions at the designated field of view, and may include a plurality of regions corresponding to the N regions.
  • the sub images of may be extracted.
  • the processor may extract the first sub-image and the second sub-image from a first area in which the first left eye spherical image photographed by the first camera and the second right eye spherical image photographed by the second camera overlap with a specified angle of view. Can be.
  • the processor may obtain the depth information from the first sub image and the second sub image by using a stereo matching technique.
  • the processor may generate a 360 degree depth spherical image including the acquired depth information.
  • the processor may generate a 360 degree 3D stereoscopic image by rendering the 360 degree depth spherical image on at least one of the left eye spherical image and the right eye spherical image.
  • the processor may set the designated angle of view so that an error between the size of each of the left eye spherical image and the right eye spherical image and the length of an arc on each spherical space is within a specified range.
  • an image processing method of an electronic device may include: photographing a plurality of images using a plurality of cameras; a left eye image and a right eye of each of the plurality of images Dividing the image into left images, generating left eye spherical images by projecting left eye images of the plurality of images onto a left unit sphere surface, and generating right eye spherical images by projecting right eye images of the plurality of images onto a right unit sphere surface
  • the method may include obtaining depth information using the left eye spherical image and the right eye spherical image, and generating a 360 degree 3D stereoscopic image using the depth information.
  • the acquiring depth information may include separating at least one first sphere surface image corresponding to a designated angle of view from an origin of the left eye spherical image, and corresponding to the designated angle of view from an origin of the right eye spherical image. Separating the at least one second sphere surface image, and when the first sphere surface image and the second sphere surface image of the plurality of cameras are overlapped, the first sphere surface image; And extracting a first sub image by projecting a spherical surface image onto a plane corresponding to the designated field of view, and extracting a second sub image by projecting the second spherical surface image onto a plane corresponding to the specified field of view. can do.
  • the extracting may include dividing the entire area of the unit sphere surface of each of the left eye spherical image and the right eye spherical image into N regions at the designated angle of view, and extracting a plurality of sub images corresponding to the N regions. .
  • the extracting may include extracting the first sub-image and the second sub-image from a first region in which the first left eye spherical image photographed by the first camera and the second right eye spherical image photographed by the second camera overlap at a specified angle of view.
  • the method may further include extracting.
  • the acquiring of the depth information may include acquiring the depth information from the first sub image and the second sub image by using a stereo matching technique.
  • the generating of the 360 degree 3D stereoscopic image may further include generating a 360 degree depth spherical image including the acquired depth information.
  • the generating of the 360 degree 3D stereoscopic image may further include rendering the 360 degree depth spherical image on at least one of the left eye spherical image and the right eye spherical image.
  • the extracting may further include setting the designated angle of view so that an error between the size of each of the left eye spherical image and the right eye spherical image and the length of an arc on each spherical space is within a specified range.
  • An electronic device and an image processing method may implement a system capable of providing small 3D virtual reality content and Augmented Reality (AR) content generation with improved stereoscopic effect, and have a high quality without distortion. quality 360 degree 3D stereoscopic image.
  • AR Augmented Reality
  • FIG. 1 is a block diagram schematically illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a view for explaining an arrangement of a plurality of cameras, according to an embodiment of the present disclosure
  • FIG. 3 is a diagram for describing photographing of images using a plurality of cameras, according to one embodiment of the present disclosure
  • 4A to 4D are views for explaining a field of view of a plurality of cameras according to an embodiment of the present disclosure
  • FIG. 5 is a diagram for explaining mapping of images captured by a plurality of cameras to left and right rectangles according to one embodiment of the present disclosure
  • 6A and 6B are diagrams for describing extracting an undistorted sub-image from a spherical image, according to an embodiment of the present disclosure
  • FIG. 7 is a diagram for describing extracting a depth from a plurality of non-distorted sub-images according to one embodiment of the present disclosure
  • FIGS. 8A and 8B are diagrams for describing extracting a plurality of undistorted sub-images from a left / right spherical image according to an embodiment of the present disclosure
  • FIG. 9 is a diagram for describing generating a 360 degree 3D stereoscopic image, according to an exemplary embodiment
  • FIGS. 10 and 11 are diagrams illustrating a 360 degree depth panorama and a 360 degree color panoramic image, according to an embodiment of the present disclosure
  • FIG. 12 is a flowchart illustrating a method of generating a 360 degree 3D stereoscopic image using depth information according to an embodiment of the present disclosure
  • FIG. 13 is a block diagram illustrating a configuration of an electronic device in detail according to an embodiment of the present disclosure.
  • Embodiments of the present disclosure may be variously modified and have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the scope to the specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the scope of the disclosed spirit and technology. In describing the embodiments, when it is determined that the detailed description of the related known technology may obscure the gist, the detailed description thereof will be omitted.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • a "module” or “unit” performs at least one function or operation, and may be implemented in hardware or software or in a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” may be integrated into at least one module except for "modules” or “units”, which need to be implemented with specific hardware, and are implemented with at least one processor (not shown). Can be.
  • FIG. 1 is a block diagram schematically illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a photographing unit 110 and a processor 120.
  • the electronic device 100 may be any display device capable of displaying a captured image such as a head mounted display (HDM), a smartphone, a laptop computer, or the like.
  • the electronic device 100 may be any display device that provides virtual reality (VR) and augmented reality content.
  • VR virtual reality
  • the photographing unit 110 may be coupled to the electronic device 100 or may be coupled to an external device. When the photographing unit 110 is coupled to an external device, the image photographed by the photographing unit 110 may be transmitted to the electronic device 100 through wired or wireless communication.
  • the photographing unit 110 may be configured of a plurality of cameras.
  • the plurality of cameras constituting the photographing unit 110 may be arranged to photograph a 360 degree area.
  • the photographing unit 110 may be composed of two cameras having a field of view of 180 degrees or more.
  • the plurality of cameras may be a camera having a wide-angle lens, such as a fisheye lens.
  • a wide-angle lens such as a fisheye lens
  • two fisheye cameras having a field of view (FOV) of 180 degrees or more may capture the entire 360 degree space.
  • the photographing unit 110 may be configured with at least four fish eye lenses. At this time, each fisheye camera has an FOV of 180 degrees or more, and the FOV of each fisheye camera may be the same or different. Therefore, the photographing unit 110 may be arranged to photograph a point of the entire area of the 360 degree spherical space using at least two fisheye cameras.
  • the processor 120 may divide each of the plurality of images, which are provided by the photographing unit 110 and taken by the plurality of cameras, into a left eye image and a right eye image.
  • the processor 120 may map a circular image captured by a fisheye camera to an square image.
  • the processor 120 may divide the square image into a left eye image and a right eye image by vertically dividing the square image from the central axis of the image.
  • the processor 120 may generate a left eye rectangle image by mapping a plurality of left eye images to a left rectangle and generate a right eye rectangle image by mapping a plurality of right eye images to a right rectangle.
  • mapping to the left / right sphere may mean projection of each left / right eye image onto the unit sphere surface.
  • the processor 120 may obtain depth information of the plurality of images photographed by the photographing unit 110 using the left eye spherical image and the right eye spherical image. A method of obtaining depth information will be described in detail with reference to FIGS. 6A to 8B of the present disclosure.
  • the processor 120 may generate a 360 degree 3D stereoscopic image by using the depth information of the acquired image.
  • the processor 120 may generate a 360 degree 3D stereoscopic image by applying depth information obtained from an overlapped left / right spherical image to at least one of the left / right spherical images.
  • the processor 120 may be included in the image processing device of the electronic device 100.
  • FIG. 2 is a diagram for describing an arrangement of a plurality of cameras, according to an exemplary embodiment.
  • the photographing unit 110 described in FIG. 1 may be configured of a plurality of cameras.
  • the photographing unit 110 may include at least four fisheye cameras 200-1, 200-2, 200-3, and 200-4.
  • four fisheye cameras are shown for convenience of description.
  • the number and arrangement of fisheye cameras is not limited thereto, and the photographing unit 110 may include four or more fisheye cameras.
  • the photographing unit 110 may be configured of a plurality of cameras, for example, made of a wide-angle lens.
  • the wide-angle lens is only an example for describing the present disclosure, and the type of the lens is not limited thereto.
  • the first fisheye camera 200-1 may photograph the front of the first fisheye camera 200-1 within a designated field of view (FOV) range.
  • the second fisheye camera 200-2 may be disposed adjacent to the first fisheye camera 200-1, and photograph the front of the second fisheye camera 200-2 within a designated FOV range.
  • the third fisheye camera 200-3 may be disposed adjacent to the second fisheye camera 200-2, and may photograph the front of the third fisheye camera 200-3 within a designated FOV range.
  • the fourth fisheye camera 200-4 may be disposed adjacent to the third fisheye camera 200-3, and may photograph the front of the fourth fisheye camera 200-4 within a designated FOV range.
  • the plurality of fisheye cameras 200-1, 200-2, 200-3, and 200-4 may capture the entire area of the 360 degree space.
  • the plurality of fisheye cameras 200-1, 200-2, 200-3, and 200-4 may be fixed to a pedestal so as to photograph at a designated position.
  • the plurality of fisheye cameras 200-1, 200-2, 200-3, and 200-4 may be arranged to be fixed to an adjacent fisheye camera.
  • a plurality of fisheye cameras 200-1, 200-2, 200-3, and 200-4 are disposed adjacent to each other to photograph an entire region of a 360 degree space, but this is for explaining the present disclosure. Only one embodiment, the plurality of cameras may be disposed so as not to be adjacent to each other.
  • FIG. 3 is a diagram for describing capturing a 360 degree 3D stereoscopic image using a plurality of cameras according to an exemplary embodiment.
  • the first camera 200-1 may capture the first image 10-1 within a designated field of view (FOV) range.
  • the second camera 200-2 may capture the second image 10-2 within a designated FOV range.
  • the third camera 200-3 may capture the third image 10-3 within a designated FOV range.
  • the fourth camera 200-4 may capture the fourth image 10-4 within a designated FOV range.
  • each of the plurality of fisheye cameras may have an FOV of 180 degrees or more (eg, 200 degrees). Can be.
  • the first fisheye camera 200-1 is in the 0 degree direction
  • the second fisheye camera 200-2 is in the 90 degree direction
  • the third fisheye camera 200-3 is in the 180 degree direction
  • the fourth fisheye camera 200 is -4) may be arranged in the 270 degree direction.
  • each fisheye camera when the angle of view (FOV) of each fisheye camera is at least 180 degrees, two fisheye cameras may be used to capture a 360 degree image.
  • FOV angle of view
  • 4A to 4D are diagrams for describing a field of view of a plurality of cameras, according to an exemplary embodiment.
  • the electronic device 100 may divide each of the plurality of images captured by the plurality of cameras into a left eye image and a right eye image.
  • 4A is a diagram for describing a first image 10-1 captured by the first fisheye camera 200-1 according to an embodiment of the present disclosure.
  • the first fisheye camera 200-1 may capture the first image 10-1 within a FoV range of 200 degrees.
  • the electronic device 100 divides a left image of the first image 10-1 into a left eye image 20-1 and a right image of the first image 10-1 into a right eye image 30-1. Can be.
  • 4B is a diagram for describing a second image 10-2 captured by the second fisheye camera 200-2 according to an embodiment of the present disclosure.
  • the second fisheye camera 200-2 may capture the second image 10-2 within a FoV range of 200 degrees.
  • the electronic device 100 divides a left image of the second image 10-2 into a left eye image 20-2 and a right image of the second image 10-2 into a right eye image 30-2. Can be.
  • 4C is a diagram for describing a third image 10-3 captured by the third fisheye camera 200-3, according to an exemplary embodiment.
  • the third fisheye camera 200-3 may capture the third image 10-3 within a FoV range of 200 degrees.
  • the electronic device 100 divides a left image of the third image 10-3 into a left eye image 20-3 and a right image of the third image 10-3 into a right eye image 30-3. Can be.
  • 4D is a diagram for describing a fourth image 10-4 captured by the fourth fisheye camera 200-4 according to an embodiment of the present disclosure.
  • the fourth fisheye camera 200-4 may capture the second image 10-4 within a FoV range of 200 degrees.
  • the electronic device 100 divides a left image of the fourth image 10-4 into a left eye image 20-4 and a right image of the second image 10-4 into a right eye image 30-4. Can be.
  • the electronic device 100 uses a first fisheye camera 200-1 shown in FIG. 4A and a third fisheye camera 200-3 shown in FIG. 4C to point to the entire 360 degree space. ) Can be taken. Also, the electronic device 100 may photograph the entire 360-degree spot using the second fisheye camera 200-2 shown in FIG. 4B and the fourth fisheye camera 200-4 shown in FIG. 4D. .
  • images (10-1, 10-2, 10-3, 10-4) captured by each fisheye camera 200-1, 200-2, 200-3, 200-4 May overlap with images captured by other cameras among the fisheye cameras 200-1, 200-2, 200-3, and 200-4.
  • the first image 10-1 captured by the first fisheye camera 200-1 illustrated in FIG. 4A may be a second camera 200-2 adjacent to the first fisheye camera 200-1.
  • the captured second image 10-2 and the fourth camera 200-4 may overlap the captured fourth image 10-4.
  • each image photographed by a plurality of cameras overlaps with an image photographed by another camera adjacent to each camera is described, but this is merely an example, but is not limited thereto.
  • the left eye image 20-1 of the first image 10-1 illustrated in FIG. 4A may overlap the right eye image 30-2 of the second image 10-2 illustrated in FIG. 4B. have.
  • the right eye image 30-1 of the first image 10-1 illustrated in FIG. 4A may overlap the left eye image 30-4 of the fourth image 10-4 illustrated in FIG. 4D.
  • the second image 10-2 captured by the second fisheye camera 200-2 illustrated in FIG. 4B may be a third camera 200-adjacent to the second fisheye camera 200-2.
  • the third image 10-2 captured by 2) and the first image 10-1 captured by the first camera 200-1 may overlap.
  • the left eye image 20-2 of the second image 10-2 illustrated in FIG. 4B may overlap the right eye image 30-3 of the third image 10-3 illustrated in FIG. 4C. have.
  • the third image 10-3 captured by the third fisheye camera 200-3 illustrated in FIG. 4C may be a second camera 200-adjacent to the third fisheye camera 200-3.
  • the second image 10-2 taken by 2) and the fourth image 10-4 taken by the fourth camera 200-4 may overlap.
  • the left eye image 20-3 of the third image 10-3 illustrated in FIG. 4C may overlap the right eye image 30-4 of the fourth image 10-4 illustrated in FIG. 4D. have.
  • each of the left eye images 20-1, 20-2, 20-3, and 20-4 is a right eye image (30-1, 30-2, 30-3) captured by a fisheye camera adjacent to each fisheye camera. , 30-4).
  • FIG. 5 is a diagram for explaining mapping of images photographed by a plurality of cameras to a left / right spherical shape, according to an exemplary embodiment.
  • the electronic device 100 generates a left eye spherical image by projecting left eye images of each image photographed by a plurality of cameras onto a left unit sphere surface, and generates right eye images of the plurality of images by right unit
  • a right eye spherical image may be generated by projecting onto a unit sphere surface.
  • the plurality of fisheye cameras 200-1, 200-2, 200-3, and 200-4 described in FIG. 2 may include a first image 10 corresponding to each fisheye camera in each FoV region.
  • the second image 10-2, the third image 10-3, and the fourth image 10-4 may be captured.
  • the images captured by the fisheye cameras 200-1, 200-2, 200-3, and 200-4 may be circular images (10-2, 10-2, 10-3, 10-4). have.
  • the electronic device 100 transforms a plurality of circular images 10 captured by a plurality of fisheye cameras into a plurality of square images 20 through fisheye camera calibration. can be transformed.
  • the electronic device 100 uses an omni-directional camera calibration method, but this is only an example for describing the present disclosure, but is not limited thereto. . Since a calibration method for transforming a circular image taken by a fisheye camera into a square image is a known technique, a detailed description thereof will be omitted.
  • the electronic device 100 may include the plurality of square images 20-1, 20-2, 20-3, and 20-4 to the left eye image 30-1, 30-2, 30-3, and 30-4. (40-1, 40-2, 40-3, 40-4).
  • the electronic device 100 splits the plurality of square images 20-1, 20-2, 20-3, and 20-4 from the central axis of each square image and splits them into left and right eye images. Can be.
  • the electronic device 100 may separate the left eye images 30-1, 30-2, 30-3, and 30-4 from the square images 20-1, 20-2, 20-3, and 20-4. May project to the left unit sphere surface to generate a left eye spherical (panorama) image 50.
  • the electronic device 100 may separate the right eye images 40-1, 40-2, 40-3, and 40-4 from the square images 20-1, 20-2, 20-3, and 20-4.
  • the right eye spherical (panorama) image 60 may be generated by projecting onto the right unit sphere surface.
  • the electronic device 100 may transform the circular image 10 taken by the fisheye camera into a square image 20 using omni calibration.
  • the electronic device 100 may implement deformation through intrinsic parameters of each camera.
  • the electronic device 100 may be used. ) Must know the external parameters defined in the camera rig consisting of a plurality of fisheye cameras.
  • the electronic device 100 sets an external parameter [R
  • the rotation matrix R may have three angular parameters: yaw, pitch, and roll.
  • the pitch and roll angles are equal to 0 degrees
  • the yaw angles are respective fisheye cameras 200-1, 200-2, 200- shown in FIG. 3, 200-4) may be 0 degrees, 90 degrees, 180 degrees, and 270 degrees.
  • the translation vector t may consist of three parameters x, y and z that define the center displacement and the camera optical from the center point of the unit sphere.
  • the yaw, pitch, and roll angle of the first camera 200-1 may be set to zero.
  • the electronic device 100 may select a plurality of feature points corresponding to the circular fisheye image. have.
  • the electronic device 100 may minimize the sum of the squares of distances between the points corresponding to the spherical map.
  • the electronic device 100 may estimate the optical external parameter R of each fisheye camera by using a conjugate gradient method.
  • N ij is the number of points corresponding to camera i and camera j
  • P i is at camera i with external parameter p i
  • the projection function of C k ij may be the coordinates of a point k corresponding to the camera j in camera i.
  • the electronic device 100 optimizes the external parameters of the fisheye cameras through the above-described method, and then, the left eye square images 30-1, 30-2, 30-3, which are 8 half equirectangular images, 30-4) and right eye square images 40-1, 40-2, 40-3, 40-4, project into the spherical map on the left unit sphere surface 50 and the right unit sphere surface 60, respectively. (620).
  • the electronic device 100 captures a 2D left eye image and a 2D right eye image obtained by photographing one point from a virtual camera (for example, the viewer's eye). Can be obtained.
  • a virtual camera for example, the viewer's eye
  • the electronic device 100 may extract depth information of an image from each of the left eye spherical image 50 and the right eye spherical image 60 generated from the images photographed by the plurality of cameras.
  • 6A and 6B are diagrams for describing extracting an undistorted sub-image from a spherical image, according to an exemplary embodiment.
  • 6A is a diagram for describing a method of extracting a sub image without distortion by separating a partial region of a unit sphere surface according to an exemplary embodiment of the present disclosure.
  • the electronic device 100 may extract a plurality of sub-images without distortion from the left eye spherical image and the right eye spherical image. Also, the electronic device 100 may extract the depth of the left / right spherical image from the extracted plurality of sub-images.
  • FIG. 6A is a diagram for describing extracting a plurality of sub-images without distortion from a spherical image (left eye spherical image or right eye spherical image).
  • a left eye spherical image and a right eye spherical image will be described as one spherical image 610 for convenience of description.
  • the electronic device 100 may separate some regions 620 from, for example, a spherical surface of the left eye spherical image 610. That is, the electronic device 100 may separate at least one first spherical surface image 620 corresponding to the designated angle of view ⁇ from the origin of the left eye spherical image 610 from the left eye spherical image. Also, the electronic device 100 may separate at least one second spherical surface image 620 corresponding to the designated angle of view ⁇ from the origin of the right eye spherical image 610. In this case, since the first sphere surface image and the second sphere surface image 620 are generated on the sphere surface, the first sphere surface image and the second sphere surface image 620 may be distorted images 620.
  • the electronic device 100 causes the first spherical surface image to correspond to a plane corresponding to the designated angle of view ⁇ .
  • the corrected first sub image 640 may be extracted by projecting onto the 630.
  • the method of extracting the second sub image from the right eye spherical image is the same as the method of extracting the first sub image.
  • the first sub-image and the second sub-image 640 are shown as lines, but the sub-image 640 shown as lines is an epipolar of the spherical surface image 620.
  • the curve may mean that the curve is deformed into a planar image 630 corresponding to the spherical surface image 620 through a stereo rectification algorithm.
  • the electronic device 100 may set the designated angle of view ⁇ such that an error between the size of each left / right spherical image and the length of an arc on each rectangular space is within a specified range.
  • the length of the arc on the spherical space may refer to the length of the arc on each of the N-segmented spherical spaces when the left and right spherical images are divided N in the vertical and horizontal directions.
  • the electronic device 100 may divide each of the left and right spherical images 610 vertically divided into N in the N horizontal directions.
  • the partial region 620 of the N-segmented left eye spherical image may have an angle of view ⁇ specified from the origin of the left eye spherical image.
  • the electronic device 100 may extract the depths from the sub-images extracted from the left / right spherical images, and then reconstruct the extracted sub-images into the depth spherical image. Accordingly, blending artifacts may occur in the process of blending the plurality of sub-images 640 to restore the 360 degree spherical space.
  • the electronic device 100 may determine an angle of view ⁇ from which the sub-image is extracted through various known calculation methods to minimize blending artifacts in the depth spherical image.
  • the electronic device 100 may have a camera rig composed of four fisheye cameras.
  • the electronic device 100 may extract a depth from the extracted plurality of sub-images, blend the depth images, and restore the 360-degree spherical depth image.
  • the electronic device 100 may divide the spherical space of the left / right spherical image into 32 regions, for example, to minimize the blending artifact.
  • the electronic device 100 may have uniform latitude and longitude for separating the left / right spherical images into a specified angle of view ⁇ so as to uniformly extract a plurality of sub-images without distortion from the left / right spherical images.
  • a polyhedron model may be used to extract uniform latitude and longitude from left / right spherical images, respectively.
  • the surface of each left / right spherical image may be transformed into a polyhedron.
  • the latitude and longitude of the point corresponding to the center of each plane constituting the polyhedron from the center of the left / right spherical image can be extracted.
  • each of the surfaces of the left / right spherical image is transformed into a icosahedron, a modified icosahedron, or a truncated icosahedron, respectively, and each face forms each polyhedron from the center of the left / right spherical image.
  • Latitude and longitude of the central point of can be extracted.
  • the electronic device 100 may obtain 20 specified angles of view ⁇ using an icosahedron model.
  • the electronic device 100 may obtain 32 designated angles of view ⁇ by using the modified icosahedron and the shaved icosahedron model.
  • the plane of the polyhedron is composed of a regular pentagon, a regular hexagon, and the like.
  • a polyhedral model is used to obtain a specified angle of view ⁇ , and when extracting a plurality of sub-images, a distortion-free sub-image having a rectangular plane may be extracted for convenience of image processing. .
  • the electronic device 100 may set an error between the size of each left-eye / right-eye spherical image and the arc length in each divided spherical space to be within 2%, for example. have.
  • the electronic device 100 may obtain, for example, 32 divided spherical spaces by applying a modified icosahedron model.
  • the smoothness of the 360 spherical depth image is differently implemented according to the overlapping ratio between the depth images generated from the sub-images. Can be.
  • the electronic device 100 may set a rate of overlap between the depth images to about 15-20%.
  • the electronic device 100 may set a predetermined left / right angle of view ⁇ that separates the plurality of spherical surface images from the left / right spherical images 45 to 60 degrees.
  • the above-described examples are only exemplary embodiments for describing the present disclosure, but are not limited thereto.
  • the electronic device 100 may extract a plurality of sub-images from an entire sphere surface area of each left / right spherical image at a specified angle of view through the above-described method.
  • FIG. 6B is a diagram illustrating the distorted spherical surface image and the non-distorted sub-image described in FIG. 6A.
  • the partial region 620 separated from the unit sphere surface 610 illustrated in FIG. 6A may be represented as a distorted image (SAMSUNG) 620 on the sphere.
  • the corrected image 640 projected on the rectangular image plane illustrated in FIG. 6A is represented by the image whose distortion is corrected (SAMSUNG, 640).
  • FIG. 7 is a diagram for describing extracting a depth from a plurality of non-distorted sub-images according to an exemplary embodiment.
  • each of the plurality of fisheye cameras may have a Field of View (FoV) of at least 180 degrees. Accordingly, the image photographed by each fisheye camera may be sufficiently overlapped with the image photographed by each camera and an adjacent fisheye camera or another non-adjacent camera, and the electronic device 100 may use at least four fisheye cameras.
  • the left eye spherical image and the right eye spherical image may be generated over 360 degrees.
  • the electronic device 100 may extract a plurality of sub-images from an image projected on a unit sphere surface.
  • the electronic device 100 may generate a plurality of non-distorted sub-images from the plurality of projected images covering the entire area of the unit sphere surface.
  • a plurality of images captured by a plurality of cameras overlap with images captured by a camera adjacent to each camera or images captured by another camera not adjacent to each camera.
  • Some of the overlapped images may be left eye spherical images 720 of the first camera, and others may be right eye spherical images 730 of the second camera.
  • the left eye spherical image 20-1 of the first image 10-1 taken by the first fisheye camera 200-1 may be a second fisheye camera ( The second eye 10-2 may overlap the right eye spherical image 30-1 of the second image 10-2.
  • the electronic device 100 separates the first spherical surface image from the left eye spherical image 20-1 of the first image 10-1 at a specified angle of view, and then displays the first spherical surface.
  • the first sub-image 640 that is not distorted may be extracted by projecting the image onto the plane 630 corresponding to the designated angle of view.
  • the electronic device 100 may extract the second sub-image 640 that is not distorted from the right eye spherical image 30-1 of the second image 10-2 in the same manner as described above.
  • the left eye spherical image 720 is defined as photographed by the first camera
  • the right eye spherical image 730 is defined as photographed by the second camera.
  • the first spherical surface image 720-1 of the left eye spherical image 720 captured by the first camera and the second spherical surface image 730-1 of the right eye spherical image 730 captured by the second camera may overlap.
  • the electronic device 100 may extract the plurality of sub images 720-2 and 730-2 from the overlapped first spherical surface image 720-1 and the second spherical surface image 730-1. . Since a method of extracting a plurality of sub-images has been described above with reference to FIG. 6A, a description thereof will be omitted.
  • the electronic device 100 may include the spherical surface images 720-1 and 730-1 as the rectangular undistorted sub-images 720-2 and 730-2. Can be transformed into Since the extracted sub-images 720-2 and 730-2 are left / right eye images, the electronic device 100 may detect depth information from the plurality of extracted sub-images 740. In this case, the electronic device 100 may obtain depth information of the plurality of sub-images extracted by the stereo matching technique. Since the stereo matching technique is a known technique, detailed description thereof will be omitted in the present disclosure.
  • FIG. 8A is a diagram for describing extracting a plurality of non-distorted sub-images from a left / right spherical image according to an embodiment of the present disclosure.
  • the images photographed by the plurality of fisheye cameras may be a plurality of circular images.
  • the electronic device 100 may transform each circular image captured by the plurality of fisheye cameras into a plurality of square images. have.
  • the electronic device 100 vertically divides the deformed square images at each central point of the square images, thereby removing left half equirectangular images 30-1, 30-2, 30-3, and 30. -4) and right half equirectangualr images (40-1, 40-2, 40-3, 40-4).
  • the electronic device 100 may display left eye sphere images 30-1, 30-2, 30-3, and 30-4 of the left and right eye images of the aligned half equi-rectangular images.
  • the left eye sphere image 50 may be generated by projecting / mapping onto a left unit sphere surface 50.
  • the electronic device 100 may generate the right eye spherical image 60 by projecting / mapping the right eye half square images 40-1, 40-2, 40-3, and 40-4 onto the right unit sphere surface 60. Can be.
  • the electronic device 100 includes a plurality of sub-images 50-1, 50-2, 50-3, and 50-4 that are not distorted from the left eye spherical image 50. May be extracted, and a plurality of non-distorted sub-images 60-1, 60-2, 60-3, and 60-4 may be extracted from the right eye spherical image 60. As shown in FIG. 8A, the right eye spherical image 60 overlapped with the plurality of sub-images 50-1, 50-2, 50-3, and 50-4 extracted from each left eye spherical image 50. The plurality of sub-images 60-1, 60-2, 60-3, and 60-4 extracted from the images may have a different order.
  • the electronic device 100 may extract a plurality of sub-images from a first sub-image in which the first left eye spherical image photographed by the first camera and the second right eye spherical image photographed by the second camera overlap at a specified angle of view. have.
  • the electronic device 100 divides the plurality of sub-images 50-1 and 60-2 into the specified view angle. Can be extracted.
  • the left eye image 20-4 of the fourth image 10-4 taken by the fourth fisheye camera 200-4 and the first image 10-1 taken by the first fisheye camera 200-1 In the region where the right eye image 30-1 overlaps, the electronic device 100 may extract the plurality of sub-images 50-4 and 60-1 that are divided by the specified angle of view.
  • 8B is a diagram for describing generating a color spherical image and a depth spherical image from the extracted plurality of sub-images according to an embodiment of the present disclosure.
  • the electronic device 100 may obtain depth information from a plurality of sub-images extracted using a stereo matching algorithm.
  • the electronic device 100 may include a plurality of sub-images 50-1 extracted from a left eye spherical image and a plurality of sub-images extracted from a right eye spherical image overlapping the sub-images 50-1.
  • Depth information may be obtained from 60-2 to generate a depth image 70-1 having depth information.
  • the electronic device 100 may overlap the left eye sub images 50-2, 50-3, and 50-4 and the right eye sub images 50-2, 50-3, and 50-4 with the left eye sub images 50-2, 50-3, and 50-4.
  • Depth information 70-2, 70-3, and 70-4 having depth information may be generated by obtaining depth information from 60-3, 60-4, and 60-1.
  • the electronic device 100 may generate the depth spherical image 80 by stitching the depth images 70-1, 70-2, 70-3, and 70-4 and restoring the depth images again to the spherical image.
  • the electronic device 100 stitches all the sub-images 50-1, 50-2, 503, and 50-4 extracted from the left eye spherical image to generate a left eye color spherical image 90-1. can do. Also, the electronic device 100 stitches all of the plurality of sub-images 60-1, 60-2, 60-3, and 60-4 extracted from the right eye spherical image to display the right eye color spherical image 90-2. Can be generated.
  • FIG. 9 is a diagram for describing generating a 360 degree 3D stereoscopic image according to an exemplary embodiment.
  • the electronic device 100 renders a depth spherical image 80 on at least one of a left eye spherical image 90-1 and a right eye spherical image 90-2 to generate a 360 degree 3D stereoscopic image. 1, 95-2).
  • the electronic device 100 may render the depth spherical image on the left / right color spherical image by using depth image based rendering (DIBR) technology. Since the left / right eye color spherical image is a 360 degree 2D image, the electronic device 100 may generate a three-dimensional 360 degree 3D stereoscopic image by rendering a depth spherical image on the left / right eye color spherical image.
  • DIBR depth image based rendering
  • the electronic device 100 may use the various left and right color spherical images and the depth spherical images, respectively, by using various image processing techniques such as stitching, and 360 degree color / depth panoramic images. Can be generated.
  • the electronic device 100 may generate a 360 degree 2D left / right eye color panorama image generated from the left / right spherical image.
  • the electronic device 100 may generate a 360 degree depth panoramic image from the depth spherical image.
  • rendering a spherical depth image on a left / right spherical image may mean rendering a 360 degree depth panoramic image on a 360 degree 2D color panoramic image.
  • the electronic device 100 may use Depth Image based Rendering (DIBR), and Depth Image based Rendering (DIBR) using a 2D image may include a loop-closed solution. It may not.
  • DIBR Depth Image based Rendering
  • the last column of the image should be loop closed content.
  • the following algorithm may be used for depth image based rendering (DIBR) to implement depth-based 3D VR rendering.
  • DIBR depth image based rendering
  • (u, v) may be a position of a pixel of a rendered image.
  • the electronic device 100 may generate a 360 degree 3D stereoscopic image by rendering the depth spherical image on the left eye spherical image and the right eye spherical image shown in FIG. 8.
  • FIGS. 10 and 11 are diagrams illustrating a 360 degree depth panorama and a 360 degree color panoramic image, according to an embodiment of the present disclosure.
  • FIG. 10A illustrates a 360 degree color panoramic image generated using a stitching technique from a 360 degree color spherical image 1010 generated by the electronic device 100. That is, the image 1010 is a 2D image.
  • FIG. 10B illustrates a 360 degree depth panoramic image generated using a stitching technique from a 360 degree depth spherical image generated by extracting a depth from the image of FIG. 10A, according to an exemplary embodiment. (1020). Accordingly, the electronic device 100 may generate a 360 degree 3D stereoscopic image by rendering the 2D 360 degree color panoramic image 1010 and the 360 degree depth panoramic image 1020.
  • FIG. 11A is a 360-degree left eye color panoramic image 90-1 (L-color panoramic images) generated from a left eye spherical image captured by a plurality of fisheye cameras described with reference to FIG. 9.
  • FIG. 11B is a 360-degree right-eye color panoramic image 90-2 (R-color panoramic images) generated from a right-eye spherical image captured by the plurality of fisheye cameras described with reference to FIG. 9.
  • FIG. 11C is a 360-depth panoramic image 80 generated from the depth spherical image generated by using the depth information extracted from the left / right spherical image illustrated in FIG. 9.
  • an accurate 360 degree 3D stereoscopic panorama image without distortion may be generated.
  • the electronic device 100 may extract depth information from all pixels of a 360 degree rectangular space.
  • the electronic device 100 may generate a 360 degree 3D stereoscopic image, which is content for virtual / augmented reality, in which stereoscopic effect is controlled.
  • the present disclosure may be implemented to generate, for example, a distortion-free 360 degree 3D stereoscopic panorama using at least four fisheye cameras, the electronic device 100 may be a three-dimensional 360 degree 3D stereoscopic image having a more stereoscopic effect. An image can be generated.
  • FIG. 12 is a flowchart illustrating a method of generating a 360 degree 3D stereoscopic image using depth information according to an exemplary embodiment.
  • the electronic device 100 may photograph a plurality of images using a plurality of cameras so as to correspond to a field of view (FOV) of each camera.
  • FOV field of view
  • the plurality of cameras may be fisheye cameras having a wide angle lens, such as a fisheye lens.
  • the fisheye camera in order to obtain a stereoscopic image without distortion from the entire 360-degree space, the fisheye camera may be configured with at least four, and each fisheye camera may have a FoV of at least 180 degrees or more.
  • the plurality of fisheye cameras may be arranged to photograph the entire 360 degree area with at least two cameras. Also, the plurality of fisheye fisheye cameras may have five or more configurations.
  • the electronic device 100 may divide the left eye image and the right eye image from the plurality of captured images. For example, according to an embodiment of the present disclosure, when a plurality of cameras are configured as a camera having a wide-angle lens such as a fisheye lens, the electronic device 100 may determine calibration data from the photographed image. Can be mapped to a square image. The electronic device 100 vertically separates the transformed images into a plurality of square images from the circular image and separates them into left half equirectangular images and right half equirectangular images. Can be.
  • the electronic device 100 may generate a left eye spherical image by projecting / mapping the left eye image of the plurality of images onto a left unit sphere surface.
  • the electronic device 100 may generate a right eye spherical image by projecting / mapping the right eye image of the plurality of images onto the right unit sphere surface.
  • the electronic device 100 may project the left square images on the left unit sphere surface and the right square images on the right unit sphere surface from the left / right square images.
  • the electronic device 100 transforms circular images captured by a plurality of fisheye cameras into square images, and separates the deformed square images into left and right eye images to form a left eye rectangle. Images and right eye spherical images may be generated.
  • the electronic device 100 may obtain depth information using the left / right spherical image.
  • the electronic device 100 may extract a plurality of non-distorted sub-images in a region where the left-eye spherical image and the right-eye spherical image overlap at a specified angle of view from the left / right spherical image. Since a method of extracting a plurality of non-distorted sub-images has been described in detail in the present disclosure, it will be omitted here.
  • the electronic device 100 may extract the depth from the extracted plurality of sub-images using a stereo matching technique.
  • the electronic device 100 may generate a depth spherical image by using the extracted depth information.
  • the electronic device 100 may render the depth spherical image on the left / right spherical image to generate a 360 degree 3D stereoscopic image.
  • the electronic device 100 may include an image receiver 1310, an image processor 1320, a display 1330, an audio output unit 1340, a storage unit 1350, a communication unit 1360, and a user. It may include an operation unit 1370 and a processor 120.
  • FIG. 13 illustrates a case in which the electronic device 100 is a device having a function of displaying virtual reality (VR) content and augmented reality (AR) content. It is shown as. Therefore, according to the exemplary embodiment, some of the components shown in FIG. 13 may be omitted or changed, and other components may be further added.
  • VR virtual reality
  • AR augmented reality
  • the image receiver 1310 receives image content from various external sources.
  • the image receiving unit 1310 may receive virtual reality and augmented reality contents obtained by capturing 360-degree images with a plurality of fisheye cameras from an external device (eg, a server, a DVD, or an external camera).
  • an external device eg, a server, a DVD, or an external camera.
  • the image receiver 1310 may receive various image contents through an external broadcasting station or internet streaming.
  • the image processor 1320 may process the image data received by the image receiver 1310.
  • the image processor 220 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on the image data.
  • the image processor 1320 may be implemented to perform image processing executed by the processor 120 of FIG. 1.
  • the display 1330 may display at least one of a video frame processed by the image processor 1320 and various screens generated by the graphic processor 1383 of the image data received from the image receiver 1310.
  • the display 1330 may be a display device capable of displaying virtual reality and augmented reality content such as a TV, an LCD, a head mounted display (HMD), a mobile phone, a tablet PC, a laptop, and the like. Can be.
  • the display 1330 may be coupled to the electronic device 100 or may be an external device that is connected and communicated through an interface such as a wired / wireless network or HDMI.
  • the audio output unit 1340 is configured to output not only various audio data processed by the audio processor (not shown) but also various notification sounds or voice messages.
  • the audio output unit 1340 may output various types of guide messages (eg, update guide messages) in audio form.
  • the storage unit 1350 stores various modules for driving the electronic device 100.
  • the storage 1350 may store software including a base module, a sensing module, a communication module, a presentation module, a web browser module, and a service module.
  • the base module is a basic module that processes a signal transmitted from each hardware included in the electronic device 100 and transmits the signal to the upper layer module.
  • the sensing module collects information from various sensors and analyzes and manages the collected information.
  • the sensing module may include a face recognition module, a voice recognition module, a motion recognition module, an NFC recognition module, and the like.
  • the presentation module is a module for constructing a display screen, and may include a multimedia module for reproducing and outputting multimedia content, and a UI rendering module for performing UI and graphic processing.
  • the communication module is a module for performing communication with the outside.
  • the web browser module refers to a module that performs web browsing to access a web server.
  • the service module is a module including various applications for providing various services.
  • the storage unit 1350 may be implemented as a nonvolatile memory, a volatile memory, a flash memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the storage 1350 may be accessed by the processor 1380, and data read / write / modify / delete / update of the data by the processor 1380 may be performed.
  • the term memory refers to a memory card (not shown) mounted in the storage unit 1350, the ROM 1302 in the processor 1380, the RAM 1381, or the electronic device 100 (eg, a micro SD card). , Memory stick).
  • the storage 1350 may store programs and data for image processing to be displayed on the display area of the display 1330.
  • the storage unit 1350 may store the extracted plurality of sub-images.
  • the storage unit 1350 may store depth information obtained from the sub image.
  • the storage unit 1350 may store the depth spherical image generated by using the acquired depth information.
  • the storage unit 1350 may store the left / right color spherical / panorama image generated from the sub image.
  • the storage unit 1350 may store a calculation algorithm for setting a designated angle of view for extracting the sub image without distortion, an error range, and the number of areas to be divided.
  • the storage unit 1350 may include various program modules, but various program modules may be partially omitted, modified, or added according to the type and characteristics of the electronic device 100.
  • the communication unit 1360 is a component that performs communication with various types of external devices according to various types of communication methods.
  • the communication unit 1360 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, an NFC chip, a wireless communication chip, an IR chip, and the like.
  • the WiFi chip, the Bluetooth chip, the NFC chip, and the IR chip communicate with each other via WiFi, Bluetooth, NFC, and IR methods.
  • the NFC chip refers to a chip that operates in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, and 2.45 GHz.
  • NFC near field communication
  • a wireless communication chip refers to a chip that performs communication according to different communication standards, such as IEEE, Zigbee, 3G (3rd Generation), 3GPP (3 rd Generation Partnership Project), LTE (Long Term Evoloution).
  • the communication unit 1360 may acquire image content (eg, virtual reality content and augmented reality content) from an external server and an external device.
  • the communication unit 1360 may transmit information about the frequency component of the audio source to an external server, and receive the type information of the audio source corresponding to the frequency component from the external server.
  • the user manipulation unit 1370 receives various user commands for controlling the electronic device 100.
  • the user manipulation unit 1370 may be implemented as a remote controller having four direction keys.
  • a pointing device equipped with a motion sensor, a keyboard, a mouse, a motion input unit including a camera, and a microphone are provided.
  • the voice input unit may be implemented as various input devices such as a voice input unit and a touch sensor.
  • the processor 120 controls the overall operation of the electronic device 100 using various programs stored in the storage 1350. Since the processor 120 has been described above with reference to FIGS. 1 through 12, a detailed description thereof will be omitted.
  • the methods described in this disclosure can be executed by the above functions by being recorded on a recording medium readable by a computer and executed by a computer.
  • an apparatus eg, the electronic device 100
  • a method eg, operations
  • the at least one computer may perform a function corresponding to the command.
  • the computer-readable storage medium may be, for example, a memory.
  • Programs include, for example, hard disks, floppy disks, magnetic media (such as magnetic tape), optical media (such as compact disc read only memory) and digital versatile disc (DVD). ), Magneto-optical media (e.g. floptical disks), hardware devices (e.g. read only memory (ROM), random access memory (RAM), or flash memory, etc.)
  • the storage medium is generally included as part of the configuration of the electronic device 100, but may be mounted through a port of the electronic device 100, or
  • the program may be included in an external device (eg, a cloud, a server, or another electronic device) located outside the electronic device 100. Also, the program may be divided and stored in a plurality of storage media. At least some of the electronic devices 100 It may be located in the external device.
  • Instructions can include high-level language code that can be executed by a computer using an interpreter, as well as machine code such as produced by a compiler.
  • the aforementioned hardware device may be configured to operate as one or more software modules to perform the operations of the various embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 복수의 카메라를 이용하여 복수의 영상을 촬영하고, 복수의 영상 각각을 좌안 영상 및 우안 영상으로 구분하여, 좌안 구형 영상 및 우안 구형 영상을 생성하며, 생성된 좌안 구형 영상 및 우안 구형 영상을 이용하여 뎁스 정보를 획득하고, 획득한 뎁스 정보를 이용하여 입체감이 조절되는 360도 3D 입체 영상을 생성하도록 하는 전자 장치 및 이의 영상 처리 방법에 관한 것이다.

Description

360도 3D 입체 영상을 생성하는 전자 장치 및 이의 방법
본 개시는 360도 3D 입체 영상을 생성하는 전자 장치 및 이의 영상 처리 방법에 관한 것이다. 구체적으로, 본 개시는, 복수의 카메라를 이용하여 촬영된 복수의 영상으로부터 뎁스를 추출하여 360도 3D 입체 영상을 생성하는 전자 장치 및 이의 영상 처리 방법에 관한 것이다.
최근, 가상 현실(Virtual Reality) 분야와 관련된 기술이 주목받고 있다. 특히, 헤드 마운티드 디스플레이(HMD, Head Mounted Display)와 같은 가상 현실을 경험할 수 있는 소형 웨어러블 디바이스 기술이 발전하고 있다. 반면, 가상 현실 콘텐츠를 제공할 수 있는 디바이스의 기술에 비해 가상 현실 컨텐츠는 부족한 실정이다. 따라서, 소형 웨어러블 디바이스 기술에 적용될 수 있는 가상 현실 컨텐츠 생성 기술에 대한 필요성이 증가하고 있다.
종래에는, 소형 3D 가상 현실 콘텐츠를 생성하기 위해 많은 개수의 카메라가 필요하였다. 이를 해결하기 위해, 종래에는 어안 렌즈(fish-eye lenses)와 같은 복수의 광각 렌즈를 이용하여 360도 3D 입체 영상을 생성한다.
그러나 어안 렌즈와 같은 광각 렌즈를 이용하여 소형 360도 3D 입체 영상을 생성할 때, 뎁스를 생성하는 단계(depth reconstruction stage)에서 이미지 왜곡이 발생하여 입체 영상에서 낮은 입체감을 제공하는 문제가 있다.
예를 들어, 종래에는, 어안 영상으로부터 촬영된 저 왜곡 영역에서 뎁스를 생성하여 입체 영상을 생성한다. 따라서, 핀 쿠션(Pin Cushion) 영역은 복수의 어안 카메라로 촬영된 영상들의 오버랩이 부족하여 뎁스 복원이 어려운 문제가 있다. 따라서, 소형화된 360도 3D VR(Virtual Reality) 촬영 기기에서 촬영한 영상의 모든 영역에서 입체감을 향상시키는 기술이 필요하다.
본 개시의 목적은, 상술한 문제점을 해결하기 위한 것으로, 복수의 카메라를 이용하여 촬영된 영상으로부터, 360도 전체 영역을 커버하는 왜곡 없는 복수의 서브 영상을 추출하고, 추출된 서브 영상의 뎁스를 추출함으로써, 왜곡 없는 360도 3D 입체 영상을 제공할 수 있는 전자 장치 및 이의 영상처리 방법을 제공함에 있다.
상술한 목적을 달성하기 위해 본 개시의 일 실시 예에 따른, 360도 3D 입체 영상 처리를 하는 전자 장치는, 복수의 카메라를 이용하여 복수의 영상을 촬영하는 촬영부, 상기 복수의 영상 각각을 좌안 영상 및 우안 영상으로 구분하고, 상기 복수의 영상의 좌안 영상들을 좌측 단위 구 표면(unit sphere surface)에 투영(project)하여 좌안 구형 영상을 생성하고, 상기 복수의 영상의 우안 영상들을 우측 단위 구 표면(unit sphere surface)에 투영(project)하여 우안 구형 영상을 생성하며, 상기 좌안 구형 영상 및 상기 우안 구형 영상을 이용하여 뎁스 정보를 획득하고, 상기 뎁스 정보를 이용하여 360도 3D 입체 영상을 생성하도록 하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 좌안 구형 영상의 원점으로부터 지정된 화각에 대응되는 적어도 하나의 제1 구 표면 영상을 분리하고, 상기 우안 구형 영상의 원점으로부터 상기 지정된 화각에 대응되는 적어도 하나의 제2 구 표면 영상을 분리하며, 상기 복수의 카메라가 촬영한 영상 중 상기 제1 구 표면 영상 및 상기 제2 구 표면 영상이 오버랩될 때, 상기 오버랩된 제1 구 표면 영상을 상기 지정된 화각에 대응되는 평면에 투영하여 제1 서브 영상을 추출하며, 상기 오버랩된 제2 구 표면 영상을 상기 지정된 화각에 대응되는 평면에 투영하여 제2 서브 영상을 추출할 수 있다.
상기 프로세서는, 상기 지정된 화각(field of view)으로 상기 좌안 구형 영상 및 상기 우안 구형 영상 각각의 단위 구 표면(unit sphere surface) 전체 영역을 N개의 영역으로 분할하고, 상기 N개의 영역에 대응되는 복수의 서브 영상들을 추출할 수 있다.
상기 프로세서는, 제1 카메라가 촬영한 제1 좌안 구형 영상과 제2 카메라가 촬영한 제2 우안 구형 영상이 지정된 화각으로 오버랩되는 제1 영역으로부터 상기 제1 서브 영상 및 제2 서브 영상을 추출할 수 있다.
상기 프로세서는, 상기 제1 서브 영상 및 제 2 서브 영상으로부터 스테레오 매칭 기술을 이용하여 상기 뎁스 정보를 획득할 수 있다.
상기 프로세서는, 상기 획득된 뎁스 정보가 포함된 360도 뎁스 구형 영상을 생성할 수 있다.
상기 프로세서는, 상기 좌안 구형 영상 및 우안 구형 영상 중 적어도 하나에 상기 360도 뎁스 구형 영상을 렌더링하여 360도 3D 입체 영상을 생성할 수 있다.
상기 프로세서는, 상기 좌안 구형 영상 및 상기 우안 구형 영상 각각의 크기와 각각의 구형 공간 상의 원호의 길이의 오차가 지정된 범위 이내가 되도록 상기 지정된 화각을 설정할 수 있다.
한편, 상술한 목적을 달성하기 위해 본 개시의 일 실시 예에 따른, 전자 장치의 영상 처리 방법은, 복수의 카메라를 이용하여 복수의 영상을 촬영하는 단계, 상기 복수의 영상 각각을 좌안 영상 및 우안 영상으로 구분하는 단계, 상기 복수의 영상의 좌안 영상들을 좌측 단위 구 표면에 투영하여 좌안 구형 영상을 생성하고, 상기 복수의 영상의 우안 영상들을 우측 단위 구 표면에 투영하여 우안 구형 영상을 생성하는 단계, 상기 좌안 구형 영상 및 상기 우안 구형 영상을 이용하여 뎁스 정보를 획득하는 단계 및 상기 뎁스 정보를 이용하여 360도 3D 입체 영상을 생성하는 단계를 포함할 수 있다.
상기 뎁스 정보를 획득하는 단계는, 상기 좌안 구형 영상의 원점으로부터 지정된 화각에 대응되는 적어도 하나의 제1 구 표면(sphere surface) 영상을 분리하고, 상기 우안 구형 영상의 원점으로부터 상기 지정된 화각에 대응되는 적어도 하나의 제2 구 표면(sphere surface) 영상을 분리하는 단계 및 상기 복수의 카메라로 촬영된 영상 중 제1 구 표면(sphere surface) 영상 및 상기 제2 구 표면 영상이 오버랩될 때, 상기 제1 구 표면 영상을 상기 지정된 화각에 대응되는 평면에 투영하여 제1 서브 영상을 추출하고, 상기 제2 구 표면 영상을 상기 지정된 화각에 대응되는 평면에 투영하여 제2 서브 영상을 추출하는 단계를 더 포함할 수 있다.
상기 추출하는 단계는, 상기 지정된 화각으로 상기 좌안 구형 영상 및 상기 우안 구형 영상 각각의 단위 구 표면 전체 영역을 N개의 영역으로 분할하고, 상기 N개의 영역에 대응되는 복수의 서브 영상들을 추출할 수 있다.
상기 추출하는 단계는, 제1 카메라가 촬영한 제1 좌안 구형 영상과 제2 카메라가 촬영한 제2 우안 구형 영상이 지정된 화각으로 오버랩되는 제1 영역으로부터 상기 제1 서브 영상 및 제2 서브 영상을 추출하는 단계를 더 포함할 수 있다.
상기 뎁스 정보를 획득하는 단계는, 상기 제1 서브 영상 및 제2 서브 영상으로부터 스테레오 매칭 기술을 이용하여 상기 뎁스 정보를 획득할 수 있다.
상기 360도 3D 입체 영상을 생성하는 단계는, 상기 획득된 뎁스 정보가 포함된 360도 뎁스 구형 영상을 생성하는 단계를 더 포함할 수 있다.
상기 360도 3D 입체 영상을 생성하는 단계는, 상기 좌안 구형 영상 및 우안 구형 영상 중 적어도 하나에 상기 360도 뎁스 구형 영상을 렌더링하는 단계를 더 포함할 수 있다.
상기 추출하는 단계는, 상기 좌안 구형 영상 및 상기 우안 구형 영상 각각의 크기와 각각의 구형 공간 상의 원호의 길이의 오차가 지정된 범위 이내가 되도록, 상기 지정된 화각을 설정하는 단계를 더 포함할 수 있다.
본 개시의 실시 예들에 따른 전자 장치 및 영상 처리 방법은, 입체감이 향상된 소형 3D 가상 현실 컨텐츠 및 증강 현실(AR, Augmented Reality) 컨텐츠 생성을 제공할 수 있는 시스템을 구현할 수 있으며, 왜곡 없는 고품질(high quality)의 360도 3D 입체 영상을 제공할 수 있다.
도 1은, 본 개시의 일 실시 예에 따른, 전자 장치의 구성을 간략히 나타내는 블록도,
도 2는, 본 개시의 일 실시 예에 따른, 복수의 카메라의 배치를 설명하기 위한 도면,
도 3은, 본 개시의 일 실시 예에 따른, 복수의 카메라를 이용한 영상의 촬영을 설명하기 위한 도면,
도 4a 내지 도 4d는, 본 개시의 일 실시 예에 따른, 복수의 카메라의 화각(Field of View)을 설명하기 위한 도면,
도 5는, 본 개시의 일 실시 예에 따른, 복수의 카메라로 촬영된 영상을 좌/우측 구형에 매핑하는 것을 설명하기 위한 도면,
도 6 a 및 도 6b는, 본 개시의 일 실시 예에 따른, 구형 영상으로부터 왜곡되지 않은 서브 영상을 추출하는 것을 설명하기 위한 도면,
도 7은, 본 개시의 일 실시 예에 따른, 왜곡되지 않은 복수의 서브 영상으로부터 뎁스를 추출하는 것을 설명하기 위한 도면,
도 8a 및 도 8b는, 본 개시의 일 실시 예에 따른, 좌/우측 구형 영상으로부터 복수의 왜곡되지 않은 서브 영상들을 추출하는 것을 설명하기 위한 도면,
도 9는, 본 개시의 일 실시 예에 따른, 360도 3D 입체 영상을 생성하는 것을 설명하기 위한 도면,
도 10 및 도 11은, 본 개시의 일 실시 예에 따른, 360도 뎁스 파노라마 및 360도 컬러 파노라마 영상을 도시한 그림,
도 12는, 본 개시의 일 실시 예에 따른, 뎁스 정보를 이용하여 360도 3D 입체 영상을 생성하는 방법을 설명하기 위한 순서도,
그리고
도 13은, 본 개시의 일 실시 예에 따른, 전자 장치의 구성을 상세히 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다.
또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은, 본 개시의 일 실시 예에 따른, 전자 장치의 구성을 간략히 나타내는 블록도이다.
도 1을 참조하면, 전자 장치(100)는 촬영부(110) 및 프로세서(120)를 포함할 수 있다.
전자 장치(100)는 HDM(Head Mounted Display), 스마트폰, 랩탑 컴퓨터, 등과 같이 촬영된 영상을 디스플레이할 수 있는 모든 디스플레이 장치가 될 수 있다. 또한, 전자 장치(100)는 가상 현실(VR, Virtual Reality) 및 증강 현실(Augmented Reality) 콘텐츠를 제공하는 모든 디스플레이 장치가 될 수 있다.
촬영부(110)는 전자 장치(100)에 결합되어 있을 수도 있고 외부 장치에 결합되어 있을 수도 있다. 촬영부(110)가 외부 장치에 결합되어 있을 때, 촬영부(110)에서 촬영한 영상은 유선 또는 무선 통신을 통해 전자 장치(100)에 전송될 수 있다.
촬영부(110)는 복수의 카메라로 구성될 수 있다. 촬영부(110)를 구성하는 복수의 카메라는 360도 영역을 촬영할 수 있도록 배치될 수 있다. 예를 들어, 촬영부(110)는 180도 이상의 화각(Field of View)을 가지는 카메라 두 개로 구성될 수도 있다.
본 개시의 일 실시 예에 따라, 복수의 카메라는 어안 렌즈와 같은 광각 렌즈를 가지는 카메라일 수 있다. 그러나 이는 본 개시를 설명하기 위한 일 실시 예일 뿐, 이에 한정되지 않는다.
본 개시에서는 설명의 편의를 위하여 어안 렌즈를 가지는 어안 카메라를 예로 들어 본 개시의 실시 예들을 설명하기로 한다.
본 개시의 일 실시 예에 따라, 180도 이상의 FOV(Field of View)를 가지는 두 개의 어안 카메라는 360도 공간 전체를 촬영할 수 있다. 또한, 본 개시의 일 실시 예에 따라, 왜곡이 적은 360도 영상을 획득하기 위해, 촬영부(110)는 적어도 네 개의 어안 카메라(fish eye lenses)로 구성될 수 있다. 이때, 각각의 어안 카메라는 180도 이상의 FOV를 가지며, 각각의 어안 카메라의 FOV는 동일할 수도 있고 상이할 수도 있다. 따라서, 촬영부(110)는 적어도 두 개의 어안 카메라를 이용하여 360도 구형 공간의 전 영역의 지점(point)을 촬영할 수 있도록 배치될 수 있다.
프로세서(120)는 촬영부(110)로부터 제공받은, 복수의 카메라로 촬영된, 복수의 영상 각각을 좌안 영상 및 우안 영상으로 분리(divide)할 수 있다.
예를 들어, 프로세서(120)는 어안 카메라로 촬영한 원형 영상(circular image)을 정방형(equirectangular) 영상으로 매핑할 수 있다. 프로세서(120)는 정방형(equirectangular) 영상을 영상의 중심축에서 수직으로 분할하여 좌안 영상 및 우안 영상으로 분리할 수 있다.
프로세서(120)는 복수의 좌안 영상들을 좌측 구형에 매핑하여 좌안 구형 영상을 생성하고, 복수의 우안 영상들을 우측 구형에 매핑하여 우안 구형 영상을 생성할 수 있다. 이때, 좌/우측 구형에 매핑하는 것은 각각의 좌/우안 영상들을 단위 구 표면에 투영하는 것(projection on unit sphere surface)을 의미할 수 있다.
프로세서(120)는 좌안 구형 영상 및 우안 구형 영상을 이용하여 촬영부(110)에서 촬영한 복수의 영상에 대한 뎁스 정보를 획득할 수 있다. 뎁스 정보를 획득하는 방법은 본 개시의 도 6a 내지 도 8b에서 상세히 설명하기로 한다.
프로세서(120)는 획득된 영상의 뎁스 정보를 이용하여 360도 3D 입체 영상을 생성할 수 있다. 프로세서(120)는 좌/우안 구형 영상 중 적어도 하나의 영상에 오버랩된 좌/우안 구형 영상으로부터 획득된 뎁스 정보를 적용하여 360도 3D 입체 영상을 생성할 수 있다. 프로세서(120)는 전자 장치(100)의 영상 처리 장치에 포함될 수 있다.
도 2는, 본 개시의 일 실시 예에 따른, 복수의 카메라의 배치를 설명하기 위한 도면이다.
도 2를 참조하면, 도 1에서 설명한 촬영부(110)는 복수의 카메라로 구성될 수 있다. 본 개시의 일 실시 예로, 촬영부(110)는 적어도 네 개의 어안 카메라(200-1, 200-2, 200-3, 200-4)로 구성될 수 있다. 본 개시에서는 설명의 편의를 위하여 네 개의 어안 카메라를 도시한다. 그러나 어안 카메라의 개수 및 배치는 이에 한정되지 않으며, 촬영부(110)는 네 개 이상의 어안 카메라로 구성될 수 있다. 또한, 촬영부(110)는 예를 들어 광각 렌즈로 이루어진 복수의 카메라로 구성될 수 있다. 광각 렌즈는 본 개시를 설명하기 위한 일 실시 예일 뿐, 렌즈의 타입은 이에 한정되지 않는다.
예를 들어, 도 2에 도시된 바와 같이, 제1 어안 카메라(200-1)는, 지정된 FOV(Field of View) 범위 내에서 제1 어안 카메라(200-1)의 전방을 촬영할 수 있다. 제2 어안 카메라(200-2)는 제1 어안 카메라(200-1)와 인접하게 배치되고, 지정된 FOV 범위 내에서 제2 어안 카메라(200-2)의 전방을 촬영할 수 있다. 제3 어안 카메라(200-3)는 제2 어안 카메라(200-2)와 인접하게 배치되고, 지정된 FOV 범위 내에서 제3 어안 카메라(200-3)의 전방을 촬영할 수 있다. 제4 어안 카메라(200-4)는 제3 어안 카메라(200-3)와 인접하게 배치되고, 지정된 FOV 범위 내에서 제4 어안 카메라(200-4)의 전방을 촬영할 수 있다.
따라서, 본 개시의 일 실시 예에 따른, 복수의 어안 카메라(200-1, 200-2, 200-3, 200-4)는 360도 공간의 전 영역을 촬영할 수 있다.
복수의 어안 카메라(200-1, 200-2, 200-3, 200-4)는 지정된 위치에서 촬영되도록 받침대로 고정되어 있을 수 있다. 또한, 복수의 어안 카메라(200-1, 200-2, 200-3, 200-4)는 인접한 어안 카메라와 고정되도록 배치될 수 있다.
본 개시에서는 복수의 어안 카메라(200-1, 200-2, 200-3, 200-4)가 서로 인접하게 배치되어 360도 공간의 전 영역을 촬영하는 것을 설명하였으나, 이는 본 개시를 설명하기 위한 일 실시 예일 뿐, 복수의 카메라는 서로 인접하지 않도록 배치될 수 있다.
도 3은, 본 개시의 일 실시 예에 따른, 복수의 카메라를 이용한 360도 3D 입체 영상의 촬영을 설명하기 위한 도면이다.
도 3을 참조하면, 제1 카메라(200-1)는 지정된 FOV(Field of View) 범위 내에서 제1 영상(10-1)을 촬영할 수 있다. 제2 카메라(200-2)는 지정된 FOV 범위 내에서 제2 영상(10-2)을 촬영할 수 있다. 제3 카메라(200-3)는 지정된 FOV 범위 내에서 제3 영상(10-3)을 촬영할 수 있다. 제4 카메라(200-4)는 지정된 FOV 범위 내에서 제4 영상(10-4)을 촬영할 수 있다.
본 개시의 일 실시 예에 따라, 예를 들어, 복수의 어안 카메라 각각은(200-1, 200-2, 200-3, 200-4) 180도 이상의 FOV(예를 들어, 200도)를 가질 수 있다. 이때, 제1 어안 카메라(200-1)는 0도 방향, 제2 어안 카메라(200-2)는 90도 방향, 제3 어안 카메라(200-3)는 180도 방향, 제4 어안 카메라(200-4)는 270도 방향으로 배치될 수 있다.
또한, 각각의 어안 카메라의 화각(FOV, Field of View)이 최소 180도일 때, 두 개의 어안 카메라를 이용하여 360도 영상을 촬영할 수 있다.
본 개시에서는 왜곡 없는 360도 3D 입체 영상을 구현하기 위하여 네 개의 어안 카메라로 구성된 실시 예에 대해 설명하기로 한다. 그러나 이는 본 개시를 설명하기 위한 예시일 뿐, 이에 한정되지 않는다.
도 4a 내지 도 4d는, 본 개시의 일 실시 예에 따른, 복수의 카메라의 화각(Field of View)을 설명하기 위한 도면이다.
전자 장치(100)는 복수의 카메라가 촬영한 복수의 영상 각각을 좌안 영상 및 우안 영상으로 구분할 수 있다.
도 4a는, 본 개시의 일 실시 예에 따른, 제1 어안 카메라(200-1)가 촬영한 제1 영상(10-1)을 설명하기 위한 도면이다.
도 4a를 참조하면, 제1 어안 카메라(200-1)는 200도의 FoV 범위 내에서 제1 영상(10-1)을 촬영할 수 있다. 전자 장치(100)는 제1 영상(10-1)의 좌측 영상을 좌안 영상(20-1)으로, 제1 영상(10-1)의 우측 영상을 우안 영상(30-1)으로 분리하여 구분할 수 있다.
도 4b는, 본 개시의 일 실시 예에 따른, 제2 어안 카메라(200-2)가 촬영한 제2 영상(10-2)을 설명하기 위한 도면이다.
도 4b를 참조하면, 제2 어안 카메라(200-2)는 200도의 FoV 범위 내에서 제2 영상(10-2)을 촬영할 수 있다. 전자 장치(100)는 제2 영상(10-2)의 좌측 영상을 좌안 영상(20-2)으로, 제2 영상(10-2)의 우측 영상을 우안 영상(30-2)으로 분리하여 구분할 수 있다.
도 4c는, 본 개시의 일 실시 예에 따른, 제3 어안 카메라(200-3)가 촬영한 제3 영상(10-3)을 설명하기 위한 도면이다.
도 4c를 참조하면, 제3 어안 카메라(200-3)는 200도의 FoV 범위 내에서 제3 영상(10-3)을 촬영할 수 있다. 전자 장치(100)는 제3 영상(10-3)의 좌측 영상을 좌안 영상(20-3)으로, 제3 영상(10-3)의 우측 영상을 우안 영상(30-3)으로 분리하여 구분할 수 있다.
도 4d는, 본 개시의 일 실시 예에 따른, 제4 어안 카메라(200-4)가 촬영한 제4 영상(10-4)을 설명하기 위한 도면이다.
도 4d를 참조하면, 제4 어안 카메라(200-4)는 200도의 FoV 범위 내에서 제2 영상(10-4)을 촬영할 수 있다. 전자 장치(100)는 제4 영상(10-4)의 좌측 영상을 좌안 영상(20-4)으로, 제2 영상(10-4)의 우측 영상을 우안 영상(30-4)으로 분리하여 구분할 수 있다.
예를 들어, 전자 장치(100)는 도 4a에 도시된 제1 어안 카메라(200-1)와 도 4c에 도시된 제3 어안 카메라(200-3)를 이용하여 360도 공간 전체의 지점(point)을 촬영할 수 있다. 또한, 전자 장치(100)는 도 4b에 도시된 제2 어안 카메라(200-2)와 도 4d에 도시된 제4 어안 카메라(200-4)를 이용하여 360도 공간 전체의 지점을 촬영할 수 있다.
도 3에 도시된 바와 같이, 각각의 어안 카메라(200-1, 200-2, 200-3, 200-4)가 촬영한 영상(10-1, 10-2, 10-3, 10-4)은 복수의 어안 카메라(200-1, 200-2, 200-3, 200-4) 중 다른 카메라가 촬영한 영상과 오버랩될 수 있다.
예를 들어, 도 4a에 도시된, 제1 어안 카메라(200-1)가 촬영한 제1 영상(10-1)은 제1 어안 카메라(200-1)와 인접한 제2 카메라(200-2)가 촬영한 제2 영상(10-2) 및 제4 카메라(200-4)가 촬영한 제4 영상(10-4)과 오버랩될 수 있다. 본 개시에서는 설명의 편의를 위하여, 복수의 카메라가 촬영한 각각의 영상은 각각의 카메라와 인접한 다른 카메라가 촬영한 영상과 오버랩되는 실시 예를 설명하나, 이는 일 실시 예일 뿐, 이에 한정되지 않는다.
구체적으로, 도 4a에 도시된 제1 영상(10-1)의 좌안 영상(20-1)은 도 4b에 도시된 제2 영상(10-2)의 우안 영상(30-2)과 오버랩될 수 있다. 도 4a 도시된 제1 영상(10-1)의 우안 영상(30-1)은 도 4d에 도시된 제4 영상(10-4)의 좌안 영상(30-4)와 오버랩될 수 있다.
또 다른 예를 들어, 도 4b에 도시된, 제2 어안 카메라(200-2)가 촬영한 제2 영상(10-2)은 제2 어안 카메라(200-2)와 인접한 제3 카메라(200-2)가 촬영한 제3 영상(10-2) 및 제1 카메라(200-1)가 촬영한 제1 영상(10-1)과 오버랩될 수 있다.
구체적으로, 도 4b에 도시된 제2 영상(10-2)의 좌안 영상(20-2)은 도 4c에 도시된 제3 영상(10-3)의 우안 영상(30-3)과 오버랩될 수 있다.
또 다른 예를 들어, 도 4c에 도시된, 제3 어안 카메라(200-3)가 촬영한 제3 영상(10-3)은 제3 어안 카메라(200-3)와 인접한 제2 카메라(200-2)가 촬영한 제2 영상(10-2) 및 제4 카메라(200-4)가 촬영한 제4 영상(10-4)과 오버랩될 수 있다.
구체적으로, 도 4c에 도시된 제3 영상(10-3)의 좌안 영상(20-3)은 도 4d에 도시된 제4 영상(10-4)의 우안 영상(30-4)과 오버랩될 수 있다.
따라서, 도 3에 도시된 바와 같이, 각각의 어안 카메라(200-1, 200-2, 200-3, 200-4)가 촬영한 영상(10-1, 10-2, 10-3, 10-4)에서 각각의 좌안 영상(20-1, 20-2, 20-3, 20-4)은 각각의 어안 카메라와 인접한 어안 카메라가 촬영한 우안 영상(30-1, 30-2, 30-3, 30-4)과 오버랩될 수 있다.
도 5는, 본 개시의 일 실시 예에 따른, 복수의 카메라에서 촬영된 영상을 좌/우측 구형에 매핑하는 것을 설명하기 위한 도면이다.
전자 장치(100)는 복수의 카메라가 촬영한 각각의 영상의 좌안 영상들을 좌측 단위 구 표면(unit sphere surface)에 투영(projection)하여 좌안 구형 영상을 생성하고, 복수의 영상의 우안 영상들을 우측 단위 구 표면(unit sphere surface)에 투영(projection)하여 우안 구형 영상을 생성할 수 있다.
도 5를 참조하면, 도 2에서 설명한 복수의 어안 카메라(200-1, 200-2, 200-3, 200-4)는 각각의 FoV 영역 내에서 각각의 어안 카메라에 대응되는 제1 영상(10-1), 제2 영상(10-2), 제3 영상(10-3), 및 제4 영상(10-4)을 촬영할 수 있다. 어안 카메라(200-1, 200-2, 200-3, 200-4)가 촬영한 영상은 원형의 영상(circular images)(10-2, 10-2, 10-3, 10-4)일 수 있다.
전자 장치(100)는 복수의 어안 카메라에서 촬영한 복수의 원형 영상(circular images)(10)을 어안 카메라 캘러브레이션(fisheye camera calibration)을 통해 복수의 정방형(equirectangular) 영상(20)으로 변형(transform)할 수 있다.
본 개시의 일 실시 예에 따라, 전자 장치(100)는 옴니카메라(Omni-directional camera) 캘러브레이션(calibration) 방법을 이용하였으나, 이는 본 개시를 설명하기 위한 일 실시 예일 뿐, 이에 한정되지 않는다. 어안 카메라로 촬영한 원형의 영상(circular image)을 정방형 영상(equirectangular image)으로 변형하는 캘러브레이션(calibration) 방법은 공지된 기술이므로 여기에서는 상세한 설명을 생략한다.
전자 장치(100)는 복수의 정방형 영상(20-1, 20-2, 20-3, 20-4)을 좌안 영상(30-1, 30-2, 30-3, 30-4) 및 우안 영상(40-1, 40-2, 40-3, 40-4)으로 분리할 수 있다. 전자 장치(100)는 복수의 정방형 영상(20-1, 20-2, 20-3, 20-4)을 각각의 정방형 영상의 중심축에서 수직 분할(vertical split)하여 좌/우안 영상으로 분리할 수 있다.
그리고 전자 장치(100)는 각각의 정방형 영상(20-1, 20-2, 20-3, 20-4)으로부터 분리된 좌안 영상(30-1, 30-2, 30-3, 30-4)은 좌측 단위 구 표면(unit sphere surface)에 투영(projection)시켜 좌안 구형(파노라마) 영상(50)을 생성할 수 있다.
전자 장치(100)는 각각의 정방형 영상(20-1, 20-2, 20-3, 20-4)으로부터 분리된 우안 영상(40-1, 40-2, 40-3, 40-4)은 우측 단위 구 표면(unit sphere surface)에 투영(projection)시켜 우안 구형(파노라마) 영상(60)을 생성할 수 있다.
본 개시의 일 실시 예에 따라, 전자 장치(100)는 옴니 캘러브레이션(Omni Calibration)를 이용하여 어안 카메라가 촬영한 원형의 영상(10)을 정방형 영상(20)으로 변형할 수 있다. 이때, 전자 장치(100)는 각각의 카메라 내부의 파라미터(intrinsic parameters)들을 통해 변형을 구현할 수 있다.
그러나, 본 개시의 일 실시 예에 따라, 정방형 영상(20)를 좌/우측 단위 구 표면(unit sphere surface)에 투영(projection)하여 구형 영상(50, 60)을 생성하기 위해, 전자 장치(100)는 복수의 어안 카메라로 구성된 카메라 리그 안에(in the camera rig) 정의된 외부 파라미터들을 알아야 한다.
좌/우안 정방형 영상을 단위 구면(unit sphere surface)에 투영시키기 위해서, 전자 장치(100)는 카메라 장비(rig)에서 각각의 카메라의 위치(position)를 정의한 카메라의 외부 파라미터[R|t]를 추출할 수 있다.
예를 들어, 회전 매트릭스 R은 요(yaw), 피치(pitch), 롤(roll)의 세가지 각도(angular) 파라미터를 가질 수 있다. 본 개시의 일 실시 예에 따라, 피치(pitch) 및 롤(roll) 각은 0도와 같고, 요(yaw) 각은 도 2에 도시된 각각의 어안 카메라(200-1, 200-2, 200-3, 200-4)에 대응되도록 0도, 90도, 180도, 및 270도(degree)일 수 있다.
트랜스레이션 벡터(translation vector) t는 단위 구(unit sphere)의 센터 지점(center point)으로부터 센터 변위(center displacement) 및 카메라 옵티컬을 정의하는 x, y, z의 세 개의 파라미터로 이루어 질 수 있다.
즉, 본 개시의 일 실시 예에 따라, 제1 카메라(200-1)의 요(yaw), 피치(pitch), 롤(roll) 각은 0으로 설정될 수 있다.
본 개시의 일 실시 예에 따라, 카메라의 외부 파라미터[R|t]를 추정하기 위해서, 전자 장치(100)는 원형 어안 이미지(circular fisheye image)에 대응되는 복수의 특징점(feature points)을 선택할 수 있다. 전자 장치(100)는 구형의 지도(spherical map) 위에 대응되는 지점 사이의 거리 제곱의 합을 최소화할 수 있다. 그리고 전자 장치(100)는 공액 구배 법(conjugate gradient method)을 이용하여 각각의 어안 카메라의 광학 외부 매개 변수 R을 추정할 수 있다.
Figure PCTKR2016008256-appb-M000001
여기서, i, j는 카메라 리그(camera rig)를 구성하는 어안 카메라의 개수, Nij는 카메라 i 및 카메라 j에 대응되는 점(point)의 개수, Pi는 외부 파라미터 pi 를 가지는 카메라 i에서의 투영 함수(projection function), Ck ij는 카메라 i에서 카메라 j에 k번째 대응되는 점(point)의 좌표일 수 있다.
전자 장치(100)는, 상술한 방법을 통해 어안 카메라들의 외부 파라미터들을 최적화한 후, 8개의 반정방형 영상(8 half equirectangular images)인 좌안 정방형 영상(30-1, 30-2, 30-3, 30-4) 및 우안 정방형 영상(40-1, 40-2, 40-3, 40-4)을 각각 좌측 단위 구 표면(50) 및 우측 단위 구 표면(60)에 투영(project into the spherical map)(620)시킬 수 있다.
본 개시의 일 실시 예에 따라, 3D 입체 영상을 생성하기 위해서, 전자 장치(100)는 가상의 카메라(예를 들어, 시청자의 눈)로부터 하나의 지점을 촬영한 2D 좌안 영상 및 2D 우안 영상을 획득할 수 있다.
전자 장치(100)는 복수의 카메라로부터 촬영된 영상들로부터 생성된 각각의 좌안 구형 영상(50) 및 우안 구형 영상(60)으로부터 영상의 뎁스 정보를 추출할 수 있다.
도 6 a 및 도 6b는, 본 개시의 일 실시 예에 따른, 구형 영상으로부터 왜곡되지 않은 서브 영상을 추출하는 것을 설명하기 위한 도면이다.
도 6a는, 본 개시의 일 실시 예에 따라, 단위 구 표면 일부 영역을 분리하여 왜곡 없는 서브 영상을 추출하는 방법을 설명하기 위한 도면이다.
전자 장치(100)는 좌안 구형 영상 및 우안 구형 영상으로부터 왜곡 없는 복수의 서브 영상을 추출할 수 있다. 또한, 전자 장치(100)는 추출된 복수의 서브 영상을 통해 좌/우안 구형 영상의 뎁스를 추출할 수 있다.
도 6a는 구형 영상(좌안 구형 영상 또는 우안 구형 영상)으로부터 왜곡 없는 복수의 서브 영상을 추출하는 것을 설명하기 위한 도면이다.
본 개시에서는, 설명의 편의를 위해 하나의 구형 영상(610)으로 좌안 구형 영상 및 우안 구형 영상을 설명하기로 한다.
도 6a를 참조하면, 전자 장치(100)는, 예를 들어, 좌안 구형 영상(610)의 구 표면으로부터 일부 영역(620)을 분리할 수 있다. 즉, 전자 장치(100)는 좌안 구형 영상(610)의 원점으로부터 지정된 화각(θ)에 대응되는 적어도 하나의 제1 구 표면 영상(620)을 좌안 구형 영상으로부터 분리할 수 있다. 또한, 전자 장치(100)는 우안 구형 영상(610)의 원점으로부터 지정된 화각(θ)에 대응되는 적어도 하나의 제2 구 표면 영상(620)을 분리할 수 있다. 이때, 제1 구 표면 영상 및 제2 구 표면 영상(620)은 구 표면상에 생성되므로 왜곡된 영상(distorted image, 620)일 수 있다.
좌안 구형 영상에서 분리된 제1 구 표면 영상 및 우안 구형 영상에서 분리된 제2 구 표면 영상이 오버랩될 때, 전자 장치(100)는 제1 구 표면 영상을 지정된 화각(θ)에 대응되는 평면(630)에 투영하여 보정된 제1 서브 영상(640)을 추출할 수 있다. 우안 구형 영상에서 제2 서브 영상을 추출하는 방법은 제1 서브 영상을 추출하는 방법과 동일하다.
본 개시에서는, 설명의 편의를 위해, 제1 서브 영상 및 제2 서브 영상(640)이 선으로 도시되나, 선으로 도시된 서브 영상(640)은 구 표면 영상(620)의 에피폴라(epipolar) 커브가 선형으로 변형된 후, 스테레오 레터피케이션 알고리즘(stereo rectification algorithm)을 통해 구 표면 영상(620)에 대응되는 평면 영상(630)으로 변형된 것을 의미할 수 있다.
전자 장치(100)는 각각의 좌/우안 구형 영상의 크기와 각각의 구형 공간 상의 원호의 길이의 오차가 지정된 범위 이내가 되도록 지정된 화각(θ)을 설정할 수 있다. 구형 공간 상의 원호의 길이는 각각의 좌/우안 구형 영상을 수직 및 수평 방향으로 N 분할할 때, N분할된 각각의 구형 공간 상의 원호의 길이를 의미할 수 있다.예를 들어, 전자 장치(100)는 각각의 좌/우안 구형 영상(610)을 동일하게 N개로 수직분할 할 수 있다. 전자 장치(100)는 N개로 수직 분할된 각각의 좌/우안 구형 영상(610)을 동일하게 N개의 수평 방향으로 분할할 수 있다.
예를 들어, N개로 분할된 좌안 구형 영상 중 일부 영역(620)은 좌안 구형 영상의 원점으로부터 지정된 화각(θ)을 가질 수 있다.
본 개시의 일 실시 예에 따라, 전자 장치(100)는 각각의 좌/우안 구형 영상들로부터 추출한 서브 영상들로부터 뎁스를 추출한 후, 추출된 서브 영상들을 다시 뎁스 구형 영상으로 복원할 수 있다. 따라서, 복수의 서브 영상(640)들을 블렌딩(Blending)하여 다시 360도 구형 공간으로 복원하는 과정에서 블렌딩 아티팩트(blending artifact)가 발생할 수 있다. 전자 장치(100)는 뎁스 구형 영상에서의 블렌딩 아티팩트를 최소화할 수 있도록 공지된 다양한 연산 방법들을 통해 서브 영상을 추출하는 화각(θ)을 결정할 수 있다.
본 개시의 일 실시 예에 따라, 예를 들어, 전자 장치(100)는 네 개의 어안 카메라로 구성된 카라메 리그(Camera rig)를 가질 수 있다. 전자 장치(100)는 추출된 복수의 서브 영상들로부터 뎁스를 추출하고, 뎁스 영상들을 블렌딩하여 360도 구형 뎁스 영상으로 복원할 수 있다.
이때, 전자 장치(100)는 뎁스 구형 영상을 생성할 때 블렌딩 아티팩트를 최소화하기 위해 좌/우안 구형 영상의 구형 공간을 예를 들어 32개의 영역으로 분할할 수 있다.
또한, 전자 장치(100)는, 왜곡 없는 복수의 서브 영상들을 좌/우 구형 영상들로부터 균일하게 추출하기 위해, 각각 좌/우안 구형 영상을 지정된 화각(θ)으로 분리할 균일한 위도 및 경도가 필요하다. 본 개시의 일 실시 예에 따라, 각각 좌/우안 구형 영상으로부터 균일한 위도 및 경도를 추출하기 위해 다면체 모델을 이용할 수 있다. 예를 들어, 각각 좌/우안 구형 영상의 표면을 다면체로 변형할 수 있다. 이때, 각각 좌/우안 구형 영상의 중심으로부터 다면체를 이루는 각각의 면의 중심에 해당되는 지점의 위도와 경도를 추출할 수 있다.
예를 들어, 각각 좌/우안 구형 영상의 표면을 정 20 면체, 변형된 정이십면체, 또는 깎은 정이십면체 등으로 변형하고, 각각 좌/우안 구형 영상의 중심으로부터 각각의 다면체를 이루는 각각의 면의 중심 지점의 위도 및 경도를 추출할 수 있다.
예를 들어, 전자 장치(100)는 정이십면체 모델을 이용하여 20개의 지정된 화각(θ)을 획득할 수 있다. 또한, 전자 장치(100)는, 변형된 정이십면체 및 깎은 정이십면체 모델을 이용하여, 32개의 지정된 화각(θ)을 획득할 수 있다.
이때, 다면체 모델을 이용할 때, 다면체의 평면은 정오각형과 정육각형 등으로 이루어진다. 그러나, 본 개시에서는 지정된 화각(θ)을 획득하기 위해 다면체 모델을 이용할 뿐, 복수의 서브 영상을 추출할 때는 영상 처리의 편의를 위해 사각형(rectangular) 평면을 가지는 왜곡 없는 서브 영상을 추출할 수 있다.
전자 장치(100)는, 왜곡 없는 복수의 서브 영상들을 추출하기 위해, 각각의 좌안/우안 구형 영상의 크기와 각각의 분할된 구형 공간상의 원호 길이의 오차가 예를 들어 2%이내가 되도록 설정할 수 있다. 이때, 전자 장치(100)는, 예를 들어 변형된 정이십면체 모델을 적용하여, 32개의 분할된 구형 공간을 획득할 수 있다. 32개의 분할된 구형 공간에서 추출된 복수의 서브 영상들로부터 다시 360 구형 뎁스 영상을 생성할 때, 서브 영상으로부터 생성된 뎁스 영상 간 오버랩되는 비율에 따라 360 구형 뎁스 영상의 부드러움(smoothing)이 다르게 구현될 수 있다.
예를 들어, 전자 장치(100)는 뎁스 영상간 오버랩되는 비율을 약 15~20%로 설정할 수 있다. 이때, 전자 장치(100)는 좌/우안 구형 영상으로부터 복수의 구 표면 영상을 분리하는 지정된 좌우/상하의 화각(θ)은 45~60도로 설정할 수 있다. 그러나, 상술한 예들은 본 개시를 설명하기 위한 일 실시 예일 뿐, 이에 한정되지 않는다.
전자 장치(100)는, 상술한 방법을 통하여, 지정된 화각으로 각각의 좌/우안 구형 영상의 구 표면 전체 영역으로부터 복수의 서브 영상들을 추출할 수 있다.
도 6b는 도 6a에서 설명한 왜곡된 구 표면 영상 및 왜곡되지 않은 서브 영상을 도시한 도면이다.
도 6b를 참조하면, 도 6a에서 도시된 단위 구 표면(610)에서 분리된 일부 영역(620)은 구면 상에서 왜곡된 영상(SAMSUNG, 620)으로 표현되는 것을 알 수 있다. 반면, 도 6a에서 도시된 사각형 영상 평면에 투영된 보정된 영상(640)은 왜곡이 보정된 영상(SAMSUNG, 640)으로 표현되는 것을 알 수 있다.
도 7은, 본 개시의 일 실시 예에 따른, 왜곡되지 않은 복수의 서브 영상으로부터 뎁스를 추출하는 것을 설명하기 위한 도면이다.
도 3에서 도시한 바와 같이, 본 개시의 일 실시 예에 따라, 복수의 어안 카메라 각각은 적어도 180도 이상의 FoV(Field of View)를 가질 수 있다. 따라서, 각각의 어안 카메라에서 촬영된 영상은 각각의 카메라와 인접한 어안 카메라 또는 인접하지 않은 다른 카메라가 촬영한 영상과 충분히(sufficient) 오버랩될 수 있고, 전자 장치(100)는 최소 4 개의 어안 카메라를 이용하여 360도 전체에서 좌안 구형 영상 및 우안 구형 영상을 생성할 수 있다.
도 7을 참조하면, 전자 장치(100)는 단위 구면(unit sphere surface)에 투영(perspective projection)된 영상으로부터 복수의 서브 이미지를 추출할 수 있다.
전자 장치(100)는 단위 구 표면(unit sphere surface) 전 영역을 커버하는 복수의 투영된 영상으로부터 왜곡되지 않은 복수의 서브 영상들을 생성할 수 있다.
도 3, 도 4a 내지 도 4d에서 상술한 바와 같이, 복수의 카메라로 촬영된 복수의 영상은 각각의 카메라와 인접한 카메라에서 촬영된 영상 또는 각각의 카메라와 인접하지 않은 다른 카메라에서 촬영된 영상과 오버랩될 수 있다. 오버랩된 영상들 중 일부는 제1 카메라의 좌안 구형 영상(720)일 수 있고, 다른 일부는 제2 카메라의 우안 구형 영상(730)일 수 있다.
도 4a 내지 도 4d에서 상술한 바와 같이, 예를 들어, 제1 어안 카메라(200-1)가 촬영한 제1 영상(10-1)의 좌안 구형 영상(20-1)은 제2 어안 카메라(200-2)가 촬영한 제2 영상(10-2)의 우안 구형 영상(30-1)과 오버랩 될 수 있다.
이때, 도 6a에서 상술한 바와 같이, 전자 장치(100)는 제1 영상(10-1)의 좌안 구형 영상(20-1)으로부터 지정된 화각으로 제1 구 표면 영상을 분리하고, 제1 구 표면 영상을 지정된 화각에 대응되는 평면(630)에 투영하여 왜곡되지 않은 제1 서브 영상(640)을 추출할 수 있다. 전자 장치(100)는 제2 영상(10-2)의 우안 구형 영상(30-1)으로부터 상술한 방법과 동일한 방법으로 왜곡되지 않은 제2 서브 영상(640)을 추출할 수 있다.
도 7에서는, 설명의 편의를 위해, 좌안 구형 영상(720)을 제1 카메라에서 촬영한 것으로 정의하고, 우안 구형 영상(730)을 제2 카메라에서 촬영한 것으로 정의하기로 한다.
제1 카메라가 촬영한 좌안 구형 영상(720)의 제1 구 표면 영상(720-1)과 제2 카메라가 촬영한 우안 구형 영상(730)의 제2 구 표면 영상(730-1)이 오버랩될 때, 전자 장치(100)는 오버랩된 제1 구 표면 영상(720-1) 및 제2 구 표면 영상(730-1)으로부터 복수의 서브 영상(720-2, 730-2)들을 추출할 수 있다. 복수의 서브 영상을 추출하는 방법은 도 6a에서 상술하였으므로 여기에서는 생략하기로 한다.
본 개시의 실시 예에 따라, 전자 장치(100)는 구 표면 영상(720-1, 730-1)을 직사각형(rectangular) 형태의 왜곡되지 않은(undistorted) 서브 영상(720-2, 730-2)들로 변형할 수 있다. 추출된 서브 영상(720-2, 730-2)들이 좌안/우안 영상들이므로, 전자 장치(100)는 추출된 복수의 서브 영상들(740)로부터 뎁스 정보를 검출할 수 있다. 이때, 전자 장치(100)는 스테레오 매칭 기술을 이용하여 추출된 복수의 서브 영상들의 뎁스 정보를 획득할 수 있다. 스테레오 매칭 기술은 공지된 기술이므로, 본 개시에서는 상세한 설명은 생략하기로 한다.
도 8a, 본 개시의 일 실시 예에 따른, 좌/우측 구형 영상으로부터 복수의 왜곡되지 않은 서브 영상들을 추출하는 것을 설명하기 위한 도면이다. 예를 들어, 본 개시의 일 실시 예에 따라, 복수의 어안 카메라가 촬영한 영상들은 복수의 원형의 영상(circular images)일 수 있다.
도 8a를 참조하면, 도 5에서 상술한 바와 같이, 전자 장치(100)는 복수의 어안 카메라가 촬영한 각각의 원형의 영상(circular images)을 복수의 정방형 영상들(equirectangular images)로 변형할 수 있다. 전자 장치(100)는 변형된 정방형 영상들(equirectangular images)을 정방형 영상들의 각 중앙 지점에서 수직 분할하여 좌안 반 정방형 영상(Left half equirectangular images)(30-1, 30-2, 30-3, 30-4) 및 우안 반 정방형 영상(Right half equirectangualr images)(40-1, 40-2, 40-3, 40-4)으로 구분할 수 있다.
전자 장치(100)는 구분된 좌/우안 반 정방형 영상들(aligned half equi-rectangular images) 중 좌안 반 영상들(30-1, 30-2, 30-3, 30-4)은 좌측 단위 구 표면(left unit sphere surface)(50)에 투영/매핑(projecting/mapping)하여 좌안 구형 영상(50)을 생성할 수 있다. 전자 장치(100)는 우안 반 정방형 영상들(40-1, 40-2, 40-3, 40-4)을 우측 단위 구 표면(60)에 투영/매핑하여 우안 구형 영상(60)을 생성할 수 있다.
전자 장치(100)는, 도 6a 및 도 7에서 상술한 바와 같이, 좌안 구형 영상(50)으로부터 왜곡되지 않은 복수의 서브 영상들(50-1, 50-2, 50-3, 50-4)을 추출할 수 있고, 우안 구형 영상(60)으로부터 왜곡되지 않은 복수의 서브 영상들(60-1, 60-2, 60-3, 60-4)을 추출할 수 있다. 도 8a에 도시된 바와 같이, 각각의 좌안 구형 영상(50)으로부터 추출된 복수의 서브 영상들(50-1, 50-2, 50-3, 50-4)과 오버랩된 우안 구형 영상(60)으로부터 추출된 복수의 서브 영상들(60-1, 60-2, 60-3, 60-4)은 추출된 영상의 순서가 상이할 수 있다.
즉, 전자 장치(100)는 제1 카메라가 촬영한 제1 좌안 구형 영상과 제2 카메라가 촬영한 제2 우안 구형 영상이 지정된 화각으로 오버랩되는 제1 서브 영상으로부터 복수의 서브 영상을 추출할 수 있다.
예를 들어, 도 4a 내지 도 4b에 도시된, 제1 어안 카메라(200-1)가 촬영한 제1 영상(10-1)의 좌안 영상(20-1)과 제2 어안 카메라(200-2)가 촬영한 제2 영상(10-2)의 우안 영상(30-1)이 오버랩된 영역에서, 전자 장치(100)는 지정된 화각으로 분할된 복수의 서브 영상(50-1, 60-2)을 추출할 수 있다. 제2 어안 카메라(200-2)가 촬영한 제2 영상(10-2)의 좌안 영상(20-2)과 제3 어안 카메라(200-3)가 촬영한 제3 영상(10-3)의 우안 영상(30-3)이 오버랩 된 영역에서, 전자 장치(100)는 지정된 화각으로 분할된 복수의 서브 영상(50-2, 60-3)을 추출할 수 있다. 제3 어안 카메라(200-3)가 촬영한 제3 영상(10-3)의 좌안 영상(20-3)과 제4 어안 카메라(200-2)가 촬영한 제2 영상(10-4)의 우안 영상(30-4)이 오버랩 된 영역에서, 전자 장치(100)는 지정된 화각으로 분할된 복수의 서브 영상(50-3, 60-4)을 추출할 수 있다. 제4 어안 카메라(200-4)가 촬영한 제4 영상(10-4)의 좌안 영상(20-4)과 제1 어안 카메라(200-1)가 촬영한 제1 영상(10-1)의 우안 영상(30-1)이 오버랩된 영역에서, 전자 장치(100)는 지정된 화각으로 분할된 복수의 서브 영상(50-4, 60-1)을 추출할 수 있다.
그러나 상술한 예시는 본 개시를 설명하기 위한 일 실시 예일 뿐, 카메라 리그(camera rig)를 구성하는 어안 카메라의 개수의 5개 이상이거나, 3개 이하일 때는 복수의 카메라의 배치에 따라 오버랩되는 영역이 상이하게 구현될 수 있다.
도 8b는, 본 개시의 일 실시 예에 따라, 추출된 복수의 서브 영상들로부터 컬러 구형 영상 및 뎁스 구형 영상을 생성하는 것을 설명하기 위한 도면이다.
도 8b를 참조하면, 전자 장치(100)는 스테레오 매칭 알고리즘을 이용하여 추출된 복수의 서브 영상들로부터 뎁스 정보를 획득할 수 있다.
예를 들어, 전자 장치(100)는 좌안 구형 영상으로부터 추출된 복수의 서브 영상들(50-1) 및 서브 영상들(50-1)과 오버랩된 우안 구형 영상으로부터 추출된 복수의 서브 영상들(60-2)로부터 뎁스 정보를 획득하여 뎁스 정보를 가지는 뎁스 영상(70-1)을 생성할 수 있다. 전자 장치(100)는 나머지 좌안 서브 영상들(50-2, 50-3, 50-4) 및 좌안 서브 영상들(50-2, 50-3, 50-4)과 오버랩된 우안 서브 영상들(60-3, 60-4, 60-1)로부터 뎁스 정보를 획득하여 뎁스 정보를 가지는 뎁스 영상(70-2, 70-3, 70-4)들을 생성할 수 있다.
전자 장치(100)는 뎁스 영상(70-1, 70-2, 70-3, 70-4)을 스티칭하고 다시 구형 영상에 복원하여 뎁스 구형 영상(80)을 생성할 수 있다.
전자 장치(100)는 좌안 구형 영상으로부터 추출된 복수의 서브 영상들(50-1, 50-2, 503, 50-4)을 모두 스티칭하여(stitching) 좌안 컬러 구형 영상(90-1)을 생성할 수 있다. 또한, 전자 장치(100)는 우안 구형 영상으로부터 추출된 복수의 서브 영상들(60-1, 60-2, 60-3, 60-4)을 모두 스티칭하여 우안 컬러 구형 영상(90-2)을 생성할 수 있다.
도 9는, 본 개시의 일 실시 예에 따른, 360도 3D 입체 영상을 생성하는 것을 설명하기 위한 도면이다.
도 9를 참조하면, 전자 장치(100)는 좌안 구형 영상(90-1) 및 우안 구형 영상(90-2) 중 적어도 하나에 뎁스 구형 영상(80)을 렌더링하여 360도 3D 입체 영상(95-1, 95-2)을 생성할 수 있다.
전자 장치(100)는 뎁스 영상 기반 렌더링(DIBR, Depth Image based Rendering) 기술을 이용하여 좌/우안 컬러 구형 영상에 뎁스 구형 영상을 렌더링할 수 있다. 좌/우안 컬러 구형 영상은 360도 2D 영상이므로, 전자 장치(100)는 좌/우안 컬러 구형 영상에 뎁스 구형 영상을 렌더링하여 입체감있는 360도 3D 입체 영상을 생성할 수 있다.
본 개시의 일 실시 예에 따라, 전자 장치(100)는 생성된 좌/우안 컬러 구형 영상 및 뎁스 구형 영상을 스티칭(seamless stitching)과 같은 다양한 영상 처리 기술을 이용하여 각각 360도 컬러/뎁스 파노라마 영상을 생성할 수 있다. 전자 장치(100)는 좌/우안 구형 영상으로부터 생성된 360도 2D 좌/우안 컬러 파노라마 영상을 생성할 수 있다. 전자 장치(100)는 뎁스 구형 영상으로부터 360도 뎁스 파노라마 영상을 생성할 수 있다. 본 개시에서 좌/우안 구형 영상에 구형 뎁스 영상을 렌더링한다는 것은 360도 2D 컬러 파노라마 영상에 360도 뎁스 파노라마 영상을 렌더링하는 것을 의미할 수 있다.
본 개시의 일 실시 예에 따라, 전자 장치(100)는 DIBR(Depth Image based Rendering)을 이용할 수 있고, 2D 영상을 이용한 DIBR(Depth Image based Rendering)는 루프가 닫힌 솔루션(loop-closed solution)이 아닐 수 있다. 본 개시의 일 실시 예에 따라, 360도 VR(virtual reality) 콘텐츠를 생성하기 위해서는 영상의 마지막 단(column)이 닫혀진 루프(loop closed) 콘텐츠여야 한다.
따라서, 본 개시의 일 실시 예에 따라, 뎁스 기반 3D VR 렌더링을 구현하기 위해서 DIBR(Depth Image based Rendering)에 다음의 알고리즘을 사용할 수 있다.
if(u < 0), d'(u, v) = d(u + width, v)
if(u > width), d'(u, v) = d(u - width, v)
이때, (u, v)는 렌더링된 영상(a rendered image)의 픽셀의 포지션일 수 있다.
또한, 전자 장치(100)는 도 8에 도시된 좌안 구형 영상 및 우안 구형 영상에 뎁스 구형 영상을 렌더링하여 360도 3D 입체 영상을 생성할 수도 있다.
도 10 및 도 11은, 본 개시의 일 실시 예에 따른, 360도 뎁스 파노라마 및 360도 컬러 파노라마 영상을 도시한 그림이다.
도 10의 (a)는, 전자 장치(100)에 의해 생성된 360도 컬러 구형 영상(1010)으로부터 스티칭 기술을 이용하여 생성된 360도 컬러 파노라마 영상이다. 즉, 영상(1010)은 2D 영상이다. 도 10의 (b)는, 본 개시의 일 실시 예에 따라, 도 10의 (a)의 영상으로부터 뎁스를 추출하여 생성된 360도 뎁스 구형 영상으로부터 스티칭 기술을 이용하여 생성된 360도 뎁스 파노라마 영상(1020)이다. 따라서, 전자 장치(100)는 2D인 360도 컬러 파노라마 영상(1010)과 360도 뎁스 파노라마 영상(1020)을 렌더링하여 360도 3D 입체 영상을 생성할 수 있다.
도 11의 (a)는, 도 9에서 설명한, 복수의 어안 카메라로 촬영된 좌안 구형 영상으로부터 생성된 360도 좌안 컬러 파노라마 영상(90-1, L-color panoramic images)이다. 도 11의 (b)는, 도 9에서 설명한, 복수의 어안 카메라로 촬영된 우안 구형 영상으로부터 생성된 360도 우안 컬러 파노라마 영상(90-2, R-color panoramic images)이다. 도 11의 (c)는, 도 9에서 설명한, 좌/우안 구형 영상으로부터 추출된 뎁스 정보를 이용하여 생성된 뎁스 구형 영상으로부터 생성된 360도 뎁스 파노라마 영상(80, Depth panoramic images)이다.
본 개시의 일 실시 예에 따라, 도 11(a) 및 도 11(b)의 영상에 도 11(c)의 영상을 렌더링하면, 왜곡이 없는 정교한 360도 3D 입체 파노라마 영상을 생성할 수 있다.
즉, 전자 장치(100)는, 본 개시의 일 실시 예에 따라, 360도 구형 공간의 모든 픽셀에서 뎁스 정보를 추출할 수 있다.
따라서, 본 개시의 일 실시 예에 따라, 전자 장치(100)는 입체감이 조절되는 가상/증강 현실용 컨텐츠인360도 3D 입체 영상을 생성할 수 있다. 또한, 본 개시는, 예를 들어, 최소 네 개의 어안 카메라를 사용하여 왜곡 없는 360도 3D 입체 파노라마를 생성하도록 구현될 수 있으므로, 전자 장치(100)는 소형의 시스템으로 보다 입체감 있는 360도 3D 입체 영상을 생성할 수 있다.
도 12는, 본 개시의 일 실시 예에 따른, 뎁스 정보를 이용하여 360도 3D 입체 영상을 생성하는 방법을 설명하기 위한 순서도이다.
도 12를 참조하면, S1210 단계에서, 전자 장치(100)는 복수의 카메라를 이용하여 각각의 카메라의 화각(FOV)에 대응되도록 복수의 영상을 촬영할 수 있다.
예를 들어, 복수의 카메라는 어안 렌즈와 같은 광각 렌즈를 가진 어안 카메라일 수 있다. 본 개시의 일 실시 예에 따라, 360도 공간 전체 영역으로부터 왜곡 없는 입체 영상을 획득하기 위해, 어안 카메라는 최소 4 개로 구성될 수 있으며, 각각의 어안 카메라는 적어도 180도 이상의 FoV를 가질 수 있다. 또한, 본 개시의 일 실시 예에 따라, 복수의 어안 카메라는 최소 2 개의 카메라로 360도 전체 영역을 촬영할 수 있도록 배치될 수 있다. 또한, 복수의 어안 어안 카메라는 5개 이상의 구성을 가질 수 있다.
S1220단계에서, 전자 장치(100)는 촬영된 복수의 영상으로부터 각각 좌안 영상 및 우안 영상으로 구분할 수 있다. 예를 들어, 본 개시의 일 실시 예에 따라, 복수의 카메라가 어안 렌즈와 같은 광각 렌즈를 지닌 카메라로 구성될 때, 전자 장치(100)는 촬영된 영상을 캘러브레이션 데이터(calibration data)를 이용하여 정방형 영상으로 매핑할 수 있다. 전자 장치(100)는 원형의 영상으로부터 복수의 정방형 영상(equirectangular images)으로 변형된 영상들을 수직 분리하여 좌안 반 정방형 영상(Left half equirectangular images) 및 우안 반 정방형 영상(Right half equirectangular images)로 분리할 수 있다.
S1230단계에서, 전자 장치(100)는 복수의 영상 중 좌안 영상은 좌측 단위 구 표면에 투영/매핑하여 좌안 구형 영상을 생성할 수 있다. 전자 장치(100)는 복수의 영상 중 우안 영상은 우측 단위 구 표면에 투영/매핑하여 우안 구형 영상을 생성할 수 있다.
즉, 전자 장치(100)는 좌/우로 구분된 정방형 영상들에서 좌측 정방형 영상들은 좌측 단위 구 표면에 투영하고, 우측 정방형 영상들은 우측 단위 구 표면에 투영할 수 있다. 예를 들어, 전자 장치(100)는 복수의 어안 카메라로 촬영된 원형의 영상들(circular images)을 정방형 영상(equirectangular images)으로 변형하고, 변형된 정방형 영상을 좌/우안 영상으로 분리하여 좌안 구형 영상 및 우안 구형 영상(spherical images)을 생성할 수 있다.
S1240단계에서, 전자 장치(100)는 좌/우안 구형 영상을 이용하여 뎁스 정보를 획득할 수 있다. 전자 장치(100)는 좌/우안 구형 영상으로부터 지정된 화각으로 좌안 구형 영상 및 우안 구형 영상이 오버랩되는 영역에서 왜곡되지 않은 복수의 서브 영상을 추출할 수 있다. 왜곡되지 않은 복수의 서브 영상을 추출하는 방법은 본 개시에서 상세히 설명하였으므로 여기에서는 생략하기로 한다.
전자 장치(100)는 추출된 복수의 서브 영상들)로부터 스테레오 매칭 기술을 이용하여 뎁스를 추출할 수 있다. 전자 장치(100)는 추출한 뎁스 정보를 이용하여 뎁스 구형 영상을 생성할 수 있다.
S1250 단계에서, 전자 장치(100)는 좌/우안 구형 영상에 뎁스 구형 영상을 렌더링하여 360도 3D 입체 영상을 생성할 수 있다.
도 13은, 본 개시의 일 실시 예에 따른, 전자 장치의 구성을 상세히 도시한 블록도이다. 도 13에 도시된 바와 같이, 전자 장치(100)는 영상 수신부(1310), 영상 처리부(1320), 디스플레이(1330), 오디오 출력부(1340), 저장부(1350), 통신부(1360), 사용자 조작부(1370) 및 프로세서(120)를 포함할 수 있다.
한편, 도 13은 전자 장치(100)가 가상 현실(VR, Virtual Reality) 컨텐츠 및 증강 현실(AR, Augmented Reality) 컨텐츠를 디스플레이할 수 있는 기능을 구비한 장치인 경우를 예로 들어 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 13에 도시된 구성 요소 중 일부는 생략 또는 변경될 수 있고, 다른 구성 요소가 더 추가될 수도 있다.
영상 수신부(1310)는 외부의 다양한 소스로부터 영상 컨텐츠를 수신한다. 특히, 영상 수신부(1310)는 복수의 어안 카메라로 360도 영상을 촬영한 가상 현실 및 증강 현실용 컨텐츠를 외부 기기(예를 들어, 서버, DVD, 외부 카메라)로부터 수신할 수 있다. 또한, 영상 수신부(1310)은 외부 방송국 또는 인터넷 스트리밍을 통해 다양한 영상 컨텐츠를 수신할 수 있다.
영상 처리부(1320)는 영상 수신부(1310)에서 수신한 영상 데이터에 대한 처리를 수행할 수 있다. 영상 처리부(220)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
본 개시의 일 실시 예에 따라, 영상 처리부(1320)는 도 1의 프로세서(120)에서 실행하는 영상 처리를 수행하도록 구현할 수도 있다.
디스플레이(1330)는 영상 수신부(1310)로부터 수신한 영상 데이터를 영상 처리부(1320)에서 처리한 비디오 프레임 및 그래픽 처리부(1383)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이할 수 있다.
예를 들어, 디스플레이(1330)는 TV, LCD, HMD(Head Mounted Display), 모바일 폰, 태블릿 PC, 랩탑 등 가상 현실(Virtual Reality) 및 증강 현실(Augmented Reality) 컨텐츠를 디스플레이할 수 있는 디스플레이 장치일 수 있다. 디스플레이(1330)는 전자 장치(100)에 결합되어 있을 수도 있고, 유선/무선 네트워크 또는 HDMI 등의 인터페이스로 연결되어 통신하는 외부 장치일 수도 있다.
오디오 출력부(1340)는 오디오 처리부(미도시)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 오디오 출력부(1340)는 다양한 형태의 안내 메시지(예를 들어, 업데이트 안내 메시지)를 오디오 형태로 출력할 수 있다.
저장부(1350)는 전자 장치(100)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(1350)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 전자 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
한편, 저장부(1350)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 저장부(1350)는 프로세서(1380)에 의해 액세스되며, 프로세서(1380)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 저장부(1350), 프로세서(1380) 내 ROM(1382), RAM(1381) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다.
또한, 저장부(1350)에는 디스플레이(1330)의 디스플레이 영역에 표시될 영상 처리를 위한 프로그램 및 데이터 등이 저장될 수 있다.
본 개시의 일 실시 예에 따라, 저장부(1350)는 추출된 복수의 서브 영상을 저장할 수 있다. 저장부(1350)은 서브 영상으로부터 획득한 뎁스 정보를 저장할 수 있다. 저장부(1350)는 획득한 뎁스 정보를 이용하여 생성된 뎁스 구형 영상을 저장할 수 있다. 저장부(1350)는 서브 영상으로부터 생성된 좌/우안 컬러 구형/파노라마 영상을 저장할 수 있다. 저장부(1350)는 왜곡이 없는 서브 영상을 추출하기 위한 지정된 화각을 설정하는 연산 알고리즘, 오차 범위, 분할할 영역의 개수 등을 저장할 수 있다.
상술한 바와 같이, 저장부(1350)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 전자 장치(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다.
통신부(1360)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(1360)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩, IR 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩, IR 칩은 각각 WiFi 방식, 블루투스 방식, NFC방식, IR 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신부(1360)는 외부의 서버 및 외부 장치로부터 영상 컨텐츠(예를 들어, 가상 현실 컨텐츠 및 증강 현실 컨텐츠)를 획득할 수 있다. 또한, 통신부(1360)는 외부의 서버로 오디오 소스의 주파수 성분에 대한 정보를 전송하고, 외부의 서버로부터 주파수 성분에 대응되는 오디오 소스의 유형 정보를 수신할 수 있다.
사용자 조작부(1370)는 전자 장치(100)를 제어하기 위한 다양한 사용자 명령을 입력받는다. 이때, 사용자 조작부(1370)는 사방향키를 구비하는 리모컨으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 모션 센서가 구비된 포인팅 디바이스, 키보드, 마우스, 카메라를 구비하는 모션 입력부, 마이크를 구비하는 음성 입력부, 터치 센서 등과 같은 다양한 입력 장치로 구현될 수 있다.
프로세서(120)는 저장부(1350)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(120)는 도 1 내지 도 12에서 상술하였으므로 여기에서는 상세한 설명을 생략하기로 한다.
본 개시에 설명된 방법들은 컴퓨터에 의해 읽힐 수 있는 기록매체에 기록되고 컴퓨터에 의해 실행됨으로써 전술한 기능들이 실행될 수 있다.
본 개시의 다양한 실시 예에 따른 장치 (예: 전자 장치(100)) 또는 방법 (예: 동작들)은, 예컨대, 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 유지되는(maintain) 프로그램들 중 적어도 하나의 프로그램에 포함된 명령어(instructions)를 실행하는 적어도 하나의 컴퓨터(예: 프로세서 120)에 의하여 수행될 수 있다.
상기 명령어가 컴퓨터(예: 프로세서 120)에 의해 실행될 경우, 상기 적어도 하나의 컴퓨터는 상기 명령어에 해당하는 기능을 수행할 수 있다. 이 때, 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.
프로그램은, 예로, 하드디스크, 플로피디스크, 마그네틱 매체 (magnetic media)(예: 자기테이프), 광기록 매체 (optical media)(예: CD-ROM (compact disc read only memory), DVD (digital versatile disc), 자기-광 매체 (magneto-optical media)(예: 플롭티컬 디스크 (floptical disk)), 하드웨어 장치 (예: ROM (read only memory), RAM (random access memory), 또는 플래시 메모리 등) 등과 같은 컴퓨터로 읽을 수 저장 매체에 포함될 수 있다.□ 이 경우, 저장 매체는 일반적으로 전자 장치(100)의 구성의 일부로 포함되나, 전자 장치(100)의 포트(port)를 통하여 장착될 수도 있으며, 또는 전자 장치(100)의 외부에 위치한 외부 기기(예로, 클라우드, 서버 또는 다른 전자 기기)에 포함될 수도 있다. 또한, 프로그램은 복수의 저장 매체에 나누어 저장될 수도 있으며, 이 때, 복수의 저장 매체의 적어도 일부는 전자 장치(100)의 외부 기기에 위치할 수도 있다.
명령어는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (15)

  1. 복수의 카메라를 이용하여 복수의 영상을 촬영하는 촬영부;
    상기 복수의 영상 각각을 좌안 영상 및 우안 영상으로 구분하고, 상기 복수의 영상의 좌안 영상들을 좌측 단위 구 표면(unit sphere surface)에 투영(project)하여 좌안 구형 영상을 생성하고, 상기 복수의 영상의 우안 영상들을 우측 단위 구 표면(unit sphere surface)에 투영(project)하여 우안 구형 영상을 생성하며, 상기 좌안 구형 영상 및 상기 우안 구형 영상을 이용하여 뎁스 정보를 획득하고, 상기 뎁스 정보를 이용하여 360도 3D 입체 영상을 생성하도록 하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 좌안 구형 영상의 원점으로부터 지정된 화각에 대응되는 적어도 하나의 제1 구 표면 영상을 분리하고, 상기 우안 구형 영상의 원점으로부터 상기 지정된 화각에 대응되는 적어도 하나의 제2 구 표면 영상을 분리하며,
    상기 복수의 카메라가 촬영한 영상 중 상기 제1 구 표면 영상 및 상기 제2 구 표면 영상이 오버랩될 때, 상기 오버랩된 제1 구 표면 영상을 상기 지정된 화각에 대응되는 평면에 투영하여 제1 서브 영상을 추출하며, 상기 오버랩된 제2 구 표면 영상을 상기 지정된 화각에 대응되는 평면에 투영하여 제2 서브 영상을 추출하도록 하는 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 지정된 화각(field of view)으로 상기 좌안 구형 영상 및 상기 우안 구형 영상 각각의 단위 구 표면(unit sphere surface) 전체 영역을 N개의 영역으로 분할하고, 상기 N개의 영역에 대응되는 복수의 서브 영상들을 추출하는 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    제1 카메라가 촬영한 제1 좌안 구형 영상과 제2 카메라가 촬영한 제2 우안 구형 영상이 지정된 화각으로 오버랩되는 제1 영역으로부터 상기 제1 서브 영상 및 제2 서브 영상을 추출하는 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 제1 서브 영상 및 제2 서브 영상으로부터 스테레오 매칭 기술을 이용하여 상기 뎁스 정보를 획득하는 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 획득된 뎁스 정보가 포함된 360도 뎁스 구형 영상을 생성하는 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 좌안 구형 영상 및 우안 구형 영상 중 적어도 하나에 상기 360도 뎁스 구형 영상을 렌더링하여 360도 3D 입체 영상을 생성하는 전자 장치.
  8. 제2항에 있어서,
    상기 프로세서는,
    상기 좌안 구형 영상 및 상기 우안 구형 영상 각각의 크기와 각각의 구형 공간 상의 원호의 길이의 오차가 지정된 범위 이내가 되도록 상기 지정된 화각을 설정하는 전자 장치.
  9. 전자 장치의 영상 처리 방법에 있어서,
    복수의 카메라를 이용하여 복수의 영상을 촬영하는 단계;
    상기 복수의 영상 각각을 좌안 영상 및 우안 영상으로 구분하는 단계;
    상기 복수의 영상의 좌안 영상들을 좌측 단위 구 표면에 투영하여 좌안 구형 영상을 생성하고, 상기 복수의 영상의 우안 영상들을 우측 단위 구 표면에 투영하여 우안 구형 영상을 생성하는 단계;
    상기 좌안 구형 영상 및 상기 우안 구형 영상을 이용하여 뎁스 정보를 획득하는 단계; 및
    상기 뎁스 정보를 이용하여 360도 3D 입체 영상을 생성하는 단계;를 포함하는 영상 처리 방법.
  10. 제9항에 있어서,
    상기 뎁스 정보를 획득하는 단계는,
    상기 좌안 구형 영상의 원점으로부터 지정된 화각에 대응되는 적어도 하나의 제1 구 표면(sphere surface) 영상을 분리하고, 상기 우안 구형 영상의 원점으로부터 상기 지정된 화각에 대응되는 적어도 하나의 제2 구 표면(sphere surface) 영상을 분리하는 단계; 및
    상기 복수의 카메라로 촬영된 영상 중 제1 구 표면(sphere surface) 영상 및 상기 제2 구 표면 영상이 오버랩될 때, 상기 제1 구 표면 영상을 상기 지정된 화각에 대응되는 평면에 투영하여 제1 서브 영상을 추출하고, 상기 제2 구 표면 영상을 상기 지정된 화각에 대응되는 평면에 투영하여 제2 서브 영상을 추출하는 단계; 를 더 포함하는 영상 처리 방법.
  11. 제10항에 있어서,
    상기 추출하는 단계는,
    상기 지정된 화각으로 상기 좌안 구형 영상 및 상기 우안 구형 영상 각각의 단위 구 표면 전체 영역을 N개의 영역으로 분할하고, 상기 N개의 영역에 대응되는 복수의 서브 영상들을 추출하는 영상 처리 방법.
  12. 제10 항에 있어서,
    상기 추출하는 단계는,
    제1 카메라가 촬영한 제1 좌안 구형 영상과 제2 카메라가 촬영한 제2 우안 구형 영상이 지정된 화각으로 오버랩되는 제1 영역으로부터 상기 제1 서브 영상 및 제2 서브 영상을 추출하는 단계;를 더 포함하는 영상 처리 방법.
  13. 제9 항에 있어서,
    상기 뎁스 정보를 획득하는 단계는,
    상기 제1 서브 영상 및 제2 서브 영상으로부터 스테레오 매칭 기술을 이용하여 상기 뎁스 정보를 획득하는 영상 처리 방법.
  14. 제9항에 있어서,
    상기 360도 3D 입체 영상을 생성하는 단계는,
    상기 획득된 뎁스 정보가 포함된 360도 뎁스 구형 영상을 생성하는 단계;를 더 포함하는 영상 처리 방법.
  15. 제14 항에 있어서,
    상기 360도 3D 입체 영상을 생성하는 단계는,
    상기 좌안 구형 영상 및 우안 구형 영상 중 적어도 하나에 상기 360도 뎁스 구형 영상을 렌더링하는 단계;를 더 포함하는 영상 처리 방법.
PCT/KR2016/008256 2015-08-07 2016-07-28 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법 WO2017026705A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680046576.9A CN107852487B (zh) 2015-08-07 2016-07-28 用于生成360度三维图像的电子设备及用于该电子设备的方法
US15/751,086 US10595004B2 (en) 2015-08-07 2016-07-28 Electronic device for generating 360-degree three-dimensional image and method therefor
EP16835345.6A EP3334156B1 (en) 2015-08-07 2016-07-28 Electronic device for generating 360 degree three-dimensional image, and method therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562202420P 2015-08-07 2015-08-07
US62/202,420 2015-08-07
KR10-2016-0041538 2016-04-05
KR1020160041538A KR102458339B1 (ko) 2015-08-07 2016-04-05 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Publications (1)

Publication Number Publication Date
WO2017026705A1 true WO2017026705A1 (ko) 2017-02-16

Family

ID=57983340

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/008256 WO2017026705A1 (ko) 2015-08-07 2016-07-28 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Country Status (1)

Country Link
WO (1) WO2017026705A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105143A (zh) * 2017-05-13 2017-08-29 杜广香 一种图像获取方法及设备
WO2018174535A1 (en) * 2017-03-24 2018-09-27 Samsung Electronics Co., Ltd. System and method for depth map
CN108965751A (zh) * 2017-05-25 2018-12-07 钰立微电子股份有限公司 用于产生360度深度图的图像装置
US10217189B2 (en) 2015-09-16 2019-02-26 Google Llc General spherical capture methods
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
JP2022070948A (ja) * 2018-05-30 2022-05-13 マクセル株式会社 装着型装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025020A (ko) * 2009-09-03 2011-03-09 한국전자통신연구원 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
JP2013078101A (ja) * 2011-09-13 2013-04-25 Sharp Corp 画像処理装置、画像撮像装置および画像表示装置
KR20140118083A (ko) * 2013-03-28 2014-10-08 인텔렉추얼디스커버리 주식회사 입체 영상 제작 시스템 및 깊이 정보 획득방법
US20140362176A1 (en) * 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025020A (ko) * 2009-09-03 2011-03-09 한국전자통신연구원 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
US20120154519A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
JP2013078101A (ja) * 2011-09-13 2013-04-25 Sharp Corp 画像処理装置、画像撮像装置および画像表示装置
US20140362176A1 (en) * 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system
KR20140118083A (ko) * 2013-03-28 2014-10-08 인텔렉추얼디스커버리 주식회사 입체 영상 제작 시스템 및 깊이 정보 획득방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217189B2 (en) 2015-09-16 2019-02-26 Google Llc General spherical capture methods
GB2555724B (en) * 2015-09-16 2020-04-22 Google Llc Processing Images from a Plurality of Cameras
WO2018174535A1 (en) * 2017-03-24 2018-09-27 Samsung Electronics Co., Ltd. System and method for depth map
US10523918B2 (en) 2017-03-24 2019-12-31 Samsung Electronics Co., Ltd. System and method for depth map
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
CN107105143A (zh) * 2017-05-13 2017-08-29 杜广香 一种图像获取方法及设备
CN108965751A (zh) * 2017-05-25 2018-12-07 钰立微电子股份有限公司 用于产生360度深度图的图像装置
US10992847B2 (en) 2017-05-25 2021-04-27 Eys3D Microelectronics, Co. Image device for generating a 360 degree depth map
CN108965751B (zh) * 2017-05-25 2021-09-17 钰立微电子股份有限公司 用于产生360度深度图的图像装置
JP2022070948A (ja) * 2018-05-30 2022-05-13 マクセル株式会社 装着型装置
JP7328382B2 (ja) 2018-05-30 2023-08-16 マクセル株式会社 装着型装置

Similar Documents

Publication Publication Date Title
WO2017026705A1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2016048013A1 (en) Camera system for three-dimensional video
WO2018048288A1 (en) Method and apparatus for transmitting and receiving virtual reality content
WO2020013592A1 (en) Improved point cloud compression via color smoothing of point cloud prior to texture video generation
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2011102699A2 (ko) 전자 장치 및 입체영상 재생 방법
WO2018182192A1 (en) Method and apparatus for displaying image based on user motion information
WO2019027090A1 (ko) 이동 단말기 및 그 제어 방법
WO2015190798A1 (en) Method and apparatus for generating image data by using region of interest set by position information
WO2014073756A1 (en) Array camera, mobile terminal, and methods for operating the same
WO2018093100A1 (en) Electronic apparatus and method for processing image thereof
WO2023277253A1 (en) Automatic representation switching based on depth camera field of view
JP2005287004A (ja) 画像表示方法、プログラム、画像表示装置及び画像表示システム
WO2015174611A1 (ko) 이동 단말기 및 그것의 제어 방법
WO2017171412A2 (ko) 이미지 처리 장치 및 이동 단말기
WO2020204277A1 (en) Image processing apparatus and image processing method thereof
WO2011155766A2 (ko) 영상 처리 방법 및 그에 따른 영상 표시 장치
WO2019172523A1 (en) Display device and image processing method thereof
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
WO2019160237A1 (en) Electronic device and method for controlling display of images
WO2018070793A1 (en) Method, apparatus, and recording medium for processing image
WO2014003282A1 (en) Image processing apparatus, image relaying apparatus, method for processing image, and method for relaying image
CN114189660A (zh) 一种基于全向摄像头的监控方法及其系统
WO2018190446A1 (ko) 영상 처리 방법 및 장치
WO2022260273A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16835345

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15751086

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016835345

Country of ref document: EP