[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2013115463A1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2013115463A1
WO2013115463A1 PCT/KR2012/009024 KR2012009024W WO2013115463A1 WO 2013115463 A1 WO2013115463 A1 WO 2013115463A1 KR 2012009024 W KR2012009024 W KR 2012009024W WO 2013115463 A1 WO2013115463 A1 WO 2013115463A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
hole
mask
depth information
region
Prior art date
Application number
PCT/KR2012/009024
Other languages
English (en)
French (fr)
Inventor
김하윤
김아란
전병기
정원석
박영환
이강호
복선우
최연봉
Original Assignee
에스케이플래닛 주식회사
(주)리얼디스퀘어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120010211A external-priority patent/KR101319260B1/ko
Priority claimed from KR1020120010215A external-priority patent/KR101285111B1/ko
Application filed by 에스케이플래닛 주식회사, (주)리얼디스퀘어 filed Critical 에스케이플래닛 주식회사
Publication of WO2013115463A1 publication Critical patent/WO2013115463A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • the present invention by selecting a specific object in the 2D image to check the depth information of the object, adjust the depth information and to be able to check the 3D rendering image of the object whose depth information is adjusted in real time, rendering according to the depth information control
  • the present invention relates to an image processing apparatus and method capable of easily inputting appropriate depth information by checking the result in real time, shortening the working time according to the depth information modification, and improving the quality of the converted 3D image.
  • the present invention when a region of interest (ROI) is designated by a user in a rendered image, the present invention generates a hole mask or a mask for the region of interest, and generates the generated hole mask. After filling the holes of the rendered image by copying pixels by moving a mask or a mask, performing pixel interpolation on the hole outline of the filled image to restore the rendered image.
  • ROI region of interest
  • the present invention After filling the holes of the rendered image by copying pixels by moving a mask or a mask, performing pixel interpolation on the hole outline of the filled image to restore the rendered image.
  • 3D imaging can be implemented using these characteristics of humans. For example, by distinguishing a particular subject into a left eye image seen through the viewer's left eye and a right eye image seen through the viewer's right eye, the viewer simultaneously displays the left eye image and the right eye image so that the viewer views the 3D image as a 3D image. I can make it visible.
  • the 3D image may be implemented by manufacturing a binocular image divided into a left eye image and a right eye image and displaying the same.
  • depth map is generated by giving depth information to objects displayed on the 2D plane image, and a left image and a right image are generated based on the depth map to generate a 3D stereoscopic image. Is converting to.
  • the depth map should be corrected, the 3D stereoscopic image should be rendered again according to the modified depth map, and then the change result should be checked to confirm the change of depth information of the objects.
  • rendering takes a relatively long time and requires a new rendering every time the depth map is modified, work time is delayed and work efficiency is deteriorated.
  • the present invention was created to solve the above-described problem, selects a specific object in a two-dimensional image, checks the depth information of the selected object in the virtual three-dimensional stereoscopic space, can adjust the depth information of the object and the depth of the object By changing the information and checking the 3D rendering image of the object whose depth information is adjusted in real time, it is possible to easily input appropriate depth information by checking the rendering result according to the depth information adjustment in real time.
  • There is a technical problem to provide an image processing apparatus and method that can shorten the working time according to the present invention and improve the quality of the converted 3D image.
  • the present invention is to fill the holes of the rendered image generated during the three-dimensional transformation of the image smoothly and not awkwardly to restore the image as if there were no holes, when the region of interest is specified from the user in the rendered image, Create a mask for the ROI, copy the pixel by moving the generated mask to fill the hole of the rendered image, and perform pixel interpolation on the hole contour in the filled image.
  • an image analysis unit for extracting at least one characteristic information by analyzing the input two-dimensional image
  • a user interface configured to set a Z control point on the selected object in the 2D image, check depth information of the selected object, and modify depth information of the selected object by moving the Z control point in the Z-axis direction;
  • the depth map of the 2D image is generated based on the characteristic information, and when the depth information of the object is modified through the user interface unit, the depth map of the object is reflected in the previous depth map in real time.
  • a display unit configured to display the rendered 3D image; When a region of interest is designated in the rendered image, a hole mask or a mask is generated for the region of interest, the pixels are copied by moving the generated hole mask or mask, and the holes are filled in the rendered image.
  • An image restoring unit performing an interpolation operation to restore the rendered image; And delivering depth information modified through the user interface in the 2D image to the depth map generator in real time, and delivering the modified depth map generated in the depth map generator to the 3D image rendering unit in real time. It provides an image processing apparatus including an image control unit for controlling to display a modified three-dimensional image.
  • the holes of the rendered image generated during the stereoscopic conversion of the image may be filled smoothly and not awkwardly, and the image may be restored as if there were no holes.
  • a mask of the region of interest is generated in the original image, and the pixels are copied by the movement of the generated mask to copy a hole of the rendered image.
  • And may reconstruct the rendered image by performing pixel interpolation on the hole contour in the hole-filled image.
  • the depth information of the plurality of objects is modified by selecting a plurality of objects in the 2D image
  • the depth information of the plurality of objects is compared in a virtual three-dimensional space, and the depth information of each object can be modified. have.
  • FIG. 1 is a block diagram schematically showing the configuration of an image processing apparatus according to an embodiment of the present invention
  • FIG. 2 is a block diagram schematically illustrating a configuration of an image restoration unit according to an embodiment of the present invention
  • 2B is a control block diagram of a depth map generator according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of an image processing method for converting a 2D image into a 3D image according to an embodiment of the present invention
  • 4 to 7 are display state diagrams of a work screen of an image conversion apparatus according to an embodiment of the present invention.
  • FIG. 8 is a view showing a method for reconstructing a rendered image by the image processing apparatus according to the present invention.
  • FIG. 9 is an exemplary view showing a retouch mode user interface for explaining a method of filling a hole using a hole mask according to the present invention.
  • FIG. 10 is an exemplary view showing a retouch mode user interface for explaining a method of filling a hole by creating a mask according to the present invention
  • FIG. 11 is an exemplary view showing a retouch mode user interface for explaining an in-paint job according to the present invention
  • FIG. 12 is an exemplary view showing a retouch mode user interface for explaining a stamp operation according to the present invention.
  • FIG. 1 is a diagram illustrating a functional block diagram of an image processing apparatus 100 according to an exemplary embodiment of the present invention.
  • the image processing apparatus 100 provides a graphic interface for allowing a user to directly set depth information on an input 2D image, and generates a depth map according to the user's input.
  • Model a 3D image may include both a still image and a video.
  • the process of setting depth information may be performed in units of frames constituting the 2D image.
  • the image processing apparatus 100 of the present invention may include a 2D image input unit 110, an image analyzer 120, a user interface unit 130, a display unit 140, and an image restoration unit ( 150, an image controller 160, a depth map generator 170, and a 3D image renderer 180.
  • the 2D image input unit 110 receives a 2D image to be converted into a 3D image.
  • the image analyzer 120 extracts at least one feature information by analyzing the received 2D image.
  • the characteristic information includes edge information, color information, luminance information, motion information, histogram information, and the like.
  • the user interface 130 may provide a user interface for selecting and controlling a function of the image processing apparatus 100, and may select a function of inputting and modifying depth information after selecting a specific object in a 2D image. That is, the user interface unit 130 sets the Z control point on the object selected in the 2D image and moves the Z control point in the Z axis direction to input depth information. For example, the user may select an object displayed on the 2D image as a closed curve through the user interface 130 and input depth information on the object.
  • Object selection in two-dimensional images uses image recognition techniques such as automatic edge detection using image contours and edge recognition using predefined user-defined closed curve patterns (eg, faces, circles, rectangles, etc.). To be automatically selected.
  • object selection in the 2D image may be performed using an image recognition technology such as edge recognition.
  • the object may be automatically selected or an object may be selected by setting a Bezier curve through the user interface 130. Bezier curves are irregular curves created by selecting several control points to connect them. It is also possible for a user to edit an automatically recognized object and select the object.
  • the user may input or modify depth information by selecting a specific object in the 2D image through the user interface 130.
  • the user may select a Z control point by clicking a predetermined area of the selected object, and the Z control point. You can enter or modify the depth information by dragging in the Z direction.
  • a control point means a point to be controlled or modified, and when a user clicks a point or an area to be modified using a mouse, the clicked area becomes a control point.
  • the clicked point is set as a Z control point.
  • the user may modify the Z control point by moving the Z control point in the Z axis direction with respect to the depth information of the selected object through the user interface 130.
  • the modified Z value is expressed as the height of the object projected on the virtual three-dimensional stereoscopic space, and the user may predict the three-dimensional feeling of the object from the changed height and modify the depth information of the object.
  • the user arranges the 2D image on the xy plane of the 3D space through the user interface 130 and moves the Z control point set on a specific object to the Z axis to move the object to the 3D stereoscopic plane. Project it.
  • the depth information of the selected two or more objects is projected on a three-dimensional stereoscopic plane to be aligned in the vertical axis, and the objects projected on the aligned three-dimensional stereoscopic plane Compare the depth information of and modify the depth information of each object.
  • the depth information when the depth information is modified by selecting a plurality of objects in the 2D image, the depth information may be corrected by comparing the relative depth information of the plurality of objects on a virtual 3D stereoscopic plane.
  • the user interface 130 transmits the user's input to the image restoration unit 150.
  • the user may designate a region of interest in the rendered image through the user interface 130.
  • the display 140 displays a processing result of rendering the 2D image to the user.
  • the image reconstructor 150 fills a hole of an area designated by a user through the user interface 130 with respect to the image rendered by the 3D image rendering unit 180 and smoothly processes the outline of the hole to render the image. Restore the recorded image.
  • the image restoration unit 150 fills the hole-in portion in the image rendered by the 3D image rendering unit 180 so as not to be soft and awkward so as to make it appear as if it was not present.
  • the image reconstruction unit 150 that performs the above role is referred to.
  • the image controller 160 receives the Z control point through the user interface 130 and projects the object on a virtual three-dimensional three-dimensional plane including the Z control point.
  • the image controller 160 controls the depth map generator 170 to transmit the object selection information and the Z control point information of the corresponding object to the depth map generator 170 in real time so that the depth map is modified according to a user input.
  • the image controller 160 controls the 3D image renderer 180 to convert the 2D image into a 3D image and to display the 2D image on the display 140 according to a depth map.
  • the image controller 160 controls the display unit 140 to display the user interface 130 to correct the depth information of the 2D image and the 3D image rendered by the 2D image on one screen.
  • the display 140 may be displayed in the form of a pop-up window on the screen area where the user interface 130 is disposed.
  • the depth map correction control process of the image controller 160 and the 3D image rendering process according to the modified depth map are performed in real time according to a user input. That is, when the user modifies the depth information, the modified depth information is reflected in the depth map in real time, and in conjunction with this, the modified depth information is also reflected in the 3D rendered image so that the 3D image displayed on the display 140 changes. do. Therefore, the user can check the change of the 3D image according to the depth information correction in real time.
  • the depth map generator 170 generates a depth map of the input 2D image based on the characteristic information extracted by the image analyzer 120.
  • the 3D image rendering unit 180 converts the input 2D image into a 3D stereoscopic image by using the depth map generated by the depth map generator 170.
  • the 3D image rendering unit 180 may generate parallax information using a depth map, and generate 3D stereoscopic image using parallax information.
  • the 3D stereoscopic image generated in this way looks more stereoscopic as the depth values for each pixel in each frame vary.
  • the 3D image rendering unit 180 converts a 2D image into a 3D stereoscopic image using parallax information, but the 3D image rendering unit 180 stereoscopically inputs the input image using the depth map.
  • the method of converting to an image follows various conventional methods.
  • the depth map generator 170 extracts the selected object information.
  • the depth map generator 170 recognizes the Z control point applied to the object as depth information, and recognizes that the depth information of the corresponding object changes as the Z control point moves.
  • the depth map generator 200 generates a depth map according to the recognized depth information.
  • a depth map is transformation information applied to transform objects included in a 2D image to be recognized as a 3D image.
  • the depth map represents viewpoint information for each pixel, and indicates a position near and far from each pixel. It may include color information. Thus, when visualizing a depth map, the image is displayed in black and white with the height displayed.
  • the 3D image rendering unit 180 converts the input 2D image into a 3D image by using a depth map generated by the depth map generator 170.
  • the 3D image rendering unit 180 generates a left image and a right image having different disparity information by using a depth map, and combines a left image and a right image having different disparity information to generate a 3D image.
  • the image controller 160 transmits the modified depth map to the 3D image rendering unit 180 to generate a 3D image according to the modified depth map.
  • the image processing apparatus 100 inputs depth information of an object by selecting a specific object in a 2D image, giving a Z control point to the object, dragging the object, and changing the depth information of the object. According to the 3D rendering image can be confirmed in real time.
  • FIG. 2A is a block diagram schematically illustrating a configuration of an image reconstruction unit according to an embodiment of the present invention.
  • an image reconstruction unit 150 includes a ROI (Region Of Interest (ROI)) setting and processing unit 210 and a pixel interpolation processing unit 220.
  • ROI Region Of Interest
  • the ROI setting and processing unit 210 If the ROI setting and processing unit 210 receives a region of interest from the user in the rendered image, the ROI setting and processing unit 210 generates a hole mask or mask for the region of interest, and copies the pixels by moving the hole mask or mask. To fill a hole in the rendered image.
  • the ROI setting and processing unit 210 includes a hole mask processing module 212 and a mask processing module 214.
  • the hole mask processing module 212 When the hole mask processing module 212 receives a first ROI from the rendered image, the hole mask processing module 212 extracts a hole region from the first ROI and obtains the same hole mask as the extracted hole region. After generating the image (original image), the pixels are copied by the movement of the hole mask in the original image to fill the holes of the rendered image.
  • the hole mask processing module 212 automatically detects a hole-in part in the first ROI.
  • the reference for determining the hole by the hole mask processing module 212 uses an alpha-map of a hole generated when the image is rendered.
  • the hole-in portion of the alpha-map may be expressed in black, and the non-hole portion may be expressed in white.
  • the hole mask processing module 212 then generates the same hole mask as the extracted hole in the original image (original image). At this time, the coordinates of the hole detected in the rendered image and the coordinates of the hole mask generated in the original image are the same.
  • the hole mask processing module 212 fills the hole of the rendered image by copying pixels included in the hole mask.
  • the hole mask processing module 212 may copy with reference to pixels in other frames, if not possible in the current frame.
  • the hole mask processing module 212 automatically detects a hole so that it can work accurately and quickly.
  • the hole mask processing module 212 may fill a hole by only moving the hole mask by generating a hole mask shaped like a hole in an original image.
  • the mask processing module 214 When the mask processing module 214 receives a second region of interest in the hole-filled image by the hole mask processing module 212, the mask processing module 214 generates a mask for the second region of interest, and moves the pixel by moving the generated mask. Copy it to fill the hole. In this case, the user may designate the second region of interest as he intended.
  • the mask processing module 214 when the user finds a portion similar to the periphery of the hole in the image filled by the hole mask processing module 212 and designates it as the second region of interest, the mask processing module 214 generates a mask for the second region of interest. do. Then, when the user moves the generated mask to the portion to fill the hole portion, the mask processing module 214 copies the pixels included in the mask to fill the moved hole portion.
  • the masking operation as described above is used when the hole is filled through the hole masking operation but is not satisfactory, and may be omitted when the hole masking operation is satisfactory. That is, the ROI setting and processing unit 210 may omit the hole filling by the mask processing module 214 when the hole filling by the hole mask processing module 212 is satisfactory.
  • the hole mask generated by the hole mask processing module 212 is the same as the shape of the hole, the user may not change the shape of the hole mask freely, but the mask generated by the mask processing module 214 may be expressed as the user intends. have.
  • the user may find a pattern similar to a hole in the image filled with the hole by the hole mask processing module 212, and designate the area as the second ROI.
  • the mask processing module 214 may use the same mask as a sequence.
  • the pixel interpolation processor 220 reconstructs the rendered image by performing pixel interpolation on an image filled with holes by the ROI setting and processing unit 210.
  • the pixel interpolation processing unit 220 interpolates the pixel to smoothly process the remaining awkward area. Will do the work.
  • the pixel interpolation processor 220 performing the above role includes an in-paint job processing module 222 and a stamp job processing module 224.
  • the in-paint job processing module 222 interpolates the designated area by referring to values of surrounding pixels of the designated area when a region to be interpolated is designated through painting in a hole-filled image.
  • the in-paint job processing module 222 interpolates the designated area with reference to values of surrounding pixels of the designated area. Use interpolation to soften the awkward portion of the hole outline.
  • interpolating the designated area with reference to the values of the surrounding pixels means averaging the values of the surrounding pixels and smoothing the awkward portion of the hole outline portion by interpolating the designated area to the averaged value.
  • the hole is filled, but the contour portion may appear sharp due to the heterogeneous parts with the images around the hole.
  • the in-paint job processing module 222 smoothes sharp parts using an in-paint algorithm that interpolates these parts with reference to surrounding pixels.
  • the ROI processing operations performed by the ROI setting and processing unit 210 allow the user to more easily fill the hole, and because the hole is designated, the large holes can be easily filled at once, but the fineness is inferior.
  • the in-paint algorithm has a disadvantage of awkwardly interpolating when a large area is taken.
  • the user can interpolate very simply.
  • the stamp job processing module 224 copies the stamp area to another area to interpolate other areas.
  • the stamp job processing module 224 when the user designates the ROI as a circle in the image interpolated by the in-paint job processing module 222, the stamp job processing module 224 generates the designated circle as a circle mask.
  • the designated circle refers to a stamp area.
  • the stamp job processing module 224 changes the pixel values of the copied area to pixel values of the circle mask.
  • the stamp job processing module 224 smoothes the contour portion of the circle mask by applying a blur.
  • the pixel interpolation processing unit 220 includes an in-paint job processing module 222 and a stamp job processing module 224, and the stamp job processing module 224 is interpolated by the in-paint job processing module 222.
  • the operation order of the in-paint job processing module 222 and the stamp job processing module 224 may be changed to perform pixel interpolation. That is, when the stamp job processing module 224 designates a stamp area from a user in an image in which holes are filled by the ROI setting and processing unit 210, the stamp area is copied to another area to copy other areas.
  • the designated area is referred to by referring to the value of surrounding pixels of the designated area. Can be interpolated.
  • the pixel interpolation processor 220 may include only the in-paint job processing module 222 or only the stamp job processing module 224.
  • 2B is a control block diagram of a depth map generator according to an exemplary embodiment of the present invention.
  • the depth map generator 170 includes an object information extraction module 310, a depth information setting module 320, a depth information modification module 330, and a depth map generation module 340.
  • the object information extraction module 310 extracts information of the object selected for setting depth information from the 2D image.
  • the object information may include identification information, x coordinate, y coordinate, vector value, etc. of the object selected in the 2D image.
  • the depth information setting module 320 may set depth information of the corresponding object according to the movement of the Z control point set in the object.
  • the Z control point set on the selected object in the 2D image is positioned in the virtual 3D stereoscopic space according to the Z axis movement.
  • the depth information setting module 320 may recognize the depth information of the corresponding object by using the Z value of the Z control point located in the three-dimensional space.
  • the depth information modification module 330 transmits the modified depth information to the depth map generation module 340 when the user moves the Z control point with respect to a specific object.
  • the depth map generation module 340 generates a depth map of the 2D image based on the depth information of the object recognized by the depth information setting module 220.
  • the modified depth map is received by receiving the modified depth information of the specific object from the depth information modification module 330, and the modified depth map is transmitted to the 3D image rendering unit 180.
  • the depth map generator 170 recognizes that the depth information of the object is modified according to the movement of the Z control point input by the user, and reflects the modified depth information on the real-time depth map to render the 3D image. Transfer to section 180.
  • the 3D image rendering unit 180 renders the 3D image by reflecting the real-time correction so that the 3D image according to the change of the depth information can be confirmed in real time.
  • FIG. 3 is a flowchart of an image processing method for converting a 2D image into a 3D image according to an exemplary embodiment of the present invention.
  • the image controller 160 displays the 2D image on the x and y planes of the 3D space.
  • the depth map generator 170 generates a depth map of the input 2D image (S120).
  • the depth information for generating the depth map may be directly input by the user, or the depth map may be automatically generated using image recognition technology.
  • the 3D image rendering unit 180 renders the 2D image into a 3D image according to the generated depth map (S130).
  • the user may check the 3D image rendered by the display unit 140 and then select an object to modify the depth information.
  • the user may select and input an object in the 2D image through the user interface 130.
  • the object information extraction module 310 extracts information of the corresponding object (S140).
  • the user may set the Z control point on the selected object through the user interface 130 and drag it in the Z-axis direction to modify depth information of the corresponding object (S150). Accordingly, the depth information modification module 330 recognizes the depth information modified according to the Z value of the corresponding object and transmits it to the depth map generation module 350.
  • the depth map generation module 350 modifies the depth information of the corresponding object in the previously generated depth map (S160).
  • the modified depth map is transmitted to the real-time 3D image rendering unit 180 to render and display the 3D image in which the depth information is changed in real time (S170).
  • the 3D image is rendered by rendering the 2D image using the modified depth map. Create or modify 3D images to render.
  • the present invention can modify the depth information of the object by selecting and dragging an object in a two-dimensional plane by setting a Z control point to the object.
  • the modified depth information is reflected in the depth map in real time so that the 3D image with the changed depth information is rendered in real time. Accordingly, the user can easily and quickly modify the depth information by checking the change of the 3D image according to the depth information modification in real time.
  • 4 to 7 are display state diagrams of a work screen of the image processing apparatus 100 in which the user interface units 410, 510, 610, and 710 and the display units 420, 520, 620, and 720 are displayed on one screen.
  • FIGS. 4 to 7 Contents common to FIGS. 4 to 7 will be described first, and contents described in comparison with a 3D image after rendering according to a change in depth information of an object will be described by comparing FIGS. 4 and 5, 6, and 7.
  • a menu for selecting a work mode is displayed at the top of the user interface units 410, 510, 610, and 710, and a menu included in a toolbox for authoring is displayed on the left side.
  • the operation mode selection menu uses a mask operation mode selection menu for selecting an object, a depth map (DEPTHMAP) operation mode selection menu for creating or modifying a depth map, and a depth map for generating or modifying a 2D image. And a rendering operation mode selection menu for rendering in three dimensions.
  • DEPTHMAP depth map
  • rendering operation mode selection menu for rendering in three dimensions.
  • a user may select an object from a 2D image, modify depth information, and render a 3D image using a menu displayed on the user interface unit 410, 510, 610, or 710.
  • the two-dimensional images 412, 512, 612, and 712 are displayed on the xy plane of the work screen of the user interface unit 410, 510, 610, and 710, and are the same as the two-dimensional images 412, 512, 612, and 712.
  • Depth maps 414, 514, 614, and 714 of two-dimensional images are displayed on the plane, and the virtual three-dimensional spaces 416, 516, 616, and 716 correspond to two-dimensional images 412, 512, 612, and 712. It is marked to share the xy plane.
  • the depth maps 414, 514, 614, and 714 of the 2D image are represented by representing the depth information as gray information between 0 and 255.
  • the object selection is selected by designating a partial area of the two-dimensional images 412, 512, 612, and 712 displayed on the user interface units 410, 510, 610, and 710.
  • the object may be selected by a point, a line, or a surface
  • the object selection method may be selected by connecting a plurality of control points with a mouse or by using various image recognition techniques for automatic object recognition.
  • the user may select several control points along the object contour to be selected in the 2D image, and select an object by selecting a Bezier curve setting to connect the selected control points.
  • one edge area may be automatically selected to select an object, or one selected edge area may be edited and selected as an object.
  • a plurality of control points are selected along a human face and head contour in the two-dimensional images 412, 512, 612, and 712, and a Bezier curve setting is selected so that the selected control points are connected by a closed curve. Can be selected as an object.
  • an object connected to one closed curve along the contour of the face may be selected by selecting a menu for executing an edge recognition technique.
  • a two-dimensional object is selected on the work screen of the user interface units 410, 510, 610, and 710.
  • Objects B, B ', G, G', H on which images 412, 512, 612, 712, depth maps 414, 514, 614, 714, and depth information Z, Z 'of a two-dimensional image are displayed.
  • Virtually three-dimensional space (416, 516, 616, 716) to which H ') can be projected.
  • the user sets any point on the selected object to the Z control point (P).
  • the Z control point (P) is used as a control point for changing the depth information of the selected object.
  • the user drags the Z control point (P) set on the selected object to a certain distance (Z, Z 'in the Z-axis direction).
  • Objects B, B ', G, and G' projected on the virtual three-dimensional spaces 416, 516, 616, and 716 of the Z control point positions moved by a certain distance (Z, Z '). , H, H ').
  • the display units 420, 520, 620, and 720 may render the 2D image by using the modified depth map. 3D image is displayed.
  • the display units 420, 520, 620, and 720 may be displayed together with the user interface units 410, 510, 610, and 710 in the form of a pop-up window.
  • the 3D image portion corresponding to the selected object is observed to be protruded or recessed by changed depth information than other portions of the image.
  • the rendering is performed by reflecting the work screen of the user interface units 410 and 510 for correcting the depth information and the modified depth information of the selected object.
  • the working screens of the display units 420 and 520 are shown.
  • B denotes an object projected onto the virtual three-dimensional space 416 by inputting depth information of a selected object (face area) as Z
  • C denotes B input depth information.
  • the 3D image is rendered using Z
  • A represents input depth information of the selected object as gray information.
  • the object B projected on the 3D stereoscopic space 416 has relatively large depth information Z, and the 3D image C rendering the selected object Compared with other objects of the 2D image, the display is relatively protruded in front of the screen, and the depth information of the selected object represented by gray information (A) is displayed relatively brightly.
  • B ′ refers to an object in which depth information of a selected object (face area) is modified by Z ′ in Z (FIG. 4) and projected onto the virtual three-dimensional space 516
  • C ′ Denotes a 3D image rendered by B 'using the modified depth information Z'
  • the depth information correction is performed by selecting an object to modify the depth information, setting an arbitrary point of the selected object as the Z control point, and then moving the Z control point in the Z-axis direction.
  • the operator can directly check the stereoscopic sense of the object and the gray information of the depth map projected on the virtual three-dimensional stereoscopic space displayed on the user interface unit, and adjust the depth information of the object.
  • the depth information can be conveniently adjusted to improve the convenience of the operator.
  • the work screen on which the user interface for adjusting the depth information is displayed and the work screen on which the display unit displaying the rendered 3D image reflecting the modified depth information in the form of a pop-up window can be compared together on the same screen.
  • the rendered 3D image can be checked in real time, thereby reducing the work time.
  • FIG. 6 and 7 illustrate the operation screens of the user interface units 410 and 510 for correcting depth information when the plurality of objects are selected and the depth information of one of the plurality of objects is modified, and the modified objects of the selected object.
  • the work screens of the display units 420 and 520 that perform the rendering reflecting the depth information are shown.
  • G, H, and B denote objects in which depth information of a plurality of selected objects (face area, arm area, and ball area) is projected onto the virtual three-dimensional stereoscopic space 616
  • D , E and F indicate depth information of a plurality of objects (face area, arm area, ball area) as gray information
  • m1, m2, and m3 form holes in some areas of each object. It means each line displayed in the rendered 3D image after indicating the line marked so as to be displayed.
  • Depth information modification of a plurality of objects selects a plurality of objects to change the depth information, and then modify the depth information of each object sequentially, or select one object to modify the depth information and then select another object to change the depth information. Can be modified.
  • object selection may use various image processing techniques, and depth information modification may be performed by setting a Z control point on an object to change depth information and moving the Z control point in the Z-axis direction.
  • a plurality of objects (face area, arm area, ball area) of the 3D image are displayed to protrude in front of the screen relative to other objects of the 2D image according to the depth information, and the face area and the arm area Since the depth information z is the same, the protruding area in front of the screen is the same.
  • G ', H', and B ' indicate objects in which depth information of a plurality of selected objects (face area, arm area, and ball area) is projected onto the virtual three-dimensional stereoscopic space 616.
  • D ', E', and F ' indicate depth information of a plurality of objects (face area, arm area, and ball area) as gray information, and m1', m2 ', and m3' are among the respective objects. It means each line displayed in the rendered 3D image after showing a line displaying a hole in a partial region.
  • a hole refers to a noise component of a 3D image which is not present in a 2D image but rendered as a gap of an image generated during rendering into a 3D image.
  • the plurality of objects (face area, arm area, ball area) of the 3D image are displayed to protrude in front of the screen relative to other objects of the 2D image according to each depth information.
  • the face area B 'projected onto the virtual three-dimensional stereoscopic space 716 has greater depth information Z' than the arm area H 'and the ball area G'. It can be seen that the depth information F 'representing gray information is displayed brighter than the arm region E' and the ball region D '.
  • the face area has greater depth information Z 'than the arm area and the ball area
  • the face area I' of the rendered three-dimensional image is more protruded in front of the screen than the arm area and the ball area. do.
  • lines M1, m2 and m3 of FIG. 6 and m1 ', m2' and m3 of FIG. 6, which are lines displaying holes in some areas of each object displayed in the 3D image. Comparing ', it can be seen that only the thickness of the line (m1-> m1') displayed on the face region in which the depth information is modified from Z to Z 'is changed thick.
  • the line m1 'observed in bold to the observer at the same position is displayed at a position closer to the observer than the other line m1, so that the line m1' representing the hole of FIG. It can be seen that the display is more protruded in front of the screen compared to the line m1 indicating the hole of.
  • the depth information of the face region is modified as the depth information of the face region is modified, it can be seen that a line indicating a hole included in the face region is also displayed to protrude in front of the screen in the 3D image after rendering.
  • the depth information of the plurality of objects when the depth information of the plurality of objects is modified, the depth information of the plurality of objects can be compared and corrected with each other, thereby improving the accuracy of the work.
  • the rendering can be performed after modifying all the depth information of the plurality of objects, the work time can be shortened.
  • the image conversion apparatus may be implemented in various types of devices such as a personal computer, a tablet PC, a notebook computer, a mobile phone, a smartphone, and the like.
  • the image conversion method according to the present invention may include one or more devices provided in the above devices. It can be executed by a processor consisting of cores.
  • generating a depth map of the two-dimensional image rendering and displaying a three-dimensional image according to the depth map, receiving the object information defining a specific object in the two-dimensional image, selected Receiving a Z control point to the object and moving the position of the object in the Z-axis direction according to the user's selection, Recognizing the modified depth information of the object according to the Z value of the object, Modified depth information of the object And recording the 3D image based on the modified depth map reflecting the depth information of the modified object. Can be recorded on the medium.
  • An image conversion method for converting a 2D image into a 3D image may be created by a program, and codes and code segments constituting the program may be easily inferred by a programmer in the art.
  • a program related to image conversion for converting a 2D image into a 3D image is stored in a readable media that can be read by an electronic device, and is read and executed by the electronic device so that a specific object can be read from the 2D image. It is possible to provide an image processing apparatus that selects and adjusts depth information of a corresponding object and checks a 3D rendered image of an object whose depth information is adjusted in real time.
  • FIG. 8 is a view showing a method of reconstructing a rendered image by the image processing apparatus according to the present invention
  • FIG. 9 is a retouch mode user interface for explaining a method of filling a hole using a hole mask according to the present invention
  • 10 is an exemplary view showing a retouch mode user interface for explaining a method of filling a hole by creating a mask according to the present invention
  • FIG. 11 is a view for explaining an in-paint job according to the present invention.
  • An exemplary view showing a retouch mode user interface, and FIG. 12 is an exemplary view showing a retouch mode user interface for explaining a stamping operation according to the present invention.
  • the image processing apparatus 100 extracts at least one characteristic information by analyzing a two-dimensional input image.
  • the characteristic information includes edge information, color information, luminance information, motion information, histogram information, and the like.
  • the image processing apparatus 100 generates a depth map of the 2D image based on the extracted characteristic information, and renders the 2D image into a 3D stereoscopic image using the generated depth map.
  • the image processing apparatus 100 fills a hole according to user control of the rendered image, and smoothly processes the outline of the hole to restore the rendered image. In this case, a detailed description of how the image processing apparatus 100 restores the rendered image will be described with reference to FIG. 8.
  • the image processing apparatus 100 extracts a hole region from the first ROI (S804), and extracts the extracted hole region.
  • the same hole mask as the same is generated in the original image (S806).
  • the image processing apparatus 100 fills a hole of the rendered image by copying pixels by the movement of the hole mask (S808). .
  • FIG. 9A illustrates a process of generating a hole mask 912 of an original image corresponding to the hole 902 by designating a region of interest in the rendered image and extracting the hole 902 from the region of interest.
  • FIG. 9B is a diagram for describing a method of filling the hole 902 of the rendered image by moving the hole mask 912 of the original image.
  • the first ROI A hole mask 912 corresponding to the hole 502 extracted from the region 904 is generated in the original image 910.
  • the user renders the image by using a mouse button click (for example, starting to designate the first region of interest using the left button of the mouse and finishing the designation of the first region of interest by clicking the right button of the mouse).
  • a mouse button click for example, starting to designate the first region of interest using the left button of the mouse and finishing the designation of the first region of interest by clicking the right button of the mouse.
  • the first ROI 904 may be designated.
  • the hole 902 may be extracted from the first ROI 904 using an alpha-map.
  • the hole mask 912 of the original image is generated to correspond to the hole 902 detected in the rendered image 900, the coordinates of the hole 902 and the hole mask 912 are the same, and the hole 902 and the hole are the same.
  • the shape of the mask 912 is the same.
  • the user may select and move the hole mask 912 in the original image 910 by using a button click of the mouse (for example, clicking the left button of the mouse).
  • the pixels of the region to which the hole mask 910 is moved are filled in the corresponding coordinates of the image 930 which is copied in real time.
  • the hole mask 912 when the hole mask 912 is moved in the original image 910, the coordinates of the hole mask 912 are changed, and pixel values of the coordinate region (previous coordinate region) where the hole mask 912 is moved are changed in real time.
  • the copied pixel values are applied to the same coordinates of the rendered image 900 in real time.
  • the hole mask 912 Since the hole mask 912 and the hole 902 have the same shape and the same coordinates, the hole mask 912 is moved by the size of the hole 902 to be filled with reference to the hole mask 912 coordinates and shapes. Pixel values of the coordinate region to which 912 is moved are copied and filled in the coordinate region of the corresponding hole 902.
  • the image processing apparatus 100 After the operation S808 is performed, when the user designates the second ROI in the image filled with the hole (S810), the image processing apparatus 100 generates a mask for the second ROI (S812). In this case, the user may designate the second region of interest as he intended.
  • the image processing apparatus 100 fills the hole by copying pixels by the movement of the mask (S814).
  • a method of filling a hole by designating a second ROI in a rendered image will be described with reference to FIG. 10.
  • the second ROI 1004 fills the hole 1002 in the rendered image 1000.
  • a mask for the second region of interest 1004 is generated.
  • the second ROI 1004 and the mask have the same coordinates and shape, the second ROI 1004 is used to express a specific area, and the mask has the same meaning as the second ROI 1004.
  • the mask and the second region of interest 1004 have the same reference numeral to distinguish terms that further include information (coordinates, shapes, pixels, etc.) of the region of interest 604.
  • a second ROI 1004 having a shape is designated in the rendered image 1000.
  • the user designates a portion having a pixel value similar to that of the hole 1002 as the second region of interest 1004 to generate the designated second region of interest 1004 as a mask.
  • the pixels included in the selected mask 1004 are moved. It is copied and applied to a portion of the hole 1002 to fill the hole 1002.
  • the principle of filling the hole 1002 by moving the mask is based on the principle of changing pixel values of the hole 1002 into pixel values of the second ROI 1004.
  • the user releases the pressing of the Ctrl button, and if more modification is needed, the user presses the Ctrl button again to show the second region of interest 1004 and then left the mouse. You can use the button click to move back to the desired part to fill the hole. Then, as shown in (b) of FIG. 10, the rendered image 1010 having no holes is generated.
  • the image processing apparatus 100 performs a pixel interpolation operation to smoothly process a portion that remains awkward.
  • the image processing apparatus 100 interpolates the designated area with reference to values of surrounding pixels of the designated area. (S818).
  • the user designates an area to be interpolated in the image filled with holes by painting.
  • Designating an area to be interpolated through the painting means that the user designates an area 1110 to be interpolated using a brush as shown in FIG. 11.
  • the user selects a brush from among the editing tools, and designates an area 1110 to be interpolated by clicking the left button of the mouse.
  • the image processing apparatus 100 interpolates the designated region with reference to the values of the surrounding pixels of the designated region, and the awkward portion of the hole outline portion is smoothed by the interpolation.
  • the image processing apparatus 100 If the user designates a stamp area to be interpolated from the image interpolated by the operation S818 (S820), the image processing apparatus 100 generates a circle mask (S822).
  • the image processing apparatus 100 changes pixel values of the other area to pixel values of the circle mask to interpolate other areas (S822).
  • the image processing apparatus 100 when the user designates the ROI as the circle 1210 in the interpolated image, the image processing apparatus 100 generates the designated circle as a circle mask. At this time, the user finds the part having the pixel value most similar to the awkward part and designates the circle 1210 by using the left mouse button, and finishes the designation of the circle 1210 by clicking the right button of the mouse. When the user designates the circle 1210 as described above, the image processing apparatus 100 generates the specified circle as a circle mask.
  • the image processing apparatus 100 changes the pixel values of the copied area into pixel values of the circle mask. In this case, the image processing apparatus 100 processes the contour portion of the circle mask through a blur technique.
  • the process after S818 can be omitted.
  • the image processing apparatus 100 replaces the stamp area with another area. Copy to to interpolate other areas.
  • the image processing apparatus 100 may interpolate the designated area by referring to values of surrounding pixels of the designated area.
  • the image processing apparatus 100 after performing the S814, the image processing apparatus 100, if a stamp area is designated by the user in an image filled with the hole, the stamp area is replaced with another area. Copy to to interpolate other areas. Then, the image processing apparatus 100 may omit the interpolation work by painting when the interpolation of the image by the stamp work is satisfactory.
  • the image processing apparatus may be implemented in the form of a personal computer, a tablet PC, a notebook computer, a mobile phone, a smartphone, and the like, and the image processing method according to the present invention includes a processor including one or more cores included in these devices. It may be executable by.
  • a record carrier readable by the apparatus may be provided.
  • the image conversion method comprising the step of copying the pixel to fill the hole of the rendered image, and performing the pixel interpolation operation to restore the rendered image to be provided by a program and a recording medium readable by the electronic device Can be.
  • the image processing method may be written as a program, and codes and code segments constituting the program may be easily inferred by a programmer in the art.
  • a program related to image restoration or image conversion during image processing is stored in a readable media that can be read by the electronic device, and is read and executed by the electronic device to remove holes of the rendered image and restore the image.
  • An image processing method can be provided.
  • the present invention can be applied to an image processing apparatus and method for filling a hole of a rendered image generated in a stereoscopic conversion process of an image smoothly and not awkwardly so that the image can be restored as if there were no holes.
  • the present invention by selecting a specific object in the two-dimensional image to adjust the depth information of the object and to determine in real time the 3D rendering image of the object with the adjusted depth information, the rendering result according to the depth information control in real time
  • the present invention provides an image processing apparatus and method and a recording medium thereof capable of easily inputting appropriate depth information by checking and shortening the working time due to modification of the depth information and improving the quality of the converted 3D image. It is available.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 2차원 영상에서 특정 객체를 선택하고 선택된 객체의 깊이정보를 가상의 3차원 입체 공간 상에서 확인하며 해당 객체의 깊이정보를 조절할 수 있고 객체의 깊이정보 변화와, 깊이정보가 조절된 객체의 3차원 렌더링 영상을 한 화면에서 실시간으로 확인할 수 있도록 함으로써, 깊이정보 조절에 따른 렌더링 결과를 실시간 확인하여 적절한 깊이정보를 용이하게 입력할 수 있고 깊이정보 수정에 따른 작업 시간을 단축시키는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있다. 또한, 본 발명은 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 상기 생성된 홀 마스크(hole mask) 또는 마스크(mask)의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우며, 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하게 됨으로써, 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워, 홀이 없었던 것처럼 영상을 복원할 수 있다.

Description

영상 처리 장치 및 방법
본 발명은 2차원 영상에서 특정 객체를 선택하여 해당 객체의 깊이정보를 확인하며 깊이정보를 조절하고 깊이정보가 조절된 객체의 3차원 렌더링 영상을 실시간으로 확인할 수 있도록 함으로써, 깊이정보 조절에 따른 렌더링 결과를 실시간 확인하여 적절한 깊이정보를 용이하게 입력할 수 있고 깊이정보 수정에 따른 작업 시간을 단축시키는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있는 영상 처리 장치 및 방법에 관한 것이다.
또한, 본 발명은 렌더링된 영상에서 사용자로부터 관심영역(Region Of Interest, 이하 ROI)을 지정받으면, 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 생성된 홀 마스크(hole mask) 또는 마스크(mask)의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운 후, 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 영상 처리 장치 및 방법에 관한 것이다.
최근 3D 영상(Stereoscopic image)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.
일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이 함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이 함으로써 구현될 수 있다.
깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가 및 렌더링(rendering)하여 2차원의 영상을 3차원의 입체 영상으로 변환하였다. 그러나 렌더링된 영상에는 원 영상(오리지널 영상)에 없었던 홀이 생겨서 영상을 어색하게 하는 단점이 있었다.
2차원 평면 영상을 3차원 입체 영상으로 변환시키기 위해서는, 2차원 평면 영상으로부터 서로 다른 시차 정보를 가지는 좌측 영상과 우측 영상을 생성해야 한다. 이에, 2차원 평면 영상에 표시된 객체들에 깊이(depth)정보를 부여하여 깊이 맵(Depth Map)을 생성하고 깊이 맵에 기초하여 좌측 영상과 우측 영상을 생성함으로써 2차원 평면 영상을 3차원 입체 영상으로 변환하고 있다.
여기서, 3차원 입체 영상의 품질에 문제가 있다면 깊이 맵을 수정하고, 수정된 깊이 맵에 따라 다시 3차원 입체 영상을 렌더링한 후 수정 결과를 확인하여 객체들의 깊이정보 변화를 확인해야 한다. 그런데, 렌더링을 수행하는 데에는 비교적 많은 시간이 소요되고 깊이 맵을 수정할 때마다 새롭게 렌더링을 수행하여야 하기 때문에 작업 시간이 지연되고 업무 효율이 저하되는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로서, 2차원 영상에서 특정 객체를 선택하고 선택된 객체의 깊이정보를 가상의 3차원 입체 공간 상에서 확인하며 해당 객체의 깊이정보를 조절할 수 있고 객체의 깊이정보 변화와, 깊이정보가 조절된 객체의 3차원 렌더링 영상을 한 화면에서 실시간으로 확인할 수 있도록 함으로써, 깊이정보 조절에 따른 렌더링 결과를 실시간 확인하여 적절한 깊이정보를 용이하게 입력할 수 있고 깊이정보 수정에 따른 작업 시간을 단축시키는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있는 영상 처리 장치 및 방법을 제공하는데 그 기술적 과제가 있다.
또한, 본 발명은 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워 홀이 없었던 것처럼 영상을 복원하기 위해, 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 원 영상에 상기 관심영역에 대한 마스크(mask)를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우며, 상기 홀이 채워진 영상에서 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원할 수 있는 영상 처리 장치 및 방법을 제공하는데 그 기술적 과제가 있다.
전술한 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 입력된 2차원 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부; 상기 2차원 영상에서 선택된 객체에 Z 컨트롤 포인트를 설정하고 상기 선택된 객체의 깊이정보를 확인하며 상기 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 상기 선택된 객체의 깊이정보를 수정하는 사용자 인터페이스부; 상기 특성 정보를 기초로 상기 2차원 영상에 대한 깊이 맵을 생성하고, 상기 사용자 인터페이스부를 통해 상기 객체의 깊이정보가 수정된 경우 이전의 깊이 맵에서 상기 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 깊이 맵 생성부; 상기 깊이 맵에 따라 상기 2차원 영상을 3차원 영상으로 렌더링하고, 상기 수정된 깊이 맵이 생성된 경우 상기 3차원 영상에 상기 수정된 깊이정보를 실시간으로 반영하여 상기 객체의 깊이정보가 수정된 3차원 영상을 렌더링하는 3차원 영상 렌더링부; 상기 렌더링된 3차원 영상을 디스플레이하는 디스플레이부; 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 영상 복원부; 및 상기 2차원 영상에서 상기 사용자 인터페이스부를 통해 수정되는 깊이정보를 상기 깊이 맵 생성부로 실시간 전달하고 상기 깊이 맵 생성부에서 생성된 수정된 깊이 맵을 상기 3차원 영상 렌더링부에 실시간 전달하여 상기 깊이정보가 수정된 3차원 영상이 디스플레이 되도록 제어하는 영상 제어부를 포함하는 영상 처리 장치를 제공한다.
한편, 전술한 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따르면, (A)2차원 영상의 깊이 맵을 생성하는 단계; (B)상기 깊이 맵에 따라 3차원 영상을 렌더링하여 표시하는 단계; (C)상기 2차원 영상에서 특정 객체를 정의한 객체정보를 입력받는 단계; (D)상기 선택된 객체에 Z 컨트롤 포인트를 설정하고 상기 선택된 객체의 깊이정보를 확인하며 상기 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 표시하는 단계; (E)상기 이동시켜 표시한 Z 컨트롤 포인트의 Z값에 따라 상기 객체의 수정된 깊이정보를 실시간 인식하는 단계; (F)상기 객체의 수정된 깊이정보에 따라 이전의 깊이 맵에서 상기 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 단계; 및 (G)상기 수정된 깊이 맵에 기초하여 상기 객체의 깊이정보가 수정된 3차원 영상을 렌더링하여 표시하는 단계를 포함하는 영상 처리 방법을 제공한다.
다른 한편, 전술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따르면, (a) 입력받은 2차원 영상을 분석하여 적어도 하나의 특성정보를 추출하는 단계; (b) 상기 특성정보를 기초로 상기 2차원 영상에 대한 깊이 맵을 생성하는 단계; (c) 상기 깊이 맵을 이용하여 상기 2차원 영상을 3차원 입체 영상으로 렌더링하는 단계; (d) 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계; 및 (e) 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 단계를 포함하는 영상 처리 방법을 제공한다.
따라서 본 발명에 따르면, 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워, 홀이 없었던 것처럼 영상을 복원할 수 있다.
또한, 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 원 영상에 상기 관심영역에 대한 마스크(mask)를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우며, 상기 홀이 채워진 영상에서 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원할 수 있다.
또한, 2차원 영상에서 특정 객체를 선택하고 선택된 객체의 깊이정보를 가상의 3차원 입체 공간상에서 확인하며 해당 객체의 깊이정보를 조절할 수 있는 효과가 있다.
또한, 2차원 영상에서 다수의 객체를 선택하여 다수의 객체의 깊이정보를 수정한 경우, 다수의 객체의 깊이정보를 가상의 3차원 입체 공간상에서 비교하며 각 객체의 깊이정보를 수정할 수 있는 효과가 있다.
그리고, 객체의 수정된 깊이정보와 깊이정보가 조절된 객체의 3차원 렌더링 영상을 한 화면에서 실시간으로 확인할 수 있도록 함으로써, 깊이정보 조절에 따른 렌더링 결과를 실시간 확인하여 적절한 깊이정보를 용이하게 입력할 수 있고 깊이정보 수정에 따른 작업 시간을 단축시키는 한편 변환된 3차원 영상의 품질을 향상시키는 효과가 있다.
도 1은 본 발명의 실시예에 따른 영상 처리 장치의 구성을 개략적으로 나타낸 블럭도,
도 2는 본 발명의 실시예에 따른 영상 복원부의 구성을 개략적으로 나타낸 블럭도,
도 2B는 본 발명의 실시예에 따른 깊이 맵 생성부의 제어블럭도,
도 3은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 처리 방법의 흐름도,
도 4 내지 도 7은 본 발명의 일 실시예에 따른 영상 변환 장치의 작업 화면의 표시 상태도,
도 8은 본 발명에 따른 영상 처리 장치가 렌더링된 영상을 복원하는 방법을 나타낸 도면,
도 9는 본 발명에 따른 홀 마스크를 이용하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도,
도 10은 본 발명에 따른 마스크를 생성하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도,
도 11은 본 발명에 따른 In-paint 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도,
도 12는 본 발명에 따른 stamp 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 영상 처리 장치(100)의 기능블럭도를 나타낸 도면이다.
본 발명의 실시예에 따른 영상 처리 장치(100)는 입력된 2차원 영상에 대해 사용자가 직접 깊이정보를 설정할 수 있도록 그래픽 인터페이스를 제공하고, 사용자의 입력에 따라 깊이 맵(depth map)을 생성하여 3차원 영상을 모델링한다. 여기서, 2차원 영상 및 3차원 영상은 정지 영상과 동영상을 모두 포함할 수 있으며, 2차원 영상이 동영상일 경우 깊이정보 설정 등의 과정은 2차원 영상을 구성하는 프레임 단위로 수행될 수 있다.
도 1에 도시된 바와 같이, 본 발명의 영상 처리 장치(100)는 2차원 영상 입력부(110), 영상 분석부(120), 사용자 인터페이스부(130), 디스플레이부(140), 영상 복원부(150), 영상 제어부(160), 깊이맵 생성부(170) 및 3차원 영상 렌더링부(180)를 포함한다.
2차원 영상 입력부(110)는 3차원 영상으로 변환하고자 하는 2차원 영상을 입력 받는다.
영상 분석부(120)는 입력받은 2차원 영상을 분석하여 적어도 하나의 특성 정보를 추출한다. 이때, 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.
사용자 인터페이스부(130)는 영상 처리 장치(100)의 기능 선택 및 제어를 위한 사용자 인터페이스를 제공하여, 2차원 영상에서 특정 객체를 선택한 후 깊이정보를 입력 및 수정하는 기능을 선택할 수 있다. 즉, 사용자 인터페이스부(130)는 2차원 영상에서 선택된 객체에 Z 컨트롤 포인트를 설정하고 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 깊이 정보를 입력한다. 예를 들어, 사용자는 사용자 인터페이스부(130)를 통해 2차원 영상에 표시된 객체를 폐곡선으로 선택하고 해당 객체에 대해 깊이 정보를 입력할 수 있다. 2차원 영상에서 객체 선택은 이미지 윤곽을 이용한 경계면 자동 탐색 방법과, 미리 정해놓은 사용자 정의 폐곡선 패턴(예를 들어, 얼굴, 원, 사각형 등)을 활용하여 에지를 인식하는 방법 등의 영상 인식 기술을 이용하여 자동으로 선택되도록 할 수 있다.
또한, 사용자가 사용자 인터페이스부(130)를 통해 2차원 영상에 표시된 객체를 선택하고 해당 객체에 대해 깊이정보를 입력하거나 수정할 때, 2차원 영상에서 객체 선택은 에지 인식 등의 영상 인식 기술을 이용하여 자동으로 선택되도록 하거나, 혹은 사용자 인터페이스부(130)를 통해 베지어 곡선(Bezier curve)을 설정하여 객체를 선택하도록 할 수 있다. 베지어 곡선은 몇 개의 제어점을 선택하여 점과 점 사이가 연결되도록 함으로써 생성되는 불규칙한 곡선을 뜻한다. 또한, 자동으로 인식된 객체를 사용자가 편집하여 객체를 선택하는 것도 가능하다.
따라서, 사용자는 사용자 인터페이스부(130)를 통해 2차원 영상에서 특정 객체를 선택하여 깊이정보를 입력하거나 수정할 수 있는데, 사용자는 선택한 객체의 소정 영역을 클릭하여 Z 컨트롤 포인트를 선택하고, Z 컨트롤 포인트를 Z축 방향으로 드래그함으로써 깊이정보를 입력하거나 수정할 수 있다.
일반적으로, 컨트롤 포인트는 제어 또는 수정하려는 점(point)을 의미하며, 사용자가 마우스를 이용하여 수정하려는 점 또는 영역을 클릭하면 클릭된 영역이 컨트롤 포인트가 된다.
본 발명에서는, 2차원 영상에서 선택된 객체 상에 마우스를 이용하여 임의의 점을 클릭하면 클릭된 점이 Z 컨트롤 포인트로 설정된다.
사용자는 사용자 인터페이스부(130)를 통해 선택한 객체의 깊이정보에 대해 Z 컨트롤 포인트를 마우스로 드래그하여 Z축 방향으로 이동시켜 수정할 수 있다.
이때, 수정된 Z값은 가상의 3차원 입체 공간상에 투영된 객체의 높이로 표현되며, 사용자는 변화된 높이로부터 객체의 입체감을 예측하며 객체의 깊이정보를 수정할 수 있다.
깊이정보 수정을 위해, 사용자는 사용자 인터페이스부(130)를 통해 3차원 공간의 xy 평면에 2차원 영상을 배치하고, 특정 객체에서 설정된 Z 컨트롤 포인트를 Z축으로 이동시켜 3차원 입체 평면에 객체를 투영시킨다.
사용자가 사용자 인터페이스부(130)를 통해 적어도 둘 이상의 객체를 선택하면, 선택된 둘 이상의 객체의 깊이정보를 3차원 입체 평면상에 투영하여 세로축으로 정렬하고, 정렬된 3차원 입체 평면상에 투영된 객체의 깊이정보를 비교하며 각각의 객체의 깊이정보를 수정할 수 있다.
따라서, 2차원 영상에서 다수의 객체를 선택하여 깊이정보를 수정할 경우, 다수의 객체의 상대적 깊이정보를 가상의 3차원 입체 평면상에 투영하여 비교하며 깊이정보를 수정할 수 있다.
또한, 사용자 인터페이스부(130)는 사용자의 입력을 영상 복원부(150)에 전달한다.
또한, 사용자는 사용자 인터페이스부(130)를 통해 렌더링된 영상에서 관심영역을 지정할 수 있다.
디스플레이부(140)는 2차원 영상이 렌더링된 처리 결과를 사용자에게 표시한다.
영상 복원부(150)는 3차원 영상 렌더링부(180)에서 렌더링된 영상에 대해 사용자 인터페이스부(130)를 통해 사용자가 지정한 영역의 홀(hole)을 채우고, 그 홀의 윤곽을 부드럽게 처리하여 상기 렌더링된 영상을 복원한다.
즉, 영상 복원부(150)는 3차원 영상 렌더링부(180)에서 렌더링된 영상에서 홀인 부분을 부드럽고 어색하지 않게 채워 마치 없었던 것처럼 만드는 역할을 수행한다. 상기와 같은 역할을 수행하는 영상 복원부(150)에 대해 도 2A를 참조하기로 한다.
영상 제어부(160)는 사용자 인터페이스부(130)를 통해 Z 컨트롤 포인트를 입력받아, Z 컨트롤 포인트를 포함하는 가상의 3차원 입체 평면에 해당 객체를 투영하여 표시한다.
영상 제어부(160)는 객체 선택 정보와 해당 객체의 Z 컨트롤 포인트 정보를 깊이맵 생성부(170)에 실시간 전달하여 사용자 입력에 따라 깊이 맵이 수정되도록 깊이맵 생성부(170)를 제어한다.
영상 제어부(160)는 깊이 맵(depth map)에 따라 2차원 영상이 3차원 영상으로 변환되어 디스플레이부(140)에 표시되도록 3차원 영상 렌더링부(180)를 제어한다.
영상 제어부(160)는 2차원 영상의 깊이정보를 수정하는 사용자 인터페이스부(130)와 2차원 영상을 렌더링한 3차원 영상이 한 화면상에 표시되도록 디스플레이부(140)를 제어한다.
따라서, 디스플레이부(140)는 사용자 인터페이스부(130)가 배치된 화면 영역 상에 팝업창 형태로 표시될 수 있다.
여기서, 영상 제어부(160)의 깊이 맵 수정 제어 과정과 수정된 깊이 맵에 따른 3차원 영상 렌더링 과정은 사용자 입력에 따라 실시간으로 진행된다. 즉, 사용자가 깊이정보를 수정하면 수정된 깊이정보가 깊이 맵에 실시간으로 반영되고, 이에 연동하여 3차원 렌더링 영상에도 수정된 깊이정보가 반영되어 디스플레이부(140)에 표시된 3차원 영상이 변화하게 된다. 따라서, 사용자는 깊이정보 수정에 따른 3차원 영상의 변화를 실시간 확인할 수 있다.
깊이 맵 생성부(170)는 영상 분석부(120)에서 추출된 특성 정보를 기초로 상기 입력된 2차원 영상에 대한 깊이 맵을 생성한다.
3차원 영상 렌더링부(180)는 깊이 맵 생성부(170)에서 생성된 깊이 맵을 이용하여 상기 입력된 2차원 영상을 3차원의 입체 영상으로 변환한다. 예를 들면, 3차원 영상 렌더링부(180)는 깊이 맵을 이용하여 시차(parallax) 정보를 생성하고, 시차 정보를 이용하여 3차원 입체영상을 생성할 수 있다. 이렇게 생성된 3차원 입체영상은 각 프레임에서 각각의 픽셀에 대한 깊이(depth) 값들이 다양할수록 더욱 입체감 있게 보인다.
여기에서는 3차원 영상 렌더링부(180)가 시차 정보를 이용하여 2차원 영상을 3차원의 입체 영상으로 변환하는 것으로 설명하였으나, 3차원 영상 렌더링부(180)가 깊이 맵을 이용하여 입력 영상을 입체 영상으로 변환하는 방법은 종래의 다양한 방법을 따른다.
또한, 깊이 맵 생성부(170)는 선택된 객체 정보를 추출한다. 깊이 맵 생성부(170)는 객체에 부여된 Z 컨트롤 포인트를 깊이정보로 인식하고, Z 컨트롤 포인트의 이동에 따라 해당 객체의 깊이정보가 변화하는 것을 인식한다. 깊이 맵 생성부(200)는 인식된 깊이정보에 따라 깊이 맵(depth map)을 생성한다. 깊이 맵(depth map)은 2차원 영상에 포함된 객체들이 3차원 영상으로 인식되도록 변환하기 위해 적용되는 변환정보로서, 각 픽셀에 대한 시점 정보, 각 픽셀의 가까운 쪽 위치와 먼 쪽의 위치를 나타내는 색상정보를 포함할 수 있다. 이에, 깊이 맵(depth map)을 시각화 하는 경우 흑백으로 높낮이를 표시한 영상으로 표시된다.
3차원 영상 렌더링부(180)는 깊이 맵 생성부(170)에서 생성된 깊이 맵(depth map)을 이용하여 입력된 2차원 영상을 3차원 영상으로 변환한다. 3차원 영상 렌더링부(180)는 깊이 맵(depth map)을 이용하여 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 생성하고 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 조합하여 3차원 영상을 생성한다. 여기서, 사용자가 깊이 맵을 수정하는 경우 영상 제어부(160)는 수정된 깊이 맵을 3차원 영상 렌더링부(180)에 전달하여 수정된 깊이 맵에 따른 3차원 영상이 생성되도록 한다.
이러한 구성에 따라, 본 발명에 따른 영상 처리 장치(100)는 2차원 영상에서 특정 객체를 선택하고 해당 객체에 Z 컨트롤 포인트를 부여하여 드래그함으로써 객체의 깊이정보를 입력하며, 해당 객체의 깊이정보 변화에 따른 3차원 렌더링 영상을 실시간 확인할 수 있다.
도 2A는 본 발명의 실시예에 따른 영상 복원부의 구성을 개략적으로 나타낸 블럭도이다.
도 2A를 참조하면, 본 발명의 실시예에 따른 영상 복원부(150)는 ROI(Region Of Interest, 관심영역) 설정 및 처리부(210), 픽셀 보간 처리부(220)를 포함한다.
ROI 설정 및 처리부(210)는 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 관심영역에 대한 홀 마스크(hole mask) 또는 마스크(mask)를 생성하고, 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 렌더링된 영상의 홀(hole)을 채운다.
이때, ROI 설정 및 처리부(210)는 홀 마스크 처리 모듈(212), 마스크 처리 모듈(214)을 포함한다.
홀 마스크 처리 모듈(212)은 상기 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역과 동일한 홀 마스크(hole mask)를 원 영상(오리지널 영상)에 생성한 후, 상기 원 영상에서 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운다.
다시 말하면, 사용자가 상기 렌더링된 영상에서 제1 관심 영역을 지정하면, 홀 마스크 처리 모듈(212)은 상기 제1 관심영역에서 홀인 부분을 자동으로 검출한다. 이때, 홀 마스크 처리 모듈(212)이 홀을 판단하는 기준은 영상의 렌더링시 생성되는 홀에 대한 alpha-map을 이용한다. 상기 alpha-map에서 홀인 부분은 검정색, 홀이 아닌 부분은 하얀색으로 표현될 수 있다.
그런 다음 홀 마스크 처리 모듈(212)은 상기 추출된 홀과 동일한 홀 마스크(hole mask)를 원 영상(오리지널 영상)에 생성한다. 이때 상기 렌더링된 영상에서 검출된 홀의 좌표와 오리지널 영상에서 생성된 홀 마스크의 좌표는 동일하다.
상기와 같이 원 영상에 생성된 홀 마스크를 사용자가 홀 주위와 가장 비슷한 부분까지 이동시키면, 홀 마스크 처리 모듈(212)은 상기 홀 마스크에 포함되는 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채운다.
또한, 홀 마스크 처리 모듈(212)은 현재 프레임에서 가능하지 않다면, 다른 프레임에서 픽셀을 참조하여 복사할 수도 있다.
홀 마스크 처리 모듈(212)은 홀을 자동으로 검출해줌으로써 정확하면서 빨리 작업할 수 있도록 하고, 원 영상에 홀과 같은 모양의 홀 마스크를 생성하여 홀 마스크의 이동만으로 홀을 채울 수 있다.
마스크 처리 모듈(214)은 홀 마스크 처리 모듈(212)에 의해 홀이 채워진 영상에서 제2 관심영역을 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채운다. 이때, 사용자는 상기 제2 관심영역을 자신이 의도한 모양대로 지정할 수 있다.
즉, 사용자가 홀 마스크 처리 모듈(212)에 의해 홀이 채워진 영상에서 홀 주위와 비슷한 부분을 찾아 제2 관심영역으로 지정하면, 마스크 처리 모듈(214)은 상기 제2 관심 영역에 대한 마스크를 생성한다. 그런 다음 상기 사용자가 상기 생성된 마스크를 홀 부분을 채울 부분으로 이동시키면, 마스크 처리 모듈(214)은 상기 마스크에 포함되는 픽셀들을 복사하여 상기 이동시킨 홀 부분을 채운다.
상기와 같은 마스크 처리 작업은 홀 마스크 처리 작업을 통해 홀을 채웠지만 만족스럽지 않을 때 사용하는 작업으로 홀 마스크 작업이 만족스러운 경우 생략 가능하다. 즉, ROI 설정 및 처리부(210)는 홀 마스크 처리 모듈(212)에 의한 홀 채움이 만족스러운 경우 마스크 처리 모듈(214)에 의한 홀 채움은 생략 가능하다.
또한, 홀 마스크 처리 모듈(212)에서 생성된 홀 마스크는 홀의 모양과 동일하기 때문에 사용자가 홀 마스크의 모양을 마음대로 바꿀 수 없지만, 마스크 처리 모듈(214)에서 생성된 마스크는 사용자의 의도대로 표현할 수 있다.
즉, 사용자는 홀 마스크 처리 모듈(212)에 의해 홀이 채워진 영상에서 홀과 비슷한 패턴을 찾아서, 그 영역을 제2 관심 영역으로 지정할 수 있다.
또한, 홀이 움직이지 않는 부분이 있을 수 있으므로, 마스크 처리 모듈(214)은 같은 마스크를 시퀀스(sequence)로 이용할 수 있다.
픽셀 보간 처리부(220)는 ROI 설정 및 처리부(210)에 의해 홀(hole)이 채워진 영상에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원한다.
즉, ROI 설정 및 처리부(210)에 의해 홀이 채워지긴 했지만, 홀의 윤곽부분(edge)이 어색하게 남아 있을 수 있으므로, 픽셀 보간 처리부(220)는 어색하게 남아있는 부분을 부드럽게 처리하기 위해 픽셀 보간 작업을 수행하게 된다.
상기와 같은 역할을 수행하는 픽셀 보간 처리부(220)는 in-paint 작업 처리 모듈(222), stamp 작업 처리 모듈(224)을 포함한다.
in-paint 작업 처리 모듈(222)은 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정되면, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간한다.
즉, 사용자가 홀이 채워진 영상에서 보간을 원하는 영역을 페인트칠을 통해 지정하면, in-paint 작업 처리 모듈(222)은 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하고, 상기 보간으로 홀 윤곽부분의 어색한 부분을 부드럽게 한다. 여기서, 상기 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간한다는 것은 상기 주위 픽셀들의 값을 평균화시키고, 상기 지정된 영역을 상기 평균화된 값으로 보간하여 홀 윤곽 부분의 어색한 부분을 부드럽게 하는 것을 말한다.
ROI 설정 및 처리부(210)에서 작업이 끝난 이후 홀이 메워졌지만 윤곽 부분이 홀 주위에 있던 영상들과 이질적인 부분이 생겨 날카롭게 보일 수 있다.
따라서, in-paint 작업 처리 모듈(222)은 이러한 부분들을 주위 픽셀을 참조하여 보간하는 in-paint 알고리즘을 이용하여 날카로운 부분을 부드럽게 해준다.
ROI 설정 및 처리부(210)에서 이루어지는 ROI 처리 작업들은 사용자가 좀 더 편하게 홀을 메울 수 있도록 하고, 홀을 지정하므로 큰 홀들을 한꺼번에 쉽게 메울 수 있지만 섬세함이 떨어진다. 그러나, 상기 in-paint 알고리즘은 큰 영역을 크게 잡으면 어색하게 보간 되는 단점이 있지만 작고 세밀하게 이용한다면 사용자가 매우 간단히 보간할 수 있다.
stamp 작업 처리 모듈(224)은 in-paint 작업 처리 모듈(222)에 의해 보간된 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간한다.
즉, 사용자가 in-paint 작업 처리 모듈(222)에 의해 보간된 영상에서 관심영역을 circle로 지정하면, stamp 작업 처리 모듈(224)은 상기 지정된 circle을 circle mask로 생성한다. 상기 지정된 circle이 스탬프 영역을 말한다. 그런 다음 상기 사용자가 상기 생성된 circle mask를 원하는 영역에 복사하여 붙여 넣으면, stamp 작업 처리 모듈(224)은 상기 복사된 영역의 픽셀 값들을 상기 circle mask의 픽셀 값들로 변경한다.
이때, stamp 작업 처리 모듈(224)은 상기 circle mask의 윤곽부분을 블러(blur)를 적용하여 부드럽게 한다.
여기에서는 픽셀 보간 처리부(220)가 in-paint 작업 처리 모듈(222), stamp 작업 처리 모듈(224)을 포함하고, stamp 작업 처리 모듈(224)이 in-paint 작업 처리 모듈(222)에 의해 보간된 영상을 보간하는 것으로 설명하였으나, in-paint 작업 처리 모듈(222)과 stamp 작업 처리 모듈(224)의 동작 순서를 바꾸어 픽셀 보간 작업을 수행할 수 있다. 즉, stamp 작업 처리 모듈(224)이 ROI 설정 및 처리부(210)에 의해 홀(hole)이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하고, in-paint 작업 처리 모듈(222)이 stamp 작업 처리 모듈(224)에서 보간된 영상에서 페인트칠을 통해 보간할 영역이 지정되면, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간할 수 있다.
또한, 픽셀 보간 처리부(220)는 in-paint 작업 처리 모듈(222)만을 구비 또는 stamp 작업 처리 모듈(224)만을 구비할 수도 있다.
또한, 픽셀 보간 처리부(220)의 in-paint 작업 또는 stamp 작업을 통한 픽셀 보간 작업이 만족스러운 경우 하나의 작업은 생략 가능하다.
도 2B는 본 발명의 실시예에 따른 깊이 맵 생성부의 제어블럭도이다.
도 2B에 도시된 바와 같이 깊이 맵 생성부(170)는 객체정보 추출모듈(310), 깊이정보 설정모듈(320), 깊이정보 수정모듈(330) 및 깊이 맵 생성모듈(340)을 포함한다.
객체정보 추출모듈(310)은 2차원 영상에서 깊이정보 설정을 위해 선택된 객체의 정보를 추출한다. 객체 정보는 2차원 영상에서 선택된 객체의 식별정보, x 좌표, y 좌표, 벡터 값 등을 포함할 수 있다.
깊이정보 설정모듈(320)은 객체에 설정된 Z 컨트롤 포인트의 이동에 따라 해당 객체의 깊이정보를 설정할 수 있다. 2차원 영상에서 선택된 객체에 설정된 Z 컨트롤 포인트는Z축 이동에 따라 가상의 3차원 입체 공간상에 위치하게 된다. 깊이정보 설정모듈(320)은 3차원 입체 공간상에 위치한 Z 컨트롤 포인트의 Z값을 이용하여 해당 객체의 깊이정보를 인식할 수 있다.
깊이정보 수정모듈(330)은 특정 객체에 대해 사용자가 Z 컨트롤 포인트를 이동하는 경우 수정된 깊이정보를 깊이 맵 생성모듈(340)로 전달한다.
깊이 맵 생성모듈(340)은 깊이정보 설정모듈(220)에서 인식된 객체의 깊이정보에 기초하여 2차원 영상의 깊이 맵(depth map)을 생성한다. 또한, 깊이정보 수정모듈(330)로부터 특정 객체의 수정된 깊이정보를 입력받아 깊이 맵을 수정하여, 수정된 깊이 맵을 3차원 영상 렌더링부(180)로 전달한다.
이러한 구성에 따라, 깊이 맵 생성부(170)는 사용자가 입력한 Z 컨트롤 포인트의 이동에 따라 객체의 깊이정보가 수정된 것을 인식하고, 수정된 깊이정보를 실시간 깊이 맵에 반영하여 3차원 영상 렌더링부(180)로 전달한다. 3차원 영상 렌더링부(180)는 수정된 깊이 맵이 입력되는 경우 실시간 수정사항을 반영하여 3차원 영상을 렌더링 함으로서 깊이정보 변화에 따른 3차원 영상을 실시간으로 확인할 수 있도록 한다.
도 3은 본 발명의 실시예에 따른 2차원 영상을 3차원 영상으로 변환하는 영상 처리 방법의 흐름도이다.
본 발명의 실시예에 따른 영상 처리 장치(100)에 2차원 영상이 입력되면(S110), 영상 제어부(160)는 2차원 영상을 3차원 공간의 x, y 평면에 디스플레이한다.
깊이 맵 생성부(170)는 입력된 2차원 영상의 깊이 맵을 생성한다(S120). 여기서, 깊이 맵 생성을 위한 깊이정보는 사용자가 직접 입력할 수 있으며, 혹은, 영상 인식 기술을 이용하여 깊이 맵이 자동으로 생성되도록 하는 것도 가능하다.
3차원 영상 렌더링부(180)는 생성된 깊이 맵에 따라 2차원 영상을 3차원 영상으로 렌더링한다(S130).
사용자는 디스플레이부(140)에서 렌더링된 3차원 영상을 확인한 후, 깊이정보를 수정하고자 하는 객체를 선택할 수 있다. 사용자는 사용자 인터페이스부(130)를 통해 2차원 영상에서 객체를 선택 입력할 수 있다. 이에, 객체정보 추출모듈(310)은 해당 객체의 정보를 추출한다(S140).
사용자는 사용자 인터페이스부(130)를 통해 선택된 객체에 Z 컨트롤 포인트를 설정하고 이를 Z축 방향으로 드래그하여 해당 객체의 깊이정보를 수정할 수 있다(S150). 이에, 깊이정보 수정모듈(330)은 해당 객체의 Z값에 따라 수정된 깊이정보를 인식하여 깊이 맵 생성모듈(350)로 전달한다.
깊이 맵 생성모듈(350)은 이 전에 생성된 깊이 맵에서 해당 객체의 깊이정보를 수정한다(S160).
수정된 깊이 맵은 실시간 3차원 영상 렌더링부(180)로 전달되어 깊이정보가 변경된 3차원 영상이 실시간으로 렌더링되어 표시된다(S170).
2차원 영상에서 다수의 객체를 선택하여 각각의 객체의 깊이정보를 수정하는 경우, 선택한 다수의 객체의 깊이정보를 모두 수정한 후 수정된 깊이 맵을 이용하여 2차원 영상을 렌더링하여 3차원 영상을 생성하거나 3차원 영상을 수정하여 렌더링한다.
이상 설명한 바와 같이, 본 발명은 2차원 평면에서 객체를 선택하고 해당 객체에 Z 컨트롤 포인트를 설정하여 드래그하는 방법으로 해당 객체의 깊이정보를 수정할 수 있다. 수정된 깊이정보는 깊이 맵에 실시간 반영되어 깊이정보가 변경된 3차원 영상이 실시간으로 렌더링 된다. 이에 따라, 사용자는 깊이정보 수정에 따른 3차원 영상의 변화를 실시간 확인하여 깊이정보를 용이하고 신속하게 수정할 수 있다.
본 발명의 실시예에 따른 영상 처리 장치(100)의 작업 과정을 도 4 내지 도7을 참조하여 설명한다.
도 4 내지 도 7은 사용자 인터페이스부(410, 510, 610, 710)와 디스플레이부(420, 520, 620, 720)가 한 화면에 표시된 영상 처리 장치(100)의 작업 화면의 표시상태도이다.
도 4 내지 도 7에 공통된 내용은 먼저 설명하고, 객체의 깊이정보 변화에 따른 렌더링 후 3차원 영상을 대비하여 설명하는 내용은 도 4 및 도 5, 도 6 및 도7을 비교하며 설명하도록 한다.
사용자 인터페이스부(410, 510, 610, 710)의 상단에는 작업 모드를 선택하는 메뉴가 표시되고, 왼 측에는 저작을 위한 도구상자에 포함된 메뉴가 표시된다.
여기서, 작업 모드 선택 메뉴는 객체를 선택하는 마스크(MASK) 작업 모드 선택 메뉴, 깊이 맵을 생성 또는 수정하는 깊이 맵(DEPTHMAP) 작업 모드 선택 메뉴, 및 2차원 영상을 생성 또는 수정된 깊이 맵을 이용하여 3차원으로 렌더링하는 렌더링(RENDERING) 작업 모드 선택 메뉴를 포함하여 구성된다.
사용자는 사용자 인터페이스부(410, 510, 610, 710)에 표시된 메뉴를 이용하여 2차원 영상에서 객체 선택, 깊이정보 수정, 3차원 영상으로 렌더링을 수행할 수 있다.
먼저, 사용자가 사용자 인터페이스부(410, 510, 610, 710)의 마스크(MASK) 작업 모드 선택 메뉴를 선택하면, 사용자 인터페이스부(410, 510, 610, 710)의 작업 화면에는 깊이정보를 수정할 객체를 선택할 수 있는 2차원 영상(412, 512, 612, 712), 2차원 영상의 깊이 맵(414, 514, 614, 714) 및 깊이정보(Z, Z' )가 표시된 객체(B, B', G, G', H, H')가 투영될 수 있는 가상의 3차원 입체 공간(416, 516, 616, 716)이 표시된다.
즉, 2차원 영상(412, 512, 612, 712)은 사용자 인터페이스부(410, 510, 610, 710) 작업 화면의 xy 평면에 표시되며, 2차원 영상(412, 512, 612, 712)과 동일한 평면상에 2차원 영상의 깊이 맵(414, 514, 614, 714)이 표시되고, 가상의 3차원 공간(416, 516, 616, 716)은 2차원 영상(412, 512, 612, 712)과 xy 평면을 공유하도록 표시된다.
여기서, 2차원 영상의 깊이 맵(414, 514, 614, 714)은 깊이정보를 0~255 사이의 그레이 정보로 나타낸 것으로 표시된다.
객체 선택은 사용자 인터페이스부(410, 510, 610, 710)에 표시된 2 차원 영상(412, 512, 612, 712)의 일부 영역을 지정하여 선택된다.
여기서, 객체는 점, 선 또는 면으로 선택될 수 있고, 객체 선택 방법은 마우스로 다수의 제어점들을 선택하여 연결하거나, 자동 객체 인식을 위한 다양한 영상 인식 기술을 사용하여 선택할 수 있다.
예를 들어, 사용자가 2차원 영상에서 선택할 객체 윤곽선을 따라 몇 개의 제어점을 선택하고, 선택한 제어점들 사이가 연결되도록 베지어 곡선(Bezier curve) 설정을 선택하여 객체를 선택할 수 있다.
또한, 에지 인식 기술을 이용하여 하나의 에지 영역이 자동 선택되도록 함으로써 객체를 선택하거나, 선택된 하나의 에지 영역을 편집하여 객체로 선택할 수 있다.
본 실시예에서는 2차원 영상(412, 512, 612, 712)에서 사람의 얼굴과 머리 윤곽을 따라 다수의 제어점을 선택하고 선택된 제어점 사이가 폐곡선으로 연결되도록 베지어 곡선 설정을 선택하여 사람의 얼굴 영역을 객체로 선택할 수 있다.
또한, 2차원 영상(412, 512, 612, 712)에서 사람의 얼굴 영역을 마우스로 선택한 후 에지 인식 기술을 실행하는 메뉴를 선택함으로써 얼굴 윤곽을 따라 하나의 폐곡선으로 연결된 객체를 선택할 수 있다.
다음으로, 사용자 인터페이스부(410, 510, 610, 710)의 깊이 맵(DEPTHMAP) 작업 모드 선택 메뉴가 선택되면, 사용자 인터페이스부(410, 510, 610, 710)의 작업 화면에는 객체가 선택된 2차원 영상(412, 512, 612, 712), 2차원 영상의 깊이 맵(414, 514, 614, 714) 및 깊이정보(Z, Z' )가 표시된 객체(B, B', G, G', H, H')가 투영될 수 있는 가상의 3차원 입체 공간(416, 516, 616, 716)이 표시된다.
사용자는 선택한 객체상의 임의의 점을 Z 컨트롤 포인트(P)로 설정한다. 여기서, Z 컨트롤 포인트(P)는 선택된 객체의 깊이 정보를 변화시키기 위한 제어점으로 사용된다.사용자는 선택된 객체에 설정한 Z 컨트롤 포인트(P)를 드래그하여 Z축 방향으로 일정 거리(Z, Z') 이동시킬 수 있고, 일정 거리(Z, Z') 이동시킨 Z 컨트롤 포인트 위치의 가상의 3차원 공간(416, 516, 616, 716)상에 투영된 객체(B, B', G, G', H, H')를 표시할 수 있다.
즉, Z 컨트롤 포인트(P)를 Z축 방향으로 Z'만큼 이동시키면, 가상의 3차원 공간(416, 516, 616, 716)상에 투영된 객체(B, B', G, G', H, H')는 2차원 영상에서 선택된 객체와 x좌표, y좌표는 동일하고, z좌표만 Z'로 변경된 좌표를 갖게 된다. 따라서, 선택된 객체의 깊이정보는 z좌표의 변화된 크기만큼 변경되므로, 변화된 깊이정보를 반영하여 깊이 맵이 수정된다.
다음으로, 사용자 인터페이스부(410, 510, 610, 710)의 렌더링 작업 모드 선택 메뉴가 선택되면, 디스플레이부(420, 520, 620, 720)는 수정된 깊이 맵을 이용하여 2차원 영상이 렌더링된 3차원 영상을 표시한다.
이때, 디스플레이부(420, 520, 620, 720)는 팝업창 형태로 사용자 인터페이스부(410, 510, 610, 710)와 함께 표시될 수 있다.
선택된 객체에 대응되는 3차원 영상 부분은 영상의 다른 부분보다 변화된 깊이정보만큼 돌출되거나 함몰되어 관측된다.
사용자 인터페이스부(410, 510, 610, 710)를 통해 선택된 객체의 깊이정보를 변화시킨 경우 렌더링된 3차원 영상의 변화를 도 4 및 도 5, 도 6 및 도 7을 비교하며 설명하도록 한다.
도 4 및 도 5는 하나의 객체가 선택되고 깊이정보가 수정된 경우, 깊이정보 수정을 위한 사용자 인터페이스부(410, 510)의 작업 화면과, 선택된 객체의 수정된 깊이정보를 반영하여 렌더링을 수행한 디스플레이부(420, 520)의 작업 화면을 나타낸 것이다.
먼저, 도 4를 참조하면, B는 선택된 객체(얼굴 영역)의 깊이정보를 Z로 입력하여 가상의 3차원 입체 공간(416)상에 투영한 객체를 의미하고, C는 B를 입력된 깊이정보 Z를 이용하여 렌더링한 3차원 영상을 의미하고, A는 선택된 객체의 입력된 깊이정보를 그레이 정보로 나타낸 것을 의미한다.
2차원 영상의 다른 객체들과 비교할 때, 3차원 입체 공간(416)상에 투영된 객체(B)는 상대적으로 큰 깊이정보(Z)를 가지며, 선택된 객체를 렌더링한 3차원 영상(C)은 2차원 영상의 다른 객체와 비교할 때 상대적으로 화면 앞으로 돌출되게 표시되고, 선택된 객체의 깊이정보를 그레이 정보로 나타낸 것(A)은 상대적으로 밝게 표시된다.
도 5를 참조하면, B'는 선택된 객체(얼굴 영역)의 깊이정보를 Z(도 4)에서 Z'만큼 수정하여 가상의 3차원 입체 공간(516)상에 투영한 객체를 의미하고, C'는 B'를 수정된 깊이정보 Z'를 이용하여 렌더링한 3차원 영상을 의미하고, A'는 수정된 깊이정보를 그레이 정보로 나타낸 것을 의미한다.
앞서 설명한 바와 같이, 깊이정보 수정은 깊이정보를 수정할 객체를 선택하고 선택된 객체의 임의의 점을 Z 컨트롤 포인트로 설정한 후 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 수행된다.
도 5에 도시된 A'를 도 4에 도시된 A와 비교할 때, 선택된 객체의 깊이정보가 크게 수정되면(Z->Z'), 깊이정보를 그레이 정보로 나타낸 것(A')은 상대적으로 밝게 표시되고, 도 5에 도시된 C'를 도 4에 도시된 C와 비교할 때, 렌더링된 3차원 영상의 객체 C'는 C보다 상대적으로 화면 앞으로 더 돌출되어 표시된다.
즉, C'는 C와 비교하여 더 크게 표시되며, 원근법에 따라 관측자를 기준으로 C'는 C보다 관측자에 더 가깝게(화면에서 더 돌출되어) 표시되는 것을 알 수 있다.
상술한 바와 같이, 본 발명에 의하면, 작업자가 사용자 인터페이스부에 표시된 가상의 3차원 입체 공간 상에 투영된 객체의 입체감과 깊이 맵의 그레이 정보를 직접 확인하며 객체의 깊이정보를 조절할 수 있고, 마우스를 이용하여 깊이정보를 편리하게 조절할 수 있으므로 작업자의 편의성을 향상시킬 수 있다.
또한, 깊이정보를 조절하는 사용자 인터페이스부가 표시된 작업 화면과, 수정된 깊이정보가 반영된 렌더링된 3차원 영상을 팝업창 형태로 표시하는 디스플레이부가 표시된 작업 화면을 동일한 화면 상에서 함께 비교할 수 있고, 수정된 깊이정보가 반영된 렌더링된 3차원 영상을 실시간 확인할 수 있으므로 작업 시간을 단축할 수 있다.
도 6 및 도 7은 다수의 객체가 선택되고 다수의 객체 중 하나의 객체의 깊이정보가 수정된 경우, 깊이정보 수정을 위한 사용자 인터페이스부(410, 510)의 작업 화면과, 선택된 객체의 수정된 깊이정보를 반영하여 렌더링을 수행한 디스플레이부(420, 520)의 작업 화면을 나타낸 것이다.
도 6을 참조하면, G, H, B는 선택된 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)의 깊이정보를 가상의 3차원 입체 공간(616)상에 투영한 객체를 표시하고, D, E, F는 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)의 깊이정보를 그레이 정보로 나타낸 것을 의미하고, m1, m2, m3는 각각의 객체 중 일부 영역에 홀(Hole)을 형성하도록 표시한 라인을 나타낸 후 렌더링한 3차원 영상에 표시된 각 라인을 의미한다.
다수의 객체들의 깊이정보 수정은 깊이정보를 변경할 다수의 객체들을 모두 선택한 후 각 객체의 깊이정보를 순차적으로 수정하거나, 하나의 객체를 선택하여 깊이정보를 수정한 후 다른 객체를 선택하여 깊이정보를 수정할 수 있다.
앞서 설명한 바와 같이, 객체 선택은 다양한 영상 처리 기술을 사용할 수 있고, 깊이정보 수정은 깊이정보를 변경할 객체 상에 Z 컨트롤 포인트를 설정하고 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 수행할 수 있다.
여기서, 3차원 영상의 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)은 각각의 깊이정보에 따라 2차원 영상의 다른 객체들보다 상대적으로 화면 앞으로 돌출된 것으로 표시되며, 얼굴 영역, 팔 영역, 공 영역은 깊이정보(z)가 동일하므로 화면 앞으로 돌출된 정도는 동일하다.
도 7을 참조하면, G', H', B'는 선택된 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)의 깊이정보를 가상의 3차원 입체 공간(616)상에 투영한 객체를 표시하고, D', E', F'는 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)의 깊이정보를 그레이 정보로 나타낸 것을 의미하고, m1', m2', m3'는 각각의 객체 중 일부 영역에 홀(Hole)을 표시한 라인을 나타낸 후 렌더링한 3차원 영상에 표시된 각 라인을 의미한다.
홀(Hole)은 2차원 영상에는 없었으나 3차원 영상으로 렌더링하는 과정에서 발생한 영상의 갭(gap)으로 렌더링된 3차원 영상의 노이즈 성분을 의미한다.
여기서, 3차원 영상의 다수의 객체들(얼굴 영역, 팔 영역, 공 영역)은 각각의 깊이정보에 따라 2차원 영상의 다른 객체들보다 상대적으로 화면 앞으로 돌출된 것으로 표시된다.
또한, 가상의 3차원 입체 공간(716) 상에 투영된 얼굴 영역(B')는 팔 영역(H') 및 공 영역(G')보다 더 큰 깊이정보(Z')를 가지며, 얼굴 영역의 깊이정보를 그레이 정보를 나타낸 것(F')은 팔 영역(E') 및 공 영역(D')보다 밝게 표시되는 것을 확인할 수 있다.
특히, 얼굴 영역은 팔 영역 및 공 영역보다 큰 깊이정보(Z')를 가지므로, 렌더링된 3차원 영상의 얼굴 영역(I')은 팔 영역 및 공 영역보다 상대적으로 화면 앞으로 더욱 돌출된 것으로 표시된다.
도 6 및 도 7을 참조하여, 3차원 영상에 표시된 각각의 객체 중 일부 영역에 홀(Hole)을 표시한 라인인, 도 6의 m1, m2, m3와 도 7의 m1', m2', m3'를 비교하면, 깊이정보가 Z에서 Z'로 수정된 얼굴 영역에 표시한 라인(m1-> m1')의 굵기만 굵게 변화된 것을 알 수 있다.
원근법에 따라, 동일한 위치에 있는 관측자에게 더 굵게 관측된 라인(m1')은 다른 라인(m1)보다 관측자에 더 가까운 위치에 표시된 것이므로, 도 7의 홀을 표시한 라인(m1')은 도 6의 홀을 표시한 라인(m1)에 비하여 화면 앞으로 더 돌출되어 표시된 것을 알 수 있다.
따라서, 얼굴 영역의 깊이정보가 수정됨에 따라 얼굴 영역 전체의 깊이정보가 수정되므로, 얼굴 영역 내부에 포함된 홀을 표시한 라인도 렌더링 후 3차원 영상에서 화면 앞으로 돌출되도록 표시되는 것을 알 수 있다.
상술한 바와 같이, 본 발명에 의하면, 다수의 객체에 대하여 깊이정보를 수정하는 경우 다수의 객체들의 깊이정보를 상호 비교하며 수정할 수 있으므로 작업의 정확도를 향상시킬 수 있다.
또한, 다수의 객체들의 깊이정보를 모두 수정한 후 렌더링을 실시할 수 있으므로 작업 시간을 단축할 수 있다.
본 발명에 따른 영상 변환 장치는 개인용 컴퓨터, 태블릿 PC, 노트북, 휴대폰, 스마트폰 등 다양한 형태의 장치로 구현될 수 있고, 본 발명에 따른 영상 변환 방법은 상기의 장치들에 구비된 하나 혹은 그 이상의 코어로 이루어진 프로세서에 의하여 실행될 수 있다.
본 발명의 또 다른 측면에 따르면, 2차원 영상의 깊이 맵을 생성하는 단계, 깊이 맵에 따라 3차원 영상을 렌더링하여 표시하는 단계, 2차원 영상에서 특정 객체를 정의한 객체정보를 입력받는 단계, 선택된 객체에 Z 컨트롤 포인트를 입력받아 객체의 위치를 사용자의 선택에 따라 Z축 방향으로 이동시켜 표시하는 단계, 객체의 Z값에 따라 객체의 수정된 깊이정보를 인식하는 단계, 객체의 수정된 깊이정보에 따라 깊이 맵을 수정하는 단계 및 수정된 객체의 깊이정보가 반영된 수정된 깊이 맵에 기초하여 3차원 영상을 렌더링하여 표시하는 단계를 포함하는 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체에 기록될 수 있다.
2차원 영상을 3차원 영상으로 변환하는 영상 변환 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.
또한, 2차원 영상을 3차원 영상으로 변환하는 영상 변환에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행됨으로써 2차원 영상에서 특정 객체를 선택하여 해당 객체의 깊이정보를 조절하고 깊이정보가 조절된 객체의 3차원 렌더링 영상을 실시간으로 확인할 수 있는 영상 처리 장치를 제공할 수 있다.
도 8은 본 발명에 따른 영상 처리 장치가 렌더링된 영상을 복원하는 방법을 나타낸 도면, 도 9는 본 발명에 따른 홀 마스크를 이용하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도, 도 10은 본 발명에 따른 마스크를 생성하여 홀을 채우는 방법을 설명하기 위한 리터치(retouch) 모드 사용자 인터페이스를 나타낸 예시도, 도 11은 본 발명에 따른 In-paint 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도, 도 12는 본 발명에 따른 stamp 작업을 설명하기 위한 리터치 모드 사용자 인터페이스를 나타낸 예시도이다.
먼저, 본 발명의 실시예에 따른 영상 처리 장치(100)는 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출한다. 여기서, 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 등을 포함한다.
영상 처리 장치(100)는 추출된 특성 정보를 기초로 2차원 영상의 깊이 맵을 생성하고, 생성된 깊이 맵을 이용하여 2차원 영상을 3차원의 입체 영상으로 렌더링한다.
영상 처리 장치(100)는 렌더링된 영상을 사용자 제어에 따라 홀(hole)을 채우고, 그 홀의 윤곽을 부드럽게 처리하여 렌더링된 영상을 복원한다. 이때, 영상 처리 장치(100)가 렌더링된 영상을 복원하는 방법에 대한 상세한 설명은 도 8을 참조하기로 한다.
도 8을 참조하면, 사용자가 렌더링된 영상에서 제1 관심영역을 지정하면(S902), 영상 처리 장치(100)는 상기 제1 관심영역에서 홀 영역을 추출하고(S804), 상기 추출된 홀 영역과 동일한 홀 마스크(hole mask)를 원 영상에 생성한다(S806).
상기 S806의 수행 후, 사용자가 상기 원 영상에서 상기 홀 마스크를 이동시키면 영상 처리 장치(100)는 상기 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채운다(S808).
원 영상에 홀 마스크를 생성하고, 상기 생성된 홀 마스크를 이용하여 렌더링된 영상의 홀을 채우는 방법에 대해 도 9를 예로 들어 설명하기로 한다.
도 9의 (a)는 렌더링된 영상에서 관심영역을 지정하고, 관심영역으로부터 홀(902)을 추출하여 홀(902)에 대응되는 원 영상의 홀 마스크(912)를 생성하는 과정을 설명하기 위한 도면이고, 도 9의 (b)는 원 영상의 홀 마스크(912)를 이동시켜 렌더링된 영상의 홀(902)을 채우는 방법을 설명하기 위한 도면이다.
도 9의 (a)를 참조하면, 사용자가 리터치 모드에서 렌더링된 영상(900)을 로딩(loading)하고, 상기 렌더링된 영상(900)에서 제1 관심영역(904)을 지정하면, 제1 관심영역(904)에서 추출된 홀(502)에 대응되는 홀 마스크(912)가 원 영상(910)에 생성된다.
사용자는 마우스의 버튼클릭(예를 들면, 마우스의 좌 버튼 클릭을 이용하여 제1 관심영역을 지정을 시작하고, 마우스의 우 버튼 클릭으로 제1관심영역 지정을 마무리함)을 이용하여 렌더링된 영상(900)에서 제1 관심영역(904)를 지정할 수 있다.
앞서 상세히 설명한 바와 같이, 홀(902)은 alpha-map을 이용하여 제1 관심영역(904)에서 추출될 수 있다.
원 영상의 홀 마스크(912)는 렌더링된 영상(900)에서 검출된 홀(902)에 대응되도록 생성되므로, 홀(902)과 홀 마스크(912)의 좌표는 동일하고, 홀(902)과 홀 마스크(912)의 모양은 동일하다.
도 9의 (b)를 참조하면, 사용자가 마우스의 버튼 클릭(예를 들면, 마우스의 좌 버튼을 클릭함)을 이용하여 원 영상(910)에서 홀 마스크(912)를 선택하여 이동할 수 있고, 홀 마스크(910)가 이동한 영역의 픽셀들은 실시간 복사되어 렌더링된 영상(930)의 대응되는 좌표에 채워진다.
다시 말하면, 원 영상(910)에서 홀 마스크(912)를 이동시키면, 홀 마스크(912)의 좌표가 변화되며, 홀 마스크(912)가 이동된 좌표 영역(이전 좌표 영역)의 픽셀값들이 실시간으로 복사되고, 그 복사된 픽셀값들이 실시간으로 상기 렌더링된 영상(900)의 동일한 좌표에 적용된다.
홀 마스크(912)와 홀(902)은 동일한 모양 및 동일한 좌표를 가지므로, 홀 마스크(912) 좌표 및 모양을 참조하여 채우려는 홀(902)의 크기만큼 홀 마스크(912)를 이동시키면 홀 마스크(912)가 이동된 좌표 영역의 픽셀값들이 대응되는 홀(902)의 좌표 영역에 복사되어 채워지게 된다.
상기 S808이 수행된 후, 상기 사용자가 홀이 채워진 영상에서 제2 관심영역을 지정하면(S810), 영상 처리 장치(100)는 상기 제2 관심영역에 대한 마스크를 생성한다(S812). 이때, 사용자는 상기 제2 관심영역을 자신이 의도한 모양대로 지정할 수 있다.
그런 다음 사용자가 상기 생성된 마스크를 이동시키면, 영상 처리 장치(100)는 상기 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채운다(S814).
사용자가 렌더링된 영상에서 제2 관심영역을 지정하여 홀을 채우는 방법에 대해 도 10을 예로 들어 설명하기로 한다.
도 10의 (a)를 참조하면, 사용자가 리터치 모드에서 렌더링된 영상(1000)을 로딩(loading)한 후, 상기 렌더링된 영상(1000)에서 홀(1002)을 채우기 위해 제2 관심 영역(1004)을 지정하면, 제2 관심영역(1004)에 대한 마스크가 생성된다.
여기서, 제2 관심영역(1004)과 마스크는 동일한 좌표와 모양을 가지며, 제2 관심영역(1004)은 특정 영역을 표현하기 위하여 사용한 것이고, 마스크는 제2 관심영역(1004)과 동일한 의미로 사용되며, 관심영역(604)의 정보(좌표, 모양, 픽셀 등)를 더 포함하는 용어를 표현하기 위하여 구분하여 사용한 것으로, 마스크와 제2 관심영역(1004)은 동일한 도면 부호를 갖는다.
사용자는 마우스의 버튼클릭(예를 들면, 마우스의 좌 버튼 클릭을 이용하여 제2 관심영역을 지정을 시작하고, 마우스의 우 버튼 클릭으로 제2관심영역 지정을 마무리함)을 이용하여 자신이 원하는 모양의 제2 관심영역(1004)을 렌더링된 영상(1000)에서 지정한다.
이때, 사용자는 홀(1002) 부분과 비슷한 픽셀값을 갖는 부분을 제2 관심영역(1004)으로 지정하여 지정된 제2 관심영역(1004)을 마스크로 생성한다.
그런 다음 사용자가 Ctrl 버튼을 누르고 마우스의 좌 버튼을 클릭하여 생성된 마스크(1004)를 선택한 후, 선택된 마스크(1004)를 홀(1002) 부분까지 이동시키면, 선택된 마스크(1004)에 포함되는 픽셀들이 복사되어 홀(1002) 부분에 적용되어 홀(1002)을 채우게 된다.
즉, 마스크를 이동시켜 홀(1002)을 채우는 원리는 홀(1002)의 픽셀값들을 제2 관심영역(1004)의 픽셀값들로 변경하는 원리를 이용한 것이다.
상기와 같은 과정을 통해 홀(1002)이 잘 채워졌다고 판단되면, 사용자는 Ctrl 버튼 누름을 해제하고, 수정이 더 필요하다면 Ctrl 버튼을 다시 눌러 제2 관심영역(1004)을 보이게 한 다음 마우스의 좌 버튼 클릭을 이용하여 원하는 부분까지 다시 이동시켜 홀을 채울 수 있다. 그러면, 도 10의 (b)와 같이 홀이 없는 렌더링된 영상(1010)이 생성된다.
여기에서는 렌더링된 영상을 로딩하여 홀을 채우는 것으로 설명하였으나, S808에 의해 홀이 채워진 영상에 남아있는 홀을 채우기 위해서도 동일하게 적용할 수 있다.
상기와 같은 과정을 통해 상기 렌더링된 영상의 홀이 채워지긴 했지만, 홀의 윤곽부분(edge)이 어색하게 남아 있을 수 있다. 따라서, 영상 처리 장치(100)는 어색하게 남아있는 부분을 부드럽게 처리하기 위해 픽셀 보간 작업을 수행하게 된다.
상기 S814의 수행 후, 상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정되면(S816), 영상 처리 장치(100)는 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간한다(S818).
즉, 사용자는 홀이 채워진 영상에서 보간을 원하는 영역을 페인트칠을 통해 지정한다. 상기 페인트칠을 통해 보간을 원하는 영역을 지정한다는 것은 도 11과 같이 사용자가 편집 도구 중에서 브러시를 이용하여 보간을 원하는 영역(1110)을 지정하는 것을 말한다. 이때, 상기 사용자는 편집도구 중에서 브러시를 선택하고, 마우스의 좌 버튼을 클릭하여 보간을 원하는 영역(1110)을 지정한다.
그러면, 영상 처리 장치(100)는 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하고, 상기 보간으로 홀(hole) 윤곽부분의 어색한 부분이 부드럽게 된다.
상기 S818의 수행으로 보간된 영상에서 사용자가 보간을 원하는 스탬프(stamp) 영역을 지정하면(S820), 영상 처리 장치(100)는 circle mask를 생성한다(S822).
사용자가 상기 circle mask를 다른 영역에 복사하면, 영상 처리 장치(100)는 상기 다른 영역의 픽셀값들을 상기 circle mask의 픽셀값으로 변경하여 다른 영역들을 보간한다(S822).
즉, 사용자가 상기 보간된 영상에서 관심영역을 도 12와 같이 circle(1210)로 지정하면, 영상 처리 장치(100)는 상기 지정된 circle을 circle mask로 생성한다. 이때, 사용자는 어색한 부분과 가장 비슷한 픽셀값을 가지는 부분을 찾아 마우스 좌 버튼 클릭을 이용하여 circle(1210)을 지정하고, 마우스의 우 버튼 클릭으로 circle(1210)의 지정을 마무리한다. 상기와 같이 사용자가 circle(1210)을 지정하면, 영상 처리 장치(100)는 상기 지정된 circle을 circle mask로 생성한다.
그런 다음 사용자가 상기 생성된 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 영상 처리 장치(100)는 복사된 영역의 픽셀 값들을 상기 circle mask의 픽셀 값들로 변경한다. 이때, 영상 처리 장치(100)는 상기 circle mask의 윤곽부분을 blur기법을 통하여 처리한다.
본 발명의 다른 실시예에 따르면, 상기 S818에 의한 영상 보간이 만족스러운 경우, 상기 S818 이후의 과정은 생략 가능하다.
또한, 본 발명의 다른 실시예에 따르면, 상기 S814의 수행 후, 상기 홀(hole)이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 영상 처리 장치(100)는 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간한다. 그런 다음 영상 처리 장치(100)는 상기 보간된 영상에서 페인트칠을 통해 보간할 영역이 지정되면, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 상기 S814의 수행 후, 영상 처리 장치(100)는 상기 홀(hole)이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정되면, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간한다. 그런 다음 영상 처리 장치(100)는 상기와 같은 스탬프 작업에 의한 영상의 보간이 만족스러운 경우 페인트칠을 통한 보간 작업을 생략할 수 있다.
본 발명에 따른 영상 처리 장치는 개인용 컴퓨터, 태블릿 PC, 노트북, 휴대폰, 스마트폰 등의 형태로도 구현 가능하고, 본 발명에 따른 영상 처리 방법은 이들 장치에 구비된 하나 혹은 그 이상의 코어로 이루어진 프로세서에 의하여 실행 가능할 수 있다.
본 발명의 또 다른 측면에 따르면, (a) 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계, (b) 상기 홀이 채워진 영상에서 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 단계를 포함하는 영상 복원 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공될 수 있다.
본 발명의 또 다른 측면에 따르면, 상기 2차원의 입력 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 단계, 상기 특성 정보를 기초로 상기 입력 영상에 대한 깊이 맵을 생성하는 단계, 상기 깊이 맵을 이용하여 상기 입력 영상을 3차원의 입체 영상으로 렌더링하는 단계, 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 단계를 포함하는 영상 변환 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공될 수 있다.
영상 처리 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다.
또한, 영상 처리 시 영상 복원 또는 영상 변환에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행됨으로써 렌더링된 영상의 홀을 제거하고 이미지를 복원하는 영상 처리 방법을 제공할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 영상물의 입체 변환 과정에서 생성된 렌더링된 영상의 홀을 부드럽고 어색하지 않게 채워, 홀이 없었던 것처럼 영상을 복원할 수 있도록 하는 영상 처리 장치 및 방법에 적용될 수 있다.
또한, 본 발명은 2차원 영상에서 특정 객체를 선택하여 해당 객체의 깊이정보를 조절하고 깊이정보가 조절된 객체의 3차원 렌더링 영상을 실시간으로 확인할 수 있도록 함으로써, 깊이정보 조절에 따른 렌더링 결과를 실시간 확인하여 적절한 깊이정보를 용이하게 입력할 수 있고 깊이정보 수정에 따른 작업 시간을 단축시키는 한편 변환된 3차원 영상의 품질을 향상시킬 수 있는 영상 처리 장치와 방법 및 그에 대한 기록매체를 제공하는 데에 이용할 수 있다.

Claims (26)

  1. 입력된 2차원 영상을 분석하여 적어도 하나의 특성 정보를 추출하는 영상 분석부;
    상기 2차원 영상에서 선택된 객체에 Z 컨트롤 포인트를 설정하고 상기 선택된 객체의 깊이정보를 확인하며 상기 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 상기 선택된 객체의 깊이정보를 수정하는 사용자 인터페이스부;
    상기 특성 정보를 기초로 상기 2차원 영상에 대한 깊이 맵을 생성하고, 상기 사용자 인터페이스부를 통해 상기 객체의 깊이정보가 수정된 경우 이전의 깊이 맵에서 상기 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 깊이 맵 생성부;
    상기 깊이 맵에 따라 상기 2차원 영상을 3차원 영상으로 렌더링하고, 상기 수정된 깊이 맵이 생성된 경우 상기 3차원 영상에 상기 수정된 깊이정보를 실시간으로 반영하여 상기 객체의 깊이정보가 수정된 3차원 영상을 렌더링하는 3차원 영상 렌더링부;
    상기 렌더링된 3차원 영상을 디스플레이하는 디스플레이부;
    상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채운 후, 픽셀 보간 작업을 수행하여 상기 렌더링된 영상을 복원하는 영상 복원부; 및
    상기 2차원 영상에서 상기 사용자 인터페이스부를 통해 수정되는 깊이정보를 상기 깊이 맵 생성부로 실시간 전달하고 상기 깊이 맵 생성부에서 생성된 수정된 깊이 맵을 상기 3차원 영상 렌더링부에 실시간 전달하여 상기 깊이정보가 수정된 3차원 영상이 디스플레이 되도록 제어하는 영상 제어부를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 특성정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보, 히스토그램(histogram) 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 사용자 인터페이스부는 사용자의 선택에 따라 적어도 둘 이상의 객체를 선택하고, 상기 선택된 둘 이상의 객체의 깊이정보를 가상의 3차원 입체 공간상에 투영하여 세로축으로 정렬하고, 정렬된 상기 가상의 3차원 입체 공간상에 투영된 객체의 깊이정보를 비교하며 상기 선택된 객체의 깊이정보를 수정하고,
    상기 깊이 맵 생성부는 상기 둘 이상의 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 것을 특징으로 하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 영상 제어부는, 상기 사용자 인터페이스부를 통해 상기 2차원 영상의 깊이정보를 수정하고, 상기 디스플레이부를 통해 상기 2차원 영상을 렌더링한 3차원 영상이 한 화면상에 표시되도록 제어하는 것을 특징으로 하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 3차원 영상 렌더링부는, 상기 깊이 맵에 기초하여 상기 2차원 영상에 대해 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 생성하고 서로 다른 시차 정보를 가진 좌측 영상과 우측 영상을 조합하여 상기 3차원 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 깊이 맵 생성부는,
    상기 사용자 인터페이스부에서 선택된 객체정보를 추출하는 객체정보 추출모듈;
    상기 Z 컨트롤 포인트의 Z값에 따라 상기 객체의 깊이정보를 설정하는 깊이정보 설정모듈;
    상기 Z 컨트롤 포인트의 변화에 따라 해당 객체의 수정된 깊이정보를 인식하는 깊이정보 수정모듈; 및
    상기 깊이정보 설정모듈에서 인식된 깊이정보에 기초하여 깊이 맵을 생성하고, 상기 깊이정보 수정모듈에서 입력된 수정된 깊이정보를 상기 생성된 깊이 맵에 반영하여 수정된 깊이 맵을 생성하는 깊이 맵 생성모듈을 포함하는 것을 특징으로 하는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 영상 복원부는, 상기 렌더링된 영상에서 사용자로부터 관심영역을 지정받으면, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀(hole)을 채우는 관심영역 설정 및 처리부; 및
    상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 픽셀 보간 처리부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 관심영역 설정 및 처리부는,
    상기 렌더링된 영상에서 사용자로부터 제1 관심영역을 지정받으면, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역과 동일한 홀 마스크(hole mask)를 원 영상에 생성한 후, 상기 원 영상에서 홀 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 홀 마스크 처리 모듈을 포함하는 것을 특징으로 하는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 관심영역 설정 및 처리부는 상기 홀 마스크 처리 모듈에 의해 홀이 채워진 영상에서 제2 관심영역을 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크의 이동에 의해 픽셀을 복사하여 상기 홀을 채우는 마스크 처리 모듈을 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  10. 제8항에 있어서,
    상기 홀 마스크 처리 모듈은 영상의 렌더링 시 생성된 홀에 대한 알파 맵(alpha-map)을 이용하여 상기 제1 관심영역에서 홀 영역을 추출하는 것을 특징으로 하는 영상 처리 장치.
  11. 제8항에 있어서,
    상기 홀 마스크 처리 모듈에서 생성된 홀 마스크의 좌표는 상기 렌더링된 영상에서 검출된 홀의 좌표와 동일하여, 상기 홀 마스크가 이동된 경우 상기 홀 마스크에 해당하는 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채우는 것을 특징으로 하는 영상 처리 장치.
  12. 제9항에 있어서,
    상기 마스크 처리 모듈은 상기 홀이 채워진 영상에서 홀과 비슷한 패턴을 제2 관심영역으로 지정받으면, 상기 제2 관심영역에 대한 마스크를 생성하고, 상기 생성된 마스크가 다른 영역으로 이동된 경우, 상기 마스크에 포함되는 픽셀들을 복사하여 상기 이동시킨 영역을 채우는 것을 특징으로 하는 영상 처리 장치.
  13. 제7항에 있어서,
    상기 픽셀 보간 처리부는
    상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈을 포함하는 것을 특징으로 하는 영상 처리 장치.
  14. 제7항에 있어서,
    상기 픽셀 보간 처리부는
    상기 홀이 채워진 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함하는 것을 특징으로 하는 영상 처리 장치.
  15. 제7항에 있어서,
    상기 픽셀 보간 처리부는
    상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하는 in-paint 작업 처리 모듈; 및 상기 in-paint 작업 처리 모듈에 의해 보간된 영상에서 사용자로부터 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역을 다른 영역에 복사하여 다른 영역들을 보간하는 stamp 작업 처리 모듈을 포함하되,
    상기 in-paint 작업 처리 모듈과 상기 stamp 작업 처리 모듈의 동작 순서는 변경 가능한 것을 특징으로 하는 영상 처리 장치.
  16. 제14항 또는 제15항에 있어서,
    상기 stamp 작업 처리 모듈은 홀이 채워진 영상 또는 in-paint 작업 처리 모듈에 의해 보간된 영상에서 관심영역이 circle로 지정된 경우, 상기 지정된 circle을 circle mask로 생성하고, 상기 circle mask를 원하는 영역에 복사하여 붙여 넣으면, 상기 복사된 영역의 픽셀 값들을 상기 circle mask의 픽셀 값들로 변경하는 것을 특징으로 하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 stamp 작업 처리 모듈은 상기 circle mask의 윤곽부분을 블러(blur)를 적용하여 부드럽게 처리하는 것을 특징으로 하는 영상 처리 장치.
  18. (A)2차원 영상의 깊이 맵을 생성하는 단계;
    (B)상기 깊이 맵에 따라 3차원 영상을 렌더링하여 표시하는 단계;
    (C)상기 2차원 영상에서 특정 객체를 정의한 객체정보를 입력받는 단계;
    (D)상기 선택된 객체에 Z 컨트롤 포인트를 설정하고 상기 선택된 객체의 깊이정보를 확인하며 상기 Z 컨트롤 포인트를 Z축 방향으로 이동시켜 표시하는 단계;
    (E)상기 이동시켜 표시한 Z 컨트롤 포인트의 Z값에 따라 상기 객체의 수정된 깊이정보를 실시간 인식하는 단계;
    (F)상기 객체의 수정된 깊이정보에 따라 이전의 깊이 맵에서 상기 객체의 수정된 깊이정보를 실시간으로 반영하여 수정된 깊이 맵을 생성하는 단계; 및
    (G)상기 수정된 깊이 맵에 기초하여 상기 객체의 깊이정보가 수정된 3차원 영상을 렌더링하여 표시하는 단계를 포함하는 영상 처리 방법.
  19. 제18항에 있어서,
    상기 (D) 단계는, 상기 선택된 객체의 영역에 Z 컨트롤 포인트를 설정하고, 상기 Z 컨트롤 포인트가 Z축 방향으로 이동된 경우, 상기 이동된 Z 컨트롤 포인트를 포함하는 평면에 상기 객체를 투영하여 표시하는 것을 특징으로 하는 영상 처리 방법.
  20. 제18항에 있어서,
    상기 (E) 단계는, 상기 Z 컨트롤 포인트의 Z 값의 변화에 따라 상기 객체의 수정된 깊이정보를 인식하는 것을 특징으로 하는 영상 처리 방법.
  21. 제18항에 있어서,
    상기 (G) 단계는, 상기 2차원 영상, 및 상기 2차원 영상의 수정된 깊이 맵과, 상기 2차원 영상을 렌더링한 3차원 영상을 한 화면에 표시하는 것을 특징으로 하는 영상 처리 방법.
  22. 제18항에 있어서,
    상기 2차원 영상에서 둘 이상의 객체를 선택하여 깊이정보를 수정하는 경우, 상기 (C) 단계 내지 상기 (F) 단계를 반복한 후, 선택된 모든 객체의 수정된 깊이정보가 반영된 깊이 맵이 생성되면, 상기 (G) 단계를 수행하는 것을 특징으로 하는 영상 처리 방법.
  23. (a) 입력받은 2차원 영상을 분석하여 적어도 하나의 특성정보를 추출하는 단계;
    (b) 상기 특성정보를 기초로 상기 2차원 영상에 대한 깊이 맵을 생성하는 단계;
    (c) 상기 깊이 맵을 이용하여 상기 2차원 영상을 3차원 입체 영상으로 렌더링하는 단계;
    (d) 상기 렌더링된 영상에서 관심영역이 지정된 경우, 상기 관심영역에 대한 홀 마스크 또는 마스크를 생성하고, 상기 생성된 홀 마스크 또는 마스크의 이동에 의해 픽셀을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계; 및
    (e) 상기 홀이 채워진 영상의 홀 윤곽에 대해 픽셀 보간 작업을 수행하여 상기 렌더링된 이미지를 복원하는 단계;
    를 포함하는 영상 처리 방법.
  24. 제23항에 있어서,
    상기 (d) 단계는,
    상기 렌더링된 영상에서 제1 관심영역이 지정된 경우, 상기 제1 관심영역에서 홀 영역을 추출하고, 상기 추출된 홀 영역과 동일한 홀 마스크를 원 영상에서 생성하는 단계; 및
    상기 원 영상에서 상기 홀 마스크가 이동된 경우, 상기 홀 마스크의 이동에 의한 픽셀들을 복사하여 상기 렌더링된 영상의 홀을 채우는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  25. 제24항에 있어서,
    상기 홀이 채워진 영상에서 제2 관심영역이 지정된 경우, 상기 제2 관심영역에 대한 마스크를 생성하는 단계; 및
    상기 생성된 마스크가 이동된 경우, 상기 마스크에 해당하는 픽셀들을 복사하여 상기 이동된 영역의 홀을 채우는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  26. 제23항에 있어서,
    상기 (e) 단계는,
    상기 홀이 채워진 영상에서 페인트칠을 통해 보간할 영역이 지정된 경우, 상기 지정된 영역의 주위 픽셀들의 값을 참조하여 상기 지정된 영역을 보간하여 상기 렌더링된 이미지를 복원하거나,
    상기 홀이 채워진 영상에서 스탬프(stamp) 영역이 지정된 경우, 상기 스탬프 영역에 대한 circle mask를 생성하고, 상기 circle mask가 다른 영역에 복사된 경우, 상기 다른 영역의 픽셀값들을 상기 circle mask의 픽셀값으로 변경하여 다른 영역들을 보간하여 상기 렌더링된 이미지를 복원하는 것을 특징으로 하는 영상 처리 방법.
PCT/KR2012/009024 2012-02-01 2012-10-31 영상 처리 장치 및 방법 WO2013115463A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020120010211A KR101319260B1 (ko) 2012-02-01 2012-02-01 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법
KR10-2012-0010215 2012-02-01
KR1020120010215A KR101285111B1 (ko) 2012-02-01 2012-02-01 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법
KR10-2012-0010211 2012-02-01

Publications (1)

Publication Number Publication Date
WO2013115463A1 true WO2013115463A1 (ko) 2013-08-08

Family

ID=48905471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/009024 WO2013115463A1 (ko) 2012-02-01 2012-10-31 영상 처리 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2013115463A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671995A (zh) * 2014-10-31 2021-04-16 微软技术许可有限责任公司 视频通话期间实现的方法、用户终端及可读存储介质
CN113643414A (zh) * 2020-05-11 2021-11-12 北京达佳互联信息技术有限公司 一种三维图像生成方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103616A1 (en) * 2007-10-19 2009-04-23 Gwangju Institute Of Science And Technology Method and device for generating depth image using reference image, method for encoding/decoding depth image, encoder or decoder for the same, and recording medium recording image generated using the method
US20100141757A1 (en) * 2008-12-04 2010-06-10 Samsung Electronics Co., Ltd Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video
KR20110060180A (ko) * 2009-11-30 2011-06-08 한국전자통신연구원 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
KR20110134142A (ko) * 2010-06-08 2011-12-14 에스케이플래닛 주식회사 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103616A1 (en) * 2007-10-19 2009-04-23 Gwangju Institute Of Science And Technology Method and device for generating depth image using reference image, method for encoding/decoding depth image, encoder or decoder for the same, and recording medium recording image generated using the method
US20100141757A1 (en) * 2008-12-04 2010-06-10 Samsung Electronics Co., Ltd Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video
KR20110060180A (ko) * 2009-11-30 2011-06-08 한국전자통신연구원 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
KR20110134142A (ko) * 2010-06-08 2011-12-14 에스케이플래닛 주식회사 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671995A (zh) * 2014-10-31 2021-04-16 微软技术许可有限责任公司 视频通话期间实现的方法、用户终端及可读存储介质
CN113643414A (zh) * 2020-05-11 2021-11-12 北京达佳互联信息技术有限公司 一种三维图像生成方法、装置、电子设备及存储介质
CN113643414B (zh) * 2020-05-11 2024-02-06 北京达佳互联信息技术有限公司 一种三维图像生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
WO2018088742A1 (en) Display apparatus and control method thereof
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2015194867A1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10672143B2 (en) Image processing method for generating training data
WO2015194865A1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2015188685A1 (zh) 基于深度相机的人体模型获取方法及网络虚拟试衣系统
WO2021242050A1 (ko) 구강 이미지의 처리 방법, 그에 따른 동작을 수행하는 구강 진단 장치, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2018093100A1 (en) Electronic apparatus and method for processing image thereof
WO2013105720A1 (ko) 3차원 입체영상의 품질 분석 장치 및 방법
JP2011145765A (ja) 画像処理装置、画像表示システム、及び画像処理方法
WO2023277253A1 (en) Automatic representation switching based on depth camera field of view
WO2017026705A1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
WO2021133053A1 (ko) 전자 장치 및 그의 제어 방법
WO2013115463A1 (ko) 영상 처리 장치 및 방법
WO2016080653A1 (en) Method and apparatus for image processing
WO2023282614A1 (ko) 텍스처 영상 생성 방법 및 장치
WO2022092627A1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
WO2018070793A1 (en) Method, apparatus, and recording medium for processing image
JP2021174059A (ja) 推定装置、学習装置、教師データ作成装置、推定方法、学習方法、教師データ作成方法、及びプログラム
JP6549764B1 (ja) 画像投影システム、画像投影方法、及びプログラム
WO2020091347A1 (ko) 3차원 깊이 측정 장치 및 방법
WO2021145713A1 (ko) 가상 모델 생성 장치 및 방법
KR101319260B1 (ko) 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법
JP6835455B2 (ja) 時系列の奥行き画像におけるデプス値を補正するプログラム、装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12867006

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12867006

Country of ref document: EP

Kind code of ref document: A1