[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019186787A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2019186787A1
WO2019186787A1 PCT/JP2018/012852 JP2018012852W WO2019186787A1 WO 2019186787 A1 WO2019186787 A1 WO 2019186787A1 JP 2018012852 W JP2018012852 W JP 2018012852W WO 2019186787 A1 WO2019186787 A1 WO 2019186787A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
background
dimensional
unit
real object
Prior art date
Application number
PCT/JP2018/012852
Other languages
English (en)
French (fr)
Inventor
司 深澤
浩平 岡原
古木　一朗
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201880091553.9A priority Critical patent/CN111886624A/zh
Priority to JP2018540890A priority patent/JP6513300B1/ja
Priority to GB2014492.9A priority patent/GB2586712B/en
Priority to PCT/JP2018/012852 priority patent/WO2019186787A1/ja
Publication of WO2019186787A1 publication Critical patent/WO2019186787A1/ja
Priority to US17/028,508 priority patent/US11403742B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Definitions

  • the present invention relates to an image processing device that generates an overhead view composite image from a plurality of captured images, and an image processing method and an image processing program that are used to generate an overhead view composite image from a plurality of captured images.
  • Patent Document 1 discloses a three-dimensional object image out of two bird's-eye view images whose viewpoints are converted based on a boundary position that divides a common imaging region between two captured images and a position of a three-dimensional object in the common imaging region. The technology which selects the bird's-eye view image with small distortion of the image and generates the bird's-eye view composite image using the selected bird's-eye view image is described.
  • Japanese Patent No. 6239205 (for example, claim 1, FIG. 3)
  • a bird's-eye view composite image is generated using a bird's-eye view image with a small distortion of the image of the three-dimensional object.
  • the present invention has been made to solve the above-described problem, and an image processing apparatus capable of generating a bird's-eye synthesized image that does not give the viewer a sense of incongruity, and a bird's-eye synthesized image that does not give the viewer a sense of incongruity.
  • An object of the present invention is to provide an image processing method and an image processing program that are used to perform the above processing.
  • An image processing apparatus provides a foreground image portion in which each of a plurality of captured images is occupied by a real object that is a three-dimensional object that exists in a common shooting target area of the plurality of captured images, and the foreground image.
  • An image dividing unit that divides the image into a background image portion other than the portion, and a reference image portion that is a part of a reference image that has been acquired in advance is pasted on the foreground image portion region to complement the background image portion.
  • a background complement unit that generates a plurality of complemented background image parts, and a bird's-eye conversion that changes a viewpoint position of the plurality of complemented background image parts, and combines the background image parts that have been bird's-eye transformed
  • a background image composition unit that generates a background bird's-eye view composite image
  • a three-dimensional object recognition unit that recognizes the real object and obtains posture information of the real object, and the posture information
  • a three-dimensional object projection and projection unit that acquires a three-dimensional virtual object corresponding to the real object, and a three-dimensional space superimposing unit that generates a three-dimensional space image by superimposing the three-dimensional virtual object on the background bird's-eye view synthesized image
  • a display image output unit for generating and outputting an overhead view composite image that is an image of the three-dimensional space image as viewed from above.
  • An image processing method provides a foreground image portion in which each of a plurality of captured images is occupied by a real object that is a three-dimensional object that exists in a common shooting target area of the plurality of captured images, and the foreground.
  • the present invention it is possible to generate a bird's-eye synthesized image that hardly gives a sense of discomfort to a viewer from a plurality of captured images.
  • FIG. 1 is a functional block diagram illustrating an image processing apparatus according to an embodiment.
  • 1 is a diagram schematically illustrating a configuration example of an image processing system including an image processing device, two imaging devices, and a display device according to the present embodiment.
  • It is a flowchart which shows the process which the solid-object extraction part of the image processing apparatus which concerns on embodiment performs.
  • (A) And (b) is explanatory drawing which shows the example of the foreground image part extracted from each of the captured images by the solid-object extraction part, the background image part, and foreground image photography information. It is a flowchart which shows the process which the background complement part of the image processing apparatus which concerns on embodiment performs.
  • (A) to (e) is explanatory drawing which shows the process which a background complement part performs. It is a flowchart which shows the process which the background image synthetic
  • (A) to (c) is an explanatory diagram showing processing performed by the background image composition unit. It is a flowchart which shows the process which the solid-object recognition part of the image processing apparatus which concerns on embodiment performs. It is a flowchart which shows the process which the solid object projection projection part of the image processing apparatus which concerns on embodiment performs. It is explanatory drawing which shows the process which a solid object projection projection part performs.
  • FIG. 1 is a diagram showing a hardware configuration of an image processing apparatus 10 according to an embodiment of the present invention.
  • the image processing apparatus 10 is an apparatus that can perform the image processing method according to the present embodiment.
  • the image processing apparatus 10 is, for example, a computer.
  • the image processing apparatus 10 includes a processor 11 that is an information processing unit, a memory 12, a storage device 13, and an image input interface 14 that receives captured image data (also simply referred to as “captured image”). And a display device interface 15 for outputting display image data.
  • the memory 12 and the storage device 13 are also referred to as a storage unit 16.
  • the processor 11 performs various arithmetic processes and various control processes for hardware.
  • the memory 12 is a main storage device.
  • the memory 12 is, for example, a RAM (Random Access Memory).
  • the storage device 13 is an auxiliary storage device.
  • the storage device 13 is, for example, a hard disk device or an SSD (Solid State Drive).
  • the image input interface 14 is a device for capturing a plurality of video signals provided from a plurality of imaging devices, that is, a plurality of captured images, into the image processing device 10.
  • the display device interface 15 is a device for transmitting a display image to a display device such as a display.
  • each of the imaging devices 20a and 20b has a function of capturing an image.
  • Each of the imaging devices 20a and 20b is a camera device (also simply referred to as “camera”) provided with an imaging element and a lens such as a CCD (Charged-Coupled Device) or a CMOS (Complementary Metal-Oxide-Semiconductor).
  • the imaging devices 20a and 20b are desirably camera devices having the same structure.
  • the imaging device 20a images the first imaging target area.
  • the imaging device 20b images the second imaging target area.
  • the first imaging target area and the second imaging target area partially overlap and have a common imaging target area part.
  • the imaging devices 20a and 20b may be connected to the image input interface 14 of the image processing device 10 by wire or may be connected wirelessly.
  • the imaging devices 20a and 20b and the image input interface 14 communicate with each other via, for example, an IP (Internet Protocol) network or a coaxial cable.
  • IP Internet Protocol
  • the connection method and communication method between the imaging devices 20a and 20b and the image input interface 14 are not limited to a specific method.
  • the image input interface 14 has a function of receiving two (that is, two screens) captured images 100a and 100b provided from the imaging devices 20a and 20b simultaneously (that is, in parallel).
  • the two captured images 100 a and 100 b provided from the imaging devices 20 a and 20 b are taken into the image processing device 10 via the image input interface 14 and stored in the memory 12.
  • the two captured images 100a and 100b captured by the image processing apparatus 10 are converted into two overhead image data (also simply referred to as “overhead images”) that are images having viewpoints above each of the imaging target regions, Thereafter, the two overhead images are combined.
  • the conversion process for generating an overhead image is a “viewpoint conversion process”.
  • viewpoint conversion processing for generating an overhead image is referred to as “overhead conversion processing”.
  • the processor 11 reads and executes an image processing program stored in the memory 12 or the storage device 13, thereby performing viewpoint conversion processing and composition processing.
  • Display image data (simply referred to as “display image”), which is overhead view composite image data (also simply referred to as “overhead composite image”) generated by the viewpoint conversion process and the synthesis process, is displayed on the display device interface 15 or the like. Sent to display device.
  • FIG. 2 is a functional block diagram showing the image processing apparatus 10 according to the present embodiment.
  • the image processing device 10 receives the captured images 100a and 100b from the imaging devices 20a and 20b, respectively, and outputs a bird's-eye synthesized image generated from the bird's-eye view image in the imaging target region as a display image.
  • the image processing apparatus 10 extracts a three-dimensional object (also referred to as a “real object”) that is a real object from each of the captured images 100a and 100b, thereby converting each of the captured images 100a and 100b into foreground image partial data (“ It has a three-dimensional object extraction unit 1 as an image dividing unit that divides into foreground image portions ”and background image portion data (also referred to as“ background image portions ”).
  • a three-dimensional object extraction unit 1 as an image dividing unit that divides into foreground image portions ”and background image portion data (also referred to as“ background image portions ”).
  • the image processing apparatus 10 includes the captured images 100a and 100b (also referred to as “reference image data” or “reference image”) acquired in the past with respect to the region where the three-dimensional object is extracted in each of the captured images 100a and 100b.
  • a background complement unit 2 for pasting a part of the background image portion is provided.
  • the background image portion of the reference image is also referred to as “reference image portion data” or “reference image portion”.
  • the image processing apparatus 10 also includes a background image synthesis unit 3 that synthesizes the background image portion of the captured image 100a and the background image portion of the captured image 100b.
  • the image processing apparatus 10 corresponds to the three-dimensional object recognition unit 4 that recognizes a real object that is a three-dimensional object extracted as a foreground image part, and the foreground image part occupied by the extracted real object (that is, a three-dimensional object).
  • a three-dimensional object projection projecting unit 5 that projects and projects the selected three-dimensional virtual object.
  • the three-dimensional virtual object displays three-dimensional image data for displaying a virtual three-dimensional object stored in advance in the storage unit 16 or a virtual three-dimensional object having a size corresponding to the three-dimensional object. Is the three-dimensional image data generated.
  • the image processing apparatus 10 also arranges (that is, superimposes) a three-dimensional space object on a background image portion formed in a virtual three-dimensional space by the background image composition unit 3;
  • a display image output unit that outputs a bird's-eye view composite image formed by superimposing a three-dimensional virtual object on the background image portion as a display image;
  • FIG. 3 is a diagram schematically illustrating a configuration example of an image processing system including the image processing apparatus 10 according to the present embodiment, the two imaging devices 20a and 20b, and the display device 30. is there.
  • the three-dimensional object extraction unit 1 detects a real object 40 that is a real three-dimensional object from each of the captured images 100a and 100b, and extracts a foreground image portion that is a portion corresponding to the real object 40 in the captured image.
  • Each of the images 100a and 100b is divided into a foreground image portion and a background image portion.
  • the real object 40 is, for example, a person, a vehicle, a product, or the like.
  • the three-dimensional object extraction unit 1 detects the real object 40, sets the detected real object 40 as a foreground image portion, and sets a portion other than the foreground image portion as a background image portion, thereby making each of the captured images 100a and 100b a foreground.
  • the background image portion of the captured image 100a is an image portion obtained by removing the area of the real object 40 that is a three-dimensional object from the captured image 100a.
  • the background image portion of the captured image 100b is an image portion obtained by removing the area of the real object 40 that is a three-dimensional object from the captured image 100b.
  • the background complementing unit 2 extracts and extracts the foreground image portion that is the area of the real object 40 from the reference image stored in the storage unit 16 as a past captured image (for example, an image captured by the same imaging device).
  • a past captured image for example, an image captured by the same imaging device.
  • the background image portion lacking the foreground image portion is complemented.
  • a background image portion is generated in which the area of the real object 40 is complemented by a part of the reference image (that is, the image data of the lacking portion is supplemented by the reference image portion data).
  • the background image composition unit 3 generates a background overhead view composite image 302 from the two background image parts complemented by the background complement unit 2.
  • each of the imaging devices 20a and 20b is calibrated in advance, and is acquired by the internal parameters, the external parameters, and the image processing device 10 of each of the imaging devices 20a and 20b. It is assumed that it has been.
  • the internal parameters include information indicating the focal length, the position and direction of the optical axis center of each of the imaging devices 20a and 20b.
  • the external parameter is information indicating the camera position and orientation, which is the position and orientation of each of the imaging devices 20a and 20b, and installation position (installation coordinate) information and installation orientation information (for example, yaw, roll, and the like) in the space to be imaged. Pitch information).
  • the background image synthesizing unit 3 uses the two background image parts complemented by the background complementing unit 2 and a look-up conversion process using a reference table including pixel data indicating the correspondence between the two background image parts and the overhead view synthesized image. And the synthesis process. The processing performed by the background image synthesis unit 3 will be described in detail with reference to FIGS. 8 and 9A to 9C described later.
  • the three-dimensional object recognition unit 4 first recognizes the real object 40 that is a three-dimensional object from the foreground image portion extracted from the captured image 100a and the foreground image portion extracted from the captured image 100b.
  • the real object 40 is, for example, a person, a vehicle, a product, or the like. However, the real object 40 is not limited to a person, a vehicle, or a product.
  • the three-dimensional object recognition unit 4 acquires posture information of the real object 40 from the foreground image portion extracted from the captured image 100a and the foreground image portion extracted from the captured image 100b, and identifies the real object 40.
  • the posture information of the real object 40 is obtained by converting pixel data of two-dimensional coordinates, which are foreground image portions extracted from the captured image 100a and foreground image portions extracted from the captured image 100b, into pixel data of three-dimensional coordinates. It is a table used at the time.
  • the posture information of the real object 40 may be obtained by image analysis in the foreground image portion, or may be obtained using a sensor that is a device different from the imaging devices 20a and 20b.
  • the acquisition method of the posture information of the real object 40 is not limited to a specific method. The process performed by the three-dimensional object recognition unit 4 will be described in detail with reference to FIG.
  • the three-dimensional object projection projection unit 5 acquires a three-dimensional virtual object 400 corresponding to the real object 40 recognized by the three-dimensional object recognition unit 4.
  • the three-dimensional virtual object 400 may be selected according to the real object 40 from a plurality of three-dimensional virtual objects stored in the storage unit 16 in advance, or generated using posture information. It may be. For example, when the real object 40 is a person, a three-dimensional virtual object having a shape representing a person is used. When the real object 40 is an animal, a three-dimensional virtual object having a shape representing an animal is used.
  • the three-dimensional object projection projection unit 5 performs projection projection on the three-dimensional virtual object corresponding to the foreground image portion extracted from the captured image 100a and the foreground image portion extracted from the captured image 100b by the three-dimensional object extraction unit 1.
  • a projected three-dimensional virtual object 400 is generated.
  • the three-dimensional object projection projection unit 5 has the shape of the three-dimensional virtual object 400 having a shape corresponding to the shape of the person seen from above at the position where the person as the real object 40 is extracted in the background overhead view composite image 302. Display the image superimposed.
  • the processing performed by the three-dimensional object projection projection unit 5 will be described in detail with reference to FIGS. 11 and 12 described later.
  • the processing performed by the three-dimensional space superimposing unit 6 will be described in detail with reference to FIGS. 13 and 14 described later.
  • the display image output unit 7 outputs, to the display device 30, a three-dimensional overhead view composite image in which the three-dimensional virtual object 400 is superimposed on the background overhead view composite image 302 as a display image.
  • the process performed by the display image output unit 7 will be described in detail with reference to FIG.
  • FIG. 4 is a flowchart illustrating processing performed by the three-dimensional object extraction unit 1 of the image processing apparatus 10.
  • FIG. 5A is an explanatory diagram illustrating an example of the foreground image portions 200a and 201a, the background image portion 300a, and the foreground image shooting information 500a and 501a extracted from the captured image 100a by the three-dimensional object extraction unit 1.
  • FIG. 5B is an explanatory diagram illustrating examples of the foreground image portions 200b and 201b, the background image portion 300b, and the foreground image shooting information 500b and 501b extracted from the captured image 100b by the three-dimensional object extraction unit 1.
  • FIGS. 5A and 5B show an example in which two foreground image portions and two foreground image shooting information are extracted from one captured image, but the number of foreground image portions is two. The number of foreground image shooting information is not limited to two.
  • the foreground image shooting information includes, for example, the position coordinates of the portion of the real object 40 closest to the imaging devices 20a and 20b, the resolution of the foreground image portion, the size of the real object 40, and the like.
  • the size of the real object 40 is represented, for example, by the coordinates of the four vertices of the rectangle when the real object 40 is enclosed in a rectangle (for example, circumscribed).
  • the information indicating the size of the real object 40 may be an information index other than the coordinates of the four vertices of the rectangle.
  • the three-dimensional object extraction unit 1 acquires a plurality of captured images 100a and 100b (step S10).
  • the three-dimensional object extraction unit 1 acquires RAW image data corresponding to the captured images 100a and 100b by decoding the captured images 100a and 100b.
  • RAW image data For example, from the imaging devices 20a and 20b, H.C.
  • the three-dimensional object extraction unit 1 performs H.264 on the captured images 100a and 100b.
  • RGBA Red Green Blue Alpha
  • the format of the image data acquired by the three-dimensional object extraction unit 1 is not limited to RGBA 32-bit RAW image data.
  • the three-dimensional object extraction unit 1 detects one or more real objects 40 that are three-dimensional objects such as a person, a vehicle, and a product from the acquired RAW image data (step S11).
  • the real object 40 is, for example, a person walking, a traveling vehicle, a product on a production line of a factory, or the like.
  • the real object 40 is not limited thereto, and may be another three-dimensional object such as an animal, a building, an obstacle, a factory facility, or a robot.
  • the three-dimensional object extraction unit 1 extracts the detected real object 40 from the RAW image data, and extracts the RAW image data from the foreground image portion that is a region portion where the real object 40 is imaged and other region portions. Is divided into background image portions (step S12).
  • the real object 40 is extracted by using, for example, an image segmentation technique for extracting a region of an image called a graph cut.
  • the three-dimensional object extraction unit 1 can divide the background image portion and the foreground image portion from each of the captured images 100a and 100b by using the graph cut.
  • the method of extracting the real object 40 is not limited to the method using the graph cut.
  • a learning-based image segmentation technique using deep learning may be used to extract a real object.
  • the foreground image shooting information related to the real object 40 includes, for example, the position coordinates of the foreground image portion in the captured image, a value representing the size of the foreground image portion, and an identifier for identifying the real object 40.
  • Zero or one or more target real objects 40 are extracted from the captured images 100a and 100b. For this reason, the processing from the detection of the real object 40 to the extraction of the real object 40 (steps S11 and S12) is repeated the same number of times as the number of captured images to be processed.
  • the three-dimensional object extraction unit 1 identifies the real object 40 with respect to the extracted real object 40 (step S13).
  • the captured images 100a and 100b may capture the same real object 40.
  • the three-dimensional object extraction unit 1 assigns an identifier for identifying each of the plurality of real objects to each of the real objects.
  • the three-dimensional object extraction unit 1 assigns the same identifier to the real object. For example, as illustrated in FIGS.
  • the three-dimensional object extraction unit 1 detects four foreground image portions 200a, 201a, 200b, and 201b, and detects the foreground image portion 201a and the foreground image portion 201b. Are determined to be the same, it is determined that the actual number of real objects is three.
  • the three-dimensional object extraction unit 1 receives the captured images 100a and 100b as inputs, and outputs background image portions 300a and 300b, foreground image portions 200a, 201a, 200b and 201b, and foreground image shooting information 500a, 501a, 500b and 501b.
  • FIG. 6 is a flowchart illustrating processing performed by the background complementing unit 2 of the image processing apparatus 10.
  • the background complementing unit 2 performs background complementing using a reference image stored in advance in the storage unit 16 (step S20).
  • the background complementing unit 2 performs background complementation using the foreground image shooting information 500a, 501a, 500b, and 501b corresponding to the target foreground image portions 200a, 201a, 200b, and 201b.
  • the background complementing unit 2 calculates the position coordinates and sizes of the foreground image portions 200a, 201a, 200b, and 201b from the reference image.
  • a reference image portion having the same position coordinates and size is acquired, and the reference image portion is pasted on the background image portion, thereby complementing the omission of the foreground image portion and generating the complemented background image portion.
  • FIG. 7 (a) to 7 (e) are explanatory diagrams showing processing performed by the background complementing unit 2.
  • the background complementing unit 2 is obtained by removing the foreground image portion 200a that is the target shown in FIG. 7B extracted from the captured image 100a shown in FIG.
  • the background complementing unit 2 uses the foreground image shooting information 500a regarding the foreground image portion 200a, based on the position coordinates and the size of the foreground image portion 200a of the real object as the object, as shown in FIG.
  • a reference image portion 350a having the same position coordinates and size as the position coordinates and size of the foreground image portion 200a of the real object as the object is acquired.
  • the background complementing unit 2 complements the background image part 300a by pasting the reference image part 350a to the background image part 300a, and generates a complemented background image part 301a as shown in FIG. To do. That is, the background complementing unit 2 receives the background image part 300a from which the foreground image part 200a has been removed as an input, and outputs the background image part 301a that has been background supplemented using the reference image 350.
  • FIG. 8 is a flowchart showing processing performed by the background image composition unit 3 of the image processing apparatus 10.
  • the background image synthesizing unit 3 receives the background image portions 301a and 301b subjected to background complementing in the background complementing unit 2 as input, performs a bird's-eye conversion (viewpoint conversion) on the background image portions 301a and 301b, and the background image subjected to the bird's-eye conversion
  • a background overhead view composite image 302 is generated by combining the portions.
  • the background image synthesis unit 3 corrects the distortion caused by the lens characteristics of the imaging device 20a and the distortion caused by the lens characteristics of the imaging device 20b with respect to the background image portions 301a and 301b subjected to background complementation. Distortion correction processing is performed (step S30).
  • the background image composition unit 3 uses the external parameters of the imaging device 20a to convert the viewpoint position so that the background image portion 301a subjected to background complementation is viewed from above (for example, from directly above). Conversion is performed (step S31). In addition, the background image composition unit 3 uses the external parameters of the imaging device 20b to convert the viewpoint position so that the background image portion 301b subjected to background complementation is viewed from above (for example, from directly above). Is performed (step S31).
  • the background image synthesis unit 3 synthesizes the background image portions 301a and 301b after the overhead conversion (step S32).
  • Alpha blend is an image synthesis method in which two images are superimposed and synthesized based on transparency ( ⁇ value) that is a coefficient set for each pixel.
  • the ⁇ value conceptually represents the transparency from a completely opaque state having a transparency of 0% to a completely transparent state having a transparency of 100%.
  • the ⁇ value is a coefficient that takes a value in the range from 0 to 1, with the minimum value (value 0) having the maximum transparency and the maximum value (value 1) having the maximum opacity. (Filled).
  • FIG. 9 (a) to 9 (c) are explanatory diagrams showing processing performed by the background image composition unit 3.
  • the background image composition unit 3 generates a background image portion 301a and a background image portion 301b after overhead conversion shown in FIG. 9B from the background image portions 301a and 301b shown in FIG. 9A, and A background overhead view composite image 302 shown in FIG. 9C is generated.
  • the image processing apparatus 10 needs to calibrate the imaging devices 20a and 20b in advance and acquire internal parameters and external parameters.
  • the internal parameters include information such as the focal length of the optical member of the imaging device, the position and direction of the optical axis center, and the like.
  • the external parameter includes information on the camera position and orientation, and includes installation position (installation coordinate) information and installation orientation (yaw, roll, pitch information) in the space to be imaged.
  • the background image synthesizing unit 3 can also use a reference table prepared in advance to create the background overhead image 302 from the background image portion 301a and the background image portion 301b.
  • FIG. 10 is a flowchart illustrating processing performed by the three-dimensional object recognition unit 4 of the image processing apparatus 10.
  • the three-dimensional object recognition unit 4 recognizes the real object 40 that is a three-dimensional object from the foreground image portions 200a, 201a, 200b, and 201b extracted by the three-dimensional object extraction unit 1 (step S40).
  • the three-dimensional object recognition unit 4 acquires the posture information of the foreground image portions 200a and 200b extracted by the three-dimensional object extraction unit 1, that is, the posture information of the real object, and obtains the real object ID, the real object type, and the posture information. Is stored in the storage unit 16 (step S41).
  • the posture information is a data table for converting the pixel data of the two-dimensional coordinates that are the foreground image portions 200a and 200b into the pixel data of the three-dimensional coordinates.
  • the three-dimensional object recognition unit 4 may obtain the posture information in advance by image analysis in the foreground image portion, or may obtain in advance using a sensor other than the imaging device.
  • the method for acquiring the posture information is not limited to a specific method. In particular, when the real object 40 is a person, since the skeleton information of the person can be acquired from the captured image, the three-dimensional object recognition unit 4 may store the skeleton information of the person in the storage unit 16 as posture information.
  • FIG. 11 is a flowchart illustrating processing performed by the three-dimensional object projection projection unit 5 of the image processing apparatus 10.
  • the three-dimensional object projection projection unit 5 generates a three-dimensional virtual object from the posture information of the real object acquired by the three-dimensional object recognition unit 4 (step S50).
  • the three-dimensional object projection projection unit 5 projects and projects the two-dimensional foreground image portion extracted by the three-dimensional object extraction unit 1 onto a three-dimensional virtual object using posture information (step S51). Foreground image portions having the same real object ID are projected and projected onto the same three-dimensional virtual object.
  • FIG. 12 is an explanatory diagram showing processing performed by the three-dimensional object projection projection unit 5.
  • the three-dimensional object projection projection unit 5 acquires (including generation) the three-dimensional virtual object 400a corresponding to the recognized real object 40.
  • the 3D virtual object 400a is selected from a plurality of 3D virtual object candidates stored in advance in the storage unit 16 in accordance with the corresponding real object 40. Further, the three-dimensional object projection projection unit 5 may create the three-dimensional virtual object 400a using the posture information.
  • the three-dimensional object projection projection unit 5 projects the foreground image portions 200a and 200b extracted by the three-dimensional object extraction unit 1 onto the three-dimensional virtual object 400a. At this time, the three-dimensional object projection projection unit 5 performs projection projection on the three-dimensional virtual object using the posture information of the foreground image portions 200a and 200b, and generates a projected three-dimensional virtual object 400.
  • FIG. 13 is a flowchart illustrating processing performed by the three-dimensional space superimposing unit 6 of the image processing apparatus 10.
  • FIG. 14 is an explanatory diagram illustrating processing performed by the three-dimensional object projection projection unit 5.
  • the composite image 302 is arranged (step S60).
  • the three-dimensional space superimposing unit 6 arranges the projected three-dimensional virtual object 400 generated by the three-dimensional object projection projecting unit 5 so as to overlap the background overhead image composite image 302 (step S61).
  • the arrangement position of the three-dimensional virtual object 400 is coordinates obtained by coordinate-converting position information included in the foreground image shooting information using internal parameters and external parameters in the imaging devices 20a and 20b.
  • FIG. 15 is a flowchart illustrating processing performed by the display image output unit 7 of the image processing apparatus 10.
  • the display image output unit 7 is a bird's-eye synthesized image composed of the background bird's-eye synthesized image 302 and the three-dimensional virtual object 400 arranged in the three-dimensional space generated by the three-dimensional space superimposing unit 6, that is, a designated viewpoint position ( For example, a bird's-eye view synthesized image viewed from the viewpoint position directly above the three-dimensional virtual object 400 is acquired (step S70).
  • the display image output unit 7 outputs the acquired overhead view composite image to the display device 30 (step S71).
  • the planar background overhead composite image 302 and the three-dimensional virtual object 400 are arranged in the three-dimensional space. Therefore, when combining the plurality of captured images 100a and 100b, the three-dimensional object is not displayed twice in the range where the captured images 100a and 100b overlap, and the three-dimensional object may disappear. Absent.
  • the image processing device 10 and the image processing method according to the present embodiment when there are a plurality of real objects 40, distortion can be individually suppressed using a three-dimensional virtual object for each real object. Therefore, it is possible to generate a bird's-eye view image viewed from directly above without any sense of incongruity.
  • the image processing apparatus 10 and the image processing method according to the present embodiment it is possible to create not only an overhead view viewed from directly above, but also an overhead view composite image viewed from an arbitrary viewpoint position. Therefore, when the image processing apparatus 10 is used for monitoring purposes, it is possible to improve the efficiency of monitoring work by the supervisor.
  • ⁇ 4 Description of Form of Use
  • the image processing apparatus 10 and the image processing method according to the present embodiment can be applied to a work monitoring system for monitoring a factory worker.
  • the image processing apparatus 10 and the image processing method according to the present embodiment can be applied to a driving support system that detects and displays obstacles around the vehicle by being mounted on the vehicle.
  • the image processing apparatus 10 and the image processing method according to the present embodiment can be applied to a manufacturing management system that manages work objects on a production line in a factory, an inventory management system that monitors the inventory status of finished products, and the like. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像処理装置（１０）は、複数の撮像画像の各々を、実在する立体物である実在オブジェクトが占める前景画像部分とそれ以外の背景画像部分とに分割する画像分割部である立体物抽出部（１）と、参照画像部分を前景画像部分の領域に貼り付けることによって背景画像部分を補完する背景補完部（２）と、複数の補完された背景画像部分の視点位置を変更する俯瞰変換を行い、俯瞰変換された背景画像部分を合成することによって背景俯瞰合成画像を生成する背景画像合成部（３）と、実在オブジェクトの姿勢情報を取得する立体物認識部（４）と、姿勢情報を用いて実在オブジェクトに対応する３次元仮想オブジェクトを取得する立体物射影投影部（５）と、背景俯瞰合成画像に３次元仮想オブジェクトを重畳して３次元空間画像を生成する３次元空間重畳部（６）と、３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力する表示画像出力部（７）とを有する。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
　本発明は、複数の撮像画像から俯瞰合成画像を生成する画像処理装置、並びに複数の撮像画像から俯瞰合成画像を生成するために使用される画像処理方法及び画像処理プログラムに関する。
　複数のカメラで得られた複数の撮像画像を視点変換して複数の俯瞰画像を生成し、複数の俯瞰画像を合成して俯瞰合成画像を生成する技術がある。特許文献１は、２つの撮像画像の共通の撮像領域を区分する境界位置と共通の撮像領域内の立体物の位置とに基づいて視点変換された２つの俯瞰画像のうちの、立体物の画像の歪みが小さい俯瞰画像を選択し、選択された俯瞰画像を用いて俯瞰合成画像を生成する技術を記載している。
特許第６２３９２０５号公報（例えば、請求項１、図３）
　上記従来の技術では、立体物の画像の歪みが小さい俯瞰画像を用いて俯瞰合成画像を生成するが、立体物に歪みがあり、見る者に違和感を与える場合がある。
　本発明は、上記課題を解決するためになされたものであり、見る者に違和感を与えにくい俯瞰合成画像を生成することができる画像処理装置、並びに見る者に違和感を与えにくい俯瞰合成画像を生成するために使用される画像処理方法及び画像処理プログラムを提供することを目的とする。
　本発明の一態様に係る画像処理装置は、複数の撮像画像の各々を、前記複数の撮像画像の共通の撮影対象領域内に実在する立体物である実在オブジェクトが占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、予め取得されている参照画像の一部である参照画像部分を前記前景画像部分の領域に貼り付けることによって前記背景画像部分を補完して、複数の補完された背景画像部分を生成する背景補完部と、前記複数の補完された背景画像部分の視点位置を変更する俯瞰変換を行い、俯瞰変換された前記背景画像部分を合成することによって背景俯瞰合成画像を生成する背景画像合成部と、前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得する立体物認識部と、前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得する立体物射影投影部と、前記背景俯瞰合成画像に前記３次元仮想オブジェクトを重畳して３次元空間画像を生成する３次元空間重畳部と、前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力する表示画像出力部とを有することを特徴とする。
　本発明の他の態様に係る画像処理方法は、複数の撮像画像の各々を、前記複数の撮像画像の共通の撮影対象領域内に実在する立体物である実在オブジェクトが占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割するステップと、予め取得されている参照画像の一部である参照画像部分を前記前景画像部分の領域に貼り付けることによって前記背景画像部分を補完して、複数の補完された背景画像部分を生成するステップと、前記複数の補完された背景画像部分の視点位置を変更する俯瞰変換を行い、俯瞰変換された前記背景画像部分を合成することによって背景俯瞰合成画像を生成するステップと、前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得するステップと、前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得するステップと、前記背景俯瞰合成画像に前記３次元仮想オブジェクトを重畳して３次元空間画像を生成するステップと、前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力するステップとを有することを特徴とする。
　本発明によれば、複数の撮像画像から見る者に違和感を与えにくい俯瞰合成画像を生成することができる。
本発明の実施の形態に係る画像処理装置のハードウェア構成を示す図である。 実施の形態に係る画像処理装置を示す機能ブロック図である。 本実施の形態に係る画像処理装置と２台の撮像装置と表示機器とを含む画像処理システムの構成例を概略的に示す図である。 実施の形態に係る画像処理装置の立体物抽出部が行う処理を示すフローチャートである。 （ａ）及び（ｂ）は、立体物抽出部によって撮像画像の各々から抽出された前景画像部分、背景画像部分、及び前景画像撮影情報の例を示す説明図である。 実施の形態に係る画像処理装置の背景補完部が行う処理を示すフローチャートである。 （ａ）から（ｅ）は、背景補完部が行う処理を示す説明図である。 実施の形態に係る画像処理装置の背景画像合成部が行う処理を示すフローチャートである。 （ａ）から（ｃ）は、背景画像合成部が行う処理を示す説明図である。 実施の形態に係る画像処理装置の立体物認識部が行う処理を示すフローチャートである。 実施の形態に係る画像処理装置の立体物射影投影部が行う処理を示すフローチャートである。 立体物射影投影部が行う処理を示す説明図である。 実施の形態に係る画像処理装置の３次元空間重畳部が行う処理を示すフローチャートである。 ３次元空間重畳部が行う処理を示す説明図である。 実施の形態に係る画像処理装置の表示画像出力部が行う処理を示すフローチャートである。
　以下に、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《１》構成
《１－１》ハードウェア構成
　図１は、本発明の実施の形態に係る画像処理装置１０のハードウェア構成を示す図である。画像処理装置１０は、本実施の形態に係る画像処理方法を実施することができる装置である。画像処理装置１０は、例えば、コンピュータである。図１に示されるように、画像処理装置１０は、情報処理部であるプロセッサ１１と、メモリ１２と、記憶装置１３と、撮像画像データ（単に「撮像画像」とも言う）を受け取る画像入力インタフェース１４と、表示画像データを出力する表示機器インタフェース１５とを有する。メモリ１２と記憶装置１３とは、記憶部１６とも称される。
　プロセッサ１１は、各種の演算処理及びハードウェアに対する各種の制御処理を行う。メモリ１２は、主記憶装置である。メモリ１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。記憶装置１３は、補助記憶装置である。記憶装置１３は、例えば、ハードディスク装置又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）である。画像入力インタフェース１４は、複数の撮像装置から提供される複数の映像信号、すなわち、複数の撮像画像を画像処理装置１０に取り込むための装置である。表示機器インタフェース１５は、表示画像をディスプレイなどの表示機器に送信するための装置である。
　図１の例では、画像処理装置１０に２台の撮像装置２０ａ及び２０ｂが接続されている。ただし、画像処理装置１０に接続される撮像装置の台数は、３台以上であってもよい。撮像装置２０ａ及び２０ｂの各々は、画像を撮影する機能を持つ。撮像装置２０ａ及び２０ｂの各々は、ＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のような撮像素子とレンズとを備えたカメラ機器（単に「カメラ」とも言う）である。撮像装置２０ａ及び２０ｂは、互いに同様の構造を持つカメラ機器であることが望ましい。撮像装置２０ａは、第１の撮像対象領域を撮像する。撮像装置２０ｂは、第２の撮像対象領域を撮像する。第１の撮像対象領域と第２の撮像対象領域とは、部分的に重複しており、共通の撮像対象領域部分を有する。
　撮像装置２０ａ及び２０ｂは、画像処理装置１０の画像入力インタフェース１４と有線で接続されてもよく、又は、無線で接続されてもよい。撮像装置２０ａ及び２０ｂと画像入力インタフェース１４とは、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）ネットワークを介して又は同軸ケーブルを介して通信する。撮像装置２０ａ及び２０ｂと画像入力インタフェース１４との間の接続方式及び通信方式は、特定の方式に限定されない。画像入力インタフェース１４は、撮像装置２０ａ及び２０ｂから提供される２つの（すなわち、２画面の）撮像画像１００ａ及び１００ｂを同時に（すなわち、並列的に）受信する機能を持つ。
　撮像装置２０ａ及び２０ｂから提供される２つの撮像画像１００ａ及び１００ｂは、画像入力インタフェース１４を介して画像処理装置１０の内部に取り込まれ、メモリ１２に記憶される。画像処理装置１０に取り込まれた２つの撮像画像１００ａ及び１００ｂは、撮像対象領域の各々の上方に視点を設けた画像である２つの俯瞰画像データ（単に「俯瞰画像」とも言う）に変換され、その後、２つの俯瞰画像は合成される。俯瞰画像を生成するための変換処理は「視点変換処理」である。本実施の形態では、俯瞰画像を生成するための視点変換処理を「俯瞰変換処理」と言う。プロセッサ１１は、メモリ１２又は記憶装置１３に記憶されている画像処理プログラムを読み出して実行することで、視点変換処理及び合成処理を行う。視点変換処理及び合成処理によって生成された俯瞰合成画像データ（単に「俯瞰合成画像」とも言う）である表示画像データ（単に「表示画像」とも言う）は、表示機器インタフェース１５を介してディスプレイなどの表示機器へ送信される。
《１－２》機能構成
　図２は、本実施の形態に係る画像処理装置１０を示す機能ブロック図である。画像処理装置１０は、撮像装置２０ａ及び２０ｂから撮像画像１００ａ及び１００ｂをそれぞれ受け取り、撮像対象領域における俯瞰画像から生成された俯瞰合成画像を表示画像として出力する。画像処理装置１０は、撮像画像１００ａ及び１００ｂの各々から実在する対象物である立体物（「実在オブジェクト」とも言う）を抽出することによって、撮像画像１００ａ及び１００ｂの各々を前景画像部分データ（「前景画像部分」とも言う）と背景画像部分データ（「背景画像部分」とも言う）とに分割する画像分割部としての立体物抽出部１を有する。
　また、画像処理装置１０は、撮像画像１００ａ及び１００ｂの各々における立体物が抽出された領域に対して過去に取得した撮像画像１００ａ及び１００ｂ（「参照画像データ」又は「参照画像」とも言う）の背景画像部分の一部を貼りつける背景補完部２を有する。参照画像の背景画像部分は、「参照画像部分データ」又は「参照画像部分」とも称される。また、画像処理装置１０は、撮像画像１００ａの背景画像部分と撮像画像１００ｂの背景画像部分とを合成する背景画像合成部３を有する。
　さらに、画像処理装置１０は、前景画像部分として抽出された立体物である実在オブジェクトを認識する立体物認識部４と、抽出された実在オブジェクトが占める前景画像部分に対応する（すなわち、立体物に対応する）選択された３次元仮想オブジェクトに射影投影する立体物射影投影部５とを有する。３次元仮想オブジェクトは、例えば、予め記憶部１６に格納されている仮想的な立体物を表示させるための３次元画像データ又は立体物に対応する大きさを持つ仮想的な立体物を表示させるように生成された３次元画像データである。
　また、画像処理装置１０は、背景画像合成部３によって仮想的な３次元空間に形成された背景画像部分上に、３次元仮想オブジェクトを配置する（すなわち、重ねる）３次元空間重畳部６と、背景画像部分に３次元仮想オブジェクトを重畳することで形成された俯瞰合成画像を表示画像として出力する表示画像出力部７とを有する。
《１－３》構成例
　図３は、本実施の形態に係る画像処理装置１０と２台の撮像装置２０ａ及び２０ｂと表示機器３０とを含む画像処理システムの構成例を概略的に示す図である。
　立体物抽出部１は、撮像画像１００ａ及び１００ｂの各々から実在する立体物である実在オブジェクト４０を検出し、撮像画像における実在オブジェクト４０に対応する部分である前景画像部分を抽出することによって、撮像画像１００ａ及び１００ｂの各々を前景画像部分と背景画像部分とに分割する。実在オブジェクト４０は、例えば、人物、車両、生産物などである。立体物抽出部１は、実在オブジェクト４０を検出し、検出された実在オブジェクト４０を前景画像部分とし、前景画像部分以外の部分を背景画像部分とすることによって、撮像画像１００ａ及び１００ｂの各々を前景画像部分と背景画像部分とに分割する。撮像画像１００ａの背景画像部分は、撮像画像１００ａから立体物である実在オブジェクト４０の領域を抜いた画像部分である。撮像画像１００ｂの背景画像部分は、撮像画像１００ｂから立体物である実在オブジェクト４０の領域を抜いた画像部分である。立体物抽出部１が行う処理は、後述の図４、図５（ａ）及び（ｂ）を用いて詳述される。
　背景補完部２は、過去の撮像画像（例えば、同じ撮像装置によって撮影された画像）として記憶部１６に記憶されている参照画像から、実在オブジェクト４０の領域である前景画像部分を抜き取り、抜き取られた前景画像部分の代わりに参照画像の一部である参照画像部分を貼り付けることによって、前景画像部分が欠落している背景画像部分を補完する。これにより、実在オブジェクト４０の領域を参照画像の一部によって補完した（すなわち、不足箇所の画像データを参照画像部分データで補った）背景画像部分が生成される。背景補完部２が行う処理は、後述の図６、図７（ａ）から（ｅ）を用いて詳述される。
　背景画像合成部３は、背景補完部２で補完された２つの背景画像部分から、背景俯瞰合成画像３０２を生成する。背景俯瞰合成画像３０２を生成するためには、事前に撮像装置２０ａ及び２０ｂの各々のキャリブレーションが行われており、撮像装置２０ａ及び２０ｂの各々の内部パラメータと外部パラメータと画像処理装置１０によって取得されていることが前提になる。内部パラメータは、撮像装置２０ａ及び２０ｂの各々の焦点距離、光軸中心の位置及び方向などを示す情報を含む。外部パラメータは、撮像装置２０ａ及び２０ｂの各々の位置と姿勢であるカメラ位置姿勢を示す情報であり、撮像対象となる空間における設置位置（設置座標）情報と設置姿勢情報（例えば、ヨー、ロール、ピッチ情報）などを含む。背景画像合成部３は、背景補完部２で補完された２つの背景画像部分と、２つの背景画像部分と俯瞰合成画像との対応関係を示すピクセルデータからなる参照テーブルとを用いて俯瞰変換処理と合成処理とを行う。背景画像合成部３が行う処理は、後述の図８、図９（ａ）から（ｃ）を用いて詳述される。
　立体物認識部４は、先ず、撮像画像１００ａから抽出された前景画像部分と撮像画像１００ｂから抽出された前景画像部分とから、立体物である実在オブジェクト４０の認識を行う。実在オブジェクト４０は、例えば、人物、車両、生産物などである。ただし、実在オブジェクト４０は人物、車両、生産物に限定されない。次に、立体物認識部４は、撮像画像１００ａから抽出された前景画像部分と撮像画像１００ｂから抽出された前景画像部分とから、実在オブジェクト４０の姿勢情報を取得して、実在オブジェクト４０の識別情報である実在オブジェクトＩＤ（識別子）、実在オブジェクト４０の種類を示す実在オブジェクト種別、実在オブジェクト４０の姿勢情報を記憶部１６（例えば、メモリ１２）に記憶させる。実在オブジェクト４０の姿勢情報は、例えば、撮像画像１００ａから抽出された前景画像部分及び撮像画像１００ｂから抽出された前景画像部分である２次元座標のピクセルデータを、３次元座標のピクセルデータに変換する際に使用されるテーブルである。実在オブジェクト４０の姿勢情報は、前景画像部分における画像解析により求めてもよいし、撮像装置２０ａ及び２０ｂとは別の装置であるセンサーを用いて取得してもよい。実在オブジェクト４０の姿勢情報の取得方法は、特定のものに限定されない。立体物認識部４が行う処理は、後述の図１０を用いて詳述される。
　立体物射影投影部５は、立体物認識部４で認識された実在オブジェクト４０に対応する３次元仮想オブジェクト４００を取得する。３次元仮想オブジェクト４００は、予め記憶部１６に記憶されている複数の３次元仮想オブジェクトの中から、実在オブジェクト４０に応じて選択されたものであってもよいし、姿勢情報を用いて生成されたものであってもよい。例えば、実在オブジェクト４０が人物である場合には、人物を示す形状の３次元仮想オブジェクトが用いられる。また、実在オブジェクト４０が動物である場合には、動物を示す形状の３次元仮想オブジェクトが用いられる。次に、立体物射影投影部５は、立体物抽出部１で撮像画像１００ａから抽出された前景画像部分及び撮像画像１００ｂから抽出された前景画像部分に対応する３次元仮想オブジェクトに対して射影投影を行うことで、射影投影された３次元仮想オブジェクト４００を生成する。具体的には、立体物射影投影部５は、背景俯瞰合成画像３０２における実在オブジェクト４０としての人物を抽出した位置に、人物を上から見た形状に対応する形状を持つ３次元仮想オブジェクト４００の画像を重畳表示させる。立体物射影投影部５が行う処理は、後述の図１１及び図１２を用いて詳述される。
　３次元空間重畳部６は、例えば、ＸＹＺ直交座標系で示される３次元空間におけるＺ＝０の面に、背景画像合成部３で２つの補完された背景画像部分から生成された背景俯瞰合成画像３０２を配置し、前景画像部分の位置座標に射影投影された３次元仮想オブジェクト４００を配置する。３次元空間重畳部６が行う処理は、後述の図１３及び図１４を用いて詳述される。
　表示画像出力部７は、背景俯瞰合成画像３０２上に３次元仮想オブジェクト４００が重畳された３次元空間の俯瞰合成画像を表示画像として表示機器３０に出力する。表示画像出力部７が行う処理は、後述の図１５を用いて詳述される。
《２》動作
《２－１》立体物抽出部１
　図４は、画像処理装置１０の立体物抽出部１が行う処理を示すフローチャートである。図５（ａ）は、立体物抽出部１によって撮像画像１００ａから抽出された前景画像部分２００ａ及び２０１ａ、背景画像部分３００ａ、並びに前景画像撮影情報５００ａ及び５０１ａの例を示す説明図である。図５（ｂ）は、立体物抽出部１によって撮像画像１００ｂから抽出された前景画像部分２００ｂ及び２０１ｂ、背景画像部分３００ｂ、並びに前景画像撮影情報５００ｂ及び５０１ｂの例を示す説明図である。図５（ａ）及び（ｂ）には、１つの撮像画像から２つの前景画像部分と、２つの前景画像撮影情報とが抽出された例を示しているが、前景画像部分の数は２つに限定されず、前景画像撮影情報の数も２つに限定されない。
　前景画像撮影情報は、例えば、実在オブジェクト４０における撮像装置２０ａ及び２０ｂに最も近い部分の位置座標、前景画像部分の解像度、実在オブジェクト４０の大きさなどを含む。実在オブジェクト４０の大きさは、例えば、実在オブジェクト４０を矩形で囲んだ（例えば、外接するように囲んだ）際の、矩形の４つの頂点の座標で表わされる。ただし、実在オブジェクト４０の大きさを表す情報は、矩形の４つの頂点の座標以外の情報指標であってもよい。
　先ず、立体物抽出部１は、複数の撮像画像１００ａ及び１００ｂを取得する（ステップＳ１０）。撮像画像１００ａ及び１００ｂが圧縮符号化されている場合、立体物抽出部１は、撮像画像１００ａ及び１００ｂをデコードすることで、撮像画像１００ａ及び１００ｂに対応するＲＡＷ画像データを取得する。例えば、撮像装置２０ａ及び２０ｂから動画圧縮規格であるＨ．２６４形式で圧縮符号化された映像がストリーミング配信されている場合、立体物抽出部１は、撮像画像１００ａ及び１００ｂに対しＨ．２６４形式に対応するデコードを行うことで、ＲＧＢＡ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ　Ａｌｐｈａ）３２ビットのＲＡＷ画像データを取得する。ただし、立体物抽出部１が取得する画像データの形式は、ＲＧＢＡ３２ビットのＲＡＷ画像データに限定されない。
　次に、立体物抽出部１は、取得したＲＡＷ画像データから人物、車両、生産物などのような立体物である１つ以上の実在オブジェクト４０を検出する（ステップＳ１１）。実在オブジェクト４０は、例えば、歩行する人物、走行する車両、工場の生産ラインにおける生産物などである。ただし、実在オブジェクト４０は、これらに限定されず、動物、建造物、障害物、工場設備、ロボットなどのような他の立体物であってもよい。
　次に、立体物抽出部１は、ＲＡＷ画像データから、検出され実在オブジェクト４０を抽出し、ＲＡＷ画像データを、実在オブジェクト４０が撮像された領域部分である前景画像部分と、それ以外の領域部分である背景画像部分とに分割する（ステップＳ１２）。実在オブジェクト４０の抽出は、例えば、グラフカットと呼ばれる画像の領域抽出のための画像セグメンテ－ション技術を用いて行われる。立体物抽出部１は、グラフカットを用いることによって、撮像画像１００ａ及び１００ｂの各々から背景画像部分と前景画像部分とを分割することができる。ただし、実在オブジェクト４０の抽出方法は、グラフカットを用いた方法に限定されない。例えば、実在オブジェクトの抽出に、ディープラーニングを用いた学習ベースの画像セグメンテーション技術（例えば、Ｏｐｅｎ　Ｐｏｓｅ）を用いてもよい。実在オブジェクト４０に関する前景画像撮影情報は、例えば、撮像画像における前景画像部分の位置座標、前景画像部分の大きさを表す値、実在オブジェクト４０を識別する識別子を含む。撮像画像１００ａ及び１００ｂから対象となる実在オブジェクト４０が、０個又は１個以上抽出される。このため、実在オブジェクト４０の検出から実在オブジェクト４０の抽出までの処理（ステップＳ１１及びＳ１２）は、処理対象の撮像画像の数と同じ回数繰り返される。
　次に、立体物抽出部１は、抽出された実在オブジェクト４０に対して、実在オブジェクト４０の同定を行う（ステップＳ１３）。撮像装置２０ａの撮像対象領域と撮像装置２０ｂの撮像対象領域とが共通の撮像対象領域部分を含む場合、撮像画像１００ａ及び１００ｂは、同じ実在オブジェクト４０を撮影する場合がある。立体物抽出部１は、複数の実在オブジェクトの各々を識別するための識別子を実在オブジェクトの各々に付与する。撮像画像１００ａに含まれる実在オブジェクトと撮像画像１００ｂに含まれる実在オブジェクトとが同じ実在オブジェクトである場合、立体物抽出部１は、この実在オブジェクトに同じ識別子を付与する。例えば、立体物抽出部１は、図５（ａ）及び（ｂ）に示されるように、４枚の前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂを検出し、前景画像部分２０１ａと前景画像部分２０１ｂが同一であると判断した場合には、実際の実在オブジェクトの個数は３個であると判定する。立体物抽出部１は、撮像画像１００ａ及び１００ｂを入力として受け取り、背景画像部分３００ａ及び３００ｂ、前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂ、前景画像撮影情報５００ａ、５０１ａ、５００ｂ及び５０１ｂを出力する。
《２－２》背景補完部２
　図６は、画像処理装置１０の背景補完部２が行う処理を示すフローチャートである。背景補完部２は、予め記憶部１６に記憶されている参照画像を用いて背景補完を行う（ステップＳ２０）。背景補完部２は、対象となる前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂに対応する前景画像撮影情報５００ａ、５０１ａ、５００ｂ及び５０１ｂを用いて、背景補完を行う。背景補完部２は、実在オブジェクト４０の前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂの位置座標及び大きさを基に、参照画像から、前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂの位置座標及び大きさと同じ位置座標及び大きさの参照画像部分を取得し、この参照画像部分を背景画像部分に貼りつけることで、前景画像部分の抜けを補完して、補完された背景画像部分を生成する。
　図７（ａ）から（ｅ）は、背景補完部２が行う処理を示す説明図である。例えば、背景補完部２は、図７（ａ）に示される撮像画像１００ａから抽出された図７（ｂ）に示される対象となる前景画像部分２００ａを除いて得られた、図７（ｃ）に示される背景画像部分３００ａを受け取る。次に、背景補完部２は、前景画像部分２００ａに関する前景画像撮影情報５００ａを用いて、対象物としての実在オブジェクトの前景画像部分２００ａの位置座標及び大きさを基に、図７（ｄ）に示される参照画像３５０から、対象物としての実在オブジェクトの前景画像部分２００ａの位置座標及び大きさと同じ位置座標及び大きさの参照画像部分３５０ａを取得する。次に、背景補完部２は、背景画像部分３００ａに参照画像部分３５０ａを貼りつけることによって背景画像部分３００ａを補完し、図７（ｅ）に示されるような補完された背景画像部分３０１ａを生成する。つまり、背景補完部２は、前景画像部分２００ａを抜いた背景画像部分３００ａを入力として受け取り、参照画像３５０を用いて背景補完した背景画像部分３０１ａを出力する。
《２－３》背景画像合成部３
　図８は、画像処理装置１０の背景画像合成部３が行う処理を示すフローチャートである。背景画像合成部３は、背景補完部２における背景補完が行われた背景画像部分３０１ａ及び３０１ｂを入力として受け取り、背景画像部分３０１ａ及び３０１ｂを俯瞰変換（視点変換）し、俯瞰変換された背景画像部分を合成することで背景俯瞰合成画像３０２を生成する。
　具体的には、背景画像合成部３は、背景補完が行われた背景画像部分３０１ａ及び３０１ｂに対して撮像装置２０ａのレンズの特性によって生じる歪み及び撮像装置２０ｂのレンズの特性によって生じる歪みを補正するための歪み補正処理を行う（ステップＳ３０）。
　次に、背景画像合成部３は、撮像装置２０ａの外部パラメータを用いて、背景補完が行われた背景画像部分３０１ａを上（例えば、真上から）から見たように視点位置を変換する俯瞰変換を行う（ステップＳ３１）。また、背景画像合成部３は、撮像装置２０ｂの外部パラメータを用いて、背景補完が行われた背景画像部分３０１ｂを上（例えば、真上から）から見たように視点位置を変換する俯瞰変換を行う（ステップＳ３１）。
　次に、背景画像合成部３は、それぞれの俯瞰変換後の背景画像部分３０１ａ及び３０１ｂを合成する（ステップＳ３２）。
　次に、背景画像合成部３は、俯瞰変換後の背景画像部分３０１ａ及び３０１ｂが重なり合う領域に対してアルファブレンドを行う（ステップＳ３３）。アルファブレンドは、２つの画像を重ね合わせ、画素ごとに設定された係数である透明度（α値）に基いて合成する画像合成方法である。α値は、概念としては、透明度０％の完全不透明状態から透明度１００％の完全透明状態までの透明度を表す。例えば、α値は、０から１までの範囲の値を取る係数であり、最小値（値０）の場合には透明度が最大であり、最大値（値１）の場合には不透明度が最大（塗りつぶし）になる。
　図９（ａ）から（ｃ）は、背景画像合成部３が行う処理を示す説明図である。背景画像合成部３は、図９（ａ）に示される背景画像部分３０１ａ及び３０１ｂから、図９（ｂ）に示される俯瞰変換後の背景画像部分３０１ａ及び背景画像部分３０１ｂを生成し、さらに、図９（ｃ）に示される背景俯瞰合成画像３０２を生成する。画像処理装置１０は、背景俯瞰合成画像３０２を生成するために、事前に撮像装置２０ａ及び２０ｂのキャリブレーションを行い、内部パラメータと外部パラメータを取得する必要がある。内部パラメータは、撮像装置の光学部材の焦点距離、光軸中心の位置及び方向などの情報が含まれる。外部パラメータは、カメラ位置姿勢の情報を含み、撮像対象となる空間における設置位置（設置座標）情報と設置姿勢（ヨー、ロール、ピッチ情報）などが含まれる。背景画像合成部３は、背景画像部分３０１ａと背景画像部分３０１ｂから背景俯瞰合成画像３０２を作成するためには、予め準備された参照テーブルを用いて行うことも可能である。
《２－４》立体物認識部４
　図１０は、画像処理装置１０の立体物認識部４が行う処理を示すフローチャートである。立体物認識部４は、立体物抽出部１で抽出した前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂから実在する立体物である実在オブジェクト４０の認識を行う（ステップＳ４０）。
　次に、立体物認識部４は、立体物抽出部１で抽出した前景画像部分２００ａ及び２００ｂの姿勢情報、すなわち、実在オブジェクトの姿勢情報を取得して、実在オブジェクトＩＤ、実在オブジェクト種別、姿勢情報を記憶部１６に記憶する（ステップＳ４１）。姿勢情報は、前景画像部分２００ａ及び２００ｂである２次元座標のピクセルデータから３次元座標のピクセルデータに変換するためのデータテーブルである。立体物認識部４は、姿勢情報を、前景画像部分における画像解析により予め求めてもよいし、撮像装置以外のセンサーを用いて予め取得してもよい。姿勢情報の取得方法は、特定の方法に限定されない。特に実在オブジェクト４０が人物の場合、撮影画像から人物の骨格情報を取得できるため、立体物認識部４は、人物の骨格情報を姿勢情報として記憶部１６に記憶させてもよい。
《２－５》立体物射影投影部５
　図１１は、画像処理装置１０の立体物射影投影部５が行う処理を示すフローチャートである。立体物射影投影部５は、立体物認識部４で取得した実在オブジェクトの姿勢情報から３次元仮想オブジェクトを生成する（ステップＳ５０）。
　次に、立体物射影投影部５は、立体物抽出部１で抽出した２次元の前景画像部分を、姿勢情報を用いて３次元仮想オブジェクトに射影投影する（ステップＳ５１）。同じ実在オブジェクトＩＤである前景画像部分は、同じ３次元仮想オブジェクトに射影投影される。
　図１２は、立体物射影投影部５が行う処理を示す説明図である。立体物射影投影部５は、認識した実在オブジェクト４０に対応する３次元仮想オブジェクト４００ａを取得（生成を含む）する。３次元仮想オブジェクト４００ａは、対応する実在オブジェクト４０に応じて事前に記憶部１６に記憶されている複数の３次元仮想オブジェクトの候補の中から選択される。また、立体物射影投影部５は、３次元仮想オブジェクト４００ａを、姿勢情報を用いて作成してもよい。次に、立体物射影投影部５は、立体物抽出部１で抽出した前景画像部分２００ａ及び２００ｂを３次元仮想オブジェクト４００ａに対して射影投影する。このとき、立体物射影投影部５は、前景画像部分２００ａ及び２００ｂの姿勢情報を用いて３次元仮想オブジェクトに射影投影を行い、射影投影された３次元仮想オブジェクト４００を生成する。
《２－６》３次元空間重畳部６
　図１３は、画像処理装置１０の３次元空間重畳部６が行う処理を示すフローチャートである。図１４は、立体物射影投影部５が行う処理を示す説明図である。３次元空間重畳部６は、ＸＹＺ直交座標系で示される３次元空間上に、例えば、高さ０（Ｚ＝０）の平面（例えば、ＸＹ面）に背景画像合成部３で生成した背景俯瞰合成画像３０２を配置する（ステップＳ６０）。
　次に、３次元空間重畳部６は、立体物射影投影部５で生成した射影投影された３次元仮想オブジェクト４００を、背景俯瞰合成画像３０２に重ねて配置する（ステップＳ６１）。３次元仮想オブジェクト４００の配置位置は、前景画像撮影情報に含まれる位置情報を、撮像装置２０ａ及び２０ｂにおける内部パラメータと外部パラメータを用いて座標変換した座標である。
《２－７》表示画像出力部７
　図１５は、画像処理装置１０の表示画像出力部７が行う処理を示すフローチャートである。表示画像出力部７は、３次元空間重畳部６で生成された３次元空間に配置された背景俯瞰合成画像３０２と３次元仮想オブジェクト４００とからなる俯瞰合成画像、すなわち、指定された視点位置（例えば、３次元仮想オブジェクト４００の真上の視点位置）から見た俯瞰合成画像を取得する（ステップＳ７０）。
　次に、表示画像出力部７は、取得した俯瞰合成画像を表示機器３０に対して出力する（ステップＳ７１）。
《３》効果
　以上に説明したように、本実施の形態に係る画像処理装置１０及び画像処理方法によれば、３次元空間上に平面の背景俯瞰合成画像３０２と３次元仮想オブジェクト４００とを配置するようにしているので、複数の撮像画像１００ａ及び１００ｂを合成する場合、撮像画像１００ａ及び１００ｂが重なる範囲において立体物が２重に表示されることはなく、また、立体物が消失することもない。
　また、本実施の形態に係る画像処理装置１０及び画像処理方法によれば、複数の実在オブジェクト４０が存在する場合に、実在オブジェクトごとの３次元仮想オブジェクトを用いて個別に歪みを抑制することができるので、違和感のない真上から見た俯瞰画像を生成することができる。
　さらに、本実施の形態に係る画像処理装置１０及び画像処理方法によれば、真上から見た俯瞰画像だけでなく、任意の視点位置から見た俯瞰合成画像を作成することができる。したがって、画像処理装置１０を監視用途で用いる場合、監視者の監視作業の効率化を図ることができる。
《４》利用形態の説明
　本実施の形態に係る画像処理装置１０及び画像処理方法は、工場の作業者の監視用の作業監視システムに適用できる。
　また、本実施の形態に係る画像処理装置１０及び画像処理方法は、車両に搭載することによって、車両周辺の障害物を検出し、表示する運転支援システムに適用できる。
　また、本実施の形態に係る画像処理装置１０及び画像処理方法は、工場の生産ライン上にある作業対象物を管理する製造管理システム又は完成品の在庫状況を監視する在庫管理システムなどに適用できる。
　１　立体物抽出部（画像分割部）、　２　背景補完部、　３　背景画像合成部、　４　立体物認識部、　５　立体物射影投影部、　６　３次元空間重畳部、　７　表示画像出力部、　１０　画像処理装置、　１１　プロセッサ、　１２　メモリ、　１３　記憶装置、　１４　画像入力インタフェース、　１５　表示機器インタフェース、　１６　記憶部、　２０ａ，２０ｂ　撮像画像、　３０　表示機器、　４０　実在オブジェクト（立体物）、　１００ａ，１００ｂ　撮像画像、　２００ａ，２０１ａ，２００ｂ，２０１ｂ　前景画像部分、　３００ａ，３００ｂ　背景画像部分、　３０２　背景俯瞰合成画像、　３５０　参照画像、　３５０ａ　参照画像部分、　４００　射影投影された３次元仮想オブジェクト、　４００ａ　３次元仮想オブジェクト、　５００ａ，５０１ａ，５００ｂ，５０１ｂ　前景画像撮影情報。

Claims (9)

  1. 　複数の撮像画像の各々を、前記複数の撮像画像の共通の撮影対象領域内に実在する立体物である実在オブジェクトが占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
    　予め取得されている参照画像の一部である参照画像部分を前記前景画像部分の領域に貼り付けることによって前記背景画像部分を補完して、複数の補完された背景画像部分を生成する背景補完部と、
    　前記複数の補完された背景画像部分の視点位置を変更する俯瞰変換を行い、俯瞰変換された前記背景画像部分を合成することによって背景俯瞰合成画像を生成する背景画像合成部と、
    　前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得する立体物認識部と、
    　前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得する立体物射影投影部と、
    　前記背景俯瞰合成画像に前記３次元仮想オブジェクトを重畳して３次元空間画像を生成する３次元空間重畳部と、
    　前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力する表示画像出力部と、
    　を有することを特徴とする画像処理装置。
  2. 　前記立体物射影投影部は、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得し、前記３次元仮想オブジェクトに前記前景画像部分を射影投影し、射影投影された前記３次元仮想オブジェクトを前記背景俯瞰合成画像の上に重ねることを特徴とする請求項１に記載の画像処理装置。
  3. 　複数の３次元仮想オブジェクトの候補を予め記憶する記憶部をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記参照画像は、前記複数の撮像画像を撮影した複数の撮像装置によって過去に撮影された撮像画像であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記参照画像を予め記憶する記憶部をさらに有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記立体物認識部が前記実在オブジェクトが人物であると認識した場合に、前記姿勢情報は、前記人物の骨格情報を含むことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記表示画像出力部は、前記俯瞰合成画像として、前記実在オブジェクトを真上から見た画像を生成することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　複数の撮像画像の各々を、前記複数の撮像画像の共通の撮影対象領域内に実在する立体物である実在オブジェクトが占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割するステップと、
    　予め取得されている参照画像の一部である参照画像部分を前記前景画像部分の領域に貼り付けることによって前記背景画像部分を補完して、複数の補完された背景画像部分を生成するステップと、
    　前記複数の補完された背景画像部分の視点位置を変更する俯瞰変換を行い、俯瞰変換された前記背景画像部分を合成することによって背景俯瞰合成画像を生成するステップと、
    　前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得するステップと、
    　前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得するステップと、
    　前記背景俯瞰合成画像に前記３次元仮想オブジェクトを重畳して３次元空間画像を生成するステップと、
    　前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力するステップと、
    　を有することを特徴とする画像処理方法。
  9. 　複数の撮像画像の各々を、前記複数の撮像画像の共通の撮影対象領域内に実在する立体物である実在オブジェクトが占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する処理と、
    　予め取得されている参照画像の一部である参照画像部分を前記前景画像部分の領域に貼り付けることによって前記背景画像部分を補完して、複数の補完された背景画像部分を生成する処理と、
    　前記複数の補完された背景画像部分の視点位置を変更する俯瞰変換を行い、俯瞰変換された前記背景画像部分を合成することによって背景俯瞰合成画像を生成する処理と、
    　前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得する処理と、
    　前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得する処理と、
    　前記背景俯瞰合成画像に前記３次元仮想オブジェクトを重畳して３次元空間画像を生成する処理と、
    　前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力する処理と、
    　をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2018/012852 2018-03-28 2018-03-28 画像処理装置、画像処理方法、及び画像処理プログラム WO2019186787A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880091553.9A CN111886624A (zh) 2018-03-28 2018-03-28 图像处理装置、图像处理方法及图像处理程序
JP2018540890A JP6513300B1 (ja) 2018-03-28 2018-03-28 画像処理装置、画像処理方法、及び画像処理プログラム
GB2014492.9A GB2586712B (en) 2018-03-28 2018-03-28 Image processing device, image processing method, and image processing program
PCT/JP2018/012852 WO2019186787A1 (ja) 2018-03-28 2018-03-28 画像処理装置、画像処理方法、及び画像処理プログラム
US17/028,508 US11403742B2 (en) 2018-03-28 2020-09-22 Image processing device, image processing method, and recording medium for generating bird's eye synthetic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/012852 WO2019186787A1 (ja) 2018-03-28 2018-03-28 画像処理装置、画像処理方法、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/028,508 Continuation US11403742B2 (en) 2018-03-28 2020-09-22 Image processing device, image processing method, and recording medium for generating bird's eye synthetic image

Publications (1)

Publication Number Publication Date
WO2019186787A1 true WO2019186787A1 (ja) 2019-10-03

Family

ID=66530751

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012852 WO2019186787A1 (ja) 2018-03-28 2018-03-28 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US11403742B2 (ja)
JP (1) JP6513300B1 (ja)
CN (1) CN111886624A (ja)
GB (1) GB2586712B (ja)
WO (1) WO2019186787A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538318A (zh) * 2021-08-24 2021-10-22 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质
WO2022181174A1 (ja) * 2021-02-24 2022-09-01 ソニーグループ株式会社 画像処理装置、画像処理方法、プロジェクタ装置
WO2024142361A1 (ja) * 2022-12-28 2024-07-04 三菱電機株式会社 映像合成装置、映像合成方法、及び映像合成プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019198200A1 (ja) * 2018-04-12 2019-10-17 日本電気株式会社 学習用画像生成装置、学習用画像生成方法及びプログラム
WO2021040075A1 (ko) * 2019-08-27 2021-03-04 엘지전자 주식회사 영상표시장치 및 이의 영상처리방법
EP3968274A1 (en) * 2020-09-14 2022-03-16 Tata Consultancy Services Limited Method and system for asset inspection using unmanned aerial vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184336A (ja) * 1998-10-09 2000-06-30 Canon Inc 画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4934308B2 (ja) 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JPWO2009016925A1 (ja) * 2007-07-31 2010-10-14 株式会社豊田自動織機 駐車支援装置、駐車支援装置の車両側装置、駐車支援方法及び駐車支援プログラム
JP5053043B2 (ja) 2007-11-09 2012-10-17 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP4697480B2 (ja) * 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
JP5206366B2 (ja) * 2008-11-27 2013-06-12 カシオ計算機株式会社 ３次元データ作成装置
JP5067632B2 (ja) * 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
JP5178961B2 (ja) * 2010-07-14 2013-04-10 三菱電機株式会社 画像合成装置
TWI433529B (zh) * 2010-09-21 2014-04-01 Huper Lab Co Ltd 增強辨識３ｄ物件的方法
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置
WO2013046593A1 (ja) * 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
US20160379074A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
US10417743B2 (en) 2015-11-06 2019-09-17 Mitsubishi Electric Corporation Image processing device, image processing method and computer readable medium
US10678257B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184336A (ja) * 1998-10-09 2000-06-30 Canon Inc 画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181174A1 (ja) * 2021-02-24 2022-09-01 ソニーグループ株式会社 画像処理装置、画像処理方法、プロジェクタ装置
CN113538318A (zh) * 2021-08-24 2021-10-22 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质
CN113538318B (zh) * 2021-08-24 2023-12-15 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质
WO2024142361A1 (ja) * 2022-12-28 2024-07-04 三菱電機株式会社 映像合成装置、映像合成方法、及び映像合成プログラム
JP7584723B1 (ja) 2022-12-28 2024-11-15 三菱電機株式会社 映像合成装置、映像合成方法、及び映像合成プログラム

Also Published As

Publication number Publication date
JP6513300B1 (ja) 2019-05-15
GB2586712B (en) 2021-12-22
JPWO2019186787A1 (ja) 2020-04-30
GB2586712A (en) 2021-03-03
CN111886624A (zh) 2020-11-03
US20210004943A1 (en) 2021-01-07
GB202014492D0 (en) 2020-10-28
US11403742B2 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
WO2019186787A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP6021541B2 (ja) 画像処理装置及び方法
CN106254854B (zh) 三维图像的获得方法、装置及系统
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
JP5845123B2 (ja) ３次元モデル−インテグラル画像変換装置およびそのプログラム
US10349040B2 (en) Storing data retrieved from different sensors for generating a 3-D image
JP6406853B2 (ja) 光フィールド映像を生成する方法及び装置
WO2019124248A1 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
JP5068732B2 (ja) ３次元形状生成装置
CN113348489A (zh) 图像处理方法和装置
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
US12148211B2 (en) Image processing apparatus and 3D model generation method
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
CA2650834A1 (en) Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
CN113132708B (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
KR102019879B1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
KR102019880B1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
JP2012150614A (ja) 自由視点画像生成装置
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
CN106331672A (zh) 视点图像的获得方法、装置及系统
WO2024014197A1 (ja) 映像処理装置、映像処理方法およびプログラム
CN117485252A (zh) 车辆的全景图像生成方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018540890

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911845

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 202014492

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20180328

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18911845

Country of ref document: EP

Kind code of ref document: A1