[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2018033952A1 - パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム - Google Patents

パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム Download PDF

Info

Publication number
WO2018033952A1
WO2018033952A1 PCT/JP2016/073855 JP2016073855W WO2018033952A1 WO 2018033952 A1 WO2018033952 A1 WO 2018033952A1 JP 2016073855 W JP2016073855 W JP 2016073855W WO 2018033952 A1 WO2018033952 A1 WO 2018033952A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
panoramic image
analysis
panoramic
subject
Prior art date
Application number
PCT/JP2016/073855
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to JP2016572853A priority Critical patent/JP6267809B1/ja
Priority to PCT/JP2016/073855 priority patent/WO2018033952A1/ja
Priority to US15/544,089 priority patent/US10430925B2/en
Publication of WO2018033952A1 publication Critical patent/WO2018033952A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a panorama image synthesis analysis system, a panorama image synthesis analysis method, and a program for creating a panorama image.
  • Patent Document 1 when image analysis is performed on an image, the image analysis is performed on the image captured by each imaging device.
  • the accuracy is compared with the accuracy of image analysis for a subject that is not entirely reflected, there is a problem that the accuracy of the latter is lowered. That is, in some imaging devices, all of the subject is reflected, but in different imaging devices, not all of the subject is reflected, the accuracy of the latter image analysis is low. .
  • the present invention uses a plurality of cameras and combines the images captured by the plurality of cameras even if the image analysis is performed on a subject that is not entirely reflected in the image of one camera.
  • An object of the present invention is to provide a panoramic image synthesis analysis system, a panoramic image synthesis analysis method, and a program that improve the accuracy of image analysis by performing image analysis after creating an image.
  • the present invention provides the following solutions.
  • the invention according to the first feature includes panoramic image creation means for creating a panoramic image by combining captured images captured by a plurality of cameras; Image analysis means for performing image analysis on a subject reflected in the synthesized panoramic image; Analysis result display means for displaying the result of the image analysis; A panoramic image synthesis analysis system is provided.
  • the panoramic image synthesis analysis system creates a panoramic image by synthesizing captured images taken by a plurality of cameras, and applies the subject to the subject reflected in the synthesized panoramic image.
  • the image analysis is performed on the image, and the result of the image analysis is displayed.
  • the invention according to the first feature is a category of the panoramic image synthesis analysis system, but the same actions and effects according to the category are exhibited in other categories such as methods and programs.
  • the image analysis means performs image analysis on a subject reflected in a joint portion of the synthesized panoramic image.
  • a panoramic image synthesis analysis system which is an invention according to a first feature.
  • the panoramic image synthesis analysis system which is the invention relating to the first feature performs image analysis on the subject reflected in the joint portion of the synthesized panoramic image.
  • the analysis result display means displays the result of the image analysis in association with the subject.
  • the panoramic image synthesis analysis system that is the invention relating to the first feature displays the result of the image analysis in association with the subject.
  • the invention according to a fourth feature is based on the result of the image analysis, complement display means for complementing and displaying the missing portion of the subject, A panoramic image synthesis analysis system which is an invention according to the first feature is provided.
  • the panoramic image synthesis analysis system complements and displays the missing portion of the subject based on the result of the image analysis.
  • the panoramic image creating means creates a panoramic image in accordance with a captured image having the largest number of pixels among the plurality of cameras.
  • a panoramic image synthesis analysis system which is an invention according to a first feature.
  • the panoramic image synthesis analysis system creates a panoramic image in accordance with a captured image having the largest number of pixels among the plurality of cameras. To do.
  • the panoramic image creation means creates a panoramic image in accordance with a captured image having the smallest number of pixels among the plurality of cameras.
  • a panoramic image synthesis analysis system which is an invention according to a first feature.
  • the panoramic image synthesis analysis system creates a panoramic image in accordance with the captured image having the smallest number of pixels among the plurality of cameras. To do.
  • the invention according to the seventh feature is the step of synthesizing captured images captured by a plurality of cameras to create a panoramic image; Performing image analysis on a subject reflected in the synthesized panoramic image; Displaying the result of the image analysis; A panoramic image synthesis analysis method is provided.
  • the invention according to the eighth feature provides a panoramic image synthesis analysis system, Creating a panoramic image by combining captured images captured by a plurality of cameras; Performing image analysis on a subject reflected in the synthesized panoramic image; Displaying the result of the image analysis; Provide a program to execute.
  • the present invention it is possible to provide a panoramic image synthesis analysis system, a panoramic image synthesis analysis method, and a program that improve the accuracy of image analysis.
  • FIG. 1 is a diagram showing an overview of a panoramic image synthesis analysis system 1.
  • FIG. 2 is an overall configuration diagram of the panoramic image synthesis analysis system 1.
  • FIG. 3 is a functional block diagram of the user terminal 100 and the camera 200.
  • FIG. 4 is a flowchart showing panoramic image synthesis analysis processing executed by the user terminal 100 and the camera 200.
  • FIG. 5 is a diagram illustrating an example of the arrangement of the cameras 201, 202, and 203 constituting the camera 200.
  • FIG. 6 is a diagram illustrating an example of one image synthesized by the user terminal 100.
  • FIG. 7 is a diagram illustrating an example of a panoramic image area created by the user terminal 100.
  • FIG. 8 is a diagram illustrating an example of a panoramic image area created by the user terminal 100.
  • FIG. 1 is a diagram showing an overview of a panoramic image synthesis analysis system 1.
  • FIG. 2 is an overall configuration diagram of the panoramic image synthesis analysis system 1.
  • FIG. 3 is a functional block diagram of the
  • FIG. 9 is a diagram illustrating an example of a panoramic image created by the user terminal 100.
  • FIG. 10 is a diagram illustrating an example of a panoramic image created by the user terminal 100.
  • FIG. 11 is a diagram illustrating an example of a panoramic image displayed on the user terminal 100.
  • FIG. 1 is a diagram for explaining an overview of a panoramic image synthesis analysis system 1 which is a preferred embodiment of the present invention.
  • the panoramic image synthesis analysis system 1 includes a user terminal 100 and a camera 200.
  • the camera 200 includes a camera 201, a camera 202, and a camera 203. It should be noted that the camera 200 merely represents the cameras 201, 202, and 203 as one group for convenience, and the cameras 201, 202, and 203 do not exist as one imaging device.
  • the number of user terminals 100 is not limited to one and may be plural. Further, the number of cameras 200 is not limited to three, and may be more or less. Further, the user terminal 100 may be realized by either or both of a real device and a virtual device. Each process described below may be realized by either or both of the user terminal 100 and the camera 200.
  • the user terminal 100 is a terminal device possessed by the user that can perform data communication with the camera 200.
  • the camera 200 includes, for example, electronic products such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass, a head mounted display, etc. in addition to a mobile phone, a portable information terminal, a tablet terminal, and a personal computer. Wearable terminals and other items.
  • the user terminal 100 may be a terminal device or a virtual device that the user does not possess, such as cloud computing.
  • the camera 200 is an imaging device that captures images such as moving images and still images, each of which is capable of data communication with the user terminal 100.
  • the cameras 201, 202, and 203 are arranged in a line at a predetermined interval. Note that the cameras 200, 202, 203 may be arranged in a circle at a predetermined interval, or may be arranged in other states.
  • the captured image means an image such as a moving image or a still image captured by the camera 200.
  • the camera 200 captures an image (step S01).
  • the camera 200 captures an image by receiving an imaging instruction from the user terminal 100 or an operation input of a switch included in the camera 200.
  • Each of the cameras 201, 202, and 203 captures a different image.
  • the cameras 201, 202, and 203 capture images simultaneously.
  • the camera 200 transmits captured image data that is data of the captured image to the user terminal 100 (step S02). At this time, each of the cameras 201, 202, and 203 transmits its own positional information and data such as the positional relationship of the cameras 201, 202, and 203 to the user terminal 100 together with the captured image data.
  • User terminal 100 receives captured image data.
  • the user terminal 100 combines the received plurality of captured image data to create a panoramic image (step S03).
  • the user terminal 100 may create a panoramic image according to an image having the largest number of pixels in the camera 200.
  • the user terminal 100 may create a panoramic image in accordance with an image having the smallest pixel number in the camera 200.
  • the user terminal 100 performs image analysis on the subject reflected in the synthesized panoramic image (step S04). Note that the user terminal 100 may perform image analysis on the subject reflected in the joint portion of the synthesized panoramic image. At this time, for example, when a part of the subject reflected in the joint part is missing, the missing part may be complemented to create a panoramic image.
  • the user terminal 100 displays the result of image analysis (step S05).
  • the user terminal 100 displays the panoramic image and the image analysis result together. Note that the user terminal 100 may display the result of the image analysis in association with the subject reflected in the panoramic image.
  • FIG. 2 is a diagram showing a system configuration of a panoramic image synthesis analysis system 1 which is a preferred embodiment of the present invention.
  • the panoramic image synthesis analysis system 1 includes a user terminal 100, a plurality of cameras (cameras 201, 202, 203) 200, and a public network (Internet network, third generation, fourth generation communication network, etc.) 5.
  • the number of user terminals 100 is not limited to one and may be plural.
  • the number of cameras 200 is not limited to three, and the number may be more or less.
  • the user terminal 100 may be realized by either or both of a real device and a virtual device. Each process described below may be realized by either or both of the user terminal 100 and the camera 200.
  • the user terminal 100 is the above-described terminal device having the functions described later.
  • the camera 200 is the above-described imaging device having the functions described below.
  • the camera 200 is a generic name for a plurality of cameras 201, 202, and 203. In the following description, the configurations of the cameras 201, 202, and 203 are the same, and thus will be described as the camera 200.
  • FIG. 3 is a functional block diagram of the user terminal 100 and the camera 200.
  • the user terminal 100 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 110, and a device for enabling communication with other devices as the communication unit 120.
  • the user terminal 100 includes, as the input / output unit 140, a display unit that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that receives input from the user.
  • the data reception module 150 is realized in cooperation with the communication unit 120 by the control unit 110 reading a predetermined program.
  • the control unit 110 reads a predetermined program, so that in cooperation with the input / output unit 140, the image synthesis module 170, the panorama image creation module 171, the image analysis module 172, the image complementation module 173, A display module 174 is realized.
  • the camera 200 includes a CPU, RAM, ROM, and the like as the control unit 210, and a device for enabling communication with other devices as the communication unit 220.
  • the camera 200 includes an imaging device 240 such as a lens, an imaging device, various buttons, and an imaging device such as a flash.
  • the control unit 210 when the control unit 210 reads a predetermined program, the data transmission module 250 is realized in cooperation with the communication unit 220. In the camera 200, the control unit 210 reads a predetermined program, thereby realizing the imaging module 270 in cooperation with the imaging unit 240.
  • FIG. 4 is a diagram illustrating a flowchart of panoramic image synthesis analysis processing executed by the user terminal 100 and the camera 200. The processing executed by the modules of each device described above will be described together with this processing.
  • FIG. 5 is a diagram illustrating an example of the arrangement of the cameras 201, 202, and 203 constituting the camera 200.
  • region which the camera 201,202,203 images is shown typically.
  • the cameras 201, 202, and 203 are arranged in a horizontal row at a predetermined interval.
  • An area captured by the camera 201 is an imaging area 301.
  • An area captured by the camera 202 is an imaging area 302.
  • An area captured by the camera 203 is an imaging area 303.
  • an imaging region 301 of the camera 201 and an imaging region 302 of the camera 202 have an overlapping region 310 that is an overlapping region.
  • An imaging region 302 of the camera 202 and an imaging region 303 of the camera 203 have an overlapping region 311 that is an overlapping region.
  • the camera 201 has a non-imaging area 320 that is an area that cannot be imaged.
  • a non-imaging area 321 that is an area that cannot be imaged exists between the camera 201 and the camera 202.
  • the camera 203 has a non-imaging area 323 that is an area that cannot be imaged.
  • the positions and shapes of the imaging regions 301 to 303, the non-imaging regions 320 to 323, and the overlapping regions 310 and 311 can be changed as appropriate. That is, the non-imaging area may be eliminated by increasing the number of cameras. Further, the non-imaging area may be eliminated by adjusting the position of the camera. Further, the overlapping area may be increased by increasing the number of cameras. Further, the overlapping area may be increased by adjusting the position of the camera.
  • the user terminal 100 creates a panoramic image by synthesizing images taken by the cameras 201, 202, and 203 in the process described later.
  • the user terminal 100 performs image analysis on the panoramic image, thereby comparing the images of the subjects existing in the imaging regions 301, 302, and 303, as compared with the case where the images captured by the cameras 201, 202, and 203 are separately analyzed. It becomes possible to improve the accuracy of analysis. Further, it is possible to create a panoramic image in which the subject existing in the non-imaging regions 320 and 321 is complemented based on the result of panoramic image analysis.
  • the imaging module 270 captures an image (step S10).
  • step S ⁇ b> 10 the imaging module 270 captures an image by accepting an imaging instruction from the user terminal 100 or an input operation to the camera 200, for example.
  • step S10 the cameras 201 to 203 respectively capture the imaging areas 301 to 303 shown in FIG.
  • the data transmission module 250 transmits captured image data that is image data captured by the imaging module 270 to the user terminal 100 (step S11).
  • the data transmission module 250 adds position information of each of the cameras 201, 202, and 203 and arrangement data such as a positional relationship to the captured image data and transmits the captured image data to the user terminal 100.
  • the data reception module 150 receives captured image data transmitted by the camera 200.
  • the data receiving module 150 receives captured image data from the cameras 201 to 203.
  • the image composition module 170 synthesizes one image based on the received captured image data and arrangement data (step S12).
  • FIG. 6 is a diagram illustrating an example of one image synthesized by the image synthesis module 170.
  • the image composition module 170 synthesizes one image 400 based on the arrangement data of the cameras 201 to 203 and the captured image data captured by each of the cameras 201 to 203.
  • the image composition module 170 arranges an image 401 captured by the camera 201, an image 402 captured by the camera 202, and an image 403 captured by the camera 203 in a horizontal row based on the arrangement of the cameras 201 to 203. Is synthesized.
  • the image composition module 170 determines the joint portion between the image 401 and the image 402 based on the image of the overlapping area 310 described above, and composes them.
  • the image composition module 170 determines and synthesizes the joint portion between the image 402 and the image 403 based on the image of the overlapping region 311 described above.
  • the panorama image creation module 171 creates a panorama image area based on the synthesized one image (step S13).
  • FIG. 7 is a diagram showing an example of a panorama image area created by the panorama image creation module 171.
  • the panorama image creation module 171 creates a panorama image region 500 surrounded by a thick line in accordance with the image 402 having the largest number of pixels.
  • the panorama image creation module 171 creates a panorama image region 500 that includes all of the images 401, 402, and 403 with reference to the image 402 having the largest number of pixels.
  • the panoramic image area 500 includes blank areas 510 to 513 that are areas corresponding to the non-imaging areas 320 to 323 described above.
  • FIG. 8 is a diagram illustrating an example of a panorama image area created by the panorama image creation module 171.
  • the panorama image creation module 171 creates a panorama image region 600 surrounded by a thick line in accordance with the image 403 having the smallest pixel number.
  • the panorama image creation module 171 creates a panorama image region 600 that includes a part of the image 401, a part of the image 402, and the whole of the image 403 on the basis of the image 403 having the smallest number of pixels.
  • the panoramic image area 600 includes a blank area 610 that is an area corresponding to the non-imaging area 321 described above.
  • the image analysis module 172 performs image analysis on the subject reflected in the synthesized panoramic image area (step S14).
  • step S ⁇ b> 14 the image analysis module 172 performs image analysis on the subject reflected in the joint portion of each image in the synthesized panoramic image area.
  • the joint portion of each image in the synthesized panoramic image area means, for example, the boundary between the image 401 and the image 402 or the boundary between the image 402 and the image 403 in FIG. 7 or FIG.
  • the image analysis module 172 extracts the feature amount of each subject, and identifies each subject by comparing the extracted feature amount with the feature amount stored in the external computer or the user terminal 100 itself. .
  • the image analysis module 172 acquires the specified subject name, various information, and the like based on a database or the like stored in the external computer or the user terminal 100. For example, when the subject is a vehicle, the image analysis module 172 acquires information such as the name, model, manufacturer, and the like of the vehicle. If the subject is a person, the image analysis module 172 acquires information such as the name, age, occupation, address, telephone number, and mail address of the person. Also, the image analysis module 172 acquires various types of information in the same manner for other subjects.
  • the image analysis module 172 determines whether or not there is a missing part in the specified subject (step S15). In step S ⁇ b> 15, the image analysis module 172 determines whether or not a portion lacking in the subject exists based on whether or not a part of the identified subject exists in the panoramic image area.
  • step S15 when the image analysis module 172 determines that the missing portion exists (step S15: YES), the image complementing module 173 complements the missing portion (step S16).
  • step S16 the image complementation module 173 acquires, for example, an image relating to the identified subject from an external computer or a database stored in the user terminal 100, and synthesizes a portion corresponding to the acquired image with a missing portion. ,Complement.
  • the image complementing module 173 may be configured to complement by repeating a missing part and a missing part. For example, when the image analysis module 172 identifies a wall surface as a subject and determines that a portion lacking in the wall surface exists, the image complementing module 173 determines whether the pattern present in the portion without the wall surface The missing portion may be complemented by repeating the portion lacking the features such as the handle. In addition, the image complementing module 173 may complement a missing portion due to a configuration other than the configuration described above.
  • step S16 After executing the process of step S16, the user terminal 100 executes a process of step S17 described later.
  • step S15 when the image analysis module 172 determines in step S15 that there is no missing portion (NO in step S15), the panorama image creation module 171 creates a panorama image (step S17).
  • FIG. 9 is a diagram showing an example of a panorama image created by the panorama image creation module 171 by complementing a part of the panorama image area 500 in FIG.
  • the panoramic image 700 includes a composite image 730 and blank complement regions 710 to 713.
  • the subject 731 is reflected in the composite image 730.
  • the subject 731 is an article such as a vehicle or a sign, a person, nature, or the like.
  • the composite image 730 is an image obtained by combining the images 401 to 403 in FIG.
  • Blank complement areas 710 to 713 are areas where the blank areas 510 to 513 in FIG. 7 described above are complemented by the image complement module 173 in step S16 described above.
  • FIG. 10 is a diagram showing an example of a panoramic image created by the panoramic image creation module 171 by complementing a part of the panoramic image area 700 in FIG.
  • the panoramic image 800 includes a composite image 830 and a blank complement region 810.
  • the subject 831 is reflected in the composite image 830.
  • the subject 831 is an article such as a vehicle or a sign, a person, nature, or the like.
  • the composite image 830 is an image obtained by combining the images 401 to 403 in FIG. 8 described above.
  • the blank complement region 810 is a region in which the blank region 610 in FIG. 8 described above is complemented by the image complement module 173 in step S16 described above.
  • the subject 831 is lacking because a part of the subject 831 exists in the blank area 610, and thus there is a subject complementing area 820 in which the image complementing module 173 complements part of the subject 831.
  • the blank complement region 810 and the subject complement region 820 are complemented by the processing in step S16 described above.
  • the user terminal 100 can create a panoramic image of a subject that has not been captured by estimating and complementing the subject that exists in the blank area.
  • the display module 174 displays the result of the image analysis (step S18).
  • step S18 the display module 174 displays the result of image analysis on the created panoramic image.
  • the display module 174 displays the result of the image analysis in association with the subject reflected in the created panoramic image.
  • step S18 for example, when the subject is a vehicle, the display module 174 displays information such as the name, model, and owner name of the vehicle in association with the subject.
  • the display module 174 displays information such as the name, age, occupation, address, telephone number, and mail address of the person in association with the subject.
  • the display module 174 displays various information in association with the subject even when the subject is in other cases.
  • FIG. 11 is a diagram illustrating an example of a panoramic image displayed by the display module 174.
  • the display module 174 displays a car 910 as a subject on the panoramic image 900.
  • a subject other than the vehicle 910 displayed by the display module 174 is omitted, and the vehicle 910 is schematically shown for simplification.
  • the display module 174 displays the information display area 920 associated with the car 910 so as to be superimposed on the panoramic image 900.
  • This information display area 920 draws a leader line to the car 910 and indicates which subject the associated subject is.
  • the display module 174 displays the result of the image analysis performed in step S14 described above in the information display area 920.
  • the display module 174 displays the model name, model, and owner in the information display area 920.
  • the display module 174 may be configured to display the information display area 920 around the panoramic image or at other locations instead of being superimposed on the panoramic image. At this time, for example, in order to clearly indicate the association, a sign may be attached to the subject, and the information display area 920 may be attached with the same sign as the sign attached to the subject.
  • the display module 174 may be configured to display the result of the image analysis on the subject that has received an input operation from the user. In this case, for example, the display module 174 accepts an input operation on any subject, and displays the result of image analysis regarding the accepted subject.
  • the panorama image synthesis analysis system 1 uses the plurality of cameras 200 to perform image analysis on a subject that is not entirely reflected in the captured image of one camera 200 by the above-described processing. By performing image analysis after combining images to create a panoramic image, the accuracy of image analysis can be improved. Furthermore, based on the result of image analysis, a portion that is not shown can be complemented and displayed.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】画像解析の精度を向上させたパノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラムを提供することを目的とする。 【解決手段】パノラマ画像合成解析システム１は、複数台のカメラ２００で撮像された撮像画像を合成してパノラマ画像を作成し、合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行い、画像解析の結果を、表示する。さらに、合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行う。また、画像解析の結果を、被写体に関連付けて表示する。また、画像解析の結果に基づいて、被写体の欠けている部分を補完する。また、複数台のカメラのうち、一番大きい画素数又は一番小さい画素数の撮像画像に合わせてパノラマ画像を作成する。

Description

パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム
　本発明は、パノラマ画像を作成するパノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラムに関する。
　近年、複数のカメラユニットを備えた撮像装置において、各カメラユニットが撮像した画像を合成することにより、パノラマ画像を作成するシステムが存在する。このようなシステムは、各カメラユニットが撮像した画像を、其々の位置に基づいて、画像を合成し、パノラマ画像を作成する。しかしながら、このようなシステムは、高価であった。
　一方、複数の撮像装置を用いて、各撮像装置が撮像した画像を合成することにより、パノラマ画像を作成するシステムも存在する。このようなシステムにおいて、複数台の撮像装置が撮像する画像と、各撮像装置の撮像位置とに基づいて、画像を合成することにより、パノラマ画像を作成する構成が開示されている（特許文献１参照）。
特開２０１４－１５５１６８号公報
　しかしながら、特許文献１の構成では、画像に対して画像解析を行う際に、各撮像装置が撮像した画像に対して画像解析を行うことになるため、全てが映り込んでいる被写体に対する画像解析の精度と、全てが映り込んでいる訳ではない被写体に対する画像解析の精度とを比較した場合、後者の精度が低くなるという問題点があった。すなわち、ある撮像装置においては、被写体の全てが映り込んでいるものの、異なる撮像装置においては、被写体の全てが映り込んでいる訳ではない場合、後者の画像解析の精度が低くなってしまっていた。
　本発明は、一台のカメラの画像では全てが映り込んでいる訳ではない被写体に対する画像解析であっても、複数台のカメラを使用し、この複数台のカメラが撮像した画像を合成したパノラマ画像を作成してから画像解析を行うことにより、画像解析の精度を向上させたパノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成するパノラマ画像作成手段と、
　前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行う画像解析手段と、
　前記画像解析の結果を、表示する解析結果表示手段と、
　を備えることを特徴とするパノラマ画像合成解析システムを提供する。
　第１の特徴に係る発明によれば、パノラマ画像合成解析システムは、複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成し、前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行い、前記画像解析の結果を、表示する。
　第１の特徴に係る発明は、パノラマ画像合成解析システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第２の特徴に係る発明は、前記画像解析手段が、前記合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行う、
　ことを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。
　第２の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行う。
　第３の特徴に係る発明は、前記解析結果表示手段が、前記画像解析の結果を、前記被写体に関連付けて表示する、
　ことを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。
　第３の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記画像解析の結果を、前記被写体に関連付けて表示する。
　第４の特徴に係る発明は、前記画像解析の結果に基づいて、前記被写体の欠けている部分を補完して表示する補完表示手段と、
　を備えることを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。
　第４の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記画像解析の結果に基づいて、前記被写体の欠けている部分を補完して表示する。
　第５の特徴に係る発明は、前記パノラマ画像作成手段が、前記複数台のカメラのうち、一番大きい画素数の撮像画像に合わせてパノラマ画像を作成する、
　ことを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。
　第５の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記複数台のカメラのうち、一番大きい画素数の撮像画像に合わせてパノラマ画像を作成する。
　第６の特徴に係る発明は、前記パノラマ画像作成手段が、前記複数台のカメラのうち、一番小さい画素数の撮像画像に合わせてパノラマ画像を作成する、
　ことを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。
　第６の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記複数台のカメラのうち、一番小さい画素数の撮像画像に合わせてパノラマ画像を作成する。
　第７の特徴に係る発明は、複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成するステップと、
　前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップと、
　前記画像解析の結果を、表示するステップと、
　を備えることを特徴とするパノラマ画像合成解析方法を提供する。
　第８の特徴に係る発明は、パノラマ画像合成解析システムに、
　複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成するステップ、
　前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップ、
　前記画像解析の結果を、表示するステップ、
　を実行させるためのプログラムを提供する。
　本発明によれば、画像解析の精度を向上させたパノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラムを提供することが可能となる。
図１は、パノラマ画像合成解析システム１の概要を示す図である。 図２は、パノラマ画像合成解析システム１の全体構成図である。 図３は、ユーザ端末１００、カメラ２００の機能ブロック図である。 図４は、ユーザ端末１００、カメラ２００が実行するパノラマ画像合成解析処理を示すフローチャートである。 図５は、カメラ２００を構成するカメラ２０１，２０２，２０３の配置の一例を示した図である。 図６は、ユーザ端末１００が合成した一の画像の一例を示す図である。 図７は、ユーザ端末１００が作成したパノラマ画像領域の一例を示す図である。 図８は、ユーザ端末１００が作成したパノラマ画像領域の一例を示す図である。 図９は、ユーザ端末１００が作成したパノラマ画像の一例を示す図である。 図１０は、ユーザ端末１００が作成したパノラマ画像の一例を示す図である。 図１１は、ユーザ端末１００が表示するパノラマ画像の一例を示す図である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［パノラマ画像合成解析システム１の概要］
　本発明の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるパノラマ画像合成解析システム１の概要を説明するための図である。パノラマ画像合成解析システム１は、ユーザ端末１００、カメラ２００から構成される。このカメラ２００は、カメラ２０１、カメラ２０２及びカメラ２０３から構成される。なお、カメラ２００は、便宜的にカメラ２０１，２０２，２０３を一のグループとして表現するものに過ぎず、カメラ２０１，２０２，２０３が一の撮像装置として存在する訳ではない。
　ユーザ端末１００の数は、１つに限らず複数であってもよい。また、カメラ２００の数は、３つに限らず、それ以上の数又はそれ以下の数であってもよい。また、ユーザ端末１００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、ユーザ端末１００、カメラ２００のいずれか又は双方により実現されてもよい。
　ユーザ端末１００は、カメラ２００とデータ通信可能な、ユーザが所持する端末装置である。カメラ２００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。なお、ユーザ端末１００は、クラウドコンピューティング等のユーザが所持しない端末装置や仮想的な装置であってもよい。
　カメラ２００は、其々がユーザ端末１００とデータ通信可能な、動画や静止画等の画像を撮像する撮像装置である。カメラ２００は、カメラ２０１，２０２，２０３が所定の間隔で一列に配置される。なお、カメラ２００は、カメラ２０１，２０２，２０３が所定の間隔で円形に配置されていてもよいし、その他の状態で配置されていてもよい。撮像画像とは、カメラ２００が撮像する動画や静止画等の画像を意味する。
　はじめに、カメラ２００は、画像を撮像する（ステップＳ０１）。カメラ２００は、ユーザ端末１００からの撮像指示や自身が有するスイッチの操作入力を受け付けることにより、画像を撮像する。カメラ２０１，２０２，２０３の其々は、異なる画像を撮像する。また、カメラ２０１，２０２，２０３は、同時に画像を撮像する。
　カメラ２００は、撮像した画像のデータである撮像画像データを、ユーザ端末１００に送信する（ステップＳ０２）。このとき、カメラ２０１，２０２，２０３の其々は、撮像画像データとともに、自身の位置情報や、カメラ２０１，２０２，２０３の位置関係等のデータをユーザ端末１００に送信する。
　ユーザ端末１００は、撮像画像データを受信する。ユーザ端末１００は、受信した複数の撮像画像データを合成し、パノラマ画像を作成する（ステップＳ０３）。なお、ユーザ端末１００は、カメラ２００のうち、一番大きい画素数の画像に合わせてパノラマ画像を作成してもよい。また、ユーザ端末１００は、カメラ２００のうち、一番小さい画素数の画像に合わせてパノラマ画像を作成してもよい。
　ユーザ端末１００は、合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行う（ステップＳ０４）。なお、ユーザ端末１００は、合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行ってもよい。このとき、例えば、繋ぎ目部分に映り込んだ被写体の一部が欠けている場合、欠けている一部を補完し、パノラマ画像を作成してもよい。
　ユーザ端末１００は、画像解析の結果を、表示する（ステップＳ０５）。ユーザ端末１００は、パノラマ画像と画像解析の結果とを合わせて表示する。なお、ユーザ端末１００は、画像解析の結果を、パノラマ画像に映り込んだ被写体に関連付けて表示してもよい。
　以上が、パノラマ画像合成解析システム１の概要である。
　［パノラマ画像合成解析システム１のシステム構成］
　図２に基づいて、パノラマ画像合成解析システム１のシステム構成について説明する。図２は、本発明の好適な実施形態であるパノラマ画像合成解析システム１のシステム構成を示す図である。パノラマ画像合成解析システム１は、ユーザ端末１００、複数台のカメラ（カメラ２０１，２０２，２０３）２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、ユーザ端末１００は、１つに限らず、複数であってもよい。また、カメラ２００は、３つに限らず、それ以上の数又はそれ以下の数であってもよい。また、ユーザ端末１００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、ユーザ端末１００、カメラ２００のいずれか又は双方により実現されてもよい。
　ユーザ端末１００は、後述の機能を備えた上述した端末装置である。
　カメラ２００は、後述の機能を備えた上述した撮像装置である。カメラ２００は、複数のカメラ２０１，２０２，２０３の総称である。以下の説明において、カメラ２０１，２０２，２０３の其々の構成は、同様であるため、カメラ２００として説明する。
　［各機能の説明］
　図３に基づいて、パノラマ画像合成解析システム１の機能について説明する。図３は、ユーザ端末１００、カメラ２００の機能ブロック図を示す図である。
　ユーザ端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスやＵＳＢやＨＤＭＩ（登録商標）等の有線接続対応デバイス等を備える。また、ユーザ端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等を備える。
　ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、データ受信モジュール１５０を実現する。また、ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、画像合成モジュール１７０、パノラマ画像作成モジュール１７１、画像解析モジュール１７２、画像補完モジュール１７３、表示モジュール１７４を実現する。
　カメラ２００は、ユーザ端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイス等を備える。また、カメラ２００は、撮像部２４０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備える。
　カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、データ送信モジュール２５０を実現する。また、カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、撮像部２４０と協働して、撮像モジュール２７０を実現する。
　［パノラマ画像合成解析処理］
　図４に基づいて、パノラマ画像合成解析システム１が実行するパノラマ画像合成解析処理について説明する。図４は、ユーザ端末１００、カメラ２００が実行するパノラマ画像合成解析処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　はじめに、図５に基づいて、カメラ２００について説明する。図５は、カメラ２００を構成するカメラ２０１，２０２，２０３の配置の一例を示した図である。図５において、カメラ２０１，２０２，２０３が撮像する領域を模式的に示している。カメラ２０１，２０２，２０３は、所定の間隔で横一列に配置される。カメラ２０１が撮像する領域が、撮像領域３０１である。カメラ２０２が撮像する領域が、撮像領域３０２である。カメラ２０３が撮像する領域が、撮像領域３０３である。このとき、カメラ２０１の撮像領域３０１と、カメラ２０２の撮像領域３０２とは、重なっている領域である重複領域３１０が存在する。カメラ２０２の撮像領域３０２と、カメラ２０３の撮像領域３０３とは、重なっている領域である重複領域３１１が存在する。また、カメラ２０１には、撮像できない領域である非撮像領域３２０が存在する。また、カメラ２０１と、カメラ２０２との間には、撮像できない領域である非撮像領域３２１が存在する。カメラ２０２と、カメラ２０３との間には、撮像できない領域である非撮像領域３２２が存在する。カメラ２０３には、撮像できない領域である非撮像領域３２３が存在する。
　なお、撮像領域３０１～３０３、非撮像領域３２０～３２３及び重複領域３１０，３１１の位置及び形状等は、適宜変更可能である。すなわち、カメラの数を増やすことにより、非撮像領域を無くしてもよい。また、カメラの位置を調整することにより、非撮像領域を無くしてもよい。また、カメラの数を増やすことにより、重複領域を増やしてもよい。また、カメラの位置を調整することにより、重複領域を増やしてもよい。
　ユーザ端末１００は、後述する処理において、カメラ２０１，２０２，２０３が撮像する画像を合成することにより、パノラマ画像を作成する。ユーザ端末１００は、このパノラマ画像を画像解析することにより、各カメラ２０１，２０２，２０３が撮像した画像を別々に画像解析する場合に比べて、撮像領域３０１，３０２，３０３に存在する被写体に対する画像解析の精度を向上させることが可能となる。また、非撮像領域３２０，３２１に存在する被写体を、パノラマ画像の画像解析の結果に基づいて、この被写体を補完したパノラマ画像を作成することが可能となる。
　撮像モジュール２７０は、画像を撮像する（ステップＳ１０）。ステップＳ１０において、撮像モジュール２７０は、例えば、ユーザ端末１００からの撮像指示や、カメラ２００への入力操作を受け付けることにより、画像を撮像する。ステップＳ１０において、カメラ２０１～２０３は、上述した図５で示した撮像領域３０１～３０３を其々撮像する。
　データ送信モジュール２５０は、撮像モジュール２７０が撮像した画像のデータである撮像画像データを、ユーザ端末１００に送信する（ステップＳ１１）。ステップＳ１１において、データ送信モジュール２５０は、カメラ２０１，２０２，２０３の其々の位置情報や、位置関係等の配置データを撮像画像データに付加し、ユーザ端末１００に送信する。
　データ受信モジュール１５０は、カメラ２００が送信した撮像画像データを受信する。データ受信モジュール１５０は、カメラ２０１～２０３から撮像画像データを受信する。画像合成モジュール１７０は、受信した撮像画像データ及び配置データに基づいて、一の画像を合成する（ステップＳ１２）。
　図６は、画像合成モジュール１７０が合成した一の画像の一例を示す図である。図６において、画像合成モジュール１７０は、カメラ２０１～２０３の配置データと、カメラ２０１～２０３の其々が撮像した撮像画像データとに基づいて、一の画像４００を合成する。画像合成モジュール１７０は、カメラ２０１～２０３の配置に基づいて、カメラ２０１が撮像した画像４０１、カメラ２０２が撮像した画像４０２、カメラ２０３が撮像した画像４０３を横一列に配置し、一の画像４００を合成する。画像合成モジュール１７０は、画像４０１と画像４０２とにおいて、上述した重複領域３１０の画像に基づいて、その繋ぎ目部分を判断し、合成する。また、画像合成モジュール１７０は、画像４０２と画像４０３とにおいて、上述した重複領域３１１の画像に基づいて、その繋ぎ目部分を判断し、合成する。
　パノラマ画像作成モジュール１７１は、合成した一の画像に基づいて、パノラマ画像領域を作成する（ステップＳ１３）。
　図７は、パノラマ画像作成モジュール１７１が作成したパノラマ画像領域の一例を示す図である。図７において、パノラマ画像作成モジュール１７１は、一番大きい画素数の画像４０２に合わせて太線で囲ったパノラマ画像領域５００を作成する。図７において、パノラマ画像作成モジュール１７１は、一番大きい画素数の画像４０２を基準として、画像４０１、画像４０２及び画像４０３を全て含んだパノラマ画像領域５００を作成する。この時点では、パノラマ画像領域５００には、上述した非撮像領域３２０～３２３に対応する領域である空白領域５１０～５１３が存在する。
　図８は、パノラマ画像作成モジュール１７１が作成したパノラマ画像領域の一例を示す図である。図８において、パノラマ画像作成モジュール１７１は、一番小さい画素数の画像４０３に合わせて太線で囲ったパノラマ画像領域６００を作成する。図８において、パノラマ画像作成モジュール１７１は、一番小さい画素数の画像４０３を基準として、画像４０１の一部、画像４０２の一部及び画像４０３の全部を含んだパノラマ画像領域６００を作成する。この時点では、パノラマ画像領域６００には、上述した非撮像領域３２１に対応する領域である空白領域６１０が存在する。
　画像解析モジュール１７２は、合成されたパノラマ画像領域に映り込んだ被写体に対して画像解析を行う（ステップＳ１４）。ステップＳ１４において、画像解析モジュール１７２は、合成されたパノラマ画像領域内の各画像の繋ぎ目部分に映り込んだ被写体に対しても画像解析を実行する。合成されたパノラマ画像領域内の各画像の繋ぎ目部分とは、例えば、上述した図７又は図８における画像４０１と画像４０２との境界や画像４０２と画像４０３との境界を意味する。ステップＳ１４において、画像解析モジュール１７２は、各被写体の特徴量を抽出し、この抽出した特徴量と、外部コンピュータやユーザ端末１００自身が記憶する特徴量とを比較することにより、各被写体を特定する。画像解析モジュール１７２は、特定した被写体の名称、各種情報等を外部コンピュータやユーザ端末１００が記憶するデータベース等に基づいて、取得する。例えば、被写体が車両である場合、画像解析モジュール１７２は、この車両の名称、型式、製造元等の情報を取得する。また、被写体が人物である場合、画像解析モジュール１７２は、この人物の名称、年齢、職業、住所、電話番号、メールアドレス等の情報を取得する。また、画像解析モジュール１７２は、その他の被写体であっても同様に、各種情報を取得する。
　画像解析モジュール１７２は、特定した被写体に欠けている部分が存在しているか否かを判断する（ステップＳ１５）。ステップＳ１５において、画像解析モジュール１７２は、特定した被写体の一部がパノラマ画像領域内に存在していないか等に基づいて、被写体に欠けている部分が存在しているか否かを判断する。
　ステップＳ１５において、画像解析モジュール１７２は、欠けている部分が存在していると判断した場合（ステップＳ１５　ＹＥＳ）、画像補完モジュール１７３は、欠けている部分を補完する（ステップＳ１６）。ステップＳ１６において、画像補完モジュール１７３は、例えば、特定した被写体に関する画像を、外部コンピュータやユーザ端末１００が記憶するデータベース等から取得し、欠けている部分に取得した画像の対する部分を合成することにより、補完する。
　なお、画像補完モジュール１７３は、欠けている部分と、欠けていない部分とを繰り返すことにより補完する構成であってもよい。例えば、画像解析モジュール１７２は、被写体として壁面を特定し、この壁面に欠けている部分が存在していると判断した場合、画像補完モジュール１７３は、この壁面の欠けていない部分に存在するパターンや柄等の特徴を欠けている部分でも繰り返すことにより、欠けている部分を補完してもよい。また、画像補完モジュール１７３は、上述した構成以外の構成により欠けている部分を補完してもよい。
　ユーザ端末１００は、ステップＳ１６の処理を実行した後、後述するステップＳ１７の処理を実行する。
　一方、ステップＳ１５において、画像解析モジュール１７２は、欠けている部分が存在していないと判断した場合（ステップＳ１５　ＮＯ）、パノラマ画像作成モジュール１７１は、パノラマ画像を作成する（ステップＳ１７）。
　図９は、画像補完モジュール１７３が上述した図７におけるパノラマ画像領域５００の一部を補完し、パノラマ画像作成モジュール１７１が作成したパノラマ画像の一例を示す図である。図９において、パノラマ画像７００には、合成画像７３０、空白補完領域７１０～７１３が存在する。また、合成画像７３０内には、被写体７３１が映り込んでいる。被写体７３１は、車両や標識等の物品や人物や自然等である。合成画像７３０は、上述した図７における画像４０１～４０３を合成した画像である。空白補完領域７１０～７１３は、上述した図７における空白領域５１０～５１３を、画像補完モジュール１７３が上述したステップＳ１６により補完した領域である。また、被写体７３１は、その一部が空白領域５１０，５１１に存在していたことから欠けているため、画像補完モジュール１７３がこの被写体７３１の一部を補完した被写体補完領域７２０，７２１が存在する。空白補完領域７１０～７１３及び被写体補完領域７２０，７２１は、上述したステップＳ１６の処理により補完される。
　図１０は、画像補完モジュール１７３が上述した図８におけるパノラマ画像領域７００の一部を補完し、パノラマ画像作成モジュール１７１が作成したパノラマ画像の一例を示す図である。図１０において、パノラマ画像８００には、合成画像８３０、空白補完領域８１０が存在する。また、合成画像８３０内には、被写体８３１が映り込んでいる。被写体８３１は、車両や標識等の物品や人物や自然等である。合成画像８３０は、上述した図８における画像４０１～４０３を合成した画像である。空白補完領域８１０は、上述した図８における空白領域６１０を、画像補完モジュール１７３が上述したステップＳ１６により補完した領域である。また、被写体８３１は、その一部が空白領域６１０に存在していたことから欠けているため、画像補完モジュール１７３がこの被写体８３１の一部を補完した被写体補完領域８２０が存在する。空白補完領域８１０及び被写体補完領域８２０は、上述したステップＳ１６の処理により補完される。
　このように、ユーザ端末１００は、空白領域に存在する被写体を推測して補完することにより、撮像されていない被写体をパノラマ画像として作成することが可能となる。
　表示モジュール１７４は、画像解析の結果を、表示する（ステップＳ１８）。ステップＳ１８において、表示モジュール１７４は、作成したパノラマ画像に、画像解析の結果を表示する。このとき、表示モジュール１７４は、作成したパノラマ画像に映り込んでいる被写体に関連付けて画像解析の結果を表示する。ステップＳ１８において、例えば、表示モジュール１７４は、被写体が車両である場合、この車両の名称、型式、所有者名等の情報を被写体に関連付けて表示する。また、表示モジュール１７４は、被写体が人物である場合、この人物の名称、年齢、職業、住所、電話番号、メールアドレス等の情報を被写体に関連付けて表示する。また、表示モジュール１７４は、被写体がその他の場合であっても同様に、各種情報を、この被写体に関連付けて表示する。
　図１１は、表示モジュール１７４が表示するパノラマ画像の一例を示す図である。図１１において、表示モジュール１７４は、パノラマ画像９００に、被写体として車９１０を表示する。図１１において、表示モジュール１７４が表示する車９１０以外の被写体を省略するとともに、簡略化のために、車９１０を模式的に示している。図１１において、表示モジュール１７４は、この車９１０に関連付けた情報表示領域９２０を、パノラマ画像９００に重畳させて表示する。この情報表示領域９２０は、車９１０に引出線を引き、関連付けた被写体がどの被写体であるかを示している。表示モジュール１７４は、情報表示領域９２０に、上述したステップＳ１４において実行した画像解析の結果を表示する。図１１において、表示モジュール１７４は、情報表示領域９２０に、車種名、型式、所有者を表示する。
　なお、表示モジュール１７４は、情報表示領域９２０を、パノラマ画像に重畳させるのではなく、パノラマ画像の周囲又はその他の箇所に表示する構成であってもよい。このとき、例えば、関連付けを明示するために、被写体に対して符号を付すとともに、情報表示領域９２０にも被写体に付した符号と同様の符号を付してもよい。
　また、表示モジュール１７４は、ユーザからの入力操作を受け付けた被写体に対して、画像解析の結果を表示する構成であってもよい。この場合、例えば、表示モジュール１７４は、いずれかの被写体に対しての入力操作を受け付け、受け付けた被写体に関する画像解析の結果を表示する。
　以上が、パノラマ画像合成解析処理である。
　パノラマ画像合成解析システム１は、上述した処理により、一台のカメラ２００の撮像画像では全てが映り込んでいる訳ではない被写体に対する画像解析であっても、複数台のカメラ２００を使用して撮像画像を合成してパノラマ画像を作成してから画像解析を行うことで、画像解析の精度を向上させることができる。さらには、画像解析の結果に基づいて、映っていない部分についても補完して表示することができる。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　パノラマ画像合成解析システム、１００　ユーザ端末、２００　カメラ

Claims (8)

  1. 　複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成するパノラマ画像作成手段と、
    　前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行う画像解析手段と、
    　前記画像解析の結果を、表示する解析結果表示手段と、
    　を備えることを特徴とするパノラマ画像合成解析システム。
  2. 　前記画像解析手段は、前記合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行う、
    　ことを特徴とする請求項１に記載のパノラマ画像合成解析システム。
  3. 　前記解析結果表示手段は、前記画像解析の結果を、前記被写体に関連付けて表示する、
    　ことを特徴とする請求項１に記載のパノラマ画像合成解析システム。
  4. 　前記画像解析の結果に基づいて、前記被写体の欠けている部分を補完して表示する補完表示手段と、
    　を備えることを特徴とする請求項１に記載のパノラマ画像合成解析システム。
  5. 　前記パノラマ画像作成手段は、前記複数台のカメラのうち、一番大きい画素数の撮像画像に合わせてパノラマ画像を作成する、
    　ことを特徴とする請求項１に記載のパノラマ画像合成解析システム。
  6. 　前記パノラマ画像作成手段は、前記複数台のカメラのうち、一番小さい画素数の撮像画像に合わせてパノラマ画像を作成する、
    　ことを特徴とする請求項１に記載のパノラマ画像合成解析システム。
  7. 　複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成するステップと、
    　前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップと、
    　前記画像解析の結果を、表示するステップと、
    　を備えることを特徴とするパノラマ画像合成解析方法。
  8. 　パノラマ画像合成解析システムに、
    　複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成するステップ、
    　前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップ、
    　前記画像解析の結果を、表示するステップ、
    　を実行させるためのプログラム。
PCT/JP2016/073855 2016-08-15 2016-08-15 パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム WO2018033952A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016572853A JP6267809B1 (ja) 2016-08-15 2016-08-15 パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム
PCT/JP2016/073855 WO2018033952A1 (ja) 2016-08-15 2016-08-15 パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム
US15/544,089 US10430925B2 (en) 2016-08-15 2016-08-15 System, method, and program for synthesizing panoramic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/073855 WO2018033952A1 (ja) 2016-08-15 2016-08-15 パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018033952A1 true WO2018033952A1 (ja) 2018-02-22

Family

ID=61020796

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/073855 WO2018033952A1 (ja) 2016-08-15 2016-08-15 パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム

Country Status (3)

Country Link
US (1) US10430925B2 (ja)
JP (1) JP6267809B1 (ja)
WO (1) WO2018033952A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018136098A1 (en) * 2017-01-23 2018-07-26 Huami Inc. System and Method for Generating Digital Content for a Composite Camera
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
KR20200081527A (ko) 2018-12-19 2020-07-08 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320616A (ja) * 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP2012160904A (ja) * 2011-01-31 2012-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
DE60106997T2 (de) * 2000-02-29 2005-12-01 Matsushita Electric Industrial Co., Ltd., Kadoma Bildaufnahmesystem und fahrzeugmontiertes Sensorsystem
JP5383576B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 撮像装置、撮像方法およびプログラム
JP6016662B2 (ja) 2013-02-13 2016-10-26 三菱電機株式会社 画像合成装置及び画像合成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320616A (ja) * 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP2012160904A (ja) * 2011-01-31 2012-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び撮像装置

Also Published As

Publication number Publication date
US10430925B2 (en) 2019-10-01
JP6267809B1 (ja) 2018-01-24
US20190180413A1 (en) 2019-06-13
JPWO2018033952A1 (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
US10547822B2 (en) Image processing apparatus and method to generate high-definition viewpoint interpolation image
WO2011105044A1 (en) Information processing method and information processing apparatus
US20190098227A1 (en) Apparatus and method for displaying ar object
US20120268491A1 (en) Color Channels and Optical Markers
US11189102B2 (en) Electronic device for displaying object for augmented reality and operation method therefor
CN112543343B (zh) 基于连麦直播的直播画面处理方法、装置及电子设备
JP2013197785A (ja) 画像生成装置、画像生成方法及びプログラム
CN107798932A (zh) 一种基于ar技术的早教训练系统
JP6375070B1 (ja) コンピュータシステム、画面共有方法及びプログラム
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
JP6267809B1 (ja) パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム
JP6275086B2 (ja) サーバ、データ提供方法及びサーバ用プログラム
JP6608311B2 (ja) 画像評価装置及び画像評価プログラム
JP2009223835A (ja) 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP2010072813A (ja) 画像処理装置および画像処理プログラム
CN111309212A (zh) 一种分屏对比的试衣方法、装置、设备及存储介质
WO2015072091A1 (ja) 画像処理装置、画像処理方法及びプログラム記憶媒体
JP6720585B2 (ja) 情報処理システム、情報処理端末、および、プログラム
JP2017188787A (ja) 撮像装置、画像合成方法、および画像合成プログラム
JP6404525B2 (ja) 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム
JP6650998B2 (ja) 鏡、画像表示方法及びプログラム
JP2008014825A (ja) 測定方法及び測定プログラム
CN114424519B (zh) 图像处理装置、图像处理方法、程序和图像处理系统
JP4736611B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2016572853

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16913482

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 29.05.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16913482

Country of ref document: EP

Kind code of ref document: A1