[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020189242A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020189242A1
WO2020189242A1 PCT/JP2020/008733 JP2020008733W WO2020189242A1 WO 2020189242 A1 WO2020189242 A1 WO 2020189242A1 JP 2020008733 W JP2020008733 W JP 2020008733W WO 2020189242 A1 WO2020189242 A1 WO 2020189242A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation information
classification result
observation
satellite
Prior art date
Application number
PCT/JP2020/008733
Other languages
English (en)
French (fr)
Inventor
直己 宮下
祥宏 太田
大輝 小山
Original Assignee
株式会社アクセルスペース
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アクセルスペース filed Critical 株式会社アクセルスペース
Priority to EP20774207.3A priority Critical patent/EP3944218A4/en
Publication of WO2020189242A1 publication Critical patent/WO2020189242A1/ja
Priority to US17/198,618 priority patent/US11450100B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Definitions

  • the present invention relates to an information processing device, an information processing method and a program.
  • Patent Document 1 the number of objects included in a satellite image is estimated using a classification model in which the feature amount of the satellite image and the correct answer value indicating the presence or absence of an object such as a vehicle included in the satellite image are learned.
  • a device for estimating the number of objects to be used is disclosed.
  • Patent Document 1 only estimates the number of a single type of object, and extracts a desired object from a wide variety of objects on the ground surface observed from outer space. Not reached.
  • One aspect is to provide an information processing device or the like capable of classifying a desired object from observation data.
  • the information processing device captures the acquisition unit that acquires the observation information that observes the target area from the flying object flying in space, and the object that exists in the target area when the observation information is input.
  • a classifier that classifies the object by inputting the observation information acquired by the acquisition unit into a classifier that has been trained to output the classified classification result, and a receptionist that accepts a designated input for designating the object. It is characterized by including a unit and an output unit that outputs the observation information including the classification result of the designated object.
  • FIG. 1 is a schematic diagram showing a configuration example of a satellite image providing system.
  • a satellite image providing system capable of purchasing (using) a satellite image desired by a user will be described.
  • the satellite image providing system includes an information processing device 1, a terminal 2, and a satellite 3.
  • the information processing device 1 and the terminal 2 are communicated and connected via a network N such as the Internet.
  • the information processing device 1 is an information processing device capable of transmitting and receiving various types of information processing and information, such as a server device and a personal computer.
  • the information processing device 1 is assumed to be a server device, and is read as a server 1 for the sake of brevity.
  • the server 1 is a management device that continuously acquires satellite images of the ground surface from the artificial satellite 3 and manages them in a database, and provides a platform for users to purchase satellite images.
  • the satellite image is image data in which position information (latitude and longitude information) of a corresponding point on the ground surface is associated with each pixel value in the image.
  • the server 1 acquires satellite images from each satellite 3 and displays them on the database. It is managed by.
  • the server 1 accepts the specified input of the geographical range (area) and the imaging date and time (time of imaging) of the satellite image that the user wants to purchase on the Web browser, and displays the image corresponding to the specified range and the date and time on the database. Extract from satellite images and provide them to users.
  • the satellite 3 may be provided with an optical sensor that detects thermal infrared rays, and may provide data obtained by detecting infrared rays emitted from the ground surface by radiation (radiation).
  • the satellite 3 is not an optical sensor, but is equipped with a microwave sensor (for example, a synthetic aperture radar) that irradiates the ground surface with microwaves (radio waves) and detects the microwave reflected from the ground surface, and observes with the microwave sensor.
  • the data may be provided.
  • the server 1 only needs to be able to provide the user with the observation information obtained by observing the ground surface from the satellite 3, and the observation information provided is not limited to the image based on visible light.
  • the ground surface is observed by an artificial satellite (satellite 3), but it is sufficient that the server 1 can provide the user with the data observed by some flying object moving in outer space.
  • the body is not limited to artificial satellites.
  • the server 1 when the server 1 provides the satellite image to the user, the data of the satellite image including the classification result of classifying the objects in the satellite image by using the classifier generated by machine learning.
  • the server 1 exists in a covering classifier that classifies coverings covering the ground surface (for example, clouds, water, trees, bare ground, etc. covering the ground surface), and a covering classifier on the ground surface.
  • a covering classifier that classifies coverings covering the ground surface (for example, clouds, water, trees, bare ground, etc. covering the ground surface)
  • an object classifier that classifies specific objects (such as moving objects such as vehicles and ships)
  • metadata showing the coverage in the satellite imagery and the number of moving objects present in each region of the satellite imagery
  • the attached satellite image is provided.
  • the terminal 2 is a terminal device operated by a user, for example, a personal computer.
  • the terminal 2 may be a smartphone, a tablet terminal, or other device.
  • the terminal 2 accesses the server 1 according to the operation input from the user, makes a purchase request for a satellite image (divided image described later), downloads the image from the server 1, and displays the downloaded image.
  • the satellite image is sold to the user and the satellite image is downloaded to the terminal 2.
  • the satellite image can be used for a certain period of time according to the contract with the user. You may try to do so. That is, the server 1 only needs to be able to output satellite images so that the user can use them in accordance with the usage request from the terminal 2, and it is not essential to have a configuration in which each satellite image is sold to the user and downloaded to the terminal 2. ..
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the control unit 11 has one or more CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units) and other arithmetic processing units, and stores the program P stored in the auxiliary storage unit 14. By reading and executing, various information processing, control processing, etc. are performed.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores a program P and other data necessary for the control unit 11 to execute processing. Further, the auxiliary storage unit 14 stores the user DB 141, the image DB 142, the covering classifier 143, and the object classifier 144.
  • the user DB 141 is a database that stores information about each user.
  • the image DB 142 is a database that stores satellite images acquired from the satellite 3.
  • the cover classifier 143 is a trained model generated by machine learning and is a classifier that classifies the cover covering the ground surface.
  • the object classifier 144 is a trained model similarly generated by machine learning, and is a classifier that classifies objects (moving objects) existing on the ground surface.
  • the auxiliary storage unit 14 may be an external storage device connected to the server 1. Further, the server 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like. Further, the server 1 includes a reading unit that reads a portable storage medium P1 such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM, and reads and executes a program P from the portable storage medium P1. You can do it. Alternatively, the server 1 may read the program P from the semiconductor memory P2.
  • a portable storage medium P1 such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM
  • FIG. 3 is an explanatory diagram showing an example of the record layout of the user DB 141 and the image DB 142.
  • the user DB 141 includes a user ID column, a name column, a user information column, and a purchased image string.
  • the user ID column stores a user ID for identifying each user.
  • Each of the name column, the user information column, and the purchased image column stores the user's name, other information about the user, and the information of the image purchased by the user in association with the user ID.
  • the user information column for example, the user's account information on the platform, information necessary for payment at the time of image purchase, and other information are stored.
  • the purchased image string for example, an ID for identifying a divided image described later is stored.
  • the image DB 142 includes an image ID string, a date and time column, a satellite ID string, an image string, a cell ID column, a cell area column, and an object string.
  • the image ID string stores an image ID for identifying a satellite image acquired from the satellite 3.
  • the date and time column, satellite ID column, image string, cell ID column, cell area column, and object string are associated with the image ID, respectively, and the date and time when the satellite image was imaged, the ID of the imaged satellite 3, and the imaged satellite.
  • An image, a cell ID for identifying a cell image (divided image) obtained by dividing a satellite image described later into a predetermined unit, coordinate information of a region in the satellite image corresponding to the cell image, and each object included in the cell image (target). The classification result of the thing) is memorized.
  • FIG. 4 is an explanatory diagram regarding the coating classification process.
  • the server 1 performs a process of classifying an object, specifically a covering and a moving body in the satellite image, using the classifier generated by machine learning.
  • FIG. 4 conceptually illustrates the processing contents related to the covering among the covering and the moving body. The processing content of the coating classification process will be described with reference to FIG.
  • the server 1 performs machine learning to learn the characteristics of the covering by deep learning, and generates the covering classifier 143.
  • the covering classifier 143 is, for example, a neural network related to a CNN (Convolution Neural Network), and includes an input layer that accepts input of satellite images (observation information) and an output layer that outputs classification results of coverings contained in satellite images. It has an intermediate layer for extracting features of satellite images.
  • CNN Convolution Neural Network
  • the input layer has a plurality of neurons that accept the input of the pixel value of each pixel included in the satellite image, and passes the input pixel value to the intermediate layer.
  • the intermediate layer has a plurality of neurons for extracting image features of satellite images, and the extracted image features are passed to the output layer.
  • the coating classifier 143 is CNN
  • the intermediate layer alternates between a convolution layer that convolves the pixel values of each pixel input from the input layer and a pooling layer that maps the pixel values convoluted by the convolution layer. It has a connected configuration, and finally extracts the feature amount of the image while compressing the pixel information of the satellite image.
  • the output layer has one or more neurons that output the classification result of the covering, and classifies the covering that covers the ground surface based on the image features output from the intermediate layer.
  • the coating classifier 143 is described as being a CNN, but the coating classifier 143 is not limited to the CNN, and is not limited to the CNN, but is a neural network other than the CNN, an SVM (Support Vector Machine), a Bayesian network, and a regression tree. It may be a trained model constructed by another learning algorithm.
  • the server 1 performs learning using a plurality of satellite images obtained by capturing the ground surface from the satellite 3 and teacher data associated with the correct answer value of the classification result when the covering is classified from each satellite image.
  • the server 1 inputs the satellite image included in the teacher data to the input layer, performs arithmetic processing in the intermediate layer, and acquires an output value indicating the classification result of the covering from the output layer.
  • the output value may be a discrete value (for example, a value of "0" or "1”) or a continuous probability value (for example, a value in the range of "0" to "1"). May be good.
  • the server 1 Since the satellite image captured by the satellite 3 has a very large data size, the server 1 divides the satellite image into predetermined units instead of the satellite image itself (raw data) as the image data to be input to the covering classifier 143. Input is performed in units of images (for example, cell images described later) and classified. As a result, the calculation load required for processing each image is reduced, and the classification process is appropriately performed.
  • the server 1 compares the output value from the output layer with the information labeled with respect to the satellite image in the teacher data, that is, the correct answer value, and the parameter used for the arithmetic processing in the intermediate layer so that the output value approximates the correct answer value.
  • the parameters include, for example, the weight between neurons (coupling coefficient), the coefficient of the activation function used in each neuron, and the like.
  • the method of optimizing the parameters is not particularly limited, but for example, the server 1 optimizes various parameters by using the backpropagation method.
  • the server 1 performs the above processing on each satellite image included in the teacher data to generate the covering classifier 143.
  • the server 1 generates a coating classifier 143 for semantic segmentation, which is a type of CNN.
  • Semantic segmentation is a method of class-determining each pixel to determine which object (object) each pixel in the image represents.
  • teacher data data in which information (correct answer value) indicating the type of the covering is labeled is used for the image region corresponding to various coverings in the satellite image.
  • the server 1 inputs the satellite image included in the teacher data to the covering classifier 143, acquires an output value indicating the classification result of the covering in pixel units, compares it with the correct answer value, and optimizes the parameters.
  • Generates a coating classifier 143 that can classify which coating each pixel represents on a pixel-by-pixel basis.
  • the server 1 classifies the covering using the covering classifier 143.
  • a covering is a predetermined object that covers the ground surface, and is classified into, for example, clouds, forests, bare land, upland fields, water bodies, ice and snow, and man-made objects. It should be noted that these classifications are examples, and the covering is not limited to the above.
  • the server 1 divides the satellite image into images of a predetermined unit and inputs them to the input layer of the covering classifier 143, performs an operation to extract an image feature amount in the intermediate layer, and inputs the extracted feature amount to the output layer.
  • the server 1 acquires, as an output value, the classification result for each pixel, which covering each pixel represents from the output layer.
  • the server 1 is described as generating the covering classifier 143 by supervised learning in the present embodiment, the covering classifier 143 may be generated by semi-supervised learning or unsupervised learning. The same applies to the object classifier 144 described later.
  • FIG. 5 is an explanatory diagram regarding the object classification process.
  • FIG. 5 conceptually illustrates how the object classifier 144 is used to measure the quantity of a specific object, specifically a moving body (for example, a vehicle, a ship, etc.) included in a satellite image.
  • a moving body for example, a vehicle, a ship, etc.
  • the processing content of the object classification process will be described with reference to FIG.
  • the object classifier 144 is a neural network generated by deep learning like the above-mentioned cover classifier 143, and is a neural network related to CNN. Similar to the cover classifier 143, the object classifier 144 has an input layer, an intermediate layer, and an output layer, accepts the input of the satellite image, and outputs the classification result of classifying the moving objects in the satellite image.
  • the server 1 learns from each of the plurality of satellite images for teachers by using the teacher data associated with the correct answer value of the classification result when the moving body is classified from each satellite image. Similar to the learning of the covering classifier 143, the server 1 divides each satellite image included in the teacher data into a predetermined unit and inputs it to the object classifier 144, and acquires the classification result of the moving body as an output value. The server 1 compares the output value with the correct answer value, optimizes parameters such as weights, and generates the object classifier 144.
  • the server 1 learns as teacher data using data in which the correct answer value indicating the type of the moving body is labeled with respect to the coordinate points (plots) corresponding to each moving body existing in the satellite image. Satellite images have low resolution, and it is often difficult to extract features such as the shape and color of individual moving objects to detect objects. Therefore, the server 1 sets the feature amount of each predetermined unit area (see the rectangular frame at the lower right of FIG. 5) in the image and the moving body existing in each area based on the coordinate points of the moving body plotted in the teacher data. By learning the quantity (number of plots) of, an object classifier 144 that directly estimates the quantity of moving objects is generated without detecting (recognizing) individual moving objects. This makes it possible to accurately estimate the number of moving objects even when the resolution is low.
  • the object classifier 144 may detect individual moving objects and measure the number of moving objects. That is, the object classifier 144 need only be able to estimate the number of moving objects, and its algorithm is not particularly limited.
  • the server 1 inputs the satellite image captured by the satellite 3 into the object classifier 144, classifies the moving objects included in the satellite image, and acquires the classification result indicating the number of moving objects as an output value. .. For example, as shown in the lower right of FIG. 5, the server 1 acquires the estimation result of estimating the number of moving bodies for each area in the image.
  • the server 1 when the server 1 inputs the satellite image to the object classifier 144, the server 1 narrows down the image area in the satellite image and inputs it according to the classification result of the covering by the covering classifier 143. As a result, the server 1 reduces the load of arithmetic processing using the object classifier 144.
  • the server 1 when the moving object to be classified is a ship, the image area to be considered as an analysis target is considered to be a water area such as the sea or a river. Therefore, when classifying a ship, the server 1 identifies an image area corresponding to a water area by referring to the classification result of the covering, and inputs the specified image area to the object classifier 144. As a result, as shown in the lower right of FIG. 5, the server 1 acquires the classification result indicating the number of ships existing in the water area as an output value.
  • moving objects such as ships and vehicles are examples of objects to be classified using the object classifier 144, and the objects may be fixed objects existing at a fixed position.
  • the server 1 uses the cover classifier 143 and the object classifier 144 to perform a process of classifying the cover and the moving body from the satellite image.
  • the server 1 sequentially acquires satellite images of each target area at each imaging time point (observation time point) from the plurality of satellites 3, 3, 3, ..., And classifies them.
  • the server 1 stores each satellite image and the classification result of the satellite image in the image DB 142 in association with the time of imaging and the target area.
  • FIGS. 6 to 12 are explanatory views showing an example of a display screen in the terminal 2. An outline of the present embodiment will be described with reference to FIGS. 6 to 12.
  • the server 1 provides a platform for selling satellite images acquired from each satellite 3 to users.
  • FIG. 6 is a screen example of the Web browser screen according to the present platform, and shows an example of the display screen displayed by the terminal 2.
  • the server 1 provides the user with a satellite image with a classification result using the cover classifier 143 and the object classifier 144 based on the operation input on the screen.
  • the terminal 2 searches for the target area to be purchased based on the operation input on the screen (not shown), and displays the screen shown in FIG. Specifically, as shown in FIG. 6, the terminal 2 displays a map image showing the target area.
  • the terminal 2 superimposes and displays a grid line 41 (dividing line) that divides the target area into a plurality of areas with a predetermined row width and column width on the map image.
  • the width (distance) divided by the grid lines 41 is not particularly limited, but in the present embodiment, the width is set to 5 km square.
  • the grid lines 41 are set along the north-south direction and the east-west direction according to the latitude and longitude, and the map image is divided into rectangular shapes, but the method (direction) of drawing the grid lines 41 is There is no particular limitation. Further, the user may arbitrarily set a dividing line and set an arbitrary area as a purchase target area.
  • the grid line 41 is a guideline for dividing the target area into a plurality of areas, and the cell image described later does not have to completely match the area on the map image separated by the grid line 41.
  • adjacent cell images may partially overlap each other.
  • the terminal 2 accepts a designated input for designating a plurality of areas to be purchased (used) from each area divided by the grid line 41. For example, the terminal 2 accepts designated inputs of a plurality of areas by a drag operation, a click operation, or the like on the screen. When the designated input of the area to be purchased is accepted, the terminal 2 communicates with the server 1 and transitions to the screen shown in FIG. 7.
  • the server 1 searches the image DB 142 for the satellite image including the designated area. Then, the server 1 extracts a cell image (region observation information) obtained by cutting out an image region corresponding to the region designated on the map image from the searched satellite image. The server 1 outputs the extracted cell image to the terminal 2 and displays it.
  • the server 1 displays a preview image in which each cell image 51 extracted from the satellite image (observation information) of the target area is superimposed on each corresponding area on the map image.
  • the area where the satellite image (photograph) is displayed is shown with hatching.
  • the server 1 first extracts the cell image 51 from the satellite image at the latest imaging time (observation time) among the plurality of satellite images of the target area captured at each time in the past. Is displayed.
  • the terminal 2 displays a cloud amount setting field 52 and an angle setting field 53 for narrowing down the cloud amount and the off-nadia angle (imaging angle) at a predetermined position on the preview image.
  • the terminal 2 accepts the input of the set value regarding the cloud amount and / or the off-nadia angle in each setting field, and switches the display mode of the cell image 51 depending on whether or not the set value is satisfied.
  • Cloud cover is the ratio of the area of clouds to the imaging range (observation range) of satellite images.
  • the terminal 2 accepts a setting input for setting an upper limit value of the cloud amount in the region of each cell image 51 at the time of imaging (observation time) via the cloud amount setting field 52. As a result, the terminal 2 narrows down the cell image 51.
  • the off-nadia angle is the imaging angle when the satellite 3 images the target area (area of each cell image 51), and the normal line connecting the satellite 3 and the ground surface at the time of imaging (observation time), the satellite 3, and the satellite 3 This is the angle formed by the straight line connecting the target areas (areas).
  • the "offnadia angle” originally refers to the irradiation angle of microwaves in the synthetic aperture radar, but in the present embodiment, for convenience, it is used to mean the imaging angle when the target area is imaged from the satellite 3.
  • the satellite image (cell image 51) is an image obtained by capturing the target area from an angle rather than from directly above. Therefore, for example, even though the user wants an image of the building taken from directly above, he / she purchases an image of the building taken at an angle. Therefore, in the present embodiment, it is possible to narrow down according to the off-nadia angle at the time of preview.
  • the server 1 calculates the angle formed by the normal line connecting the satellite 3 and the ground surface and the straight line connecting the satellite 3 and the center point of the region of each cell image 51 as the off-nadia angle related to each cell image 51. ..
  • the terminal 2 receives a setting input for setting the upper limit value of the off-nadia angle at the time of imaging via the angle setting field 53.
  • the terminal 2 displays the cell image 51 below the upper limit value and the cell image 51 exceeding the upper limit value in different modes according to the cloud cover and / or the upper limit value of the off-nadia angle set above.
  • the terminal 2 displays the cell image 51 exceeding the upper limit value in a dark color so as to be darker than the cell image 51 below the upper limit value.
  • FIG. 7 for convenience, the state of dark color display is shown in shades of hatching.
  • the terminal 2 accepts a designated input for changing the cell image 51 to be purchased from the image at the latest time point to the image at another time point in the past. For example, the terminal 2 displays a list of the imaging time points of each satellite image stored in the image DB 142 in the operation menu on the right side of the screen. The terminal 2 accepts a designated input for designating an arbitrary imaging time point in the past via the operation menu.
  • the terminal 2 accesses the server 1 and acquires a cell image 51 extracted from each area specified by the user from the satellite image at the specified imaging time point.
  • the terminal 2 switches the cell image 51 superimposed and displayed on the map image to the newly acquired cell image 51 and displays the cell image 51. If a change to another time point is specified, the terminal 2 switches to the specified time point and displays it.
  • the terminal 2 When purchasing the cell image 51, the terminal 2 registers the cell image 51 in the cart according to the operation input from the user.
  • the cart is a list for temporarily registering the cell image 51 to be purchased. For example, the terminal 2 accepts a click operation on the displayed cell image 51 and registers the operated cell image 51 in the cart.
  • FIG. 8 illustrates an example of the display screen after the cart is registered.
  • the terminal 2 attaches the icon 54 to the registered cell image 51 and displays it.
  • the terminal 2 displays the dot mark 55 in association with the imaging time (date and time) of the cell image 51 being displayed in the operation menu, and when the cell image 51 is registered in the cart, the cell registered in the cart.
  • a bar 56 having a length corresponding to the quantity (number of sheets) of the image 51 is displayed.
  • FIG. 9 illustrates an example of a display screen at the time of purchase application. As shown in FIG. 9, the terminal 2 displays a list of cell images 51 registered in the cart as thumbnails, and also displays the purchase amount and the like (not shown).
  • the terminal 2 accepts the designated input of the object desired by the user as the classification target for the cell image 51 to be purchased.
  • the terminal 2 accepts a designated input for the type of the target covering and the moving body, as shown in the lower right of FIG.
  • the terminal 2 transmits a purchase request (use request) for the cell image 51 including the specified contents of the object to the server 1 in response to the operation input from the user.
  • a purchase request for the cell image 51 including the specified contents of the object
  • the server 1 performs a process of settling the purchase amount according to the quantity of the cell image 51 to be purchased.
  • the server 1 may vary the purchase amount according to the number of types of objects specified above.
  • the server 1 After the purchase process is completed, the server 1 outputs the purchased cell image 51 to the terminal 2 and downloads it. In this case, the server 1 outputs the data of the cell image 51 including the classification result of the object specified by the user to the terminal 2. For example, the server 1 outputs the image data in which the metadata indicating the classification result of the object is added to the cell image 51 to the terminal 2. As a result, the user can receive not only the satellite image but also the data obtained by analyzing the satellite image.
  • the classification result (metadata) of the object is added to the satellite image and provided, but the present embodiment is not limited to this, and the object in the image is provided.
  • Data obtained by processing the image itself may be provided so that the position and range can be known.
  • the server 1 may generate a satellite image (cell image 51) in which the area of the target covering is color-coded and output it to the terminal 2 as in the color-coded display described later.
  • the server 1 may output a satellite image including the classification result of the object, and the mode of the output image data is not particularly limited.
  • FIG. 10 illustrates an example of a display screen when viewing the purchased cell image 51.
  • the server 1 makes it possible to browse the purchased cell image 51, that is, the cell image 51 available to the user on the same platform (Web browser screen) as at the time of purchase.
  • the terminal 2 receives a selection input of the cell image 51 to be viewed among the cell images 51 downloaded from the server 1 on a screen (not shown).
  • the terminal 2 displays the selected cell image 51.
  • the terminal 2 superimposes and displays the selected cell image 51 on the corresponding area on the map image.
  • the terminal 2 superimposes the cell image 51 on the map image and displays the cell image 51 with a dot mark 55 at the time of imaging corresponding to the cell image 51 being displayed in the operation menu.
  • the user can easily grasp which point and at what time the image is, as at the time of purchase.
  • 11A and 11B show an example of a classification result display screen.
  • the terminal 2 receives a designated input for designating any of the cell images 51 superimposed on the map images of FIGS. 11A and 11, the terminal 2 displays the classification result of the object related to the designated cell image 51.
  • FIG. 11A illustrates an example of a display screen relating to a covering
  • FIG. 11B illustrates an example of a display screen relating to a moving body.
  • the terminal 2 when displaying the classification result regarding the covering, displays the image area corresponding to the covering specified by the user in a display mode different from that of other image areas.
  • the terminal 2 highlights the pixels corresponding to the covering material specified by the user by means such as color coding.
  • the terminal 2 when displaying the classification result regarding the moving body, displays the area in the cell image 51 in which one or more target moving bodies exist in a rectangular frame, and also displays the area.
  • the number of moving objects existing in the area is displayed as a graph.
  • the terminal 2 accepts an additional purchase of the cell image 51 at another time point from the display screen shown in FIG. For example, the terminal 2 accepts a designated input for designating another time point from the operation menu.
  • the terminal 2 accesses the server 1 and outputs the cell image 51 related to the satellite image at the specified time point and the cell image 51 in the same area as the displayed cell image 51. Request.
  • the terminal 2 switches to the preview of the acquired cell image 51 and displays it.
  • FIG. 12 illustrates an example of the screen after switching. Similar to the first embodiment, the terminal 2 superimposes and displays the cell image 51 on the map image. The terminal 2 accepts the cloud cover and off-nadia angle setting inputs via the cloud cover setting field 52 and the angle setting field 53, and also accepts the registration operation in the cart on the screen, and proceeds to the purchase application. Since the process of registering to the cart, the process of purchasing the cell image 51, and the like are the same as above, detailed description thereof will be omitted.
  • the user can easily specify the geographical range (area) of the cell image 51 to be purchased, the time of imaging, etc. on the map image. Further, the raw image data acquired from the satellite 3, that is, the cell image 51 (region observation information) of an arbitrary region is cut out from the satellite image (observation information) having a very large data size and provided, and the data size is large for the user. Images that are small and easy to handle can be obtained. From the above, according to the present embodiment, it is possible to easily obtain a satellite image that is easy to handle.
  • the user can acquire the cell image 51 including the classification result of the desired object.
  • satellite images can be used for various purposes such as grasping land conditions and traffic volume.
  • FIG. 13 is a flowchart showing an example of the processing procedure of the classifier generation processing. Based on FIG. 13, the contents of the process of generating the covering classifier 143 and the object classifier 144 by performing machine learning will be described.
  • the control unit 11 of the server 1 acquires teacher data in which the correct answer value of the classification result when each object included in the satellite image is classified is associated with the satellite image (step S11).
  • the objects to be classified include a covering covering the ground surface, an object existing on the ground surface (for example, a moving body) and the like.
  • the control unit 11 acquires teacher data in which information (correct answer values) of various objects is labeled on the satellite image.
  • the control unit 11 uses the teacher data to generate a covering classifier 143 that outputs a classification result of classifying the coverings in the satellite image when the satellite image is input (step S12). That is, the control unit 11 inputs the satellite image included in the teacher data to the cover classifier 143, and acquires the classification result of classifying the cover as an output. The control unit 11 compares the acquired classification result with the correct answer value, and optimizes parameters such as weights between neurons so that the output classification result approximates the correct answer value.
  • control unit 11 uses the teacher data to generate an object classifier 144 that outputs a classification result of classifying the objects in the satellite image when the satellite image is input (step S13). Specifically, the control unit 11 inputs the satellite image included in the teacher data into the object classifier 144, and acquires an estimation result (classification result) for estimating the number of objects existing in each region in the satellite image. The control unit 11 compares the acquired estimation result with the correct answer value, and optimizes parameters such as weights between neurons so that the output estimation result approximates the correct answer value. The control unit 11 ends a series of processes.
  • FIG. 14 is a flowchart showing an example of the processing procedure of the object classification process. Based on FIG. 14, the contents of the process of classifying various objects included in the satellite image will be described using the cover classifier 143 and the object classifier 144.
  • the control unit 11 of the server 1 acquires a satellite image of the target area captured by the satellite 3 (step S31).
  • the control unit 11 divides the acquired satellite image into cell images 51, 51, 51 ... Corresponding to each of the plurality of regions in which the target area is divided (step S32).
  • the control unit 11 inputs the cell image 51 into the coating classifier 143 and classifies the covering in the cell image 51 (step S33). For example, the control unit 11 acquires a classification result indicating the type of the covering corresponding to each pixel value in the cell image 51 from the covering classifier 143.
  • the control unit 11 extracts an image area corresponding to various coverings from the cell image 51 according to the classification result acquired in step S33 (step S34).
  • the control unit 11 inputs the extracted image area to the object classifier 144, and acquires a classification result indicating the quantity of a specific object included in the image area from the object classifier 144 (step S35).
  • the control unit 11 stores the satellite image acquired in step S31 and the classification result of the object related to each cell image 51 acquired in steps S33 and S35 in association with each other in the image DB 142 (step S36).
  • the control unit 11 ends a series of processes.
  • FIG. 15 is a flowchart showing an example of the processing procedure of the image purchase process.
  • the processing contents executed by the server 1 will be described with reference to FIG.
  • the control unit 11 of the server 1 receives the designated input of the target area for displaying the map image from the terminal 2 (step S51).
  • the control unit 11 outputs a map image of the designated area to the terminal 2 and displays it (step S52). Specifically, as described above, the control unit 11 displays a map image on which grid lines 41 (dividing lines) for dividing the target area into a plurality of areas are superimposed.
  • the control unit 11 receives from the terminal 2 a designated input for designating a plurality of areas among the areas on the map image divided by the grid lines 41 (step S53).
  • the control unit 11 extracts the cell image 51 (region observation information) corresponding to the designated area from the satellite image (observation information) of the target area, and superimposes the extracted cell image 51 on each corresponding area of the map image.
  • the preview image is output to the terminal 2 and displayed (step S54).
  • step S54 the control unit 11 extracts the cell image 51 from the latest satellite image at the time of imaging from the satellite images of the target area and superimposes it on the map image.
  • the control unit 11 determines whether or not a designated input for changing the imaging time point to another time point has been received from the terminal 2 (step S55). When it is determined that the designated input at the time of imaging is accepted (S55: YES), the control unit 11 extracts the cell image 51 from the satellite image at the designated imaging time, outputs it to the terminal 2, and outputs the cell image on the map image. 51 is switched and displayed (step S56).
  • the control unit 11 determines whether or not the input of the set value regarding the cloud amount and / or the off-nadia angle in each cell image 51 has been accepted from the terminal 2 ( Step S57). For example, the control unit 11 accepts the setting input of the upper limit value of the cloud cover and / or the off-nadia angle. When it is determined that the input of the set value regarding the cloud cover and / or the off-nadia angle is accepted (S57: YES), the control unit 11 differs between the cell image 51 that satisfies the set value and the cell image 51 that does not satisfy the set value. The display of each cell image 51 is switched so as to be displayed in (step S58).
  • step S58 After executing the process of step S58, or if NO in step S57, the control unit 11 accepts a registration operation for registering the cell image 51 in the cart (purchase candidate list) from the terminal 2 (step S59). Then, the control unit 11 determines whether or not the purchase request (use request) of the cell image 51 registered in the cart has been accepted (step S60). If it is determined that the purchase request is not accepted (S60: NO), the control unit 11 returns the process to step S55.
  • the control unit 11 accepts the designated input of the object desired by the user as the classification target (step S61).
  • the object specified in step S61 is the type of the covering, the type of the object (moving body), or the like.
  • the control unit 11 outputs the cell image 51 to which the data indicating the classification result of the object is added to the cell image 51 for which the purchase request is received to the terminal 2 and downloads the cell image 51 (step S62). The control unit 11 ends a series of processes.
  • FIG. 16 is a flowchart showing an example of the processing procedure of the image viewing process. Based on FIG. 16, the processing content when viewing the purchased satellite image will be described.
  • the control unit 11 of the server 1 receives from the terminal 2 a designated input for designating the purchased cell image 51, that is, the cell image 51 that can be used by the user (step S71).
  • the control unit 11 generates a map image in which the designated cell image 51 is superimposed on the corresponding area on the map and displays it on the terminal 2 (step S72).
  • the control unit 11 determines whether or not the designated input of the cell image 51 for displaying the classification result regarding the object has been accepted from the terminal 2 (step S73). When it is determined that the designated input has been accepted (S73: YES), the control unit 11 indicates the classification result of the object included in the designated cell image 51, and indicates the classification result of the object specified by the user at the time of purchase.
  • the cell image 51 is displayed on the terminal 2 (step S74). For example, when a covering is targeted, the control unit 11 displays a cell image 51 in which the display mode of the image region (pixel) corresponding to each covering is different by means such as color coding. Further, for example, when the quantity of objects is targeted, the control unit 11 displays a cell image 51 showing the quantity of objects existing in each image area by means such as a graph.
  • step S75 the control unit 11 determines whether or not a designated input for switching the imaging time of the cell image 51 to another time is received from the terminal 2 (step S75).
  • the control unit 11 switches to the cell image 51 at the designated time and displays it (step S76).
  • step S77 the control unit 11 determines whether or not the input of the set value regarding the cloud cover and / or the off-nadia angle is accepted (step S77).
  • the control unit 11 When it is determined that the input of the set value regarding the cloud cover and / or the off-nadia angle is accepted (S77: YES), the control unit 11 differs between the cell image 51 that satisfies the set value and the cell image 51 that does not satisfy the set value. The display of each cell image 51 is switched so as to be displayed in (step S78).
  • step S79 determines whether or not the purchase request for the cell image 51 has been accepted from the terminal 2 (step S79). When it is determined that the purchase request is not accepted (S79: NO), the control unit 11 returns the process to step S73. When it is determined that the purchase request has been accepted (S79: YES), the control unit 11 accepts the designated input of the object desired by the user as the classification target (step S80). The control unit 11 outputs the cell image 51 including the classification result of the designated object to the terminal 2 and downloads it (step S81), and ends a series of processes.
  • the cell image 51 of the area designated by the user is preview-displayed on the map image to determine which point the cell image 51 to be purchased (used) is an image. It can be easily grasped.
  • the first embodiment it is possible to purchase (use) a satellite image at an arbitrary time point among the satellite images at each time point in the past stored in the image DB 142.
  • the purchased cell image 51 can be easily browsed, and the additional purchase of the cell image 51 can be easily performed.
  • the cell image 51 can be narrowed down according to the cloud cover and / or the off-nadia angle, and the desired cell image 51 can be easily obtained.
  • a desired object can be extracted from a satellite image and provided (presented) by using a classifier constructed by machine learning.
  • the user it is possible to provide the user with information on the covering covering the target area by performing the covering classification using the covering classifier 143.
  • the object classifier 144 can be used to provide the user with information on the quantity of a specific object (for example, a moving body) included in the satellite image.
  • the processing load can be reduced by narrowing down the image area to be input by using the classification result of the covering material by the covering classifier 143.
  • FIG. 17 illustrates an example of a display screen when a user specifies a plurality of areas to be purchased from a map image.
  • the terminal 2 displays an operation menu on the right side of the screen, specifies an imaging period, and accepts an operation input as to whether or not to purchase the cell image 51 in a batch.
  • the terminal 2 receives an image corresponding to each of the specified plurality of regions from each satellite image captured at each of the plurality of imaging time points included in the specified period.
  • Each cell image 51 from which the area is extracted is registered in the cart.
  • the preview may be displayed before the cart is registered.
  • the terminal 2 moves to the purchase application according to the operation input by the user, accesses the server 1 and performs the purchase process.
  • the terminal 2 accepts the designated input of the object to be classified and transmits the purchase request of the cell image 51 including the designated content to the server 1, as in the first embodiment.
  • the server 1 is an image group (observation information group) composed of cell images 51, 51, 51 ... At the time of each imaging, and is a target designated for each cell image 51.
  • the image group to which the classification result of the object is added is output to the terminal 2 and downloaded.
  • FIG. 18 illustrates an example of a display screen when displaying the classification result of the object related to the purchased cell image 51.
  • the terminal 2 accepts the designated input of the cell image 51 on the display screen of FIG. 10 as in the first embodiment, the terminal 2 displays the classification result of the object related to the designated cell image 51.
  • the terminal 2 displays an image group including the designated cell image 51, which is composed of a plurality of cell images 51 in the same area as the designated cell image 51 but at different imaging times, in chronological order. To do.
  • the terminal 2 reproduces a plurality of cell images 51 at the time of imaging in a time-series frame-by-frame manner.
  • the terminal 2 displays the color-coded cover and the graph of the number of moving objects in each of the cell images 51 at the time of each imaging.
  • the terminal 2 displays the time-series change of the object such as the covering or the moving body. From the above, the user can not only purchase the cell image 51 in bulk, but also can grasp how the state and the situation of the designated object are changing.
  • FIG. 19 is a flowchart showing an example of a processing procedure of the image purchase processing according to the second embodiment.
  • the control unit 11 of the server 1 After receiving the designated input for designating the plurality of areas on the map image (step S53), the control unit 11 of the server 1 executes the following processing.
  • the control unit 11 determines from the terminal 2 whether or not the cell image 51 corresponding to the designated area has received the designated input of the imaging period to be purchased (step S201). If it is determined that the specified input for the period is not accepted (S201: NO), the control unit 11 shifts the process to step S54.
  • the control unit 11 When it is determined that the specified input for the period has been accepted (S201: YES), the control unit 11 is an image group including cell images 51 captured at each of a plurality of imaging time points included in the designated period, and is in step S53. The image group corresponding to the area specified in is registered in the user's cart (step S202). The control unit 11 determines from the terminal 2 whether or not the purchase request for the cell image 51 registered in the cart has been accepted (step S203). If it is determined that the purchase request is not accepted (S203: NO), the control unit 11 returns the process to step S201. When it is determined that the purchase request has been accepted (S203: YES), the control unit 11 shifts the process to step S60.
  • FIG. 20 is a flowchart showing an example of the processing procedure of the image viewing process according to the second embodiment.
  • the control unit 11 of the server 1 executes the following processing.
  • the control unit 11 displays, in chronological order, a group of images including the designated cell image 51 in the terminal 2, and is composed of a plurality of cell images 51 in the same area as the designated cell image 51 but at different imaging times. Display (step S221).
  • the control unit 11 causes the cell image 51 to reproduce a moving image as described above.
  • control unit 11 displays a moving image showing the time-series change of the object by displaying the color-coded display of the covering, the graph of the number of moving objects, and the like in each of the cell images 51 at the time of each imaging.
  • the control unit 11 shifts the process to step S75.
  • the cell images 51 at each of a plurality of imaging time points can be purchased in a batch, and the convenience can be improved.
  • the user can grasp the time-series change of the object.
  • FIG. 21 is an explanatory diagram showing an outline of the third embodiment.
  • the server 1 displays, in the image DB 142, each satellite image acquired from the satellite 3 and the classification result of classifying the objects contained in each satellite image by the covering classifier 143 and the object classifier 144. It is stored in association with the target area and the time of imaging.
  • the user can search for a desired image from the image DB 142 using the object as a search query and provide it.
  • the outline of this implementation will be described with reference to FIG.
  • the terminal 2 accepts a designated input for specifying the type of the object (cover or moving body) as a search query, and sends a search request to the server 1.
  • the terminal 2 may make a search request for the object by designating more detailed search conditions such as the size (area) of the covering and the threshold value of the number of moving objects.
  • the server 1 When the search request is received from the terminal 2, the server 1 refers to the classification result of the object associated with each satellite image (cell image 51), and includes the object specified by the user from the image DB 142.
  • the cell image 51 is searched.
  • the server 1 outputs the search result to the terminal 2 and displays it. For example, as shown in FIG. 21, the server 1 displays the thumbnails of the searched cell images 51 in a list.
  • the terminal 2 accepts a selection input for selecting one of the cell images 51 listed as a search result, and displays a preview image superimposed on the map image of the selected cell image 51.
  • the terminal 2 may preview all or part of the information about the target object as the search query, such as the covering and the moving body.
  • the server 1 sequentially accepts the registration operation of the cell image 51 in the cart and the purchase request from the terminal 2, and outputs the cell image 51 including the classification result of the target object to be searched to the terminal 2.
  • FIG. 22 is a flowchart showing an example of a processing procedure executed by the server 1 according to the third embodiment.
  • the control unit 11 of the server 1 accepts the designated input of the target object to be searched (step S301).
  • the control unit 11 searches the image DB 142 for a satellite image (cell image 51) including the designated object (step S302).
  • the control unit 11 outputs the search result to the terminal 2 (step S303).
  • the control unit 11 displays thumbnails of each searched cell image 51.
  • the control unit 11 may output all or a part of the information about the object as the search query to the terminal 2 and display it in the searched cell image 51.
  • the control unit 11 accepts a selection input for selecting one of the cell images 51 displayed as the search result, and displays a preview image in which the selected cell image 51 is superimposed on the map on the terminal 2 (step S304).
  • the control unit 11 accepts the operation of registering the preview-displayed cell image 51 in the cart (step S305).
  • the control unit 11 receives a purchase request for the cell image 51 registered in the cart from the terminal 2, performs a purchase process, outputs the purchase request to the terminal 2, and downloads the cell image 51 (step S306).
  • the control unit 11 ends a series of processes.
  • the satellite image including the object specified by the user can be searched from the image DB 142, and the convenience can be improved.
  • FIG. 23 is an explanatory diagram showing an outline of the fourth embodiment.
  • the server 1 detects a predetermined event generated in the target area from the satellite image continuously captured by the satellite 3 from the time-series change of the classification result of the object by the cover classifier 143 or the like, and the user. Notify to. Events to be monitored are disaster-related events such as landslides and volcanic eruptions. An outline of the present embodiment will be described with reference to FIG. 23.
  • the terminal 2 first pre-registers the target area to be monitored and the event to be monitored. For example, the terminal 2 receives a designated input of the target area from the user by designating the area to be monitored in the same map image as in FIG. In addition, the terminal 2 accepts designated inputs for the types of disaster events to be monitored, such as landslides and volcanic eruptions. The terminal 2 transmits various designated information to the server 1 and performs pre-registration.
  • the server 1 Each time the server 1 acquires a satellite image of the target area from the satellite 3, the server 1 inputs the satellite image to the covering classifier 143 and acquires the classification result of the covering.
  • the server 1 compares the classification result of the coverings classified from the satellite image acquired last time with the satellite image of the target area and the classification result of the coverings this time, and corresponds to a pre-registered event. Determine if the object has changed. For example, when a landslide is specified as an event to be monitored, the server 1 determines whether the "forest" has changed to "bare land".
  • the server 1 When it is determined that the object has changed, the server 1 notifies the terminal 2 of the determination result. For example, the server 1 notifies the terminal 2 that a pre-registered event has occurred in the target area, and is a satellite image of the target area, which is a satellite image labeled with an image area in which the event is presumed to have occurred. Is output to the terminal 2. In the case described according to the above example, the server 1 labels the area changed from "forest" to "bare land” and outputs it to the terminal 2.
  • the server 1 may output the satellite image as a preview and then accept the purchase request of the satellite image from the terminal 2.
  • the server 1 may automatically make a payment for the purchase of the satellite image and download the satellite image to the terminal 2.
  • the server 1 may manually or automatically execute the purchase process of the satellite image labeled in the area where the object has been determined to have changed. ..
  • FIG. 24 is a flowchart showing an example of a processing procedure executed by the server 1 according to the fourth embodiment.
  • the control unit 11 of the server 1 receives the designated input of the target area to be monitored from the terminal 2 (step S401). Further, the control unit 11 receives a designated input regarding an event (change in the object) to be monitored (step S402).
  • the control unit 11 acquires the classification result of the object classified from the satellite image corresponding to the target area designated in step S401 from the image DB 142 (step S403).
  • the control unit 11 determines whether or not the object specified in step S402 has changed by comparing with the classification result of the object at the time of the previous imaging (step S404).
  • control unit 11 If it is determined that no change has occurred (S404: NO), the control unit 11 returns the process to step S403. When it is determined that a change has occurred (S404: YES), the control unit 11 notifies the terminal 2 of the determination result (step S405), and ends a series of processes.
  • the fourth embodiment it is possible to automatically notify the user of a predetermined event that has occurred in the target area, and the system can be used for various purposes such as disaster observation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（１）は、宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得する取得部と、前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、前記取得部が取得した前記観測情報を入力して前記対象物を分類する分類部と、前記対象物を指定する指定入力を受け付ける受付部と、指定された前記対象物の分類結果を含む前記観測情報を出力する出力部とを備えることを特徴とする。

Description

情報処理装置、情報処理方法及びプログラム
　本発明は、情報処理装置、情報処理方法及びプログラムに関する。
　人工衛星から撮像された衛星画像を活用して、衛星画像内のオブジェクトを検出する種々の手法が提案されている。例えば特許文献１では、衛星画像の特徴量と、衛星画像に含まれる車両等の目的物の有無を示す正解値とを学習した分類モデルを用いて、衛星画像に含まれる目的物の個数を推定する目的物個数推定装置等が開示されている。
特開２００９－１４６２６２号公報
　しかしながら、特許文献１に係る発明は単一種類の目的物についてその個数を推定するのみで、宇宙空間から観測される地表面の多種多様な対象物の中から、所望の対象物を抽出するに至っていない。
　一つの側面では、観測データから所望の対象物を分類可能な情報処理装置等を提供することを目的とする。
　一つの側面では、情報処理装置は、宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得する取得部と、前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、前記取得部が取得した前記観測情報を入力して前記対象物を分類する分類部と、前記対象物を指定する指定入力を受け付ける受付部と、指定された前記対象物の分類結果を含む前記観測情報を出力する出力部とを備えることを特徴とする。
　一つの側面では、観測データから所望の対象物を分類することができる。
衛星画像提供システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 ユーザＤＢ及び画像ＤＢのレコードレイアウトの一例を示す説明図である。 被覆分類処理に関する説明図である。 物体分類処理に関する説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 分類器生成処理の処理手順の一例を示すフローチャートである。 対象物分類処理の処理手順の一例を示すフローチャートである。 画像購入処理の処理手順の一例を示すフローチャートである。 画像閲覧処理の処理手順の一例を示すフローチャートである。 実施の形態２に係る表示画面の一例を示す説明図である。 実施の形態２に係る表示画面の一例を示す説明図である。 実施の形態２に係る画像購入処理の処理手順の一例を示すフローチャートである。 実施の形態２に係る画像閲覧処理の処理手順の一例を示すフローチャートである。 実施の形態３の概要を示す説明図である。 実施の形態３に係るサーバが実行する処理手順の一例を示すフローチャートである。 実施の形態４の概要を示す説明図である。 実施の形態４に係るサーバが実行する処理手順の一例を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、衛星画像提供システムの構成例を示す模式図である。本実施の形態では、ユーザが所望する衛星画像を購入（利用）可能な衛星画像提供システムについて説明する。衛星画像提供システムは、情報処理装置１、端末２、衛星３を含む。情報処理装置１及び端末２は、インターネット等のネットワークＮを介して通信接続されている。
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバ装置であるものとし、簡潔のためサーバ１と読み替える。サーバ１は、人工衛星である衛星３から地表面を撮像した衛星画像を継続的に取得してデータベース上に管理する管理装置であり、衛星画像をユーザが購入するためのプラットフォームを提供する。なお、衛星画像は、画像内の各画素値に対して、地表面の対応する地点の位置情報（緯度及び経度の情報）が関連付けられた画像データである。本実施の形態では、重量が数十ｋｇの小型の衛星３が数十機体制で地球上の所定の軌道に存在しており、サーバ１は、各衛星３から衛星画像を取得してデータベース上で管理している。サーバ１は、Ｗｅｂブラウザ上でユーザが購入を希望する衛星画像の地理的範囲（領域）及び撮像日時（撮像時点）の指定入力を受け付け、指定された範囲及び日時に対応する画像をデータベース上の衛星画像から抽出し、ユーザに提供する。
　なお、以下の説明では、可視光線や近赤外線などを衛星３が検知することで撮像した衛星画像（写真）をユーザに提供するものとして説明するが、本実施の形態はこれに限定されるものではない。例えば衛星３は、熱赤外線を検知する光学センサを備え、地表面から輻射(放射)により放出される赤外線を検知して得たデータを提供するようにしてもよい。また、衛星３は、光学センサではなく、地表面にマイクロ波（電波）を照射し、地表面から反射したマイクロ波を検知するマイクロ波センサ（例えば合成開口レーダ）を備え、マイクロ波センサで観測したデータを提供するようにしてもよい。このように、サーバ１は衛星３から地表面を観測した観測情報をユーザに提供可能であればよく、提供する観測情報は可視光に基づく画像に限定されない。
　また、以下の説明では人工衛星（衛星３）によって地表面を観測するものとするが、サーバ１は宇宙空間を移動する何らかの飛翔体で観測したデータをユーザに提供可能であればよく、当該飛翔体は人工衛星に限定されない。
　本実施の形態においてサーバ１は、衛星画像をユーザに提供する際に、機械学習によって生成された分類器を用いて衛星画像内の対象物（オブジェクト）を分類した分類結果を含む衛星画像のデータをユーザに提供する。具体的には後述するように、サーバ１は、地表面を被覆する被覆物（例えば地表を覆う雲、水、樹木、裸地等の別）を分類する被覆分類器、及び地表面に存在する特定の物体（例えば車両、船舶等の移動体）を分類する物体分類器を用いて、衛星画像内の被覆物と、衛星画像内の各領域に存在する移動体の数量とを示すメタデータを付加した衛星画像を提供する。
　端末２は、ユーザが操作する端末装置であり、例えばパーソナルコンピュータである。なお、端末２はスマートフォン、タブレット端末、その他の装置であってもよい。端末２は、ユーザからの操作入力に従ってサーバ１にアクセスし、衛星画像（後述する分割画像）の購入要求を行ってサーバ１からダウンロードし、ダウンロードした画像を表示する。
　なお、本実施の形態ではユーザに衛星画像を販売して衛星画像を端末２にダウンロードさせるものとして説明するが、例えばサブスクリプション形式で、ユーザとの間の契約に従って衛星画像を一定期間利用可能とするようにしてもよい。すなわち、サーバ１は、端末２からの利用要求に従って衛星画像をユーザが利用可能なように出力することができればよく、一つひとつの衛星画像をユーザに販売し、端末２にダウンロードさせる構成は必須ではない。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、ユーザＤＢ１４１、画像ＤＢ１４２、被覆分類器１４３、及び物体分類器１４４を記憶している。ユーザＤＢ１４１は、各ユーザの情報を格納したデータベースである。画像ＤＢ１４２は、衛星３から取得した衛星画像を格納したデータベースである。被覆分類器１４３は、機械学習によって生成された学習済みモデルであって、地表面を被覆する被覆物を分類する分類器である。物体分類器１４４は、同様に機械学習によって生成された学習済みモデルであって、地表面に存在する物体（移動体）を分類する分類器である。
　なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体Ｐ１を読み取る読取部を備え、可搬型記憶媒体Ｐ１からプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリＰ２からプログラムＰを読み込んでも良い。
　図３は、ユーザＤＢ１４１及び画像ＤＢ１４２のレコードレイアウトの一例を示す説明図である。
　ユーザＤＢ１４１は、ユーザＩＤ列、氏名列、ユーザ情報列、購入画像列を含む。ユーザＩＤ列は、各ユーザを識別するためのユーザＩＤを記憶している。氏名列、ユーザ情報列、購入画像列はそれぞれ、ユーザＩＤと対応付けて、ユーザの氏名、ユーザに関するその他の情報、及びユーザが購入した画像の情報を記憶している。ユーザ情報列には、例えばユーザの本プラットフォーム上でのアカウント情報、画像購入時の決済に必要な情報、その他の情報が記憶されている。購入画像列には、例えば後述する分割画像を識別するためのＩＤを記憶されている。
　画像ＤＢ１４２は、画像ＩＤ列、日時列、衛星ＩＤ列、画像列、セルＩＤ列、セル領域列、オブジェクト列を含む。画像ＩＤ列は、衛星３から取得した衛星画像を識別するための画像ＩＤを記憶している。日時列、衛星ＩＤ列、画像列、セルＩＤ列、セル領域列、オブジェクト列はそれぞれ、画像ＩＤと対応付けて、衛星画像が撮像された日時、撮像した衛星３のＩＤ、及び撮像された衛星画像、後述する衛星画像を所定単位で分割したセル画像（分割画像）を識別するためのセルＩＤ、セル画像に相当する衛星画像内の領域の座標情報、及びセル画像に含まれる各オブジェクト（対象物）の分類結果を記憶している。
　図４は、被覆分類処理に関する説明図である。上述の如く、本実施の形態においてサーバ１は、機械学習によって生成した分類器を用いて、衛星画像内の対象物、具体的には被覆物及び移動体を分類する処理を行う。図４では、被覆物及び移動体のうち、被覆物に係る処理内容を概念的に図示している。図４に基づき、被覆分類処理の処理内容について説明する。
　例えばサーバ１は、深層学習により被覆物の特徴を学習する機械学習を行い、被覆分類器１４３を生成する。被覆分類器１４３は、例えばＣＮＮ（Convolution Neural Network）に係るニューラルネットワークであり、衛星画像（観測情報）の入力を受け付ける入力層と、衛星画像に含まれる被覆物の分類結果を出力する出力層と、衛星画像の特徴量を抽出する中間層とを有する。
　入力層は、衛星画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、衛星画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。被覆分類器１４３がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、衛星画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層は、被覆物の分類結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、地表面を被覆する被覆物を分類する。
　なお、本実施の形態では被覆分類器１４３がＣＮＮであるものとして説明するが、被覆分類器１４３はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習済みモデルであってもよい。
　サーバ１は、衛星３から地表面を撮像した複数の衛星画像と、各衛星画像から被覆物を分類した場合の分類結果の正解値とが対応付けられた教師データを用いて学習を行う。サーバ１は、教師データに含まれる衛星画像を入力層に入力し、中間層での演算処理を経て、出力層から被覆物の分類結果を示す出力値を取得する。なお、出力値は離散的な値（例えば「０」又は「１」の値）であってもよく、連続的な確率値（例えば「０」から「１」までの範囲の値）であってもよい。
　なお、衛星３が撮像する衛星画像はデータサイズが非常に大きいため、サーバ１は被覆分類器１４３に入力する画像データとして、衛星画像そのもの（生データ）ではなく、衛星画像を所定単位で分割した画像（例えば後述するセル画像）単位で入力し、分類を行う。これにより、一つひとつの画像の処理に要する演算負荷を低減し、好適に分類処理を行う。
　サーバ１は、出力層からの出力値を、教師データにおいて衛星画像に対しラベリングされた情報、すなわち正解値と比較し、出力値が正解値に近似するように中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばサーバ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。サーバ１は、教師データに含まれる各衛星画像について上記の処理を行い、被覆分類器１４３を生成する。
　例えばサーバ１は、ＣＮＮの一種であるセマンティックセグメンテーションに係る被覆分類器１４３を生成する。セマンティックセグメンテーションは、画像内の各画素がいずれのオブジェクト（対象物）を表す画素であるか、画素単位のクラス判定を行う手法である。この場合、例えば教師データとして、衛星画像内の各種被覆物に対応する画像領域に対し、被覆物の種類を示す情報（正解値）がラベリングされたデータが用いられる。サーバ１は、教師データに含まれる衛星画像を被覆分類器１４３に入力して画素単位で被覆物の分類結果を示す出力値を取得し、正解値と比較してパラメータの最適化を行うことで、各画素がいずれの被覆物を表すか、画素単位で分類可能な被覆分類器１４３を生成する。
　衛星３から衛星画像を取得した場合、サーバ１は被覆分類器１４３を用いて被覆物の分類を行う。被覆物は、地表面を被覆する所定のオブジェクトであって、例えば雲、森林、裸地、畑地、水域、氷雪、人工物などに分類される。なお、これらの分類は例示であって、被覆物は上記に限定されない。サーバ１は、衛星画像を所定単位の画像に分割して被覆分類器１４３の入力層に入力し、中間層において画像特徴量を抽出する演算を行い、抽出した特徴量を出力層に入力する。サーバ１は出力層から、各画素がいずれの被覆物を表すか、画素単位での分類結果を出力値として取得する。
　なお、本実施の形態ではサーバ１が教師あり学習によって被覆分類器１４３を生成するものとして説明するが、半教師あり学習、あるいは教師なし学習によって被覆分類器１４３を生成するようにしてもよい。後述の物体分類器１４４についても同様である。
　図５は、物体分類処理に関する説明図である。図５では、物体分類器１４４を用いて、衛星画像に含まれる特定の物体、具体的には移動体（例えば車両、船舶等）の数量を計測する様子を概念的に図示している。図５に基づき、物体分類処理の処理内容について説明する。
　物体分類器１４４は、上記の被覆分類器１４３と同じく深層学習によって生成されるニューラルネットワークであって、ＣＮＮに係るニューラルネットワークである。被覆分類器１４３と同様に、物体分類器１４４は入力層、中間層、及び出力層を有し、衛星画像の入力を受け付けて、衛星画像内の移動体を分類した分類結果を出力する。
　サーバ１は、教師用の複数の衛星画像それぞれに対し、各衛星画像から移動体を分類した際の分類結果の正解値が対応付けられた教師データを用いて学習を行う。被覆分類器１４３の学習時と同様に、サーバ１は、教師データに含まれる各衛星画像を所定単位で分割して物体分類器１４４に入力し、移動体の分類結果を出力値として取得する。サーバ１は、出力値を正解値と比較して重み等のパラメータを最適化し、物体分類器１４４を生成する。
　例えばサーバ１は、教師データとして、衛星画像内に存在する各移動体に対応する座標点（プロット）に対し、移動体の種類を示す正解値がラベリングされたデータを用いて学習を行う。衛星画像は解像度が低く、個々の移動体の形状や色といった特徴量を抽出して物体検出を行うことが難しい場合が多い。そこでサーバ１は、教師データにおいてプロットされた移動体の座標点を元に、画像内の所定の各単位領域（図５右下の矩形枠参照）の特徴量と、各領域に存在する移動体の数量（プロット数）とを学習することで、個々の移動体を検出（認識）することなく、移動体の数量を直接的に推定する物体分類器１４４を生成する。これにより、解像度が低い場合であっても移動体の数量を精度良く推定可能となる。
　なお、衛星画像の解像度によっては、物体分類器１４４において個々の移動体の検出を行い、移動体の数量を計測するようにしてもよい。すなわち、物体分類器１４４は移動体の数量を推定可能であればよく、そのアルゴリズムは特に限定されない。
　サーバ１は、衛星３が撮像した衛星画像を物体分類器１４４に入力し、衛星画像に含まれる移動体を分類した分類結果であって、移動体の数量を示す分類結果を出力値として取得する。例えば図５右下に示すように、サーバ１は、画像内の領域毎に、移動体の数量を推定した推定結果を取得する。
　ここでサーバ１は、物体分類器１４４に衛星画像を入力する場合に、被覆分類器１４３による被覆物の分類結果に応じて、衛星画像内の画像領域を絞り込んで入力する。これによってサーバ１は、物体分類器１４４を用いた演算処理の負荷を低減する。
　例えば分類対象とする移動体が船舶である場合、分析対象として考慮すべき画像領域は、海、河川などの水域であると考えられる。そこでサーバ１は、船舶について分類を行う場合、被覆物の分類結果を参照して水域に対応する画像領域を特定し、特定した画像領域を物体分類器１４４に入力する。これによってサーバ１は、図５右下に示すように、水域に存在する船舶の数量を示す分類結果を出力値として取得する。
　なお、船舶、車両等の移動体は物体分類器１４４を用いて分類する物体の例示であって、当該物体は一定の位置に存在する固定物であってもよい。
　上述の如く、サーバ１は被覆分類器１４３及び物体分類器１４４を用いて、衛星画像から被覆物及び移動体を分類する処理を行う。サーバ１は、複数の衛星３、３、３…から、各撮像時点（観測時点）において各対象地域を撮像した衛星画像を順次取得し、分類を行う。サーバ１は、各衛星画像と、衛星画像の分類結果とを撮像時点及び対象地域と対応付けて画像ＤＢ１４２に記憶する。
　図６～図１２は、端末２における表示画面の一例を示す説明図である。図６～図１２に基づき、本実施の形態の概要について説明する。
　本実施の形態においてサーバ１は、各衛星３から取得した衛星画像をユーザに販売するプラットフォームを提供する。図６には、本プラットフォームに係るＷｅｂブラウザ画面の画面例であって、端末２が表示する表示画面の一例を図示してある。サーバ１は、当該画面上での操作入力に基づいて、被覆分類器１４３及び物体分類器１４４を用いた分類結果付きの衛星画像をユーザに提供する。
　例えば端末２は、不図示の画面における操作入力に基づいて、購入対象とする対象地域の検索を行い、図６に示す画面を表示する。具体的には図６に示すように、端末２は、対象地域を示す地図画像を表示する。
　端末２は地図画像上に、所定の行幅及び列幅で対象地域を複数の領域に区分するグリッド線４１（分割線）を重畳して表示する。グリッド線４１で区分される幅（距離）は特に限定されないが、本実施の形態では５ｋｍ四方の幅に設定されている。
　なお、本実施の形態ではグリッド線４１が緯度及び経度に準じて南北方向及び東西方向に沿って設定され、地図画像が矩形状に区分されているが、グリッド線４１の引き方（方向）は特に限定されない。また、ユーザが任意に分割線を設定し、任意の領域を購入対象地域として設定可能としてもよい。
　また、グリッド線４１は対象地域を複数の領域に分割する際の目安であり、後述するセル画像は、グリッド線４１で区切られた地図画像上の領域と完全に一致せずともよい。例えば隣り合うセル画像は、相互に一部重複していてもよい。
　端末２は、グリッド線４１で分割された各領域から、購入対象（利用対象）とする複数の領域を指定する指定入力を受け付ける。例えば端末２は、画面上でのドラッグ操作、クリック操作等によって複数の領域の指定入力を受け付ける。購入対象とする領域の指定入力を受け付けた場合、端末２はサーバ１との間で通信を行い、図７に示す画面に遷移する。
　端末２において購入対象とする領域の指定入力を受け付けた場合、サーバ１は、指定された領域を含む衛星画像を画像ＤＢ１４２から検索する。そしてサーバ１は、検索した衛星画像から、地図画像上で指定された領域に対応する画像領域を切り出したセル画像（領域観測情報）を抽出する。サーバ１は、抽出したセル画像を端末２に出力し、表示させる。
　具体的には図７に示すように、サーバ１は、地図画像上の対応する各領域に、対象地域の衛星画像（観測情報）から抽出した各セル画像５１を重畳したプレビュー画像を表示させる。なお、本明細書の図面では作図の便宜上、衛星画像（写真）が表示される領域にハッチングを付して図示する。図７のプレビュー画像の表示時点では、サーバ１はまず、対象地域を過去の各時点で撮像した複数の衛星画像のうち、最新の撮像時点（観測時点）での衛星画像から抽出したセル画像５１を表示させる。地図画像上に購入対象のセル画像５１を重畳して表示することで、ユーザはどの地点の画像であるか、プレビューを確認する際に容易に把握することができる。
　ここで端末２は、プレビュー画像上の所定箇所に、雲量及びオフナディア角（撮像角度）について絞り込みを行うための雲量設定欄５２及び角度設定欄５３を表示する。端末２は、各設定欄において雲量及び／又はオフナディア角に関する設定値の入力を受け付け、設定値を満たすか否かに応じてセル画像５１の表示態様を切り換える。
　雲量は、衛星画像の撮像範囲（観測範囲）に占める雲の面積割合である。ユーザが衛星画像（セル画像５１）を購入した場合に、当該画像内の雲量が多く、地表面がほとんど確認できない場合、ユーザにとって有用なものとは言い難い。そこで本実施の形態では、プレビュー時に雲量に応じた絞り込みを可能とする。例えば端末２は雲量設定欄５２を介して、撮像時点（観測時点）における各セル画像５１の領域での雲量の上限値を設定する設定入力を受け付ける。これにより端末２は、セル画像５１の絞り込みを行う。
　オフナディア角は、衛星３が対象地域（各セル画像５１の領域）を撮像した際の撮像角度であって、撮像時点（観測時点）において衛星３及び地表面を結ぶ法線と、衛星３及び対象地域（領域）を結ぶ直線とが成す角度である。なお、「オフナディア角」は本来、合成開口レーダにおけるマイクロ波の照射角度を指すが、本実施の形態では便宜上、衛星３から対象地域を撮像した際の撮像角度を意味するものとして用いる。
　オフナディア角が大きい場合、衛星画像（セル画像５１）は、対象地域を真上からではなく斜めから撮像した画像となる。従って、例えばユーザが建築物を真上から撮像した画像を所望しているにも関わらず、建築物を斜めから撮像した画像を購入することになる。そこで本実施の形態では、プレビュー時にオフナディア角に応じた絞り込みを可能とする。
　例えばサーバ１は、衛星３及び地表面を結ぶ法線と、衛星３、及び各セル画像５１の領域の中心点を結ぶ直線とがなす角度を、各セル画像５１に係るオフナディア角として計算する。端末２は角度設定欄５３を介して、撮像時点におけるオフナディア角の上限値を設定する設定入力を受け付ける。端末２は、上記で設定された雲量及び／又はオフナディア角の上限値に応じて、上限値以下のセル画像５１と、上限値を超過するセル画像５１とを異なる態様で表示する。例えば端末２は、上限値を超過するセル画像５１を、上限値以下のセル画像５１よりも暗くなるように暗色表示させる。なお、図７では便宜上、暗色表示を行っている様子をハッチングの濃淡で図示してある。上記の表示切換により、ユーザは雲量及び／又はオフナディア角が所望の条件を満たす衛星画像（セル画像５１）を購入可能となる。
　また、端末２は図７の画面上で、購入対象とするセル画像５１を、最新時点の画像から過去の別時点の画像に変更する指定入力を受け付ける。例えば端末２は、画像ＤＢ１４２に格納されている各衛星画像の撮像時点であって、対象地域を撮像した各衛星画像の撮像時点を画面右の操作メニューに一覧表示する。端末２は操作メニューを介して、過去の任意の撮像時点を指定する指定入力を受け付ける。
　別時点が指定された場合、端末２はサーバ１にアクセスし、指定された撮像時点の衛星画像から、ユーザが指定した各領域を抽出したセル画像５１を取得する。端末２は、地図画像上に重畳表示しているセル画像５１を、新たに取得したセル画像５１に切り換えて表示する。さらに別時点への変更が指定された場合、端末２は指定された時点に切り換えて表示する。上記の処理を繰り返すことにより、ユーザは過去の各時点で撮像された画像を簡単に切り換えながら確認し、購入する画像を選択することができる。
　セル画像５１を購入する場合、端末２はユーザからの操作入力に従い、セル画像５１をカートに登録する。カートは、購入するセル画像５１を仮登録しておくリストである。例えば端末２は、表示中のセル画像５１に対するクリック操作を受け付け、操作されたセル画像５１をカートに登録する。
　図８に、カート登録後の表示画面の一例を図示する。セル画像５１がカートに登録された場合、端末２は、登録されたセル画像５１にアイコン５４を付して表示する。アイコン５４を表示することで、ユーザは表示中のセル画像５１がカートに登録済みであることを容易に把握することができる。また、端末２は操作メニューにおいて、表示中のセル画像５１の撮像時点（日時）と対応付けてドットマーク５５を表示すると共に、セル画像５１がカートに登録された場合、カートに登録されたセル画像５１の数量（枚数）に応じた長さのバー５６を表示する。これによりユーザは、どの時点、どの程度の数量のセル画像５１をカートに登録したか、容易に把握することができる。
　セル画像５１の購入申込に進む場合、端末２は購入申込画面に遷移する。図９に、購入申込時の表示画面の一例を図示する。図９に示すように、端末２はカートに登録されているセル画像５１をサムネイルで一覧表示すると共に、購入量等（不図示）を表示する。
　この場合に端末２は、購入対象のセル画像５１について、ユーザが分類対象として所望する対象物の指定入力を受け付ける。例えば端末２は、図９右下に示すように、対象とする被覆物及び移動体の種類について、指定入力を受け付ける。
　端末２は、ユーザからの操作入力に応じて、対象物の指定内容を含むセル画像５１の購入要求（利用要求）をサーバ１に送信する。端末２から購入要求を受け付けた場合、サーバ１は、購入されるセル画像５１の数量等に応じた購入額を決済する処理を行う。なお、例えばサーバ１は、上記で指定された対象物の種類数などに応じて、購入額を変動させてもよい。
　購入処理が完了後、サーバ１は、購入されたセル画像５１を端末２に出力し、ダウンロードさせる。この場合にサーバ１は、ユーザが指定した対象物の分類結果を含むセル画像５１のデータを端末２に出力する。例えばサーバ１は、対象物の分類結果を示すメタデータをセル画像５１に付加した画像データを端末２に出力する。これによりユーザは、単に衛星画像の提供を受けるだけでなく、衛星画像を分析したデータも含めて提供を受けることができる。
　なお、本実施の形態では衛星画像に対象物の分類結果（メタデータ）を付加して提供するものとするが、本実施の形態はこれに限定されるものではなく、画像内の対象物の位置や範囲が分かるように、画像自体を加工したデータを提供してもよい。例えばサーバ１は、後述する色分け表示のように、対象とする被覆物の領域を色分けした衛星画像（セル画像５１）を生成して端末２に出力してもよい。このように、サーバ１は対象物の分類結果を含む衛星画像を出力可能であればよく、出力する画像データの態様は特に限定されない。
　図１０に、購入済みのセル画像５１を閲覧する際の表示画面の一例を図示する。本実施の形態では、サーバ１は、購入時と同一のプラットフォーム（Ｗｅｂブラウザ画面）上で、購入済みのセル画像５１、すなわちユーザが利用可能なセル画像５１を閲覧可能とする。
　端末２は不図示の画面で、サーバ１からダウンロードしてあるセル画像５１のうち、閲覧対象とするセル画像５１の選択入力を受け付ける。端末２は、選択されたセル画像５１を表示する。この場合に端末２は、選択されたセル画像５１を、地図画像上の対応する領域に重畳して表示する。
　具体的には、端末２は、地図画像上にセル画像５１を重畳表示すると共に、操作メニューにおいて、表示中のセル画像５１に対応する撮像時点にドットマーク５５を付して表示する。上記の表示により、ユーザはどの地点、どの時点の画像であるか、購入時と同様に容易に把握することができる。
　次に、購入済みのセル画像５１に含まれる対象物の分類結果を閲覧する際の処理内容について説明する。図１１Ａ及びＢに、分類結果の表示画面の一例を図示する。例えば端末２は、図１１Ａ及びＢの地図画像に重畳されたセル画像５１からいずれかを指定する指定入力を受け付けた場合、指定されたセル画像５１に関する対象物の分類結果を表示する。
　図１１Ａでは被覆物に関する表示画面例を、図１１Ｂでは移動体に関する表示画面例を図示してある。例えば図１１Ａに示すように、被覆物に関する分類結果を表示する場合、端末２は、ユーザが指定した被覆物に対応する画像領域を、その他の画像領域と表示態様を異ならせて表示する。例えば端末２は、ユーザが指定した被覆物に対応する画素を色分け等の手段で強調表示する。
　また、例えば図１１Ｂに示すように、移動体に関する分類結果を表示する場合、端末２は、セル画像５１の中で、対象とする移動体が一以上存在する領域を矩形枠で表示すると共に、当該領域に存在する移動体の数量をグラフ表示する。
　次に、セル画像５１の追加購入を受け付ける際の処理内容について説明する。端末２は、図１０で図示した表示画面から、別時点のセル画像５１の追加購入を受け付ける。例えば端末２は、操作メニューから別時点を指定する指定入力を受け付ける。別時点が指定された場合、端末２はサーバ１にアクセスし、指定された時点の衛星画像に係るセル画像５１であって、表示中のセル画像５１と同一領域のセル画像５１を出力するよう要求する。サーバ１からセル画像５１を取得した場合、端末２は、取得したセル画像５１のプレビューに切り換えて表示する。
　図１２に、切換後の画面例を図示する。端末２は、実施の形態１と同様に、地図画像上にセル画像５１を重畳表示する。端末２は、雲量設定欄５２及び角度設定欄５３を介して雲量及びオフナディア角の設定入力を受け付けると共に、当該画面上でカートへの登録操作を受け付け、購入申込へと進む。カートへの登録処理、セル画像５１の購入処理等は上記と同様であるため、詳細な説明は省略する。
　上述の如く、ユーザは地図画像上で購入対象とするセル画像５１の地理的範囲（領域）、撮像時点等の指定を簡単な操作で行うことができる。また、衛星３から取得した生の画像データ、すなわち非常にデータサイズが大きい衛星画像（観測情報）から任意の領域のセル画像５１（領域観測情報）が切り出して提供され、ユーザとしてはデータサイズが小さく取扱いが容易な画像を入手することができる。以上より、本実施の形態によれば、取扱いが容易な衛星画像を簡便に入手することができる。
　また、本実施の形態によれば、ユーザは所望の対象物の分類結果を含むセル画像５１を取得することができる。これにより、例えば土地の状況や交通量の把握など、種々の用途に衛星画像を活用することができる。
　図１３は、分類器生成処理の処理手順の一例を示すフローチャートである。図１３に基づき、機械学習を行って被覆分類器１４３及び物体分類器１４４を生成する処理の内容について説明する。
　サーバ１の制御部１１は、衛星画像に対して、衛星画像内に含まれる各対象物を分類した際の分類結果の正解値を対応付けた教師データを取得する（ステップＳ１１）。上述の如く、分類対象とする対象物は、地表面を被覆する被覆物、地表面に存在する物体（例えば移動体）などある。制御部１１は、衛星画像に対して各種オブジェクトの情報（正解値）がラベリングされた教師データを取得する。
　制御部１１は教師データを用いて、衛星画像を入力した場合に、衛星画像内の被覆物を分類した分類結果を出力する被覆分類器１４３を生成する（ステップＳ１２）。すなわち制御部１１は、教師データに含まれる衛星画像を被覆分類器１４３に入力し、被覆物を分類した分類結果を出力として取得する。制御部１１は、取得した分類結果を正解値と比較し、出力される分類結果が正解値に近似するように、ニューロン間の重み等のパラメータを最適化する。
　さらに制御部１１は、教師データを用いて、衛星画像を入力した場合に衛星画像内の物体を分類した分類結果を出力する物体分類器１４４を生成する（ステップＳ１３）。具体的には、制御部１１は、教師データに含まれる衛星画像を物体分類器１４４に入力し、衛星画像内の各領域に存在する物体数を推定した推定結果（分類結果）を取得する。制御部１１は、取得した推定結果を正解値と比較し、出力される推定結果が正解値に近似するように、ニューロン間の重み等のパラメータを最適化する。制御部１１は、一連の処理を終了する。
　図１４は、対象物分類処理の処理手順の一例を示すフローチャートである。図１４に基づき、被覆分類器１４３及び物体分類器１４４を用いて、衛星画像に含まれる各種対象物を分類する処理の内容について説明する。
　サーバ１の制御部１１は、衛星３が対象地域を撮像した衛星画像を取得する（ステップＳ３１）。制御部１１は、取得した衛星画像を、対象地域を区分した複数の領域それぞれに対応するセル画像５１、５１、５１…に分割する（ステップＳ３２）。
　制御部１１は、セル画像５１を被覆分類器１４３に入力して、セル画像５１内の被覆物を分類する（ステップＳ３３）。例えば制御部１１は、セル画像５１内の各画素値に対応する被覆物の種類を示す分類結果を被覆分類器１４３から取得する。
　制御部１１は、ステップＳ３３で取得した分類結果に応じて、各種被覆物に対応する画像領域をセル画像５１から抽出する（ステップＳ３４）。制御部１１は、抽出した画像領域を物体分類器１４４に入力し、当該画像領域に含まれる特定の物体の数量を示す分類結果を物体分類器１４４から取得する（ステップＳ３５）。
　制御部１１は、ステップＳ３１で取得した衛星画像と、ステップＳ３３、Ｓ３５で取得した各セル画像５１に係る対象物の分類結果とを対応付けて画像ＤＢ１４２に記憶する（ステップＳ３６）。制御部１１は、一連の処理を終了する。
　図１５は、画像購入処理の処理手順の一例を示すフローチャートである。図１５に基づき、サーバ１が実行する処理内容について説明する。
　サーバ１の制御部１１は、端末２から、地図画像を表示する対象地域の指定入力を受け付ける（ステップＳ５１）。制御部１１は、指定された地域の地図画像を端末２に出力し、表示させる（ステップＳ５２）。具体的には上述の如く、制御部１１は、対象地域を複数の領域に区分するためのグリッド線４１（分割線）を重畳した地図画像を表示させる。
　制御部１１は端末２から、グリッド線４１で区分される地図画像上の各領域のうち、複数の領域を指定する指定入力を受け付ける（ステップＳ５３）。制御部１１は、指定された領域に対応するセル画像５１（領域観測情報）を対象地域の衛星画像（観測情報）から抽出し、抽出したセル画像５１を地図画像の対応する各領域に重畳したプレビュー画像を端末２に出力して表示させる（ステップＳ５４）。ステップＳ５４においては、制御部１１は対象地域の衛星画像のうち、最新の撮像時点の衛星画像からセル画像５１を抽出して地図画像に重畳する。
　制御部１１は端末２から、撮像時点を別の時点に変更する指定入力を受け付けたか否かを判定する（ステップＳ５５）。撮像時点の指定入力を受け付けたと判定した場合（Ｓ５５：ＹＥＳ）、制御部１１は、指定された撮像時点の衛星画像からセル画像５１を抽出して端末２に出力し、地図画像上のセル画像５１を切り換えて表示させる（ステップＳ５６）。
　ステップＳ５６の処理を実行後、又はステップＳ５５でＮＯの場合、制御部１１は端末２から、各セル画像５１における雲量及び／又はオフナディア角に関する設定値の入力を受け付けたか否かを判定する（ステップＳ５７）。例えば制御部１１は、雲量及び／又はオフナディア角の上限値の設定入力を受け付ける。雲量及び／又はオフナディア角に関する設定値の入力を受け付けたと判定した場合（Ｓ５７：ＹＥＳ）、制御部１１は、設定値を満たすセル画像５１と、設定値を満たさないセル画像５１とを異なる態様で表示するように、各セル画像５１の表示を切り換えさせる（ステップＳ５８）。
　ステップＳ５８の処理を実行後、又はステップＳ５７でＮＯの場合、制御部１１は端末２から、セル画像５１をカート（購入候補リスト）に登録する登録操作を受け付ける（ステップＳ５９）。そして制御部１１は、カートに登録されたセル画像５１の購入要求（利用要求）を受け付けたか否かを判定する（ステップＳ６０）。購入要求を受け付けていないと判定した場合（Ｓ６０：ＮＯ）、制御部１１は処理をステップＳ５５に戻す。
　購入要求を受け付けたと判定した場合（Ｓ６０：ＹＥＳ）、制御部１１は、ユーザが分類対象として所望する対象物の指定入力を受け付ける（ステップＳ６１）。ステップＳ６１で指定される対象物は、上述の如く、被覆物の種類、あるいは物体（移動体）の種類などである。制御部１１は画像ＤＢ１４２を参照して、購入要求を受け付けた各セル画像５１について、対象物の分類結果を示すデータを付加したセル画像５１を端末２に出力し、ダウンロードさせる（ステップＳ６２）。制御部１１は、一連の処理を終了する。
　図１６は、画像閲覧処理の処理手順の一例を示すフローチャートである。図１６に基づき、購入済みの衛星画像を閲覧する際の処理内容について説明する。
　サーバ１の制御部１１は、端末２から、購入済みのセル画像５１、すなわちユーザが利用可能なセル画像５１を指定する指定入力を受け付ける（ステップＳ７１）。制御部１１は、指定されたセル画像５１を、地図上の対応する領域に重畳した地図画像を生成して端末２に表示させる（ステップＳ７２）。
　制御部１１は端末２から、対象物に関する分類結果を表示するセル画像５１の指定入力を受け付けたか否かを判定する（ステップＳ７３）。指定入力を受け付けたと判定した場合（Ｓ７３：ＹＥＳ）、制御部１１は、指定されたセル画像５１に含まれる対象物の分類結果であって、購入時にユーザが指定した対象物の分類結果を示すセル画像５１を端末２に表示させる（ステップＳ７４）。例えば被覆物を対象とする場合、制御部１１は、各被覆物に対応する画像領域（画素）を色分け等の手段で表示態様を異ならせたセル画像５１を表示させる。また、例えば物体の数量を対象とする場合、制御部１１は、各画像領域に存在する物体の数量をグラフ等の手段で示すセル画像５１を表示させる。
　ステップＳ７４の処理を実行後、又はステップＳ７３でＮＯの場合、制御部１１は端末２から、セル画像５１の撮像時点を別時点に切り換える指定入力を受け付けたか否かを判定する（ステップＳ７５）。撮像時点の指定入力を受け付けたと判定した場合（Ｓ７５：ＹＥＳ）、制御部１１は、指定された時点のセル画像５１に切り換えて表示させる（ステップＳ７６）。ステップＳ７６の処理を実行後、又はステップＳ７５でＮＯの場合、制御部１１は、雲量及び／又はオフナディア角に関する設定値の入力を受け付けたか否かを判定する（ステップＳ７７）。雲量及び／又はオフナディア角に関する設定値の入力を受け付けたと判定した場合（Ｓ７７：ＹＥＳ）、制御部１１は、設定値を満たすセル画像５１と、設定値を満たさないセル画像５１とを異なる態様で表示するように、各セル画像５１の表示を切り換えさせる（ステップＳ７８）。
　ステップＳ７８の処理を実行後、又はステップＳ７７でＮＯの場合、制御部１１は、セル画像５１の購入要求を端末２から受け付けたか否かを判定する（ステップＳ７９）。購入要求を受け付けていないと判定した場合（Ｓ７９：ＮＯ）、制御部１１は処理をステップＳ７３に戻す。購入要求を受け付けたと判定した場合（Ｓ７９：ＹＥＳ）、制御部１１は、ユーザが分類対象として所望する対象物の指定入力を受け付ける（ステップＳ８０）。制御部１１は、指定された対象物の分類結果を含むセル画像５１を端末２に出力してダウンロードさせ（ステップＳ８１）、一連の処理を終了する。
　以上より、本実施の形態１によれば、取扱いが容易な衛星画像（観測情報）を簡便に入手することができる。
　また、本実施の形態１によれば、ユーザが指定した領域のセル画像５１を地図画像上でプレビュー表示することで、購入（利用）対象とするセル画像５１がどの地点の画像であるか、容易に把握することができる。
　また、本実施の形態１によれば、画像ＤＢ１４２に保存されている過去の各時点の衛星画像のうち、任意の時点の衛星画像を購入（利用）することができる。
　また、本実施の形態１によれば、購入済みのセル画像５１を簡単に閲覧することができると共に、セル画像５１の追加購入も簡単に行うことができる。
　また、本実施の形態１によれば、雲量及び／又はオフナディア角に応じたセル画像５１の絞り込みを行い、所望のセル画像５１を簡単に入手することができる。
　また、本実施の形態１によれば、機械学習によって構築された分類器を用いて、衛星画像から所望の対象物を抽出して提供（提示）することができる。
　また、本実施の形態１によれば、被覆分類器１４３を用いた被覆分類を行うことで、対象地域を被覆する被覆物の情報をユーザに提供することができる。
　また、本実施の形態１によれば、物体分類器１４４を用いて、衛星画像に含まれる特定の物体（例えば移動体）の数量に関する情報をユーザに提供することができる。特に本実施の形態では、被覆分類器１４３による被覆物の分類結果を用いて入力対象とする画像領域を絞ることで、処理負荷を低減することができる。
（実施の形態２）
　本実施の形態では、ユーザが指定した期間の衛星画像を一括購入する形態について説明する。
　図１７及び図１８は、実施の形態２に係る表示画面の一例を示す説明図である。図１７及び図１８に基づき、本実施の形態の概要について説明する。
　図１７では、ユーザが地図画像から購入対象とする複数の領域を指定する際の表示画面例を図示している。購入対象とする複数の領域が指定された場合、例えば端末２は画面右側に操作メニューを表示し、撮像期間を指定してセル画像５１を一括購入するか否か、操作入力を受け付ける。操作メニュー上で撮像期間の指定入力を受け付けた場合、端末２は、指定された期間に含まれる複数の撮像時点それぞれで撮像された各衛星画像から、指定された複数の領域それぞれに対応する画像領域を抽出した各セル画像５１をカートに登録する。なお、カート登録前にプレビュー表示を行ってもよいことは勿論である。
　各撮像時点に係るセル画像５１がカートに登録された場合、端末２はユーザによる操作入力に従って購入申込に移り、サーバ１にアクセスして購入処理を行う。この場合、端末２は実施の形態１と同じく、分類対象とする対象物の指定入力を受け付け、指定内容を含むセル画像５１の購入要求をサーバ１に送信する。端末２から購入要求を受け付けた場合、サーバ１は、各撮像時点のセル画像５１、５１、５１…から成る画像群（観測情報群）であって、各セル画像５１に対し、指定された対象物の分類結果が付加された画像群を端末２に出力してダウンロードさせる。上記の処理によってユーザは任意の期間のセル画像５１を一括購入することができ、利便性を向上することができる。
　図１８では、購入済みのセル画像５１に係る対象物の分類結果を表示する際の表示画面例を図示している。例えば端末２は、実施の形態１と同じく図１０の表示画面でセル画像５１の指定入力を受け付けた場合、指定されたセル画像５１に係る対象物の分類結果を表示する。この場合に端末２は、指定されたセル画像５１を含む画像群であって、指定されたセル画像５１と同一の領域で撮像時点が異なる複数のセル画像５１から成る画像群を時系列で表示する。例えば端末２は、複数の撮像時点それぞれのセル画像５１を時系列通りにコマ送りで動画再生する。
　この場合に端末２は、各撮像時点のセル画像５１それぞれにおいて被覆物の色分け表示、移動体の数量のグラフ表示等を行う。これにより端末２は、被覆物や移動体など、対象物の時系列変化が表示される。以上より、ユーザはセル画像５１の一括購入を可能になるだけでなく、指定した対象物の状態、状況がどのように変化しているかを把握可能となる。
　図１９は、実施の形態２に係る画像購入処理の処理手順の一例を示すフローチャートである。
　地図画像上の複数の領域を指定する指定入力を受け付けた後（ステップＳ５３）、サーバ１の制御部１１は以下の処理を実行する。制御部１１は端末２から、指定された領域に対応するセル画像５１について、購入対象とする撮像期間の指定入力を受け付けたか否かを判定する（ステップＳ２０１）。期間の指定入力を受け付けていないと判定した場合、（Ｓ２０１：ＮＯ）、制御部１１は処理をステップＳ５４に移行する。
　期間の指定入力を受け付けたと判定した場合（Ｓ２０１：ＹＥＳ）、制御部１１は、指定された期間に含まれる複数の撮像時点それぞれで撮像されたセル画像５１から成る画像群であって、ステップＳ５３で指定された領域に対応する画像群をユーザのカートに登録する（ステップＳ２０２）。制御部１１は端末２から、カートに登録したセル画像５１の購入要求を受け付けたか否かを判定する（ステップＳ２０３）。購入要求を受け付けていないと判定した場合（Ｓ２０３：ＮＯ）、制御部１１は処理をステップＳ２０１に戻す。購入要求を受け付けたと判定した場合（Ｓ２０３：ＹＥＳ）、制御部１１は処理をステップＳ６０に移行する。
　図２０は、実施の形態２に係る画像閲覧処理の処理手順の一例を示すフローチャートである。
　対象物に関する分類結果を表示するセル画像５１の指定入力を端末２から受け付けたと判定した場合（Ｓ７３：ＹＥＳ）、サーバ１の制御部１１は以下の処理を実行する。制御部１１は端末２に、指定されたセル画像５１を含む画像群であって、指定されたセル画像５１と同一の領域で撮像時点が異なる複数のセル画像５１から成る画像群を時系列で表示させる（ステップＳ２２１）。例えば制御部１１は、上述の如くセル画像５１の動画再生を行わせる。この場合に制御部１１は、各撮像時点のセル画像５１それぞれにおいて被覆物の色分け表示、移動体の数量のグラフ表示等を行わせることで、対象物の時系列変化を示す動画を表示させる。制御部１１は、処理をステップＳ７５に移行する。
　以上より、本実施の形態２によれば、複数の撮像時点それぞれのセル画像５１を一括購入することができ、利便性を向上させることができる。
　また、本実施の形態２によれば、各撮像時点のセル画像５１に対して対象物の分類結果を付加して提供することで、ユーザは対象物の時系列変化を把握可能となる。
（実施の形態３）
　本実施の形態では、画像ＤＢ１４２に記憶されている衛星画像から、ユーザが所望の画像を検索可能とする形態について説明する。
　図２１は、実施の形態３の概要を示す説明図である。上述の如く、サーバ１は画像ＤＢ１４２に、衛星３から取得した各衛星画像と、各衛星画像に含まれる対象物を被覆分類器１４３及び物体分類器１４４により分類した分類結果とを、衛星画像の対象地域、及び撮像時点と対応付けて記憶してある。本実施の形態では、ユーザが対象物を検索クエリとして画像ＤＢ１４２から所望の画像を検索し、提供可能とする。図２１に基づき、本実施の概要について説明する。
　例えば端末２は、検索クエリとして、対象物（被覆物又は移動体）の種類を指定する指定入力を受け付け、サーバ１に検索要求を送信する。なお、端末２は対象物に関して、例えば被覆物の大きさ（面積）、移動体の数量の閾値など、より詳細な検索条件を指定して検索要求を行ってもよい。
　端末２から検索要求を受け付けた場合、サーバ１は、各衛星画像（セル画像５１）に対応付けられている対象物の分類結果を参照して、画像ＤＢ１４２から、ユーザが指定した対象物を含むセル画像５１を検索する。サーバ１は、検索結果を端末２に出力し、表示させる。例えば図２１に示すように、サーバ１は、検索されたセル画像５１のサムネイルを一覧で表示させる。
　例えば端末２は、検索結果として一覧表示されたセル画像５１からいずれかを選択する選択入力を受け付け、選択されたセル画像５１の地図画像上に重畳したプレビュー画像を表示する。なお、この場合に端末２は、被覆物、移動体など、検索クエリとした対象物に関する情報の全部又は一部をプレビュー表示してもよい。サーバ１は、端末２から当該セル画像５１のカートへの登録操作、購入要求を順次受け付け、検索対象とした対象物の分類結果を含むセル画像５１を端末２に出力する。
　図２２は、実施の形態３に係るサーバ１が実行する処理手順の一例を示すフローチャートである。
　サーバ１の制御部１１は、検索対象とする対象物の指定入力を受け付ける（ステップＳ３０１）。制御部１１は、指定された対象物を含む衛星画像（セル画像５１）を画像ＤＢ１４２から検索する（ステップＳ３０２）。制御部１１は、検索結果を端末２に出力する（ステップＳ３０３）。例えば制御部１１は、検索された各セル画像５１のサムネイルを表示させる。この場合に制御部１１は、検索されたセル画像５１において、検索クエリとされた対象物に関する情報の全部又は一部を端末２に出力して表示させてもよい。
　制御部１１は、検索結果として表示したセル画像５１のうちいずれかを選択する選択入力を受け付け、選択されたセル画像５１を地図上に重畳したプレビュー画像を端末２に表示させる（ステップＳ３０４）。制御部１１は、プレビュー表示したセル画像５１のカートへの登録操作を受け付ける（ステップＳ３０５）。制御部１１は、カートに登録されたセル画像５１の購入要求を端末２から受け付けて購入処理を行い、端末２に出力してダウンロードさせる（ステップＳ３０６）。制御部１１は、一連の処理を終了する。
　以上より、本実施の形態３によれば、ユーザが指定した対象物を含む衛星画像を画像ＤＢ１４２から検索することができ、利便性を向上させることができる。
（実施の形態４）
　本実施の形態では、衛星画像に基づく対象地域の監視を行い、対象物に所定の変化が生じたか否かを判定する形態について説明する。
　図２３は、実施の形態４の概要を示す説明図である。本実施の形態においてサーバ１は、衛星３が継続的に撮像する衛星画像から対象地域に発生した所定の事象を、被覆分類器１４３等による対象物の分類結果の時系列変化から検知し、ユーザに通知する。監視対象とする事象は、例えば土砂崩れ、火山噴火など、災害に関わる事象である。図２３に基づき、本実施の形態の概要を説明する。
　例えば端末２はまず、監視対象とする対象地域、及び監視対象とする事象の事前登録を行う。例えば端末２は、図６と同様の地図画像において監視対象とする領域を指定することで、ユーザから対象地域の指定入力を受け付ける。また、端末２は、土砂崩れ、火山噴火など、監視対象とする災害事象の種類について指定入力を受け付ける。端末２は、指定された各種情報をサーバ１に送信し、事前登録を行う。
　サーバ１は、対象地域を撮像した衛星画像を衛星３から取得する都度、被覆分類器１４３に衛星画像を入力して被覆物の分類結果を取得する。ここでサーバ１は、当該対象地域の衛星画像について、前回取得した衛星画像から分類した被覆物の分類結果と、今回の被覆物の分類結果とを比較して、事前登録された事象に相当する対象物の変化が生じたか否かを判定する。例えば監視対象とする事象として土砂崩れが指定された場合、サーバ１は、「森林」が「裸地」に変化したかを判定する。
　対象物の変化が生じたと判定した場合、サーバ１は、判定結果を端末２に通知する。例えばサーバ１は、事前登録された事象が対象地域に発生した旨を端末２に通知すると共に、対象地域の衛星画像であって、当該事象が発生したと推定される画像領域をラベリングした衛星画像を端末２に出力する。上記の例に則して説明した場合、サーバ１は、「森林」から「裸地」に変化した領域をラベリングして端末２に出力する。
　なお、この場合にサーバ１は、例えば衛星画像をプレビューとして出力した上で、端末２から当該衛星画像の購入要求を受け付けるようにしてもよい。あるいはサーバ１は、衛星画像の購入に伴う決済を自動的に行い、衛星画像を端末２にダウンロードさせるようにしてもよい。このように、サーバ１は、対象物の変化が生じたと判定した場合、対象物の変化が生じたと判定された領域にラベリングした衛星画像の購入処理を手動又は自動で実行するようにしてもよい。
　図２４は、実施の形態４に係るサーバ１が実行する処理手順の一例を示すフローチャートである。
　サーバ１の制御部１１は、端末２から、監視対象とする対象地域の指定入力を受け付ける（ステップＳ４０１）。さらに制御部１１は、監視対象とする事象（対象物の変化）に関する指定入力を受け付ける（ステップＳ４０２）。
　制御部１１は画像ＤＢ１４２から、ステップＳ４０１で指定された対象地域に対応する衛星画像について、当該画像から分類した対象物の分類結果を取得する（ステップＳ４０３）。制御部１１は以前の撮像時点における対象物の分類結果と比較して、ステップＳ４０２で指定された対象物の変化が生じたか否かを判定する（ステップＳ４０４）。
　変化が生じていないと判定した場合（Ｓ４０４：ＮＯ）、制御部１１は処理をステップＳ４０３に戻す。変化が生じたと判定した場合（Ｓ４０４：ＹＥＳ）、制御部１１は判定結果を端末２に通知し（ステップＳ４０５）、一連の処理を終了する。
　以上より、本実施の形態４によれば、対象地域に発生した所定の事象をユーザに自動通知することができ、例えば災害観測など、種々の用途に本システムを利用することができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　　　サーバ（情報処理装置）
　１１　　制御部
　１２　　主記憶部
　１３　　通信部
　１４　　補助記憶部
　Ｐ　　　プログラム
　１４１　ユーザＤＢ
　１４２　画像ＤＢ
　２　　　端末
　３　　　衛星
 

Claims (10)

  1. 　宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得する取得部と、
    　前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、前記取得部が取得した前記観測情報を入力して前記対象物を分類する分類部と、
    　前記対象物を指定する指定入力を受け付ける受付部と、
    　指定された前記対象物の分類結果を含む前記観測情報を出力する出力部と
    　を備えることを特徴とする情報処理装置。
  2. 　前記取得部は、複数の観測時点夫々において前記対象地域を観測した複数の前記観測情報を取得し、
    　前記受付部は、複数の前記観測時点を含む期間の指定入力を受け付け、
    　前記出力部は、前記期間に含まれる複数の前記観測時点夫々の前記観測情報から成る観測情報群であって、前記観測時点夫々の前記観測情報から分類した前記対象物の分類結果を時系列で示す前記観測情報群を出力する
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記取得部は、複数の観測時点夫々において複数の前記対象地域夫々を観測した複数の前記観測情報を取得し、
    　複数の前記観測情報と、該観測情報夫々における前記対象物の分類結果とを対応付けて記憶する記憶部と、
    　前記受付部において指定された前記対象物を含む前記観測情報を前記記憶部から検索する検索部と
    　を備え、
    　前記出力部は、検索された前記観測情報を出力する
    　ことを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記取得部は、複数の観測時点夫々において複数の前記対象地域夫々を観測した複数の前記観測情報を取得し、
    　前記対象地域が同一で前記観測時点が異なる複数の前記観測情報夫々の前記対象物の分類結果に基づき、前記対象物に所定の変化が生じたか否かを判定する判定部と、
    　前記対象物に所定の変化が生じたと判定した場合、判定結果を通知する通知部と
    　を備えることを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記分類部は、前記対象地域を被覆する被覆物の分類結果を出力するよう学習済みの第１の分類器に前記観測情報を入力して前記被覆物を分類する
    　ことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　前記被覆物は、前記対象地域を被覆する雲を含み、
    　前記受付部は、観測時点における前記対象地域での雲量に関する設定値の入力を受け付け、
    　前記出力部は、前記設定値を満たす前記観測情報を出力する
    　ことを特徴とする請求項５に記載の情報処理装置。
  7. 　前記第１の分類器から出力された前記被覆物の分類結果に基づき、前記被覆物に対応する前記対象地域内の領域の前記観測情報から抽出する抽出部を備え、
    　前記分類部は、前記観測情報に含まれる特定の物体を分類した分類結果を出力するよう学習済みの第２の分類器に、前記抽出部が抽出した前記観測情報を入力して、前記領域に存在する前記物体の数量を示す分類結果を出力する
    　ことを特徴とする請求項５又は６に記載の情報処理装置。
  8. 　宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得し、
    　前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、取得した前記観測情報を入力して前記対象物を分類し、
    　前記対象物を指定する指定入力を受け付け、
    　指定された前記対象物の分類結果を含む前記観測情報を出力する
    　処理をコンピュータに実行させることを特徴とする情報処理方法。
  9. 　宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得し、
    　前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、取得した前記観測情報を入力して前記対象物を分類し、
    　前記対象物を指定する指定入力を受け付け、
    　指定された前記対象物の分類結果を含む前記観測情報を出力する
    　処理をコンピュータに実行させることを特徴とするプログラム。
  10. 　対象物を指定する指定入力を受け付け、
    　宇宙空間を飛翔する飛翔体が対象地域を観測した観測情報を管理する管理装置に、指定した前記対象物を前記観測情報から分類した分類結果の出力を要求し、
    　前記観測情報を入力した場合に前記対象物の分類結果を出力するように学習済みの分類器を用いて前記対象物を分類した分類結果を前記管理装置から取得し、
    　前記対象物の分類結果を含む前記観測情報を表示部に表示する
    　処理をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2020/008733 2019-03-20 2020-03-02 情報処理装置、情報処理方法及びプログラム WO2020189242A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20774207.3A EP3944218A4 (en) 2019-03-20 2020-03-02 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US17/198,618 US11450100B2 (en) 2019-03-20 2021-03-11 Information processing apparatus, information processing method and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019053502A JP7114082B2 (ja) 2019-03-20 2019-03-20 情報処理装置、情報処理方法及びプログラム
JP2019-053502 2019-03-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/198,618 Continuation US11450100B2 (en) 2019-03-20 2021-03-11 Information processing apparatus, information processing method and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2020189242A1 true WO2020189242A1 (ja) 2020-09-24

Family

ID=72520902

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008733 WO2020189242A1 (ja) 2019-03-20 2020-03-02 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11450100B2 (ja)
EP (1) EP3944218A4 (ja)
JP (1) JP7114082B2 (ja)
WO (1) WO2020189242A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728447B (zh) * 2019-10-10 2021-03-09 合肥工业大学 一种最早完成区域目标覆盖的分区卫星任务规划方法
WO2023210190A1 (ja) * 2022-04-28 2023-11-02 パイオニア株式会社 情報処理装置、情報処理方法、プログラム及び記録媒体
JP7410339B1 (ja) 2023-01-10 2024-01-09 株式会社パスコ 識別装置、識別方法およびプログラム
JP7400147B1 (ja) * 2023-02-06 2023-12-18 株式会社Ｑｐｓ研究所 宇宙航行体に関連して用いられる処理装置及びコンピュータプログラム
WO2024176400A1 (ja) * 2023-02-22 2024-08-29 日本電気株式会社 衛星観測支援システム、衛星観測支援方法、および記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146262A (ja) 2007-12-17 2009-07-02 Hitachi Software Eng Co Ltd 衛星画像の選択操作支援方法及び装置
JP2018072938A (ja) * 2016-10-25 2018-05-10 株式会社パスコ 目的物個数推定装置、目的物個数推定方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644131B2 (en) * 2000-12-27 2010-01-05 INOVO Limited Optimized image delivery over limited bandwidth communication channels
US8077918B2 (en) * 2008-08-28 2011-12-13 Google, Inc. Architectures and methods for creating and representing time-dependent imagery
US8667054B2 (en) * 2010-07-12 2014-03-04 Opus Medicus, Inc. Systems and methods for networked, in-context, composed, high resolution image viewing
US9129161B2 (en) * 2013-05-31 2015-09-08 Toyota Jidosha Kabushiki Kaisha Computationally efficient scene classification
US9489581B2 (en) * 2014-08-11 2016-11-08 Nokia Technologies Oy Vehicle counting and emission estimation
US9518837B2 (en) * 2014-12-02 2016-12-13 Here Global B.V. Monitoring and visualizing traffic surprises
US9928578B1 (en) * 2016-03-30 2018-03-27 Descartes Labs, Inc. Using boundary maps to refine imagery
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
US10248663B1 (en) * 2017-03-03 2019-04-02 Descartes Labs, Inc. Geo-visual search
US11275989B2 (en) * 2017-05-22 2022-03-15 Sap Se Predicting wildfires on the basis of biophysical indicators and spatiotemporal properties using a long short term memory network
US10255526B2 (en) * 2017-06-09 2019-04-09 Uptake Technologies, Inc. Computer system and method for classifying temporal patterns of change in images of an area
WO2019193702A1 (ja) * 2018-04-05 2019-10-10 日本電気株式会社 画像処理装置、画像処理方法、及び、画像処理プログラムが格納された記録媒体
US10755146B2 (en) * 2018-07-25 2020-08-25 University Of Kentucky Research Foundation Network architecture for generating a labeled overhead image
US10984532B2 (en) * 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146262A (ja) 2007-12-17 2009-07-02 Hitachi Software Eng Co Ltd 衛星画像の選択操作支援方法及び装置
JP2018072938A (ja) * 2016-10-25 2018-05-10 株式会社パスコ 目的物個数推定装置、目的物個数推定方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RIHO ITO; SHOTA IINO; AITO FUJITA; TOMOYUKI IMAIZUMI; SHUHEI HIKOSAKA: "Assessing the Land Cover Classification Technique of the Satellite Imagery using Deep Learnin", PROCEEDINGS OF THE 30TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 30, 6 June 2016 (2016-06-06), pages 1 - 4, XP009526178, DOI: 10.11517/pjsai.JSAI2016.0_4L11 *
See also references of EP3944218A4

Also Published As

Publication number Publication date
JP7114082B2 (ja) 2022-08-08
EP3944218A1 (en) 2022-01-26
US11450100B2 (en) 2022-09-20
JP2020154835A (ja) 2020-09-24
EP3944218A4 (en) 2022-11-30
US20210200984A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
WO2020189242A1 (ja) 情報処理装置、情報処理方法及びプログラム
Catani Landslide detection by deep learning of non-nadiral and crowdsourced optical images
Kalantar et al. Drone-based land-cover mapping using a fuzzy unordered rule induction algorithm integrated into object-based image analysis
Fu et al. Using convolutional neural network to identify irregular segmentation objects from very high-resolution remote sensing imagery
Huang et al. Road centreline extraction from high‐resolution imagery based on multiscale structural features and support vector machines
CN116018602A (zh) 植被管理系统和植被管理方法
CN113537180B (zh) 树障的识别方法、装置、计算机设备和存储介质
Paul et al. Canopy averaged chlorophyll content prediction of pear trees using convolutional autoencoder on hyperspectral data
Yates et al. Evaluation of synthetic aerial imagery using unconditional generative adversarial networks
CN112270671B (zh) 图像检测方法、装置、电子设备及存储介质
Abraham et al. Classification and detection of natural disasters using machine learning and deep learning techniques: A review
Li et al. Assimilating process context information of cellular automata into change detection for monitoring land use changes
Ozturk et al. Generation of Istanbul road data set using Google Map API for deep learning-based segmentation
WO2020189241A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN114238541A (zh) 敏感目标信息获取方法、装置和计算机设备
Sen et al. Unsupervised extraction of urban features from airborne lidar data by using self-organizing maps
Rehman et al. Long short term memory deep net performance on fused Planet-Scope and Sentinel-2 imagery for detection of agricultural crop
Renza et al. Landslide susceptibility model by means of remote sensing images and AutoML
Sardar et al. Ensemble learning with CNN and BMO for drought prediction
Samui et al. Statistical learning algorithms for identifying contrasting tillage practices with Landsat Thematic Mapper data
José-Silva et al. Improving the validation of ecological niche models with remote sensing analysis
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质
Thwal et al. Land cover classification and change detection analysis of multispectral satellite images using machine learning
JP2011150626A (ja) 画像分類方法、装置、及びプログラム
Tiwari et al. Markov random field-based method for super-resolution mapping of forest encroachment from remotely sensed ASTER image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20774207

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020774207

Country of ref document: EP

Effective date: 20211020