[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020039937A1 - 位置座標推定装置、位置座標推定方法およびプログラム - Google Patents

位置座標推定装置、位置座標推定方法およびプログラム Download PDF

Info

Publication number
WO2020039937A1
WO2020039937A1 PCT/JP2019/031199 JP2019031199W WO2020039937A1 WO 2020039937 A1 WO2020039937 A1 WO 2020039937A1 JP 2019031199 W JP2019031199 W JP 2019031199W WO 2020039937 A1 WO2020039937 A1 WO 2020039937A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
position coordinates
coordinate
unit
data
Prior art date
Application number
PCT/JP2019/031199
Other languages
English (en)
French (fr)
Inventor
吉田　学
夕貴 横畑
皓平 森
篤彦 前田
崇洋 秦
社家　一平
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to CN201980055216.9A priority Critical patent/CN112601928A/zh
Priority to EP19852703.8A priority patent/EP3842735B1/en
Priority to US17/268,942 priority patent/US12055628B2/en
Priority to JP2020538296A priority patent/JP6950832B2/ja
Publication of WO2020039937A1 publication Critical patent/WO2020039937A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • One embodiment of the present invention relates to an apparatus, a method, and a program for estimating, based on a camera image captured from a moving body, an object around the moving body or position coordinates of the moving body itself.
  • Non-Patent Document 1 There has been an effort to mount a sensor on a moving body such as an automobile, a ship, or a robot and create a peripheral map from information obtained by the sensor (for example, see Non-Patent Document 1). The importance of surrounding maps is also widely recognized in the future of autonomous driving.
  • Map information necessary for creating a surrounding map is, for example, a road sign.
  • a road sign is detected from the image of the on-board camera, and the map is checked based on the GPS (Global Positioning System) information of the vehicle equipped with the on-board camera. It is possible to consider an approach to identify
  • a self-position estimation method called a LIDAR (Light Detection Detection and Ranging or Laser Imaging Detection and Ranging) method is mainly used.
  • a laser pulse is scanned, scattered light from the three-dimensional space is received at the launch position, a distance is measured from the time difference, and a point cloud is created.
  • SLAM Simultaneous Localization and Mapping
  • Self-position estimation is performed from a point cloud generated by directly processing an image from a camera.
  • Non-Patent Document 1 has a problem that the position coordinates cannot be accurately estimated because the GPS information of the vehicle itself includes a measurement error.
  • a map matching technology between road network data and GPS data is known as a moving route correction technology of a moving object.
  • this technology can only correct GPS data perpendicularly to a road center line, and is not sufficiently corrected. Not really.
  • a sensor such as the LIDAR method
  • the position coordinates can be obtained with high accuracy, but the cost of the sensor itself is high and it is difficult to put it into practice as a general-purpose method.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a technique for accurately estimating the position coordinates of an object around a moving body or the moving body itself without using an expensive sensor. Is to do.
  • a first aspect of the present invention is a position coordinate estimating apparatus, which acquires a plurality of camera images including at least one same still object photographed at different geographical positions.
  • a camera image obtaining unit, and a position coordinate obtaining unit that obtains position coordinates of a geographical position where each of the plurality of camera images is captured; and in each of the plurality of camera images, the camera image associated with the camera image.
  • a position coordinate estimating unit that estimates position coordinates of the stationary object based on a line-of-sight vector for the stationary object in a coordinate system and position coordinates of the geographical position.
  • the position coordinate estimating apparatus further includes an image pair generation unit that generates an image pair by selectively combining two camera images from the plurality of camera images.
  • the position coordinate estimating unit based on a line-of-sight vector for the stationary object in each of the two camera images forming the image pair, and the position coordinates of the geographical position, This is to be estimated.
  • the position coordinate acquisition unit acquires the position coordinates of the geographical position based on information received from a GPS satellite
  • the image pair generation unit Acquiring information representing the accuracy of the acquired position coordinates of the geographical position based on the information received from the GPS satellite, and corresponding to the geographical position where the accuracy of the position coordinates exceeds a predetermined threshold value
  • the above-mentioned image pair is generated by selectively combining camera images to be processed.
  • the image pair generating unit generates a plurality of image pairs
  • the position coordinate estimating unit generates the plurality of image pairs for each of the plurality of image pairs.
  • candidate values of the position coordinates of the stationary object are calculated, and the position coordinates of the stationary object are estimated based on the plurality of calculated candidate values.
  • a position coordinate estimating device wherein a camera image obtaining unit that obtains a camera image including at least two stationary objects whose position coordinates are respectively known, A position coordinate acquiring unit for acquiring position coordinates, a line-of-sight vector for each of the at least two stationary objects in a coordinate system associated with the camera image in the camera image, and the position coordinates of each of the at least two stationary objects And a position coordinate estimating unit for estimating the position coordinates of the point where the camera image is taken based on the above.
  • the position coordinates of the stationary object are estimated.
  • the stationary object can be estimated. Therefore, if the position coordinates of each photographing point can be obtained by any method, the position coordinates of the stationary object can be accurately estimated by using a general camera such as a vehicle-mounted camera without using an expensive sensor. .
  • the position coordinates of the stationary object are estimated using an image pair generated by selectively combining two camera images from a plurality of camera images. This makes it possible to generate an image pair by setting an arbitrary criterion in consideration of system load conditions and desired accuracy, and to estimate position coordinates of a stationary object based on the generated image pair. Can be.
  • the accuracy of the position coordinates of the geographical position is determined using the information received from the GPS satellites, and the accuracy of the position coordinates is determined to be greater than the predetermined threshold value.
  • the corresponding camera images are selectively combined as the image pair. Thus, only the camera image associated with the highly accurate position coordinates is used for estimating the position coordinates of the stationary object, so that the position coordinates of the stationary object can be estimated with higher accuracy.
  • a plurality of image pairs are generated, and a final position coordinate is estimated from a plurality of candidate values estimated using each of the plurality of image pairs. This makes it possible to more accurately estimate the position coordinates of the stationary object in consideration of the influence of variations between samples.
  • a camera image obtained by photographing at least two stationary objects whose position coordinates are known in advance is acquired, and a line-of-sight vector for the stationary object and the position coordinates of the stationary object in the camera image are obtained. Based on this, the position coordinates of the point where the camera image is captured are estimated.
  • a general camera such as an on-vehicle camera can be used to obtain the image of the point where the image was captured. The position coordinates, and thus the position coordinates of the moving object on which the camera is mounted, can be accurately estimated.
  • each aspect of the present invention it is possible to provide a technique for accurately estimating the position coordinates of an object around the moving body or the moving body itself without using an expensive sensor.
  • FIG. 1 is a schematic configuration diagram of an in-vehicle system including a position coordinate estimation device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a hardware configuration of the position coordinate estimating device according to the embodiment of the present invention.
  • FIG. 3 is a block diagram showing a software configuration of the position coordinate estimating device according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing an example of the overall processing procedure and processing contents by the position coordinate estimating device shown in FIG.
  • FIG. 5 is a flowchart showing an example of the processing procedure and processing contents of the object detection processing routine shown in FIG.
  • FIG. 6 is a flowchart showing an example of the processing procedure and processing contents of the object matching processing routine shown in FIG.
  • FIG. 1 is a schematic configuration diagram of an in-vehicle system including a position coordinate estimation device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a hardware configuration of the position coordinate estimating device according to the embodiment
  • FIG. 7 is a flowchart illustrating an example of a processing procedure and processing contents of an observation pair generation processing routine illustrated in FIG. 4.
  • FIG. 8 is a flowchart illustrating an example of a processing procedure and a processing content of a position coordinate estimation processing routine illustrated in FIG. 4.
  • FIG. 9A is a diagram illustrating a photogrammetry technique used in the position coordinate estimation processing shown in FIG.
  • FIG. 9B is a diagram illustrating an intersection point calculation process of the line-of-sight vector used in the position coordinate estimation process shown in FIG.
  • FIG. 10A is a diagram illustrating an example of camera image data acquired from a vehicle-mounted camera.
  • FIG. 10B is a diagram illustrating an example of GPS measurement data acquired from a GPS sensor.
  • FIG. 11 is a diagram illustrating an example of camera image data in which an object is detected.
  • FIG. 12 is a diagram illustrating an example of image data divided for each piece of data in which the same object is detected.
  • FIG. 13A is a diagram illustrating an example of GPS measurement data for generating a pair of observation data.
  • FIG. 13B is a diagram illustrating an example of an observation pair generated based on the data illustrated in FIG. 13A.
  • FIG. 14 is a diagram illustrating an object whose position coordinates have been estimated.
  • FIG. 15 is a block diagram showing a software configuration of the position coordinate estimating device according to the second embodiment of the present invention.
  • FIG. 16 is a flowchart illustrating an example of an overall processing procedure and processing contents by the position coordinate estimating device illustrated in FIG. 15.
  • FIG. 17 is a diagram showing an image of the position information of the object read in the processing shown in FIG.
  • FIG. 1 shows an example of an in-vehicle system including a position coordinate estimating device according to an embodiment of the present invention.
  • an automobile 4 is shown as an example of a moving object.
  • the automobile 4 is not limited to a specific automobile, but may be automobiles of various individuals, vehicle types, and manufacturers.
  • the moving object may include any moving object on which a sensor can be mounted, such as a car, a motorcycle, a bicycle, a personal mobility, a robot, a pedestrian, a ship, an airplane, and a drone. Therefore, the in-vehicle system shown in FIG. 1 is merely an example, and can be replaced with a smartphone or the like possessed by a pedestrian.
  • an automobile 4 as a moving body is equipped with a position coordinate estimating device 1 according to one embodiment, a camera 2, and a GPS sensor 3.
  • the camera 2 uses a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor, and includes a road area in an arbitrary direction such as the traveling direction of the automobile 4 in the imaging range. Thus, the installation location, orientation, and angle are set.
  • the camera 2 acquires camera image data, and outputs the acquired data to the position coordinate estimation device 1.
  • the camera 2 may be provided exclusively for position coordinate estimation, but may be any camera that can obtain equivalent image data, such as a drive recorder camera or a vehicle-mounted camera mounted for other purposes. Any camera can be used.
  • a camera provided on a driver's helmet may be used, or a camera provided on a mobile terminal such as a smartphone or a tablet terminal carried by a passenger of the automobile 4 may be used. May be used.
  • an infrared camera may be used as a camera type.
  • the camera image data acquired by the camera may be moving image data or still image data captured at regular time intervals.
  • the GPS sensor 3 calculates the latitude and longitude of the automobile 4 by receiving GPS signals transmitted from a plurality of GPS satellites and performing a distance measurement operation.
  • the GPS sensor 3 calculates GPS measurement data including the calculated latitude and longitude. Output to the position coordinate estimating device 1.
  • the GPS measurement data can include, in addition to the latitude / longitude (hereinafter also referred to as “position coordinates”), information indicating the certainty of the GPS measurement.
  • the certainty of the GPS measurement is, for example, an index determined according to the arrangement status of the GPS satellites. Note that the acquisition of the position coordinates is not limited to the GPS sensor 3, and other functions such as using the position information of a wireless base station or a WiFi access point may be used as long as equivalent functions are exhibited. May be.
  • the position coordinate estimating apparatus 1 estimates the position coordinates of a peripheral object shown in a camera image, and is configured as follows.
  • FIG. 2 is a block diagram showing a hardware configuration of the position coordinate estimation device 1 according to the first embodiment of the present invention.
  • the position coordinate estimating apparatus 1 is composed of, for example, a personal computer, and includes, as hardware, an input / output interface unit 10, a hardware processor 20A such as a CPU (Central Processing Unit), and a program connected to each other via a bus 40.
  • a memory 20B and a data memory 30 are provided.
  • the input / output interface unit 10 includes, for example, one or more wired or wireless communication interface units.
  • the input / output interface unit 10 receives information from external devices including the camera 2 and the GPS sensor 3 and outputs information generated by the position coordinate estimation device 1 to the outside.
  • the program memory 20B is a combination of a non-volatile memory such as a hard disk drive (HDD) and a solid state drive (SSD) that can be written and read at any time, and a non-volatile memory such as a ROM as a storage medium. This stores programs necessary for executing various control processes according to the embodiment.
  • a non-volatile memory such as a hard disk drive (HDD) and a solid state drive (SSD) that can be written and read at any time
  • SSD solid state drive
  • the data memory 30 is a combination of a non-volatile memory such as an HDD or an SSD, which can be written and read at any time, and a volatile memory such as a RAM (Random Access Memory) as a storage medium. Is used to store various data obtained and created in the process of performing.
  • a non-volatile memory such as an HDD or an SSD
  • a volatile memory such as a RAM (Random Access Memory) as a storage medium. Is used to store various data obtained and created in the process of performing.
  • FIG. 3 is a block diagram showing a software configuration of the position coordinate estimating apparatus 1 according to the first embodiment of the present invention in association with the hardware configuration shown in FIG.
  • the input / output interface unit 10 receives an in-vehicle camera image recorded by the camera 2 such as a drive recorder mounted on the vehicle 4 and position information from the GPS sensor 3 mounted on the vehicle 4 and outputs the information to the control unit 20. . Further, the input / output interface unit 10 outputs the data output from the control unit 20 to the outside. For example, the estimated position coordinates are output as an output result to a visualization unit that maps position information to a map via the input / output interface unit 10. Alternatively, the input / output interface unit 10 may output the display data generated for displaying the estimation result of the position coordinates to, for example, a display unit of a car navigation device (not shown) of the automobile 4 to be displayed. .
  • the storage area of the data memory 30 includes an observation data storage unit 31, an object data storage unit 32, an object-specific data storage unit 33, and a coordinate data storage unit.
  • the observation data storage unit 31 stores the camera image data obtained by the camera 2 and the GPS measurement data obtained by the GPS sensor 3 (hereinafter, the camera image data and the GPS measurement data are collectively referred to as “observation data”). Used to remember.
  • the camera image data and the GPS measurement data are linked to each other by date and time information.
  • the object data storage unit 32 is used to store information for identifying an object detected in a camera image together with GPS measurement data linked to the camera image.
  • the object means an object around the automobile 4 on which the camera 2 is mounted, particularly a stationary object.
  • the stationary object may include a fixed object such as a road sign, a traffic light, a power pole, a post, a vending machine, a building, a sign, and an object which is at the same position for at least a certain time, such as a parked vehicle or a road cone. Further, the stationary object may include another vehicle that is temporarily stopped or a person waiting for a traffic light.
  • the object-specific data storage unit 33 is used to store camera image data and GPS measurement data divided for each detected object.
  • the coordinate data storage unit 34 is used to store the position coordinate data of the object together with the image of the object or the identification information of the object.
  • the storage units 31 to 34 are not essential components, and may be provided in an external storage device such as a database server arranged in a cloud.
  • the position coordinate estimation device 1 acquires necessary data by accessing the database server of the cloud via a communication network or the like.
  • the control unit 20 includes the hardware processor 20A and the program memory 20B, and includes, as processing function units by software, an observation data acquisition unit 21, an object detection unit 22, an object matching unit 23, and an observation pair generation unit.
  • a unit 24, a coordinate estimating unit 25, and an output control unit 26 are provided. All of the processing functions of these units are realized by causing the hardware processor 20A to execute a program stored in the program memory 20B. Note that these processing functions may be realized not by using a program stored in the program memory 20B, but by using a program provided through a network.
  • the observation data acquisition unit 21 sequentially captures the camera image data output from the camera 2 and the GPS measurement data output from the GPS sensor 3 via the input / output interface unit 10, and obtains the camera image data based on the date and time information. It is stored in the observation data storage unit 31 in association with the GPS measurement data.
  • the object detection unit 22 reads out the camera image data from the observation data storage unit 31, performs a process of detecting whether an object whose position coordinates are to be estimated is photographed, and stores the detection result in the object data storage unit 32 in the data memory 30. I do.
  • the object detection unit 22 can add box information indicating the detected object to the camera image data and store it in the object data storage unit 32.
  • the object matching unit 23 reads out the camera image data after the object detection from the object data storage unit 32, divides the data for each piece of data in which the same object is photographed, and stores the result in the object-specific data storage in the data memory 30. It is stored in the unit 33.
  • the observation pair generation unit 24 reads the data set divided for each object from the object-specific data storage unit 33, and calculates position coordinates from camera images corresponding to at least two or more observation points where the same object is photographed. (Also referred to as “observation pair” or “image pair”). The observation pair generation unit 24 outputs the generated observation pair to the coordinate estimation unit 25.
  • the coordinate estimating unit 25 calculates the candidate coordinates of the object using each observation pair data generated by the observation pair generation unit 24.
  • the coordinate estimating unit 25 calculates candidate coordinates for each observation pair, calculates final position coordinates from the calculated candidate coordinate distribution, and stores the final position coordinates in the coordinate data storage unit 34 together with the object image.
  • the output control unit 26 performs a process of reading the position coordinate data of the object stored in the coordinate data storage unit 34 and outputting the data to the outside via the input / output interface unit 10.
  • FIG. 4 is a flowchart showing an example of the processing procedure and processing contents.
  • step S10 the control unit 20 of the position coordinate estimating apparatus 1 controls the camera as observation data via the input / output interface unit 10 under the control of the observation data obtaining unit 21.
  • the image data and the GPS measurement data are acquired and stored in the observation data storage unit 31.
  • an image ahead of the vehicle which is taken by the vehicle-mounted camera 2 of the automobile 4, is acquired as the camera image data.
  • FIG. 10A shows an example of camera image data stored in the observation data storage unit 31.
  • the camera image in addition to the road on which the automobile 4 is traveling, the white line drawn on the road, the sidewalk, the surrounding buildings, the vehicles traveling ahead, the parked vehicles PV1, PV2, and the like, as an example of the object.
  • the signboard OB1 is photographed.
  • the camera image data also includes date and time information DT when the image was taken.
  • FIG. 10B shows an example of GPS measurement data stored in the observation data storage unit 31.
  • the GPS measurement data can include information on the time when the GPS measurement was performed, information on the measured position, and information indicating the reliability of the GPS measurement.
  • the position information is simply shown as (latitude, longitude), but in actual data, it is obtained as specific numerical values of latitude and longitude. The same applies to the subsequent drawings.
  • the camera image data and the GPS measurement data are measured at a time interval of at least about one second, and the times are synchronized with a granularity of about one second.
  • the camera image data is stored in the observation data storage unit 31 in association with the corresponding GPS measurement data based on the date and time information.
  • step S20 the control unit 20 of the position coordinate estimation device 1 performs an object detection process under the control of the object detection unit 22.
  • FIG. 5 is a flowchart showing an example of a processing procedure and processing contents by the object detection unit 22.
  • the object detection unit 22 reads camera video data (file) from the observation data storage unit 31 in step S201. It is assumed that the shooting time is held in this file in seconds.
  • step S202 the object detection unit 22 performs a process of cutting out the camera image into frames every one second, for example.
  • This processing can be performed using, for example, ffmpeg (moving image processing software).
  • step S203 the object detection unit 22 performs a process of detecting an object from the image of each frame.
  • This process can be performed using, for example, a method such as Yolov2 (object detection algorithm) (see, for example, https://arxiv.org/abs/1612.08242).
  • Yolov2 object detection algorithm
  • the plurality of objects are detected.
  • step S204 the object detection unit 22 performs a process of storing the detection result in the object data storage unit 32.
  • the object detection unit 22 can add box information indicating the detected object to the camera image data and store it in the object data storage unit 32.
  • the camera image data detected by the object is stored in the object data storage unit 32 in association with the GPS measurement data as shown in FIG. 10B.
  • FIG. 11 shows an example of camera image data detected by an object and stored in the object data storage unit 32.
  • the object detection unit 22 detects the signboard OB1 by object detection, and records the signboard OB1 as rectangular information BB1 with respect to the detected signboard OB1.
  • the target object may be a road sign, a parked vehicle, a vending machine, or the like, and is not limited to a sign.
  • step S30 the control unit 20 of the position coordinate estimation device 1 performs an object matching process under the control of the object matching unit 23.
  • FIG. 6 is a flowchart showing an example of a processing procedure and processing contents by the object matching unit 23.
  • step S301 the object matching unit 23 reads camera image data after object detection from the object data storage unit 32 in the data memory 30.
  • the object matching unit 23 performs a process of determining whether the detected objects in each frame are the same.
  • the determination process can be performed by, for example, image matching.
  • image matching template matching using a correlation value is used as image matching, and a point having the largest correlation value is set as an image corresponding point.
  • the correlation value the following normalized cross-correlation was used.
  • Corr is a correlation coefficient
  • ⁇ xy is a covariance of xy
  • sd x represents a standard deviation of x. Whether the objects are the same can be determined by setting a threshold value for the correlation value.
  • step S303 the object matching unit 23 divides each data determined to be the same object into the same data group.
  • the same signboard for example, a process of searching whether the same signboard is detected in another frame of the same car or whether the same signboard is detected in a camera image taken by another car Is performed, and the data is divided for each piece of data determined to be the same signboard.
  • step S304 the object matching unit 23 stores the result of the division in the data storage unit 33 for each object in the data memory 30.
  • FIG. 12 shows an image of image data divided for each object stored in the data storage unit 33 for each object.
  • the same signboard OB1 is detected in the three images with the times 10:00:01, 10:00:02, and 10:00:03 on 2018/1/1 as the date and time information DT, and the rectangular information BB1 is added. Have been.
  • the image data divided for each object is stored in the data storage unit for each object 33 in association with the GPS measurement data as shown in FIG. 10B.
  • step S40 the control unit 20 of the position coordinate estimating device 1 performs an observation pair generation process under the control of the observation pair generation unit 24.
  • FIG. 7 is a flowchart illustrating an example of a processing procedure and processing contents by the observation pair generation unit 24.
  • step S401 the observation pair generation unit 24 reads a data set divided for each object, which is stored in the data storage unit 33 for each object in the data memory 30.
  • a data set for all detected objects may be read, or a data set for a specific (arbitrary) object may be read.
  • the observation pair generation unit 24 determines a record having more accurate position information from at least two or more observation points where the same object is photographed before generating observation data pairs. I do.
  • the fact that an index indicating the likelihood of the GPS measurement is also measured at the same time is used to generate a pair of data with a high likelihood.
  • the value of the column indicating the likelihood of the GPS measurement is referred to, the record with a low likelihood is discarded, and the pair of observation data from the record with a high likelihood is discarded. To be generated.
  • an index representing the likelihood there is an index taking into account the influence of the GPS satellite arrangement, for example.
  • the degree to which the accuracy is reduced by the arrangement of the GPS satellites with respect to the measurement points is called GDOP (Geometric Dilution Of Precision), of which the horizontal DOP is extracted to obtain the HDOP (Horizontal Dilution). Of Precision: horizontal precision reduction rate).
  • the larger the numerical value of HDOP the worse the horizontal position measurement accuracy is.
  • HDOP is adopted as an index indicating the likelihood
  • data indicating that the value of the HDOP is higher than a certain threshold value indicates that the accuracy of the measured latitude / longitude is likely to be poor. Records to be deleted.
  • FIG. 13A shows an image of GPS measurement data for generating a pair of observation data.
  • the display of specific numerical values of latitude and longitude is omitted. It is assumed that the same object is detected in all six frames every second from 10:00:00 on January 1, 2018 to 10:00:05 on January 1, 2018. A number (No) is assigned to each frame for explanation. Looking at the value of the certainty of the GPS measurement, for example, 4 and No. 5 indicates that the accuracy of the measured latitude / longitude is likely to be poor. Therefore, in this example, No. 4 and No. Delete record 5 and proceed to the next step.
  • step S403 the observation pair generation unit 24 generates a pair of observation data for calculating position coordinates from the remaining records.
  • FIG. 13B shows examples of the generated pairs as P1 to P6.
  • a threshold value may be provided for the value of HDOP, or the accuracy may be included in the higher precision (lower value of HDOP) as a percentage of the total observation data.
  • step S50 the control unit 20 of the position coordinate estimation device 1 performs a position coordinate estimation process under the control of the coordinate estimation unit 25.
  • FIG. 8 is a flowchart illustrating an example of a processing procedure and processing contents by the coordinate estimating unit 25.
  • step S501 the coordinate estimating unit 25 acquires observation pair data generated by the observation pair generation unit 24.
  • step S502 the coordinate estimating unit 25 calculates the position coordinates of the object using each observation pair data.
  • the position coordinates of the object are calculated using the principle (photogrammetry) that the principal point of the vehicle-mounted camera 2 and the position of the object (on the image and on the ground coordinates) are aligned.
  • FIG. 9A is a diagram illustrating an example of a photogrammetry technique used in this embodiment.
  • a line-of-sight vector from the camera (CCD) in the direction of the object OB is calculated.
  • the image coordinates are handled by being replaced with a camera coordinate system whose origin is the principal point of the camera.
  • the image coordinates are coordinates where the center of the image is 0,0, and the distance between the principal point MP and the CCD in the depth direction is a focal length f (unit: pix).
  • t represents the time
  • u t, v t is the image coordinates of the object at time t (unit: pix) representing a.
  • the line-of-sight vector in the camera coordinate system is coordinate-transformed into a ground coordinate (map coordinate) system.
  • the coordinate transformation is completed by rotating the line-of-sight vector according to the following equation.
  • (x t ′, y t ′, z t ′) represents a vector (unit: m) from the camera principal point position to the object position at time t, and ⁇ , ⁇ , ⁇ are ground coordinates.
  • ⁇ , ⁇ , ⁇ are ground coordinates.
  • the rotation angles ⁇ , ⁇ , ⁇ can be obtained by various methods.
  • the rotation angle may be acquired using a three-axis acceleration sensor when the camera is mounted.
  • ⁇ is calculated using, for example, the following equation.
  • ⁇ t atan ((x t + 1 ⁇ x t ) / (y t + 1 ⁇ y t ))
  • atan represents arc tangent (arctan)
  • t represents time.
  • FIG. 9B is a diagram showing the relationship between the position coordinates (x, y, z) of the object, the line-of-sight vectors (vx 0 , vy 0 , vz 0 ) and (vx 1 , vy 1 , vz 1 ) of the two frames.
  • a line-of-sight vector coordinate-converted to ground coordinates is prepared for a plurality of frames, and their intersection (intersection of a straight line obtained by extending each line-of-sight vector) is calculated.
  • the calculated intersection (x, y, z) is the ground coordinate of the object.
  • the coordinate estimating unit 25 determines a likely coordinate as a final coordinate from the calculated distribution of the coordinate data of the object.
  • a plurality of coordinate data candidates can be calculated. For example, an average value or a median value of a plurality of calculated coordinate data candidates can be adopted and determined as final coordinates. As the final coordinates, another representative value from a plurality of coordinate data candidates may be adopted. If a new coordinate data candidate can be calculated, the previously calculated coordinate data candidate is merged with the data to calculate a new average value or median value. Coordinate values can be calculated.
  • step S ⁇ b> 504 the coordinate estimating unit 25 stores the determined final coordinates in the coordinate data storage unit 34.
  • FIG. 14 shows an example of a data image stored in the coordinate data storage unit 34. Here, it is assumed that the position coordinates are stored in association with the image data including the corresponding object.
  • a signboard OB1 whose position coordinates are to be estimated, and latitude, longitude, and relative altitude are shown as position information OP1 of the signboard OB1.
  • the relative altitude is not an altitude but a height from an installation position of a vehicle-mounted camera mounted on an automobile.
  • an ID for identifying the signboard may be given to the signboard.
  • road network data is generally used as map information, and an ID is assigned to each road in this road network data. Therefore, an ID system in which a signboard ID is given in a form linked to the road ID may be adopted.
  • control unit 20 of the position coordinate estimating apparatus 1 reads out the determined final position coordinates from the coordinate data storage unit 34 under the control of the output control unit 26, for example, triggered by the operation of the operator, and The data can be output to an external device or the like via the unit 10.
  • the position coordinate estimating device 1 camera image data based on an image output from the camera 2 mounted on the car 4 and a GPS sensor also mounted on the car 4 3 and obtains the GPS measurement data, and based on a plurality of images including the same object photographed at different observation points and the position information of the automobile 4 associated with the images, the object in the image is obtained. By calculating the intersection of the line-of-sight vectors, the position coordinates of the object are estimated.
  • the position coordinates of a peripheral object observed from a moving object such as the car 4 can be accurately estimated based on data acquired using a general vehicle-mounted camera or a GPS sensor without requiring an expensive sensor. be able to.
  • the observation pair generation unit 24 When calculating the intersection of the line-of-sight vectors, the observation pair generation unit 24 excludes the position coordinates with low reliability and generates a pair from the image data from which the position coordinates with high reliability are obtained. . Further, the coordinate estimating unit 25 calculates position coordinate data from each pair, and determines likely position coordinates from the distribution. This makes it possible to accurately estimate the position coordinates of the object even when the GPS of the moving object includes a measurement error. As an error of the GPS, an accidental error and a systematic error can be considered, but the influence of the systematic error can be eliminated as much as possible in the observation pair generation unit 24, and the accidental error can be eliminated by the coordinate estimation unit 25 in the coordinate estimation unit 25. By using the average or median as the final value, the influence can be statistically eliminated.
  • the position coordinate estimating device 1 can automatically detect objects such as signs and billboards in the city, and can estimate the position coordinates of each object with high accuracy and map them on the map. It is possible to automatically obtain a highly accurate and highly accurate map reflecting the above information.
  • the position coordinate estimating apparatus 100 according to the second embodiment of the present invention uses a position where the camera image is captured (that is, the position of the moving body 4 itself) based on the position coordinates of a peripheral object shown in the camera image. ) Are estimated. (Constitution)
  • the position coordinate estimating apparatus 100 according to the second embodiment can employ the same hardware configuration as the position coordinate estimating apparatus 1 described in regard to the first embodiment. Therefore, a detailed description of the hardware configuration is omitted.
  • FIG. 15 is a block diagram showing a software configuration of the position coordinate estimating apparatus 100 according to the second embodiment of the present invention. 3, the same functional units as those of the position coordinate estimating apparatus 1 according to the first embodiment are denoted by the same reference numerals as in FIG. 3, and detailed description thereof will be omitted. Note that the position coordinate estimating device 100 according to the second embodiment can also be implemented in the in-vehicle system shown in FIG.
  • the position coordinate estimating apparatus 100 is configured by, for example, a personal computer, similarly to the position coordinate estimating apparatus 1, and includes an input / output interface unit 10, a control unit 20, and a data memory 30 as hardware.
  • the input / output interface unit 10 includes, for example, one or more wired or wireless communication interface units.
  • the input / output interface unit 10 receives various information from the camera 2 and the GPS sensor 3 mounted on the automobile 4 and outputs the information to the control unit 20. However, in this embodiment, it is not always necessary to receive GPS information. Further, the input / output interface unit 10 outputs the data output from the control unit 20 to the outside.
  • the data memory 30 uses a non-volatile memory that can be written and read at any time, such as an HDD or an SSD, as a storage medium.
  • an observation data storage unit 31 includes: An object data storage unit 32 and a coordinate data storage unit 34 are provided.
  • the observation data storage unit 31 is used to store at least camera image data obtained by the camera 2. When the GPS measurement data having the corresponding date and time information is obtained, the observation data storage unit 31 can also store the camera image data in association with the GPS measurement data.
  • the object data storage unit 32 is used to store information for identifying an object detected in a camera image. Similarly, when the corresponding GPS measurement data exists, the camera image data after the object detection is stored in association with the GPS measurement data.
  • the coordinate data storage unit 34 is used to store position coordinate data of an object estimated or obtained in advance.
  • the position coordinates of the object are stored in association with the image data including the object.
  • the storage units 31, 32, and 34 are not indispensable components, and may be provided in an external storage device such as a database server arranged in a cloud.
  • the position coordinate estimating apparatus 100 acquires necessary data by accessing the cloud database server via a communication network or the like.
  • the control unit 20 includes a hardware processor such as a CPU (not shown) and a program memory, and executes an observation data acquisition unit 21, an object detection unit 22, an object matching unit 230 to execute the processing functions in this embodiment. , A coordinate reference unit 270, an observation pair generation unit 240, a coordinate estimation unit 250, and the output control unit 26. All of the processing functions of these units are realized by causing the hardware processor to execute a program stored in a program memory. Note that these processing functions may be realized not by using a program stored in the program memory but by using a program provided through a network.
  • the observation data acquisition unit 21 sequentially captures at least camera image data output from the camera 2 via the input / output interface unit 10 and stores it in the observation data storage unit 31. If the GPS measurement data output from the GPS sensor 3 can also be acquired, the observation data acquisition unit 21 also sequentially acquires the GPS measurement data via the input / output interface unit 10 and obtains the camera image data based on the date and time information. And stored in the observation data storage unit 31.
  • the object detection unit 22 reads the camera image data from the observation data storage unit 31, performs a process of detecting an object, and stores the result in the object data storage unit 32 in the data memory 30. For example, the object detection unit 22 can add box information indicating the detected object to the camera image data and store it in the object data storage unit 32.
  • the object matching unit 230 reads out the camera image data after the object detection from the object data storage unit 32, reads out the object data with position information from the coordinate data storage unit 34, and stores the camera image after the object detection and the coordinate data storage unit It is determined whether or not the same object exists in the object data with position information stored in 34.
  • the coordinate reference unit 270 stores the position coordinates of the object in the coordinate data. Extracted from the unit 34.
  • the coordinate reference unit 270 reads them from the coordinate data storage unit 34. Position coordinates of at least two points with respect to the object are extracted.
  • the observation pair generation unit 240 generates pairs from the position coordinate information of at least two points (two objects) extracted by the coordinate reference unit 270. When the position coordinates of three or more points are extracted, pairs can be generated in all combinations.
  • the coordinate estimating unit 250 calculates candidate position coordinates using each pair generated by the observation pair generating unit 240.
  • the position coordinates of the shooting point are estimated by finding the intersection of straight lines obtained by extending the line-of-sight vector to each object.
  • Candidate coordinates are calculated for each observation pair, and final coordinates can be calculated from the distribution of the calculated coordinates.
  • FIG. 16 is a flowchart showing an example of the processing procedure and processing contents.
  • the same processes as those of the position coordinate estimating apparatus 1 according to the first embodiment are denoted by the same reference numerals as in FIG. 4, and the detailed description is omitted.
  • step S10 the control unit 20 of the position coordinate estimating apparatus 100 controls at least the camera image data via the input / output interface unit 10 under the control of the observation data obtaining unit 21. And, if it can be obtained, the GPS measurement data is obtained and stored in the observation data storage unit 31.
  • a forward image during traveling which is captured by the vehicle-mounted camera 2 of the automobile 4, is measured and acquired as camera image data at time intervals of about one second.
  • the camera image data is stored in association with the GPS measurement data based on the date and time information.
  • step S20 the control unit 20 of the position coordinate estimation device 100 performs an object detection process under the control of the object detection unit 22.
  • the object detection processing can be performed using a known Yolov2 algorithm or the like as in the first embodiment, and when there are a plurality of objects in one frame, a plurality of objects are detected.
  • the second embodiment only an image frame in which at least two objects are detected in one frame is used for the subsequent processing.
  • control unit 20 of the position coordinate estimation device 100 performs an object matching process under the control of the object matching unit 230.
  • step S311 the object matching unit 230 reads out camera image data after object detection from the object data storage unit 32 in the data memory 30. As described above, in the camera image data to be read, it is assumed that two or more objects are detected in each image frame.
  • step S312 the object matching unit 230 reads out object data with position information from the coordinate data storage unit 34 in the data memory 30.
  • These data may be, for example, data whose position coordinates have been estimated in advance using the method according to the first embodiment and accumulated, or data acquired from an external database.
  • the object matching unit 230 determines whether the camera image data after object detection and the data in the coordinate data storage unit include two or more identical objects.
  • the range of data to be read from the coordinate data storage unit 34 is limited in advance based on GPS information obtained from the GPS sensor 3 of the moving object 4, so that subsequent processing can be lightened. Note that the normalized cross-correlation can be used to determine whether the objects are the same as in the first embodiment.
  • step S313 If it is determined in step S313 that there is no object identical to the camera image data in the coordinate data storage unit 34 or that there is only one identical object, the process ends. On the other hand, when it is determined in step S313 that there are two or more identical objects, the process proceeds to step S314.
  • step S314 under the control of the coordinate reference unit 270, the control unit 20 of the position coordinate estimating apparatus 100 determines that there are two or more identical objects in the camera image and the coordinate data storage unit 34 by the object matching unit 230. The determined position coordinates of each of the objects are extracted from the coordinate data storage unit 34.
  • FIG. 17 shows an image in which position information of two objects is extracted from the coordinate data storage unit 34 and displayed in association with image data.
  • the position information is shown as (latitude, longitude, relative altitude) for convenience, but is actually extracted as a numerical value.
  • step S40 the control unit 20 of the position coordinate estimation device 1 performs an observation pair generation process under the control of the observation pair generation unit 240.
  • the position coordinates OP2 and OP3 of the objects OB2 and OB3 extracted by the coordinate reference unit 270 are used as observation data, and a pair of observation data is generated.
  • all combinations of records of observation data may be generated as a pair.
  • step S50 the control unit 20 of the position coordinate estimating apparatus 1 uses the respective pairs generated by the observation pair generation unit 240 under the control of the coordinate estimation unit 250 according to the first embodiment.
  • the position coordinates of the moving object 4 (that is, the point where the camera image was captured) can be calculated in the same manner as described in the above. For example, in the example shown in FIG. 17, after calculating the line-of-sight vectors to the objects OB2 and OB3 in the camera coordinate system having the principal point of the camera as the origin, the coordinates of each line-of-sight vector are converted to the ground coordinate system. Next, the position coordinates of the moving body 4 can be obtained by calculating the intersection of a straight line obtained by extending the line-of-sight vector for each object.
  • a likely coordinate can be obtained from the distribution of the coordinate data. For example, an average value or a median value of each coordinate data can be adopted and determined as final coordinates. As the final coordinates, another representative value from a plurality of coordinate data may be adopted.
  • control unit 20 of the position coordinate estimating device 100 receives the determined final position coordinates from the coordinate estimating unit 250 under the control of the output control unit 26, and sends the final position coordinates to an external device or the like via the input / output interface unit 10. Can be output.
  • the position coordinate estimating apparatus 100 acquires camera image data based on the video output from the camera 2 mounted on the automobile 4 and captures the camera image data in the camera image. For the objects whose position coordinates can be obtained from the objects, the intersection of the line of sight vector from the camera to those objects is calculated, so that the position coordinates of the camera 2 that has taken the image and, consequently, the position coordinates of the moving object 4 are estimated.
  • a pair is generated using the position coordinates of a plurality of objects as observation data, position coordinates that are candidates for the moving object 4 are calculated from each pair, and the position coordinates that are likely from the distribution are calculated. Is determined as the final position coordinates, the position coordinates of the moving body 4 can be accurately estimated.
  • the position coordinates of a peripheral object photographed using a general vehicle-mounted camera 2 can be used without requiring an expensive sensor.
  • the present invention is not limited to the above embodiment.
  • the position coordinate estimating apparatuses 1 and 100 have been described as being mounted on the vehicle 4 as a part of the vehicle-mounted system.
  • the present invention is not limited to this, and information can be collected from the vehicle 4 through a wireless communication network.
  • It may be implemented as a server device.
  • the position coordinate estimating device 1 as a server device, the captured camera image and GPS information are received from a large number of moving objects, accumulated, and the position coordinates of objects around the road are collectively calculated. / Can be estimated. This makes it possible to acquire more position coordinates of more stationary objects with higher accuracy, and to obtain map information with a high information density, which is updated as needed based on the latest information.
  • the units 21 to 26 included in the position coordinate estimating devices 1 and 100 may be dispersedly arranged in an in-vehicle device, a cloud computer, an edge router, and the like, and the position coordinates may be estimated by cooperating with each other. .
  • the estimation of the position coordinates of the peripheral object and the estimation of the position coordinates of the moving object itself have been described separately in the first embodiment and the second embodiment. It can also be integrated.
  • the position coordinate estimating device is a part of the in-vehicle system
  • the position coordinates of the surrounding objects and the position coordinates of the moving object are estimated by the operation of the driver or automatically according to the surrounding environment during traveling. May be switched.
  • the position coordinate estimating device is a server device that collects and uses data from a plurality of vehicles, it may be switched according to the purpose by an operator's operation, and may be switched according to the reception status of GPS information in each vehicle. You may make it switch automatically.
  • At least latitude and longitude are described as position information of the automobile 4 and in the second embodiment, position information of two objects is described.
  • the present invention is not limited to this.
  • Arbitrary coordinate data based on an arbitrary coordinate system.
  • the position coordinates of the object or the moving object itself are estimated as coordinates based on the same coordinate system.
  • the method of estimating the position coordinates of a stationary object or a moving object itself by generating pairs of observation data and obtaining intersections of line-of-sight vectors for each pair has been described.
  • the method of estimating the position coordinates is not limited to this.
  • a single still object is photographed at a plurality of geographical positions, and the position coordinates of each photographing position and the line-of-sight vector to the still object in each of the obtained plurality of camera images are calculated.
  • a straight line obtained by extending a plurality of line-of-sight vectors does not intersect at one point, and it is expected that a large number of intersections will occur according to the accuracy of the position coordinates of the photographing position.
  • the most probable intersection can be estimated by analysis. As an example, it is possible to estimate the center of a circle including all the obtained intersections as the position of the stationary object. If a certain number or more of gaze vectors can be acquired, it is considered that even if an error is included in the GPS information of the shooting position, the influence of the error can be reduced to an acceptable level without adding a special sensor.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying its constituent elements in an implementation stage without departing from the scope of the invention.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Further, components of different embodiments may be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

移動体から撮影されたカメラ画像に基づいて、周辺の物体または移動体自体の位置座標を推定する技術を提供する。異なる位置で撮影された少なくとも１つの同一の静止物体を含む複数のカメラ画像を取得し、各カメラ画像の撮影位置の座標を取得し、各カメラ画像におけるカメラから上記静止物体に対する視線ベクトルと、上記撮影位置の座標とに基づいて、静止物体の位置座標を推定する。あるいは、位置座標がそれぞれ既知の少なくとも２つの静止物体を含むカメラ画像を取得し、カメラ画像におけるカメラから上記静止物体それぞれに対する視線ベクトルと、上記静止物体それぞれの位置座標とに基づいて、カメラ画像が撮影された地点の位置座標を推定する。

Description

位置座標推定装置、位置座標推定方法およびプログラム
　この発明の一態様は、移動体から撮影されたカメラ画像に基づいて、移動体の周辺の物体または当該移動体自体の位置座標を推定する、装置、方法、およびプログラムに関する。
　従来、自動車や船舶、ロボットなどの移動体にセンサを搭載し、センサにより得られた情報から周辺地図を作成する取り組みがある（例えば、非特許文献１参照）。将来的に自動運転走行を行う上でも、周辺地図の重要性は、広く認識されている。
　周辺地図を作成するにあたって必要な地図情報として、例えば道路標識があげられる。車載カメラの映像から道路標識を検出し、車載カメラを搭載している自動車のＧＰＳ（Global Positioning System）情報に基づいて地図データベースを照合の上、固定的な標識であるか臨時的な標識であるかを識別するような取り組みが考えらえる。
　また、周辺地図の中で、自車位置を精度よく推定することも重要である。中でも、ＬＩＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）方式と呼ばれる自己位置推定方法が主流となっている。これは、レーザーパルスをスキャンして三次元空間からの散乱光を発射位置で受光し、時間差から距離を計測することで点群を作成し、三次元座標をもった点群で三次元空間を密に作り上げる技術である。また、このような点群を処理して、自己位置推定と環境地図作成とを同時に行うＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる技術も知られており、Ｖ－ＳＬＡＭ（Visual-SLAM）では、車載カメラからの映像を直接加工して生成した点群から自己位置推定が行われる。
「ＳＩＰ自動走行システム Automated driving system for everyone a smile」、２０１８年５月１１日第１期ＳＩＰ記者勉強会（第３回）、インターネット＜ URL: http://www8.cao.go.jp/cstp/gaiyo/sip/press/jidosoko.pdf ＞
　ところが、非特許文献１に記載された技術では、自動車のＧＰＳ情報自体に計測誤差が含まれるため、精度よく位置座標を推定できないという問題がある。移動体の移動経路補正技術として、例えば道路ネットワークデータとＧＰＳデータとのマップマッチング技術が知られているが、その技術ではＧＰＳデータを道路中心線に対し垂直補正することしかできず、十分な補正とはいえない。また、ＬＩＤＡＲ方式のようなセンサを用いれば精度よく位置座標を求めることができるが、センサ自体の費用が高価であり、汎用的な方式として実用するには困難である。
　この発明は上記事情に着目してなされたもので、その目的とするところは、高価なセンサを用いることなく、移動体の周辺の物体または移動体自体の位置座標を精度よく推定する技術を提供することにある。
　上記課題を解決するために、この発明の第１の態様は、位置座標推定装置にあって、異なる地理的位置において撮影された、少なくとも１つの同一の静止物体を含む複数のカメラ画像を取得する、カメラ画像取得部と、上記複数のカメラ画像の各々が撮影された地理的位置の位置座標を取得する、位置座標取得部と、上記複数のカメラ画像の各々における、上記カメラ画像に関連付けられた座標系における上記静止物体に対する視線ベクトルと、上記地理的位置の位置座標とに基づいて、上記静止物体の位置座標を推定する、位置座標推定部とを具備するようにしたものである。
　この発明の第２の態様は、上記第１の態様において、位置座標推定装置が、上記複数のカメラ画像から２つのカメラ画像を選択的に組み合わせて画像ペアを生成する、画像ペア生成部をさらに具備し、上記位置座標推定部が、上記画像ペアを構成する２つのカメラ画像の各々における上記静止物体に対する視線ベクトルと、上記地理的位置の位置座標とに基づいて、上記静止物体の位置座標を推定するようにしたものである。
　この発明の第３の態様は、上記第２の態様において、上記位置座標取得部が、ＧＰＳ衛星から受信される情報に基づいて上記地理的位置の位置座標を取得し、上記画像ペア生成部が、上記ＧＰＳ衛星から受信される情報に基づいて、取得された上記地理的位置の位置座標の精度を表す情報を取得し、上記位置座標の精度が所定のしきい値を超える地理的位置に対応するカメラ画像を選択的に組み合わせて、上記画像ペアを生成するようにしたものである。
　この発明の第４の態様は、上記第２または第３の態様において、上記画像ペア生成部が、複数の画像ペアを生成し、上記位置座標推定部が、上記複数の画像ペアの各々について上記静止物体の位置座標の候補値を算出し、上記算出された複数の候補値に基づいて上記静止物体の位置座標を推定するようにしたものである。
　この発明の第５の態様は、位置座標推定装置にあって、位置座標がそれぞれ既知の少なくとも２つの静止物体を含むカメラ画像を取得する、カメラ画像取得部と、上記少なくとも２つの静止物体それぞれの位置座標を取得する、位置座標取得部と、上記カメラ画像における、上記カメラ画像に関連付けられた座標系における上記少なくとも２つの静止物体それぞれに対する視線ベクトルと、上記少なくとも２つの静止物体それぞれの上記位置座標とに基づいて、上記カメラ画像が撮影された地点の位置座標を推定する、位置座標推定部とを具備するようにしたものである。
　この発明の第１の態様によれば、移動体から撮影された複数のカメラ画像について、カメラ画像内の静止物体に対する視線ベクトルと、各カメラ画像が撮影された地点の位置座標とに基づいて、静止物体の位置座標が推定される。同一の静止物体に対する複数の視線ベクトルを得ることで、仮に撮影地点の位置座標に誤差が含まれる場合でも、例えば幾何学的または統計学的な種々の手法により、一定の精度を保ちながら静止物体の位置座標を推定することができる。したがって、各撮影地点に関する位置座標が何らかの方法で取得できれば、高価なセンサを必要とすることなく、車載カメラ等の一般的なカメラを用いて、静止物体の位置座標を精度よく推定することができる。
　この発明の第２の態様によれば、複数のカメラ画像から２つのカメラ画像を選択的に組み合わせて生成された画像ペアを用いて、静止物体の位置座標が推定される。これにより、システムの負荷条件や所望の精度を考慮した任意の基準を設定して画像ペアを生成させることができ、そのように生成された画像ペアに基づいて静止物体の位置座標を推定することができる。
　この発明の第３の態様によれば、ＧＰＳ衛星から受信される情報を用いて、地理的位置の位置座標の精度が判定され、位置座標の精度が所定のしきい値を超える地理的位置に対応するカメラ画像が、上記画像ペアとして選択的に組み合わせられる。これにより、精度の高い位置座標に対応付けられるカメラ画像のみが、静止物体の位置座標推定に利用されるので、より高い精度で静止物体の位置座標を推定することができる。
　この発明の第４の態様によれば、複数の画像ペアが生成され、複数の画像ペアそれぞれを用いて推定された複数の候補値から、最終的な位置座標が推定される。これにより、サンプル間のばらつきの影響を考慮して、さらに精度よく静止物体の位置座標を推定することができる。
　この発明の第５の態様によれば、あらかじめ位置座標がわかっている少なくとも２つの静止物体を撮影したカメラ画像を取得し、当該カメラ画像内の静止物体に対する視線ベクトルと静止物体の位置座標とに基づいて、当該カメラ画像が撮影された地点の位置座標が推定される。これにより、あらかじめ位置座標がわかっている少なくとも２つの静止物体のカメラ画像を取得できれば、やはり高価なセンサを必要とすることなく、車載カメラ等の一般的なカメラを用いて、撮影された地点の位置座標、ひいては当該カメラを搭載している移動体の位置座標を精度よく推定することができる。
　すなわち、この発明の各態様によれば、高価なセンサを用いることなく、移動体周辺の物体または移動体自体の位置座標を精度よく推定する技術を提供することができる。
図１は、この発明の実施形態に係る位置座標推定装置を備えた車載システムの概略構成図である。 図２は、この発明の実施形態に係る位置座標推定装置のハードウェア構成を示すブロック図である。 図３は、この発明の第１の実施形態に係る位置座標推定装置のソフトウェア構成を示すブロック図である。 図４は、図３に示した位置座標推定装置による全体の処理手順と処理内容の一例を示すフローチャートである。 図５は、図４に示したオブジェクト検知処理ルーチンの処理手順と処理内容の一例を示すフローチャートである。 図６は、図４に示したオブジェクトマッチング処理ルーチンの処理手順と処理内容の一例を示すフローチャートである。 図７は、図４に示した観測ペア生成処理ルーチンの処理手順と処理内容の一例を示すフローチャートである。 図８は、図４に示した位置座標推定処理ルーチンの処理手順と処理内容の一例を示すフローチャートである。 図９Ａは、図８に示した位置座標推定処理で用いる写真測量技法を例示する図である。 図９Ｂは、図８に示した位置座標推定処理で用いる視線ベクトルの交点算出処理を例示する図である。 図１０Ａは、車載カメラから取得されるカメラ画像データの一例を示す図である。 図１０Ｂは、ＧＰＳセンサから取得されるＧＰＳ計測データの一例を示す図である。 図１１は、オブジェクト検知されたカメラ画像データの一例を示す図である。 図１２は、同一のオブジェクトが検知されたデータごとに分割された画像データの一例を示す図である。 図１３Ａは、観測データのペアを生成するためのＧＰＳ計測データの一例を示す図である。 図１３Ｂは、図１３Ａに示したデータに基づいて生成された観測ペアの一例を示す図である。 図１４は、位置座標が推定されたオブジェクトを示す図である。 図１５は、この発明の第２の実施形態に係る位置座標推定装置のソフトウェア構成を示すブロック図である。 図１６は、図１５に示した位置座標推定装置による全体の処理手順と処理内容の一例を示すフローチャートである。 図１７は、図１６に示した処理において読み出されるオブジェクトの位置情報のイメージを示す図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。　
　［第１の実施形態］
　（構成）
　（１）システム
　図１は、この発明の一実施形態に係る位置座標推定装置を備えた車載システムの一例を示す。図１では、移動体の一例として自動車４が示されている。自動車４は、特定の自動車に限定されるものではなく、様々な個人、車種、メーカーの自動車であってよい。ただし、移動体には、自動車、二輪車、自転車、パーソナルモビリティ、ロボット、歩行者、船舶、飛行機、ドローンなど、センサを搭載することが可能なあらゆる移動体が含まれ得る。したがって、図１に示した車載システムは一例にすぎず、歩行者が所持するスマートフォンなどに置き換えることも可能である。
　図１において、移動体としての自動車４には、一実施形態に係る位置座標推定装置１と、カメラ２と、ＧＰＳセンサ３とが搭載されている。
　カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の固体撮像デバイスを用いたもので、自動車４の進行方向など、任意の方向の道路領域を撮像範囲に含むように、設置場所、向きおよび角度が設定されている。カメラ２は、カメラ画像データを取得し、取得したデータを位置座標推定装置１へ出力する。
　なお、カメラ２は、位置座標推定専用に設けられるものであってもよいが、ドライブレコーダのカメラやその他の目的で搭載されている車載カメラ等、同等の画像データを得ることができるものであれば、どのようなカメラでも利用可能である。例えば、移動体が二輪車や自転車の場合にはドライバのヘルメットに設けられたカメラを使用してもよく、また自動車４の同乗者が所持するスマートフォンやタブレット端末等の携帯端末に設けられたカメラを使用してもよい。さらに、カメラの種類としては赤外線カメラを用いてもよい。また、カメラによって取得されるカメラ画像データは、動画像データでもよく、一定の時間間隔で撮像される静止画像データであってもよい。
　ＧＰＳセンサ３は、複数のＧＰＳ衛星が送信するＧＰＳ信号を受信して測距演算を行うことにより自動車４の緯度・経度を算出するもので、この算出された緯度・経度を含むＧＰＳ計測データを位置座標推定装置１へ出力する。ＧＰＳ計測データは、緯度・経度（以下、「位置座標」とも言う）に加えて、ＧＰＳ計測の確からしさを表す情報も含むことができる。ＧＰＳ計測の確からしさとは、例えば、ＧＰＳ衛星の配置状況に応じて決定される指標である。なお、位置座標の取得は、ＧＰＳセンサ３に限定されるものではなく、同等の機能が発揮されるのであれば、無線基地局やＷｉＦｉアクセスポイントの位置情報を利用するなど、他の手段を使用してもよい。
　位置座標推定装置１は、カメラ画像中に写った周辺の物体の位置座標を推定するもので、以下のように構成される。
　（２）位置座標推定装置
　（２－１）ハードウェア構成
　図２は、この発明の第１の実施形態に係る位置座標推定装置１のハードウェア構成を示すブロック図である。
　位置座標推定装置１は、例えばパーソナルコンピュータにより構成され、ハードウェアとして、バス４０を介して互いに接続された、入出力インタフェースユニット１０と、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ２０Ａと、プログラムメモリ２０Ｂと、データメモリ３０とを備えている。
　入出力インタフェースユニット１０は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでいる。入出力インタフェースユニット１０は、上記カメラ２およびＧＰＳセンサ３を含む外部機器から情報を受け取るとともに、位置座標推定装置１により生成された情報を外部へと出力する。
　プログラムメモリ２０Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとを組み合わせて使用したもので、実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。
　データメモリ３０は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて使用したもので、各種処理を行う過程で取得および作成された各種データを記憶するために用いられる。
　（２－２）ソフトウェア構成
　図３は、この発明の第１の実施形態に係る位置座標推定装置１のソフトウェア構成を、図２に示したハードウェア構成と関連付けて示したブロック図である。
　入出力インタフェースユニット１０は、自動車４に搭載されたドライブレコーダ等のカメラ２で記録された車載カメラ映像や、自動車４に搭載されたＧＰＳセンサ３からの位置情報を受け取って制御ユニット２０に出力する。さらに、入出力インタフェースユニット１０は、制御ユニット２０から出力されたデータを外部へと出力させる。例えば、推定された位置座標が、出力結果として、入出力インタフェースユニット１０を介して、地図に対して位置情報をマッピングする可視化手段へと出力される。あるいは、入出力インタフェースユニット１０は、位置座標の推定結果を表示するために生成された表示データを、例えば自動車４のカーナビゲーション装置（図示せず）の表示部へ出力して表示させることもできる。
　データメモリ３０の記憶領域は、観測データ記憶部３１と、オブジェクトデータ記憶部３２と、オブジェクト別データ記憶部３３と、座標データ記憶部３４とを備えている。
　観測データ記憶部３１は、カメラ２により得られたカメラ画像データとＧＰＳセンサ３により得られたＧＰＳ計測データ（以下、カメラ画像データとＧＰＳ計測データとを合わせて「観測データ」とも言う。）を記憶するために使用される。カメラ画像データとＧＰＳ計測データとは、日時情報により互いに紐付けられる。
　オブジェクトデータ記憶部３２は、カメラ画像中で検知されたオブジェクトを識別する情報を、当該カメラ画像に紐付けられたＧＰＳ計測データとともに記憶するために使用される。ここでは、オブジェクトとは、カメラ２を搭載している自動車４の周辺にある物体、特に静止物体を意味する。静止物体とは、道路標識、交通信号機、電柱、ポスト、自動販売機、建物、看板などの固定物に加えて、駐車車両やロードコーンなど、少なくとも一定時間同じ位置にある物体を含み得る。また、静止物体には、一時停止中の他の車両や信号待ちをしている人を含めることも可能である。
　オブジェクト別データ記憶部３３は、検知されたオブジェクトごとに分割されたカメラ画像データおよびＧＰＳ計測データを記憶するために使用される。
　座標データ記憶部３４は、オブジェクトの画像またはオブジェクトの識別情報とともに、該オブジェクトの位置座標データを記憶するために使用される。
　ただし、上記記憶部３１～３４は必須の構成ではなく、例えば、クラウドに配置されたデータベースサーバ等の外部の記憶装置に設けられたものであってもよい。この場合、位置座標推定装置１は、通信ネットワーク等を介して上記クラウドのデータベースサーバにアクセスすることにより、必要なデータを取得する。
　制御ユニット２０は、上記ハードウェアプロセッサ２０Ａと、上記プログラムメモリ２０Ｂとから構成され、ソフトウェアによる処理機能部として、観測データ取得部２１と、オブジェクト検知部２２と、オブジェクトマッチング部２３と、観測ペア生成部２４と、座標推定部２５と、出力制御部２６とを備えている。これらの各部における処理機能はいずれも、プログラムメモリ２０Ｂに格納されたプログラムを上記ハードウェアプロセッサ２０Ａに実行させることによって実現される。なお、これらの処理機能は、プログラムメモリ２０Ｂに格納されたプログラムを用いて実現されるのではなく、ネットワークを通して提供されるプログラムを用いて実現されてもよい。
　観測データ取得部２１は、入出力インタフェースユニット１０を介して、カメラ２から出力されたカメラ画像データおよびＧＰＳセンサ３から出力されたＧＰＳ計測データを順次取り込み、日時情報をもとにカメラ画像データとＧＰＳ計測データとを紐付けて観測データ記憶部３１に格納する。
　オブジェクト検知部２２は、観測データ記憶部３１からカメラ画像データを読み出し、位置座標を推定したいオブジェクトが撮影されているか検知する処理を行い、検知結果をデータメモリ３０にあるオブジェクトデータ記憶部３２に格納する。例えば、オブジェクト検知部２２は、検知されたオブジェクトを示すボックス情報をカメラ画像データに付与してオブジェクトデータ記憶部３２に格納することができる。
　オブジェクトマッチング部２３は、オブジェクトデータ記憶部３２からオブジェクト検知後のカメラ画像データを読み出し、同一のオブジェクトが撮影されているデータごとにデータを分割し、その結果をデータメモリ３０にあるオブジェクト別データ記憶部３３に格納する。
　観測ペア生成部２４は、オブジェクト別データ記憶部３３からオブジェクトごとに分割されたデータセットを読み出し、同一オブジェクトが撮影された少なくとも２地点以上の観測地点に対応するカメラ画像から、位置座標を計算するためのペア（「観測ペア」または「画像ペア」とも言う）を生成する。観測ペア生成部２４は、生成した観測ペアを座標推定部２５に出力する。
　座標推定部２５は、観測ペア生成部２４によって生成された各観測ペアデータを用いて、オブジェクトの候補となる座標を算出する。座標推定部２５は、観測ペアごとに候補となる座標を算出し、この算出した候補座標の分布から最終的な位置座標を算出し、これをオブジェクトの画像とともに座標データ記憶部３４に格納する。
　出力制御部２６は、座標データ記憶部３４に格納されたオブジェクトの位置座標データを読み出し、入出力インタフェースユニット１０を介して外部に出力する処理を行う。
　（動作）
　次に、以上のように構成された位置座標推定装置１による情報処理動作を説明する。図４はその処理手順と処理内容の一例を示すフローチャートである。
　（１－１）観測データの取得・蓄積
　まずステップＳ１０において、位置座標推定装置１の制御ユニット２０は、観測データ取得部２１の制御の下、入出力インタフェースユニット１０を介して、観測データとしてカメラ画像データとＧＰＳ計測データとを取得し、観測データ記憶部３１に格納する。ここでは、カメラ画像データとして、自動車４の車載カメラ２により撮影された走行中の前方の映像が取得されているものとする。
　図１０Ａは、観測データ記憶部３１に格納されるカメラ画像データの一例を示す。図１０Ａでは、カメラ画像中に、自動車４が走行している道路や、道路に描かれた白線、歩道、周囲の建物、前方の走行車両、駐車車両ＰＶ１，ＰＶ２などに加え、オブジェクトの一例として看板ＯＢ１が撮影されている。カメラ画像データはまた、撮影された日時情報ＤＴを含む。
　図１０Ｂは、観測データ記憶部３１に格納されるＧＰＳ計測データの一例を示す。ＧＰＳ計測データは、ＧＰＳ計測を行った時刻の情報と、計測された位置情報と、ＧＰＳ計測の確からしさを表す情報とを含むことができる。なお、図１０Ｂでは、便宜上、位置情報を単に（緯度，経度）として示しているが、実際のデータでは具体的な緯度・経度の数値として取得される。以後の図も同様である。
　ここでは、カメラ画像データとＧＰＳ計測データは少なくとも１秒程度の時間間隔で計測されており、かつ１秒程度の粒度で時刻が同期されているものとする。カメラ画像データは、それぞれ、日時情報により対応するＧＰＳ計測データに紐付けられて観測データ記憶部３１に蓄積される。
　（１－２）オブジェクトの検知
　ステップＳ２０において、位置座標推定装置１の制御ユニット２０は、オブジェクト検知部２２の制御の下、オブジェクト検知処理を行う。図５は、上記オブジェクト検知部２２による処理手順と処理内容の一例を示すフローチャートである。
　オブジェクト検知部２２は、まずステップＳ２０１において、観測データ記憶部３１からカメラ映像データ（ファイル）を読み出す。このファイルには撮影された時刻が秒単位で保持されているものとする。
　ステップＳ２０２において、オブジェクト検知部２２は、カメラ映像を例えば１秒ごとのフレームに切り出す処理を行う。この処理は、例えば、ｆｆｍｐｅｇ（動画処理ソフトウェア）等を用いて行うことができる。
　ステップＳ２０３において、オブジェクト検知部２２は、各フレームの画像内からオブジェクトを検知する処理を行う。この処理は、例えば、Ｙｏｌｏｖ２（物体検出アルゴリズム）等の方法を用いて行うことができる（例えば、https://arxiv.org/abs/1612.08242参照）。なお、１フレームに複数のオブジェクトがある場合は、複数のオブジェクトが検知される。
　ステップＳ２０４において、オブジェクト検知部２２は、検知結果をオブジェクトデータ記憶部３２に格納する処理を行う。例えば、オブジェクト検知部２２は、検知されたオブジェクトを示すボックス情報をカメラ画像データに付与して、オブジェクトデータ記憶部３２に格納することができる。なお、オブジェクト検知されたカメラ画像データは、やはり図１０Ｂに示したようなＧＰＳ計測データに紐づけられてオブジェクトデータ記憶部３２に格納される。
　図１１は、オブジェクトデータ記憶部３２に格納される、オブジェクト検知されたカメラ画像データの一例を示す。ここで一例として、街中にある看板ＯＢ１の位置座標を推定する場合を考えると、オブジェクト検知部２２が、オブジェクト検知によって看板ＯＢ１を検知し、検知した看板ＯＢ１に対して矩形情報ＢＢ１として記録される。対象とするオブジェクトは、道路標識や、路上駐車車両、自動販売機などでもよく、看板に限定されない。
　（１－３）オブジェクトマッチング
　ステップＳ３０において、位置座標推定装置１の制御ユニット２０は、オブジェクトマッチング部２３の制御の下、オブジェクトマッチング処理を行う。図６は、上記オブジェクトマッチング部２３による処理手順と処理内容の一例を示すフローチャートである。
　まずステップＳ３０１において、オブジェクトマッチング部２３は、データメモリ３０にあるオブジェクトデータ記憶部３２からオブジェクト検知後のカメラ画像データを読み出す。
　次いで、ステップＳ３０２において、オブジェクトマッチング部２３は、各フレームにおいて検知されたオブジェクトが同一のものであるかの判定処理を行う。判定処理は、例えば画像マッチングによって行うことができる。この実施形態では、画像マッチングとして、相関値を利用するテンプレートマッチングを使用し、相関値が最大の点を画像対応点とした。相関値としては、以下のような正規化相互相関を使用した。
Figure JPOXMLDOC01-appb-M000001
 ここで、Corrは相関係数であり、σxyはｘｙの共分散であり、ｓｄxはｘの標準偏差を表す。オブジェクトが同一かどうかは、前記相関値にしきい値を設定して判定することができる。
　ステップＳ３０３において、オブジェクトマッチング部２３は、同一のオブジェクトと判定された各データを同一のデータ群として分割する。一例として、街中にある看板を検知した後に、例えば同自動車における別フレームにおいて同一の看板が検知されているか、ないしは別自動車によって撮影されたカメラ映像に同一の看板が検知されているかを検索する処理を行い、同一の看板であると判定されたデータごとにデータが分割される。
　ステップＳ３０４において、オブジェクトマッチング部２３は、分割した結果をデータメモリ３０にあるオブジェクト別データ記憶部３３に格納する。
　図１２は、オブジェクト別データ記憶部３３に格納される、オブジェクト別に分割された画像データのイメージを示す。日時情報ＤＴとして2018/1/1の10:00:01、10:00:02、10:00:03の時刻が付された３つの画像において同一の看板ＯＢ１が検知され、矩形情報ＢＢ１が付与されている。オブジェクト別に分割された画像データは、それぞれ、やはり図１０Ｂに示したようなＧＰＳ計測データに紐づけられてオブジェクト別データ記憶部３３に格納される。
　（１－４）観測ペア生成
　ステップＳ４０において、位置座標推定装置１の制御ユニット２０は、観測ペア生成部２４の制御の下、観測ペア生成処理を行う。図７は、上記観測ペア生成部２４による処理手順と処理内容の一例を示すフローチャートである。
　まずステップＳ４０１において、観測ペア生成部２４は、データメモリ３０にあるオブジェクト別データ記憶部３３に格納された、オブジェクトごとに分割されたデータセットを読み出す。ここでは、検知できているすべてのオブジェクトに関するデータセットを読み出してもよいし、特定（任意）のオブジェクトに関するデータセットを読み出してもよい。
　次いでステップＳ４０２において、観測ペア生成部２４は、同一オブジェクトが撮影された少なくとも２地点以上の観測地点から、観測データのペアを生成する前に、より精度の高い位置情報を有するレコードを判別する処理を行う。この際、ＧＰＳ計測の確からしさを表す指標も同時に計測されていることを利用し、確からしさが高いデータどうしでペアが生成されるようにする。例えば、データセットの各時刻におけるＧＰＳ情報のうち、ＧＰＳ計測の確からしさを表すカラムの値を参照し、確からしさの低いレコードを破棄して、確からしさの高いレコードの中から観測データのペアが生成されるようにする。
　ここで、確からしさを表す指標として、例えばＧＰＳ衛星配置の影響を考慮した指標がある。ＧＰＳ衛星の配置とＧＰＳ受信機の場所の相対関係に応じて、ＧＰＳ受信機の位置計算誤差が異なることが知られている。このように、測定点に対するＧＰＳ衛星の配置によって精度が低下する度合いは、ＧＤＯＰ（Geometric Dilution Of Precision：幾何学的精度低下率）と呼ばれ、このうち水平方向のＤＯＰを取り出してＨＤＯＰ（Horizontal Dilution Of Precision：水平精度低下率）と呼ぶ。ＨＤＯＰの数値が大きいほど水平方向の位置測定精度が悪くなっていることを意味する。例えば、確からしさを表す指標としてＨＤＯＰを採用した場合、ＨＤＯＰの値があるしきい値よりも高いデータに関しては、計測した緯度・経度の精度が悪い可能性が高いことを示しているため、該当するレコードを削除することができる。
　図１３Ａは、観測データのペアを生成するためのＧＰＳ計測データのイメージを示す。ここでも、具体的な緯度・経度の数値は表示を省略されている。2018/1/1の10:00:00から2018/1/1の10:00:05までの１秒ごとの全６フレームにおいて、すべて同じオブジェクトが検知されていたとする。なお、説明のために各フレームに対してナンバー（Ｎｏ）を割り当てている。ＧＰＳ計測の確からしさの値をみると、例えばＮｏ．４とＮｏ．５に関しては、計測した緯度・経度の精度が悪い可能性が高いことを示している。したがって、この例では、Ｎｏ．４とＮｏ．５のレコードを削除して、次のステップに進む。
　次いでステップＳ４０３において、観測ペア生成部２４は、残ったレコードの中から、位置座標を計算するための観測データのペアを生成する。
　図１３Ｂは、生成されたペアの例をＰ１～Ｐ６として示す。上記のように、図１３Ａに示したうちＮｏ．４とＮｏ．５のレコードが削除されたので、残り４つのレコードから観測ペアとして６通りのデータが得られている。ここで記載する処理フローの例では、ＧＰＳ計測の確からしさが低いレコードは削除しているため、残ったデータに関しては各レコードどうしの全組み合わせをペアとして生成してよい。ここで、観測ペアを作る対象のデータとしては、ＨＤＯＰの値にしきい値を設けてもよいし、全観測データのうち割合として精度が上位（ＨＤＯＰの値が低い）に含まれるものとしてもよい。
　（１－５）位置座標推定
　ステップＳ５０において、位置座標推定装置１の制御ユニット２０は、座標推定部２５の制御の下、位置座標推定処理を行う。図８は、上記座標推定部２５による処理手順と処理内容の一例を示すフローチャートである。
　まずステップＳ５０１において、座標推定部２５は、観測ペア生成部２４によって生成された観測ペアデータを取得する。
　次いで、ステップＳ５０２において、座標推定部２５は、各観測ペアデータを用いて、オブジェクトの位置座標を算出する。この例では、オブジェクトの位置座標は、車載カメラ２の主点とオブジェクトの位置（画像上と地上座標上）が一直線となる原理（写真測量）を用いて算出する。
　図９Ａは、この実施形態で用いられる写真測量技法の一例を示す図である。まず、カメラ（ＣＣＤ）からオブジェクトＯＢの方向への視線ベクトルを算出する。ここで、画像座標は、カメラの主点を原点とするカメラ座標系に置き換えて扱う。カメラ座標系において、画像座標は画像の中心を０，０とする座標になり、主点ＭＰとＣＣＤの奥行方向の距離は焦点距離ｆ（単位：pix）となる。図９Ａにおいて、ｔは時刻を表し、ｕt，ｖtは、時刻ｔにおけるオブジェクトの画像座標（単位：pix）を表す。
　次に、カメラ座標系の視線ベクトルを地上座標（地図座標）系に座標変換する。下式により、視線ベクトルを回転することで、座標変換は完了する。
Figure JPOXMLDOC01-appb-M000002
 ここで、（ｘt’，ｙt’，ｚt’ ）は、時刻ｔにおけるカメラの主点位置からオブジェクト位置に向けたベクトル（単位：ｍ）を表し、ω，φ，κ は、地上座標の正方向からのカメラ座標の三軸の回転角である。ここで、回転角ω，φ，κ は、多種多様な方法で取得可能である。例えば、カメラ装着の際に３軸加速度センサを用いて回転角を取得してもよい。また、ＧＰＳ情報に標高が含まれていないものとし、二軸の回転として、ω＝０、φ＝０ として考えてもよい。この場合、κ は、例えば次式を用いて計算される。
　　　κt ＝ atan（(ｘt+1 －ｘt ) ／ (ｙt+1 －ｙt )）
　式中、atanは逆正接（arctan）を表し、ｔは時刻を表す。
　図９Ｂは、オブジェクトの位置座標（ｘ，ｙ，ｚ）と２つのフレームの視線ベクトル（ｖｘ0, ｖｙ0, ｖｚ0 ）および（ｖｘ1, ｖｙ1, ｖｚ1 ）の関係を示す図である。この実施形態では、オブジェクトの位置座標を推定するため、地上座標へと座標変換した視線ベクトルを複数フレーム分用意し、それらの交点（各視線ベクトルを延長して得られる直線の交点）を算出する。算出された交点（ｘ，ｙ，ｚ）が、オブジェクトの地上座標となる。なお、図９Ｂにおいては、ｔ＝０の地点とｔ＝１の地点で得られた観測データを観測ペアとして用いている。（ｘ0, ｙ0, ｚ0 ）および（ｘ1, ｙ1, ｚ1 ）は、それぞれｔ＝０およびｔ＝１におけるカメラの主点ＭＰの座標（地上座標）であり、それぞれＧＰＳ計測データ（緯度・経度・標高）として取得される。（ｘ0’，ｙ0’，ｚ0’ ）および（ｘ1’，ｙ1’，ｚ1’ ）は、それぞれ、上記座標変換式によって得られる、ｔ＝０およびｔ＝１におけるカメラの主点位置からオブジェクト位置に向けたベクトルを表す。複数の観測ペアが利用可能な場合、観測ペアごとにオブジェクトの位置座標が計算される。
　次いで、ステップＳ５０３において、座標推定部２５は、算出したオブジェクトの座標データの分布から、尤もらしい座標を最終的な座標として決定する。観測ペアが複数ある場合には、座標データ候補も複数算出できることになる。例えば、算出された複数の座標データ候補の平均値または中央値を採用し、最終的な座標として決定することができる。最終的な座標として、複数の座標データ候補から他の代表値を採用してもよい。新たな座標データの候補が算出できた場合は、過去に計算した座標データ候補とデータをマージして、新たな平均値または中央値を算出していくことで、データが集まれば集まるほど正確な座標値を計算できるようになる。もしくは、過去１か月分という時間単位で座標データ候補の平均値または中央値を座標データとして採用するような更新サイクルにすることで、例えばバス停の位置が変更されたり新たな看板が建築されるような場合においても、その位置を正しく修正していくことが可能となる。
　ステップＳ５０４において、座標推定部２５は、決定された最終的な座標を座標データ記憶部３４に格納する。図１４は、座標データ記憶部３４に記憶されるデータイメージの一例を示す。ここでは、位置座標は、対応するオブジェクトを含む画像データと関連付けて格納されるものとする。図１４では、位置座標を推定したい看板ＯＢ１と、その看板ＯＢ１の位置情報ＯＰ１として、緯度・経度・相対高度が示されている。ここで、相対高度とは、標高ではなく、自動車に搭載される車載カメラの設置位置からの高さを表している。また、看板に対しては看板を識別するためのＩＤを付与してもよい。例えば、一般的に地図情報として道路ネットワークデータが用いられるが、この道路ネットワークデータでは道路ごとにＩＤが付与されている。そこで、この道路ＩＤに紐づく形で看板のＩＤを付与するようなＩＤ体系としてもよい。
　その後、位置座標推定装置１の制御ユニット２０は、例えばオペレータの操作をトリガとして、出力制御部２６の制御の下、決定された最終的な位置座標を座標データ記憶部３４から読み出し、入出力インタフェースユニット１０を介して外部装置などに出力することができる。
　（第１の実施形態の効果）
　以上詳述したように、第１の実施形態では、位置座標推定装置１において、自動車４に搭載されたカメラ２から出力された映像に基づくカメラ画像データと、やはり自動車４に搭載されたＧＰＳセンサ３から出力されたＧＰＳ計測データとを取得し、異なる観測地点で撮影された同一のオブジェクトを含む複数の画像と、それらに対応付けられる自動車４の位置情報とに基づいて、画像内のオブジェクトへの視線ベクトルの交点を算出することにより、オブジェクトの位置座標が推定される。
　これにより、高価なセンサを必要とすることなく、一般的な車載カメラやＧＰＳセンサを用いて取得されたデータにより、自動車４などの移動体から観測される周辺物体の位置座標を精度よく推定することができる。
　また、視線ベクトルの交点を算出する際に、観測ペア生成部２４により、信頼性の低い位置座標は排除して、信頼性の高い位置座標が得られた画像データからペアを生成するようにした。さらに、座標推定部２５により、各ペアから位置座標のデータを算出の上、その分布から尤もらしい位置座標を決定するようにした。これにより、移動体のＧＰＳに計測誤差が含まれる場合においても、精度よくオブジェクトの位置座標を推定することが可能となる。ＧＰＳの誤差としては、偶然誤差と系統誤差が考えられるが、系統誤差に関しては観測ペア生成部２４においてその影響を可能な限り排除することができ、偶然誤差に関しては座標推定部２５において座標分布の平均値または中央値を最終値とすることで統計的にその影響を排除することができる。
　このように、第１の実施形態に係る位置座標推定装置１により、街中の標識や看板などのオブジェクトを自動で検知し、それぞれの位置座標を精度よく推定して地図にマッピングできるので、常に最新の情報を反映した、信頼性の高い高精度な地図を自動的に取得することが可能となる。
　［第２の実施形態］
　この発明の第２の実施形態に係る位置座標推定装置１００は、カメラ画像中に写った周辺の物体の位置座標に基づいて、そのカメラ画像が撮影された位置（すなわち、移動体４自体の位置）の座標を推定するものである。
　（構成）
　第２の実施形態に係る位置座標推定装置１００は、第１の実施形態に関して説明した位置座標推定装置１と同様のハードウェア構成を採用することができる。したがって、ハードウェア構成に関する詳細な説明は省略する。
　図１５は、この発明の第２の実施形態に係る位置座標推定装置１００のソフトウェア構成を示すブロック図である。同図において、第１の実施形態に係る位置座標推定装置１と同様の機能部については、図３と同一符号を付して詳しい説明は省略する。なお、第２の実施形態に係る位置座標推定装置１００もまた、図１に示した車載システムにおいて実施することができる。
　位置座標推定装置１００は、位置座標推定装置１と同様に、例えばパーソナルコンピュータにより構成され、ハードウェアとして、入出力インタフェースユニット１０と、制御ユニット２０と、データメモリ３０とを備えている。
　入出力インタフェースユニット１０は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでいる。入出力インタフェースユニット１０は、自動車４に搭載されたカメラ２やＧＰＳセンサ３から種々の情報を受け取って制御ユニット２０に出力する。ただしこの実施形態では、必ずしもＧＰＳ情報を受け取る必要はない。さらに、入出力インタフェースユニット１０は、制御ユニット２０から出力されたデータを外部へと出力させる。
　データメモリ３０は、記憶媒体として例えばＨＤＤまたはＳＳＤ等の随時書き込みおよび読み出しが可能な不揮発メモリを使用したもので、この実施形態を実現するために必要な記憶領域として、観測データ記憶部３１と、オブジェクトデータ記憶部３２と、座標データ記憶部３４とを備えている。
　観測データ記憶部３１は、少なくともカメラ２により得られたカメラ画像データを記憶するために使用される。対応する日時情報を有するＧＰＳ計測データが取得された場合には、観測データ記憶部３１は、カメラ画像データをＧＰＳ計測データに紐づけて記憶することもできる。
　オブジェクトデータ記憶部３２は、カメラ画像中で検知されたオブジェクトを識別する情報を記憶するために使用される。やはり、対応するＧＰＳ計測データが存在するときには、オブジェクト検知後のカメラ画像データをＧＰＳ計測データに紐づけて記憶する。
　座標データ記憶部３４は、あらかじめ推定または取得されたオブジェクトの位置座標データを記憶するために使用される。この実施形態では、オブジェクトの位置座標は、該オブジェクトを含む画像データに関連付けて記憶される。
　やはり、上記記憶部３１，３２，３４は必須の構成ではなく、例えば、クラウドに配置されたデータベースサーバ等の外部の記憶装置に設けられたものであってもよい。この場合、位置座標推定装置１００は、通信ネットワーク等を介して上記クラウドのデータベースサーバにアクセスすることにより、必要なデータを取得する。
　制御ユニット２０は、図示しないＣＰＵ等のハードウェアプロセッサと、プログラムメモリとを備え、この実施形態における処理機能を実行するために、観測データ取得部２１と、オブジェクト検知部２２と、オブジェクトマッチング部２３０と、座標参照部２７０と、観測ペア生成部２４０と、座標推定部２５０と、出力制御部２６とを備えている。これらの各部における処理機能はいずれも、プログラムメモリに格納されたプログラムを上記ハードウェアプロセッサに実行させることによって実現される。なお、これらの処理機能は、プログラムメモリに格納されたプログラムを用いて実現されるのではなく、ネットワークを通して提供されるプログラムを用いて実現されてもよい。
　観測データ取得部２１は、入出力インタフェースユニット１０を介して、少なくともカメラ２から出力されたカメラ画像データを順次取り込み、観測データ記憶部３１に格納する。ＧＰＳセンサ３から出力されたＧＰＳ計測データも取得可能な場合には、観測データ取得部２１は、やはり入出力インタフェースユニット１０を介してＧＰＳ計測データも順次取り込み、日時情報をもとにカメラ画像データに紐づけて観測データ記憶部３１に格納する。
　オブジェクト検知部２２は、観測データ記憶部３１からカメラ画像データを読み出し、オブジェクトを検知する処理を行い、その結果をデータメモリ３０にあるオブジェクトデータ記憶部３２に格納する。例えば、オブジェクト検知部２２は、検知されたオブジェクトを示すボックス情報をカメラ画像データに付与してオブジェクトデータ記憶部３２に格納することができる。
　オブジェクトマッチング部２３０は、オブジェクトデータ記憶部３２からオブジェクト検知後のカメラ画像データを読み出すとともに、座標データ記憶部３４から位置情報付きのオブジェクトデータを読み出し、オブジェクト検知後のカメラ画像と、座標データ記憶部３４に格納された位置情報付きのオブジェクトデータに、同一のオブジェクトがあるか否かの判定を行う。
　座標参照部２７０は、オブジェクトマッチング部２３０においてオブジェクトデータ記憶部３２内のデータと座標データ記憶部３４内のデータに同一のオブジェクトがあると判定された場合に、そのオブジェクトの位置座標を座標データ記憶部３４から抽出する。この実施形態では、１つのカメラ画像において、看板と電柱、看板と自動販売機など、異なる地理的位置にある少なくとも２つのオブジェクトが検知され、座標参照部２７０により、座標データ記憶部３４からそれらのオブジェクトに関する少なくとも２地点の位置座標が抽出される。
　観測ペア生成部２４０は、座標参照部２７０で抽出した少なくとも２地点（２オブジェクト）以上の位置座標情報からペアを生成する。３地点以上の位置座標が抽出された場合、全組合せでペアを生成することができる。
　座標推定部２５０は、観測ペア生成部２４０で生成された各ペアを用いて、候補となる位置座標を算出する。第１の実施形態と同様に、各オブジェクトへの視線ベクトルを延長した直線の交点を求めることにより、撮影地点（移動体４）の位置座標が推定される。観測ペアごとに候補となる座標が算出され、算出された座標の分布から最終的な座標を算出することができる。
　（動作）
　次に、以上のように構成された位置座標推定装置１００による情報処理動作を説明する。図１６はその処理手順と処理内容の一例を示すフローチャートである。やはり、同図において、第１の実施形態に係る位置座標推定装置１と同様の処理については、図４と同一符号を付して詳しい説明は省略する。
　（２－１）観測データの取得・蓄積
　まずステップＳ１０において、位置座標推定装置１００の制御ユニット２０は、観測データ取得部２１の制御の下、入出力インタフェースユニット１０を介して、少なくともカメラ画像データと、取得可能な場合にはＧＰＳ計測データとを取得し、観測データ記憶部３１に格納する。ここでは、カメラ画像データとして、自動車４の車載カメラ２により撮影された走行中の前方の映像が、１秒程度の時間間隔で計測され、取得されているものとする。カメラ画像データは、ＧＰＳ計測データが取得された場合、日時情報によりＧＰＳ計測データと紐づけて記憶される。
　（２－２）オブジェクトの検知
　ステップＳ２０において、位置座標推定装置１００の制御ユニット２０は、オブジェクト検知部２２の制御の下、オブジェクト検知処理を行う。オブジェクト検知処理は、実施形態１と同様に、公知のＹｏｌｏｖ２アルゴリズム等を用いて行うことができ、１フレームに複数のオブジェクトがある場合には複数のオブジェクトが検知される。この第２の実施形態では、１フレーム内に少なくとも２つのオブジェクトが検知された画像フレームのみが後続の処理に使用される。
　（２－３）オブジェクトマッチング
　次いで、位置座標推定装置１００の制御ユニット２０は、オブジェクトマッチング部２３０の制御の下、オブジェクトマッチング処理を行う。
　ステップＳ３１１において、オブジェクトマッチング部２３０は、データメモリ３０にあるオブジェクトデータ記憶部３２からオブジェクト検知後のカメラ画像データを読み出す。上述のように、読み出されるカメラ画像データは、各画像フレーム内に２つ以上のオブジェクトが検知されているものとする。
　ステップＳ３１２において、オブジェクトマッチング部２３０は、データメモリ３０にある座標データ記憶部３４から位置情報付きのオブジェクトデータを読み出す。これらのデータは、例えば、第１の実施形態に係る方法を用いてあらかじめ位置座標を推定され蓄積されたデータであってもよいし、外部のデータベースから取得されたデータであってもよい。
　ステップＳ３１３において、オブジェクトマッチング部２３０は、オブジェクト検知後のカメラ画像データと座標データ記憶部３４内のデータに、同一のオブジェクトが２以上あるかの判定を行う。ここで、例えば移動体４のＧＰＳセンサ３から得られたＧＰＳ情報に基づいて、座標データ記憶部３４から読み出すデータの範囲をあらかじめ限定することで、以降の処理を軽くすることも可能である。なお、同一のオブジェクトであるか否かの判定には、実施形態１と同様に、正規化相互相関を用いることができる。
　ステップＳ３１３において、座標データ記憶部３４内にカメラ画像データと同一のオブジェクトがない、または同一のオブジェクトが１つしかないと判定された場合、処理は終了する。他方、ステップＳ３１３において、同一のオブジェクトが２以上あると判定された場合、ステップＳ３１４に移行する。
　次いで、ステップＳ３１４において、位置座標推定装置１００の制御ユニット２０は、座標参照部２７０の制御の下、オブジェクトマッチング部２３０によってカメラ画像内と座標データ記憶部３４内に同一のオブジェクトが２以上あると判定された、それらのオブジェクトそれぞれの位置座標を、座標データ記憶部３４から抽出する。
　図１７は、座標データ記憶部３４から２つのオブジェクトの位置情報が抽出され、画像データに関連付けて表示されたイメージを示す。図１７では、「ＰＡＲＫＩＮＧ」と記載された横長の看板ＯＢ２および「ＨＯＴＥＬ」と記載された縦長の看板ＯＢ３と、それらが検知されたことを示すボックスＢＢ２およびＢＢ３と、それぞれの位置情報ＯＰ２およびＯＰ３が示されている。やはり、位置情報が便宜的に（緯度，経度，相対高度）として示されているが、実際にはそれぞれ数値として抽出される。
　（２－４）観測ペア生成
　ステップＳ４０において、位置座標推定装置１の制御ユニット２０は、観測ペア生成部２４０の制御の下、観測ペア生成処理を行う。ここでは、座標参照部２７０によって抽出されたオブジェクトＯＢ２とＯＢ３の位置座標ＯＰ２とＯＰ３を観測データとし、観測データのペアを生成する。さらに多くのオブジェクトの位置座標が取得された場合、観測データのレコードどうしの全組み合わせをペアとして生成してよい。
　（２－５）位置座標推定
　ステップＳ５０において、位置座標推定装置１の制御ユニット２０は、座標推定部２５０の制御の下、観測ペア生成部２４０によって生成された各ペアを用いて、実施形態１で説明したのと同様の手法で移動体４（すなわち、カメラ画像が撮影された地点）の位置座標を算出することができる。例えば、図１７に示した例では、カメラの主点を原点とするカメラ座標系におけるオブジェクトＯＢ２およびＯＢ３への視線ベクトルを算出したのち、各視線ベクトルを地上座標系に座標変換する。次いで、各オブジェクトに対する視線ベクトルを延長した直線の交点を算出することによって、移動体４の位置座標を得ることができる。
　実施形態１と同様に、移動体４の位置座標は観測ペアの組み合わせ数だけ算出されるので、その座標データの分布から、尤もらしい座標を求めることができる。例えば、各座標データの平均値または中央値を採用し、最終的な座標として決定することができる。最終的な座標として、複数の座標データから他の代表値を採用してもよい。
　その後、位置座標推定装置１００の制御ユニット２０は、出力制御部２６の制御の下、決定された最終的な位置座標を座標推定部２５０から受け取り、入出力インタフェースユニット１０を介して外部装置などに出力することができる。
　（第２の実施形態の効果）
　以上詳述したように、第２の実施形態では、位置座標推定装置１００において、自動車４に搭載されたカメラ２から出力された映像に基づくカメラ画像データを取得し、カメラ画像内に写っているオブジェクトのうち位置座標が取得可能なオブジェクトについて、カメラからそれらのオブジェクトへの視線ベクトルの交点を算出することにより、撮影したカメラ２の位置座標、ひいては移動体４の位置座標が推定される。
　特に、視線ベクトルの交点を算出する際、複数のオブジェクトの位置座標を観測データとしてペアを生成し、各ペアから移動体４の候補となる位置座標を算出の上、その分布から尤もらしい位置座標を最終的な位置座標として決定することにより、移動体４の位置座標を精度よく推定することが可能となる。
　これにより、ＧＰＳ情報が受信できないトンネルの中のような環境においても、高価なセンサを必要とすることなく、一般的な車載カメラ２を用いて撮影された周辺物体の位置座標を利用することで、移動体４の位置座標をより精度よく推定することが可能となる。
　［他の実施形態］
　なお、この発明は上記実施形態に限定されるものではない。
　例えば、位置座標推定装置１および１００は、車載システムの一部として自動車４に搭載されるものとして説明したが、これに限定されるものではなく、無線通信ネットワークを通じて自動車４から情報を収集可能なサーバ装置として実施されてもよい。特に、位置座標推定装置１をサーバ装置として実施することによって、撮影されたカメラ画像とＧＰＳ情報とを多数の移動体から受信し、蓄積して、道路周辺の物体の位置座標を集約的に算出／推定することができる。これにより、より多くの静止物体の位置座標をより高精度に取得することができ、最新の情報に基づいて随時更新される、情報密度の高い地図情報が得ることが可能になる。
　あるいは、位置座標推定装置１および１００が備える各部２１～２６を、車載装置、クラウドコンピュータ、エッジルータ等に分散配置し、これらの装置が互いに連携することにより位置座標推定を行うようにしてもよい。
　さらに、周辺物体の位置座標の推定と、移動体自体の位置座標の推定とを、第１の実施形態と第２の実施形態とに分けて説明したが、これらは１つの位置座標推定装置に統合されることもできる。例えば、位置座標推定装置が車載システムの一部である場合、ドライバの操作により、または走行中の周囲環境に応じて自動的に、周辺の物体の位置座標の推定と移動体の位置座標の推定とを切り替えるように構成してもよい。あるいは、位置座標推定装置が複数の車両からデータを収集して利用するサーバ装置である場合、オペレータの操作により目的に応じて切り替えるようにしてもよく、各車両におけるＧＰＳ情報の受信状況に応じて自動的に切り替えるようにしてもよい。
　また、第１の実施形態では自動車４の位置情報として、第２の実施形態では２つのオブジェクトの位置情報として、少なくとも緯度・経度を取得するものとして記載したが、これに限定されるものではなく、任意の座標系をベースとする任意の座標データであってもよい。この場合、オブジェクトまたは移動体自体の位置座標は、同じ座標系ベースの座標として推定される。
　さらに、観測データのペアを生成し、ペアごとに視線ベクトルの交点を求めることによって、静止物体または移動体自体の位置座標を推定する方法を説明した。しかし、位置座標の推定方法は、これに限定されるものではない。例えば、第１の実施形態に関して言えば、単一の静止物体を複数の地理的位置で撮影し、各撮影位置の位置座標と得られた複数のカメラ画像の各々における静止物体への視線ベクトルとから、視線ベクトルの交点の座標を算出することによって、当該静止物体の位置座標を推定することが考えられる。複数の視線ベクトルを延長した直線は、１点では交わらず、撮影位置の位置座標の精度に応じて多数の交点が生じると予想されるが、それらの交点の分布から幾何学的または統計学的分析によって最も確からしい交点を推定することができる。一例として、得られたすべての交点を包含する円の中心を静止物体の位置として推定することが可能である。一定数以上の視線ベクトルが取得できれば、仮に撮影位置のＧＰＳ情報に誤差が含まれていたとしても、特別のセンサを追加することなく、誤差の影響を許容可能な程度まで低減できると考えられる。
　その他、カメラ画像データやＧＰＳ計測データの取得方法、各記憶部に格納されるデータ形式等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　１…位置座標推定装置
　２…カメラ
　３…ＧＰＳセンサ
　４…移動体，自動車
　１０…入出力インタフェースユニット
　２０…制御ユニット
　２０Ａ…プロセッサ
　２０Ｂ…プログラムメモリ
　２１…観測データ取得部
　２２…オブジェクト検知部
　２３…オブジェクトマッチング部
　２４…観測ペア生成部
　２５…座標推定部
　２６…出力制御部
　３０…データメモリ
　３１…観測データ記憶部
　３２…オブジェクトデータ記憶部
　３３…オブジェクト別データ記憶部
　３４…座標データ記憶部
　１００…位置座標推定装置
　２３０…オブジェクトマッチング部
　２４０…観測ペア生成部
　２５０…座標推定部
　２７０…座標参照部

Claims (8)

  1. 　異なる地理的位置において撮影された、少なくとも１つの同一の静止物体を含む複数のカメラ画像を取得する、カメラ画像取得部と、
    　前記複数のカメラ画像の各々が撮影された地理的位置の位置座標を取得する、位置座標取得部と、
    　前記複数のカメラ画像の各々における、前記カメラ画像に関連付けられた座標系におけるカメラから前記静止物体に対する視線ベクトルと、前記地理的位置の位置座標とに基づいて、前記静止物体の位置座標を推定する、位置座標推定部と、を具備する位置座標推定装置。
  2. 　前記複数のカメラ画像から２つのカメラ画像を選択的に組み合わせて画像ペアを生成する、画像ペア生成部をさらに具備し、
    　前記位置座標推定部は、前記画像ペアを構成する２つのカメラ画像の各々における前記カメラから前記静止物体に対する視線ベクトルと、前記地理的位置の位置座標とに基づいて、前記静止物体の位置座標を推定する、請求項１に記載の位置座標推定装置。
  3. 　前記位置座標取得部は、ＧＰＳ衛星から受信される情報に基づいて前記地理的位置の位置座標を取得し、
    　前記画像ペア生成部は、前記ＧＰＳ衛星から受信される情報に基づいて、取得された前記地理的位置の位置座標の精度を表す情報を取得し、前記位置座標の精度が所定のしきい値を超える地理的位置に対応するカメラ画像を選択的に組み合わせて、前記画像ペアを生成する、請求項２に記載の位置座標推定装置。
  4. 　前記画像ペア生成部は、複数の画像ペアを生成し、
    　前記位置座標推定部は、前記複数の画像ペアの各々について前記静止物体の位置座標の候補値を算出し、前記算出された複数の候補値に基づいて前記静止物体の位置座標を推定する、請求項２または３に記載の位置座標推定装置。
  5. 　位置座標がそれぞれ既知の少なくとも２つの静止物体を含むカメラ画像を取得する、カメラ画像取得部と、
    　前記少なくとも２つの静止物体それぞれの位置座標を取得する、位置座標取得部と、
    　前記カメラ画像における、前記カメラ画像に関連付けられた座標系におけるカメラから前記少なくとも２つの静止物体それぞれに対する視線ベクトルと、前記少なくとも２つの静止物体それぞれの前記位置座標とに基づいて、前記カメラ画像が撮影された地点の位置座標を推定する、位置座標推定部と、を具備する位置座標推定装置。
  6. 　位置座標を推定する装置が実行する、位置座標推定方法であって、
    　異なる地理的位置において撮影された、少なくとも１つの同一の静止物体を含む複数のカメラ画像を取得する過程と、
    　前記複数のカメラ画像の各々が撮影された地理的位置の位置座標を取得する過程と、
    　前記複数のカメラ画像の各々における、前記カメラ画像に関連付けられた座標系におけるカメラから前記静止物体に対する視線ベクトルと、前記地理的位置の位置座標とに基づいて、前記静止物体の位置座標を推定する過程と、を具備する位置座標推定方法。
  7. 　位置座標を推定する装置が実行する、位置座標推定方法であって、
    　位置座標がそれぞれ既知の少なくとも２つの静止物体を含むカメラ画像を取得する過程と、
    　前記少なくとも２つの静止物体それぞれの位置座標を取得する過程と、
    　前記カメラ画像における、前記カメラ画像に関連付けられた座標系におけるカメラから前記少なくとも２つの静止物体それぞれに対する視線ベクトルと、前記少なくとも２つの静止物体それぞれの前記位置座標とに基づいて、前記カメラ画像が撮影された地点の位置座標を推定する過程と、を具備する位置座標推定方法。
  8. 　請求項１乃至請求項５の何れかに記載の装置の各部による処理をプロセッサに実行させるプログラム。
PCT/JP2019/031199 2018-08-23 2019-08-07 位置座標推定装置、位置座標推定方法およびプログラム WO2020039937A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980055216.9A CN112601928A (zh) 2018-08-23 2019-08-07 位置坐标推定装置、位置坐标推定方法以及程序
EP19852703.8A EP3842735B1 (en) 2018-08-23 2019-08-07 Position coordinates estimation device, position coordinates estimation method, and program
US17/268,942 US12055628B2 (en) 2018-08-23 2019-08-07 Position coordinates estimation device, position coordinates estimation method, and program
JP2020538296A JP6950832B2 (ja) 2018-08-23 2019-08-07 位置座標推定装置、位置座標推定方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018156213 2018-08-23
JP2018-156213 2018-08-23

Publications (1)

Publication Number Publication Date
WO2020039937A1 true WO2020039937A1 (ja) 2020-02-27

Family

ID=69593075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031199 WO2020039937A1 (ja) 2018-08-23 2019-08-07 位置座標推定装置、位置座標推定方法およびプログラム

Country Status (5)

Country Link
US (1) US12055628B2 (ja)
EP (1) EP3842735B1 (ja)
JP (1) JP6950832B2 (ja)
CN (1) CN112601928A (ja)
WO (1) WO2020039937A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112285737A (zh) * 2020-10-23 2021-01-29 深圳无境智能机器人有限公司 一种可移动的道路特征测绘系统
WO2021250848A1 (ja) * 2020-06-11 2021-12-16 日本電信電話株式会社 位置推定方法、位置推定装置、および位置推定プログラム
CN114004885A (zh) * 2021-10-18 2022-02-01 上海航天空间技术有限公司 利用卫星视线矢量对空中目标位置的快速估计方法
JP7117408B1 (ja) 2021-02-26 2022-08-12 株式会社パスコ 位置算出装置、プログラム及び位置算出方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113514053B (zh) * 2021-07-13 2024-03-26 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
CN114475650B (zh) * 2021-12-01 2022-11-01 中铁十九局集团矿业投资有限公司 一种车辆行驶行为确定方法、装置、设备及介质
US12120429B2 (en) 2022-04-19 2024-10-15 Palantir Technologies Inc. Method and system for real-time geo referencing stabilization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01312411A (ja) * 1988-06-10 1989-12-18 Hitachi Ltd 画像を用いた物体位置推定方法及びセンサ状態推定方法
JPH1079027A (ja) * 1996-09-03 1998-03-24 Fuji Facom Corp 移動カメラ用の画像処理装置
US20030228034A1 (en) * 2002-06-07 2003-12-11 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
WO2007148546A1 (ja) * 2006-06-21 2007-12-27 Toyota Jidosha Kabushiki Kaisha 測位装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
WO2017057043A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP6641163B2 (ja) * 2015-12-02 2020-02-05 日本放送協会 オブジェクト追跡装置及びそのプログラム
JP2019508677A (ja) 2016-01-08 2019-03-28 インテリジェント テクノロジーズ インターナショナル、インコーポレイテッド 地図を使用した車両構成部品の制御
US10248124B2 (en) 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
TWI596366B (zh) 2016-10-24 2017-08-21 財團法人工業技術研究院 定位方法與其影像擷取裝置
US10837773B2 (en) * 2016-12-30 2020-11-17 DeepMap Inc. Detection of vertical structures based on LiDAR scanner data for high-definition maps for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01312411A (ja) * 1988-06-10 1989-12-18 Hitachi Ltd 画像を用いた物体位置推定方法及びセンサ状態推定方法
JPH1079027A (ja) * 1996-09-03 1998-03-24 Fuji Facom Corp 移動カメラ用の画像処理装置
US20030228034A1 (en) * 2002-06-07 2003-12-11 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
WO2007148546A1 (ja) * 2006-06-21 2007-12-27 Toyota Jidosha Kabushiki Kaisha 測位装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Term 1", 11 May 2018, SIP PRESS STUDY SESSIONS (3RD SESSION, article "SIP Automated driving system for everyone a smile"
See also references of EP3842735A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021250848A1 (ja) * 2020-06-11 2021-12-16 日本電信電話株式会社 位置推定方法、位置推定装置、および位置推定プログラム
JPWO2021250848A1 (ja) * 2020-06-11 2021-12-16
JP7343054B2 (ja) 2020-06-11 2023-09-12 日本電信電話株式会社 位置推定方法、位置推定装置、および位置推定プログラム
CN112285737A (zh) * 2020-10-23 2021-01-29 深圳无境智能机器人有限公司 一种可移动的道路特征测绘系统
JP7117408B1 (ja) 2021-02-26 2022-08-12 株式会社パスコ 位置算出装置、プログラム及び位置算出方法
JP2022131676A (ja) * 2021-02-26 2022-09-07 株式会社パスコ 位置算出装置、プログラム及び位置算出方法
CN114004885A (zh) * 2021-10-18 2022-02-01 上海航天空间技术有限公司 利用卫星视线矢量对空中目标位置的快速估计方法
CN114004885B (zh) * 2021-10-18 2022-07-12 上海航天空间技术有限公司 利用卫星视线矢量对空中目标位置的快速估计方法

Also Published As

Publication number Publication date
CN112601928A (zh) 2021-04-02
EP3842735B1 (en) 2024-05-22
EP3842735A4 (en) 2022-06-15
JP6950832B2 (ja) 2021-10-13
US12055628B2 (en) 2024-08-06
JPWO2020039937A1 (ja) 2021-02-15
US20210341605A1 (en) 2021-11-04
EP3842735A1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP6812404B2 (ja) 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
JP4232167B1 (ja) 対象特定装置、対象特定方法および対象特定プログラム
US10240934B2 (en) Method and system for determining a position relative to a digital map
CN111161353B (zh) 车辆定位方法、装置、可读存储介质和计算机设备
EP2133662B1 (en) Methods and system of navigation using terrain features
CN110617821B (zh) 定位方法、装置及存储介质
CN111436216A (zh) 用于彩色点云生成的方法和系统
JP4978615B2 (ja) 対象特定装置
US8467612B2 (en) System and methods for navigation using corresponding line features
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP2010511212A (ja) 画像内の平面オブジェクトを識別し且つ位置判定する方法及び装置
CN111551186A (zh) 一种车辆实时定位方法、系统及车辆
JP2017090239A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP7343054B2 (ja) 位置推定方法、位置推定装置、および位置推定プログラム
CN110851545A (zh) 地图绘制方法、装置及设备
JP2019078700A (ja) 情報処理装置および情報処理システム
CN110515110B (zh) 数据评估的方法、装置、设备和计算机可读存储介质
CN116097128A (zh) 用于对车辆位置进行确定的方法和设备
CN114248778B (zh) 移动设备的定位方法和定位装置
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
CN115917255A (zh) 基于视觉的位置和转弯标记预测
CN113874681B (zh) 点云地图质量的评估方法和系统
JP7046555B2 (ja) 車載装置、サーバ、表示方法、送信方法
JP2006309450A (ja) 画像認識装置及び画像認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19852703

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020538296

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019852703

Country of ref document: EP

Effective date: 20210323