[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2024128060A1 - 視界支援表示装置、視界支援表示システム、および視界支援表示方法 - Google Patents

視界支援表示装置、視界支援表示システム、および視界支援表示方法 Download PDF

Info

Publication number
WO2024128060A1
WO2024128060A1 PCT/JP2023/043385 JP2023043385W WO2024128060A1 WO 2024128060 A1 WO2024128060 A1 WO 2024128060A1 JP 2023043385 W JP2023043385 W JP 2023043385W WO 2024128060 A1 WO2024128060 A1 WO 2024128060A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
unit
detection
potential
visibility
Prior art date
Application number
PCT/JP2023/043385
Other languages
English (en)
French (fr)
Inventor
剛治 堀部
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Publication of WO2024128060A1 publication Critical patent/WO2024128060A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a visibility support display device, a visibility support display system, and a visibility support display method.
  • known technologies for supporting the visibility of vehicle drivers include a technology that synthesizes actual images from an on-board camera with symbolized information about the environment around the vehicle, such as other vehicles and obstacles, and displays the information on an on-board monitor.
  • Another known technology is to superimpose road surface information or navigation information that has been processed to make it easier for the driver to understand, on a HUD (Head Up Display) mounted on the vehicle.
  • HUD Head Up Display
  • Patent Document 1 discloses a vehicle visual support device that protrudes a pop-up nozzle forward of the vehicle body just before an intersection, captures images of the areas on both sides of the intersection with a camera, and displays the camera images on a monitor inside the vehicle, thereby alerting the driver to the presence of other vehicles or pedestrians on the intersection at an early stage.
  • the main technology is to provide an object detection means in the vehicle and notify the driver of detected surrounding objects by displaying them, for example, on a display means mounted on the vehicle.
  • object detection means in situations where there are many people, vehicles, etc. and traffic is complicated, it is expected that there will be situations where the information about objects detected by the object detection means of the vehicle itself is insufficient. In other words, if the driver can recognize the presence of objects that cannot be detected by the object detection means of the vehicle itself but are predicted to approach, it is thought that even potential dangers can be avoided.
  • the present invention has been made in consideration of the above-mentioned problems with the conventional technology, and aims to provide a visibility support display device, visibility support display system, and visibility support display method that are capable of acquiring and reporting information about objects that cannot be directly detected by the device itself.
  • the visibility support display device of the present invention comprises a detection unit that detects objects, and a control unit that displays potential objects that cannot be detected by the detection unit on the display unit by superimposing them on an actual image of the surroundings, and the control unit is characterized in that it associates the potential object with an object that blocks the view of the potential object and displays an image notifying the potential object on the display unit.
  • the control unit associates the potential object with an object that is blocking the view of the potential object and causes the display unit to display an image informing the potential object, thereby obtaining and informing the driver of information about objects that cannot be directly detected by the device itself. This allows the driver to recognize the presence of a potential object that is predicted to approach, etc., making it possible to avoid potential danger.
  • control unit when the control unit displays the potential object on the display unit, the control unit displays a mark indicating the potential object by looking through an object that blocks the view of the potential object.
  • control unit determines, as the potential object, an object that is included in the public detection information by the public detection device but is not included in the object detection information by the detection unit.
  • the device further includes a processing unit that extracts the potential object, an imaging unit that acquires the actual image of the area around the visibility support display device, a location information acquisition unit that acquires location information of the visibility support display device, a communication unit that acquires map information of the area around the location indicated by the location information from a map information providing device and acquires the public detection information from the public detection device, and the display unit, and the processing unit is characterized in that it extracts the potential object using the location information, the map information, the detection information, and the public detection information.
  • the detection unit and the public detection device are LiDAR that form a point cloud including multiple reflection points on an object using detection light
  • the processing unit extracts the potential object based on difference data between first point cloud data that combines the map information and the detection information, and second point cloud data that combines the map information and the public detection information.
  • the difference data includes a plurality of latent object candidates, each of which is a collection of reflection points
  • the processing unit extracts the latent object from the latent object candidates by applying at least one of a first criterion for selecting the latent object candidates based on their shape and a second criterion for selecting the latent object candidates based on their movement state.
  • the processing unit sets an undetectable area behind the object on which the reflection points are formed based on the first point cloud data, where the detection unit cannot detect, and extracts the points contained in the second point cloud data that are present in the undetectable area as the potential object.
  • the display unit is a glasses-type display device.
  • the visibility support display system of the present invention is characterized by including the visibility support display device described above, the map information providing device, and the public detection device.
  • the visibility support display method of the present invention is a visibility support display method using a visibility support display device that includes a detection unit that detects objects and a control unit that displays potential objects that cannot be detected by the detection unit on a display unit by superimposing the potential objects on an actual image of the surroundings, and is characterized in that an image that notifies the potential object is displayed on the display unit in association with an object that blocks the view of the potential object.
  • the present invention provides a visibility support display device, visibility support display system, and visibility support display method that can obtain and report information about objects that cannot be directly detected by the device itself.
  • FIG. 1A is a top view showing an example of a vehicle equipped with a visibility support display device according to an embodiment
  • FIG. 1B is a side view showing an example of a public detection device.
  • 1 is a block diagram showing an example of a configuration of a visibility support display device according to an embodiment.
  • (a) is a top view showing an example of map information
  • (b) is a top view showing an example of a point cloud obtained by a LiDAR installed on the vehicle.
  • (a) is a top view showing an example of a point cloud obtained by a LiDAR 52a installed on a signal pole 51a
  • (b) is a top view showing an example of a point cloud obtained by a LiDAR 52b installed on a signal pole 51b
  • 1A is a top view of a composite public detection device point cloud
  • FIG. 1B is a top view of a potential object candidate point cloud according to an embodiment
  • 1A is a top view showing a point cloud of selected potential object candidates
  • FIG. 1B is a top view showing a point cloud of a potential object, according to an embodiment.
  • 1A is a schematic diagram showing an example of a point cloud of a person
  • FIG. 1B is a schematic diagram showing an example of a monitor display of a visual field support display device according to an embodiment.
  • 5 is a flowchart showing an example of a processing flow of the visual field support display device according to the embodiment.
  • 1A and 1B are schematic diagrams illustrating a non-detection region
  • FIG. 1C is a schematic diagram showing an example of an image displayed by smart glasses according to an embodiment.
  • a visual field support display device according to this embodiment will be described by way of example in a form in which it is mounted on a moving body such as a vehicle.
  • this embodiment will be described assuming a normal vehicle driven by a driver, but it may also be applied to a vehicle equipped with autonomous driving or an advanced driver assistance system (ADAS).
  • ADAS advanced driver assistance system
  • the visibility support display device displays objects that cannot be detected by the detection means mounted on the vehicle (hereinafter, "potential objects").
  • Potential objects may be any object, such as people, other vehicles, or features such as signs and traffic lights.
  • a person is used as an example of a potential object.
  • people also include people riding bicycles or people operating kickboards.
  • the visibility support display device can also obtain detection information from a public detection device.
  • the public detection device refers to object detection means installed on public structures such as traffic lights, street lights, utility poles, signs, convex mirrors, and public buildings, and constantly detects objects around the public structures.
  • a detection means installed on a traffic light pole is used as an example of a public detection device.
  • FIG. 1(a) is a top view showing an example of a vehicle equipped with a visibility support display device according to this embodiment.
  • a vehicle 80 according to this embodiment includes a LiDAR (Light Detection And Ranging) 81 as a detection unit, a camera 82 (which may be stereo or monocular) as an imaging unit, and a monitor 83 as a display unit, which are part of the visibility support display device 10 (not shown).
  • LiDAR Light Detection And Ranging
  • camera 82 which may be stereo or monocular
  • monitor 83 as a display unit, which are part of the visibility support display device 10 (not shown).
  • the configuration of the visibility support display device 10 will be described in detail later.
  • the LiDAR 81 is a distance measuring device that irradiates a laser light onto an object, measures the time it takes for the irradiated laser light to reflect off the object and return, and measures the distance and direction to the object.
  • the LiDAR 81 can acquire information on the position, size, etc. of the object.
  • the LiDAR 81 associated with the visibility support display device 10 is disposed on the ceiling of the vehicle 80 as an example.
  • the location of the LiDAR 81 is not limited to the ceiling, and it may be disposed in an appropriate location taking into consideration the scanning range, etc.
  • an example of using the LiDAR 81 as a distance measuring device will be described, but this is not limiting, and a camera, ultrasonic sensor, millimeter wave radar, etc. may also be used.
  • Camera 82 is an imaging device that captures images in front of vehicle 80, and as an example, is arranged at the top of the front window of vehicle 80, as shown in FIG. 1(a). However, this is not limiting, and for example, camera 82 may be arranged at the top of the rear window of the vehicle to capture images behind vehicle 80.
  • Monitor 83 is a display device, for example, an LCD screen, for displaying images captured by camera 82, images showing potential objects, etc. Monitor 83 is arranged in a position visible to the driver, for example, near the driver's seat, as shown in FIG. 1(a).
  • the public detection device 50 includes a LiDAR 52 installed on a signal pole 51 on which a traffic light 55 is installed, and a communication device 53.
  • the LiDAR 52 is a distance measuring device similar to the LiDAR 81 described above, and may similarly use a camera, an ultrasonic sensor, a millimeter wave radar, etc.
  • the communication device 53 is a device that connects the LiDAR 52 to a communication network such as an IP network.
  • the LiDAR 52 constantly detects, for example, a person 60 or a vehicle 90 on the road surface R, and constantly or intermittently transmits the detected information to the surroundings via the communication device 53.
  • the vehicle 80 can acquire information from the LiDAR 52 via the communication unit (described later) of the vehicle itself.
  • the information from the LiDAR 52 includes point cloud data described later, and may also include the position (latitude, longitude), speed, direction of travel, etc. of the target object if necessary.
  • the location information of the public detection device 50 itself may be included in an HD map provided by a map information providing device described later. However, this is not limited to the above, and the location information may be stored in a storage means such as a ROM provided in the communication device 53, and the location information may be sent in communication with the vehicle 80.
  • the visibility support display device 10 includes a control unit 11, a LiDAR 81, a Global Navigation Satellite System (GNSS) 20 as a position information acquisition unit, an Inertial Measurement Unit (IMU) 21 as a driving information acquisition unit, a camera 82, and a monitor 83.
  • GNSS Global Navigation Satellite System
  • IMU Inertial Measurement Unit
  • Each of the LiDAR 81, the GNSS 20, the IMU 21, the camera 82, and the monitor 83 is connected to the control unit 11.
  • the control unit 11 includes a processing unit 12, a control signal generation unit 13, and a communication unit 14.
  • the control unit 11 is a control unit that controls the processing unit 12, the control signal generating unit 13, the communication unit 14, the LiDAR 81, the GNSS 20, the IMU 21, the camera 82, and the monitor 83.
  • the control unit 11 may be, for example, a microcomputer including a CPU, a ROM, a RAM, etc. (not shown).
  • GNSS20 is a global positioning satellite system, developed to aid in the navigation of aircraft, ships, etc. This system is composed of GPS satellites that orbit the sky, a control station that tracks and controls the GPS satellites, and a user receiver for positioning. In other words, GNSS20 in this embodiment is a receiver for receiving information from the global positioning satellite system.
  • the driver of vehicle 80 can obtain the latitude, longitude, etc. of the vehicle using GNSS20. Note that since the purpose of GNSS20 is to obtain the position of the vehicle, other means may be used as long as they can determine the position.
  • IMU21 is an inertial measurement unit that detects the angles (or angular velocity) and acceleration of the three axes that govern movement.
  • the driver of vehicle 80 can obtain the direction of movement, speed, etc. of the vehicle (hereinafter sometimes referred to as "driving information") using IMU21.
  • driving information the direction of movement, speed, etc. of the vehicle (hereinafter sometimes referred to as "driving information") using IMU21. Note that since the purpose of IMU21 is to obtain driving information of the vehicle, other means capable of detecting driving information may also be used.
  • the processing unit 12 processes the information acquired from the LiDAR 81, the GNSS 20, the IMU 21, and the camera 82.
  • the processing unit 12 may store the position information acquired from the GNSS 20 and the driving information acquired from the IMU 21 in a storage device such as a HDD (not shown).
  • the processing unit 12 acquires data of reflected light reflected from the surfaces of objects around the vehicle 80 as point cloud data as a result of scanning the laser light (hereinafter sometimes referred to as "detection light") by the LiDAR 81. That is, the "point cloud data" according to this embodiment refers to a collection of reflection points on the object formed by the detection light from the LiDAR 81.
  • the processing unit 12 also acquires data indicating the distance from the LiDAR 81 to the object and the orientation of the object as necessary.
  • the processing unit 12 groups the point cloud data according to a predetermined rule and separates the point cloud data for each object.
  • the processing unit 12 further identifies the type of potential object from the point cloud data for each separated object.
  • the processing unit 12 converts the identified potential object (e.g., a person) into a mark as necessary.
  • the processing unit 12 notifies the driver of the presence of the identified latent object in a predetermined manner. Details of the notification method will be described later, but as an example, a captured image (hereinafter sometimes referred to as a "real image") of the surroundings of the vehicle 80 taken by the camera 82 is acquired, and the latent object indicated by the mark as described above is displayed at the position where the latent object exists in the real image. In other words, the real image and the image of the latent object are synthesized.
  • the control signal generation unit 13 generates a control signal for displaying the synthesized real image and image of the latent object (hereinafter sometimes referred to as a "synthetic environment image”) on the monitor 83, and sends it to the monitor 83.
  • the driver of the vehicle 80 can recognize latent objects such as people by looking at the synthetic environment image.
  • the communication unit 14 is connected to a communication network 30 such as an IP network, and acquires information from the public detection device 50, the map information providing device 31, etc.
  • the communication device 53 of the public detection device 50 is connected to the communication network 30, and can be connected to the communication unit 14 of the visibility support display device 10 via the communication network 30.
  • the map information providing device 31 provides an HD map.
  • the map information providing device 31 is, for example, a server that stores an HD map.
  • An HD map is high-precision three-dimensional map data, and is a map for accurately recognizing the vehicle's own position and referring to information on features such as traffic lights in, for example, an autonomous driving system or an advanced driver assistance system (ADAS).
  • ADAS advanced driver assistance system
  • the HD map may also include the position information of the public detection device 50.
  • the visibility support display device 10, the public detection device 50, and the map information providing device 31 constitute the visibility support display system according to the present invention.
  • the processing unit 12, the control signal generating unit 13, and the communication unit 14 are each realized by software, but this is not limited thereto, and at least some of them may be realized by hardware such as an ASIC.
  • Figure 3(a) shows the arrangement of structures and the like around the vehicle 80, which is the vehicle itself, acquired from the HD map of the map information providing device 31.
  • buildings 54a, 54b, 54c, and 54d and signal poles 51a and 51b arranged around the road surface R are present around the vehicle 80.
  • Figure 3(b) shows point cloud data by the LiDAR 81 of the vehicle 80 as detection information.
  • the point cloud data is an example of the "first point cloud data" according to the present invention.
  • the LiDAR 81 scans the area ahead of the vehicle with the detection light beam Lc.
  • the detection light beam Lc refers to the collection of detection light in the scanning range of the LiDAR 81.
  • a non-detection area A is also shown in FIG. 3(b), but the non-detection area A will be described later.
  • the detection light from the LiDAR 81 forms a reflection point RP at the illuminated part of the object.
  • the reflection point is represented by a black circle.
  • a point cloud is a collection of reflection points RP that are considered to belong to the same object. For example, there are five reflection points on person 60a, and these five reflection points are called a point cloud. Note that the point cloud shown in FIG. 3B is shown conceptually for explanation purposes, and the actual number of reflection points in the point cloud may be more or less than that shown in FIG. 3B.
  • the scanning range of the LiDAR 81 is limited to the front, but it is not limited to this, and may be limited to the rear or may be in all directions.
  • point clouds are formed on buildings 54a, 54b, and 54d, signal pole 51a, vehicle 90, and people 60a and 60b by scanning with the LiDAR 81.
  • FIG. 4(a) shows point cloud data from LiDAR 52a installed on signal pole 51a.
  • LiDAR 52a scans with detection light beam Lp1.
  • point clouds are formed on buildings 54c, 54d, signal pole 51b, vehicle 90, person 60d, and vehicle 80.
  • the scanning range of LiDAR 52a is partially limited, but this is not limiting, and the scanning range may be, for example, in all directions.
  • Figure 4(b) shows point cloud data from LiDAR 52b installed on signal pole 51b.
  • LiDAR 52b scans with detection light beam Lp2.
  • Lp2 detection light beam
  • point clouds are formed for building 54b, vehicle 90, and people 60b and 60c.
  • the scanning range of LiDAR 52b is partially limited, but this is not limiting, and the scanning range may be, for example, in all directions.
  • FIG. 5(a) is a composite diagram of point cloud data from LiDAR 52a installed on signal pole 51a, i.e., FIG. 4(a), and point cloud data from LiDAR 52b installed on signal pole 51b, i.e., FIG. 4(b).
  • FIG. 5(a) is point cloud data from a public detection device including LiDAR 52a, 52b.
  • This point cloud data is an example of the "second point cloud data" according to the present invention.
  • information from the public detection device is referred to as "public detection information.”
  • FIG. 5(b) shows reflection points RP that are included in the public detection information from the public detection devices via LiDAR 52a, 52b but not included in the detection information from LiDAR 81 of vehicle 80, i.e., the difference data between FIG. 3(b) and FIG. 5(a).
  • the set of reflection points surrounded by ellipses in FIG. 5(b) is the difference, and in this embodiment, the set of reflection points included in each ellipse is called a "reflection point group.” That is, there are nine reflection point groups in FIG. 5(b).
  • reflection point group RG constitutes a potential object candidate in the sense that it may be a potential object.
  • Figure 6(a) shows the results of extracting reflection point groups RG that satisfy a predetermined first criterion.
  • the first criterion is a shape-based criterion for screening reflection point groups RG, and since in this embodiment people and the like are considered to be potential objects, this criterion is that the length of the reflection point group is 1m or less.
  • the nine reflection point groups have been narrowed down to four reflection point groups RG1, RG2, RG3, and RG4 due to the first criterion. In other words, the number of potential object candidates has been reduced to four.
  • FIG. 6(b) shows the finally extracted reflection point groups RG1 and RG2.
  • a predetermined second criterion is applied.
  • the second criterion is based on the moving state, that is, the reflection point group moves. Whether or not it moves is determined by whether or not the reflection point group RG moves in a certain frame of the LiDAR scan and other frames before and after it.
  • a frame refers to point cloud data acquired by one cycle of scanning of the LiDAR. In other words, the scanning by the LiDAR is updated for each frame.
  • one frame is the point cloud data acquired by one scanning of the detection light beam Lc by the LiDAR 81 shown in FIG. 3(b).
  • the result of applying the second criterion to the state of FIG. 6(a) is shown in FIG. 6(b).
  • the reflection point groups RG1 and RG2 are finally extracted.
  • Reflection point groups RG1 and RG2 correspond to people 60d and 60c, respectively, so ultimately, people 60d and 60c are extracted as potential targets.
  • reflection point group RG3 may also move, but since the size of vehicle 90 changes significantly as it moves, it is considered to be excluded by the first criterion described above through frame-to-frame comparison.
  • the first criterion is applied to narrow down the reflection point groups RG corresponding to potential latent objects by size, but this criterion may not be applied and a second criterion may be applied to the reflection point groups RG shown in FIG. 5(b) to determine the moving reflection point groups as the reflection point groups corresponding to potential latent objects. Furthermore, people may be identified from the shape characteristics of the reflection point groups RG and determined as potential objects.
  • FIG. 7(a) shows the reflection point group RG2 of the person 60c shown in FIG. 6(b) in an extracted manner. However, for convenience of explanation, a larger number of reflection points RP are shown.
  • FIG. 7(a) also shows the width W and depth D (hereinafter, sometimes referred to as "feature amount") of the reflection point group RG2.
  • the feature amount assumed for the person 60 is stored in a storage means such as an HDD (not shown).
  • Specific values of the width W and depth D are, for example, W is about 50 cm to 100 cm, and D is about 30 cm to 60 cm.
  • the processing unit 12 determines that the reflection point group RG is the reflection point group RG of the person 60.
  • the feature amount is not limited to the width W and depth D, and may be appropriately determined taking into account the irradiation mode of the detection light, etc., and may be, for example, only the width W.
  • feature amounts are defined for each latent object and stored in a storage means. With this identification method, even if a person is stationary, it is possible to identify them as latent objects.
  • a mark indicating the potential object is displayed by seeing through an object that blocks the view of the potential object (hereinafter, sometimes referred to as an "occluding object").
  • FIG. 7(b) is a diagram showing one of the above-mentioned notification forms, in which an image showing a potential object is displayed by looking through an obstructing object.
  • FIG. 7(b) shows an example of a display image on a monitor 83 provided on a vehicle 80, which is the vehicle itself.
  • FIG. 7(b) is based on a real image of the front captured by a camera 82 of the vehicle 80 located at the position of FIG. 3(b).
  • the visibility support display device 10 displays the potential object corresponding to the reflection point groups RG1 and RG2 extracted above by superimposing it on this real image.
  • the processing unit 12 converts the reflection point groups RG1 and RG2 into marks that are easy for the driver to see.
  • the marks into which the reflection point groups RG1 and RG2 as potential objects are converted are called virtual objects.
  • the virtual object based on the reflection point group RG1 is indicated by the symbol VO1
  • the virtual object based on the reflection point group RG2 is indicated by the symbol VO2.
  • virtual object VO1 corresponds to person 60d
  • virtual object VO2 corresponds to person 60c.
  • the processing unit 12 When displaying the virtual objects VO1 and VO2, the processing unit 12 also displays a virtual space necessary to grasp the positions of the virtual objects VO1 and VO2, such as the road surface R on which the virtual objects VO1 and VO2 walk, as necessary. That is, a see-through image (i.e., an image seen through an obstructing object) of the part that does not appear in the image captured by the camera 82 is also displayed. The part that does not appear in the image captured by the camera 82 is created, for example, by comparing an HD map with an actual image.
  • the image obtained as a result of the above processing is a synthetic environment image.
  • the driver of the vehicle 80 can easily and accurately recognize potential objects such as people that cannot be directly detected by the LiDAR 81.
  • the camera 82 can be set to high sensitivity, which is particularly effective in recognizing people who cannot be seen behind buildings at night.
  • the virtual objects VO1 and VO2 are superimposed on the actual image captured by the camera 82.
  • the present invention is not limited to this example.
  • the virtual objects VO1 and VO2 may be superimposed on the top view shown in FIG. 3(a).
  • FIG. 8 is a flowchart showing the flow of processing of a display program that describes this display process.
  • the display program is stored in a storage means such as a ROM (not shown), for example, and is read out by the CPU and expanded in a RAM or the like for execution.
  • the instruction to start execution can be, for example, when the control unit 11 receives a notification that the engine of the vehicle 80 has started.
  • the processing unit 12 of the control unit 11 continuously or intermittently acquires point cloud data from the LiDAR 81 and captured images from the camera 82.
  • the communication unit 14 of the control unit 11 continuously or intermittently acquires point cloud data from the LiDAR 52 of the public detection device 50.
  • step S10 the control unit 11 controls the processing unit 12 to acquire point cloud data detected by the LiDAR 81 of the vehicle 80, which is the vehicle itself.
  • step S11 the control unit 11 controls the processing unit 12 to acquire position information of the vehicle 80, which is the vehicle itself, from the GNSS 20.
  • the latitude and longitude of the vehicle 80 are acquired as an example of the position information.
  • step S12 the control unit 11 controls the communication unit 14 to acquire map information.
  • the communication unit 14 accesses the map information providing device 31 via the communication network 30 and acquires map information (HD map) for a predetermined range based on the latitude and longitude acquired in step S11. At that time, information such as the positions of the signal poles 51a and 51b is also acquired.
  • map information HD map
  • step S13 the control unit 11 controls the processing unit 12 to acquire driving information of the vehicle 80, which is the vehicle itself, from the IMU 21.
  • the driving information acquired includes the moving direction, speed, etc. of the vehicle 80 as an example.
  • the driving information such as the moving direction, speed, etc. is used as necessary, such as for determining approach to a potential object.
  • step S14 the control unit 11 controls the communication unit 14 to acquire point cloud data as public detection information from the public detection device 50.
  • the communication unit 14 accesses the communication device 53a of the signal pole 51a and the communication device 53b of the signal pole 51b via the communication network 30, and acquires the point cloud data from the LiDARs 52a and 52b.
  • the point cloud data acquired in this step is the point cloud data shown in FIG. 5(a).
  • step S15 the control unit 11 controls the processing unit 12 to generate differential reflection point group data from the difference between the point cloud data acquired in step S10 and the point cloud data acquired in step S14.
  • An example of the differential reflection point group data generated in this step is the data shown in FIG. 5(b).
  • step S16 the control unit 11 controls the processing unit 12 to extract reflection point groups corresponding to the latent objects.
  • the first and second criteria described above are applied to the data shown in FIG. 5(b) generated in step S15 to extract reflection point groups RG1 and RG2 corresponding to the latent objects shown in FIG. 6(b).
  • step S17 the control unit 11 generates data for displaying the reflection point groups corresponding to the potential objects as virtual objects.
  • An example of the data generated in this step is data for displaying the virtual objects VO1 and VO2 as marks described above.
  • step S18 the control unit 11 controls the processing unit 12 to acquire a captured image, i.e., an actual image, from the camera 82.
  • step S19 the control unit 11 controls the processing unit 12 to generate a synthetic environment image.
  • the synthetic environment image is generated by superimposing the virtual objects VO1 and VO2 generated in step S17 on the real image acquired in step S18.
  • An example of a synthetic environment image is the image shown in FIG. 7(b).
  • step S20 the control unit 11 controls the control signal generation unit 13 to generate a control signal for displaying the synthetic environment image generated in step S19 on the monitor 83.
  • step S21 the control unit 11 controls the monitor 83 so that the synthetic environment image is displayed on the monitor 83 based on the control signal generated in step S20.
  • step S22 it is determined whether an end instruction has been given. If the determination is positive, the display program is terminated, and if the determination is negative, the process returns to step S10 and continues acquiring point cloud data.
  • the instruction to end the display program may be determined, for example, when the control unit 11 receives information indicating that the engine of the vehicle 80 has been stopped by the driver.
  • the environment around vehicle 80 which is the vehicle itself, usually changes from moment to moment.
  • people 60d and 60c shown in FIG. 3(b) are moving, so even if they are potential objects at a certain point in time, they may become normal objects detected by LiDAR 81 over time. Even in such a case, this display process always loops back to step S10 after starting until an end instruction is given, so that potential objects can be tracked reliably.
  • the flowchart shown in FIG. 8 is only an example, and the steps may be rearranged or swapped as long as no inconsistencies arise in the process flow.
  • the visibility support display device, visibility support display system, and visibility support display method can provide a visibility support display device, visibility support display system, and visibility support display method that can obtain and report information about objects that cannot be directly detected by the device itself.
  • the virtual objects will be mixed up, so it may be possible to display a limited number of virtual objects (e.g., two or three) in order of proximity to the vehicle 80, which is the vehicle itself. Even in such a case, the display process according to this embodiment is looped as shown in FIG. 8, so it is also possible to handle updates such as replacement of potential objects.
  • a limited number of virtual objects e.g., two or three
  • the first modified example when extracting potential objects, instead of using the difference data between the point cloud data from the LiDAR of the vehicle itself and the point cloud data from the LiDAR of the public detection device, the undetected area of the LiDAR of the vehicle itself is used. In this embodiment, the point cloud that exists in the undetected area is extracted as the potential object.
  • the method of using the difference in point cloud data described in the above embodiment there is a possibility that the point cloud will be missing due to taking the difference. In that case, the potential object will be extracted using a small number of point clouds, and it is expected that the potential object will be affected by noise, etc. In such a case, this modified example is effective.
  • FIG. 9(a) is an example of scanning vertically downward, with detection light L1 being emitted vertically below the horizontal line h. If an object OB1 is present in front of LiDAR 81, a reflection point RP1 is formed on object OB1 by detection light L1, and the rear of object OB on the opposite side to LiDAR 81 cannot be detected. If the intersection point between the extension line of detection light L1 and road surface R is defined as point P1, the range from object OB1 to point P1 is defined as non-detection area A1.
  • Figure 9 (b) is an example of scanning vertically upward, where detection light L2 is emitted vertically upward above the horizontal line h. If an object OB2 is present in front of the LiDAR81, a reflection point RP2 is formed on the object OB2 by the detection light L2, and the rear of the object OB2 on the opposite side to the LiDAR81 cannot be detected. If the point corresponding to the maximum detectable distance of the LiDAR81 is defined as point P2, the range from the object OB2 to point P2 is defined as the non-detection area A2. The non-detection areas A1 and A2 are formed three-dimensionally around the LiDAR81.
  • the undetectable areas A1 and A2 identified as above are stored in a storage means such as a HDD (not shown) and are used in the processing described below.
  • the undetectable areas identified as above are three-dimensional data, and in particular, in the undetectable area A2, the undetectable area is set to the maximum distance detectable by the LiDAR 81, so it is expected that the amount of data will be large.
  • the vertical scanning angle of the LiDAR 81 may be fixed (i.e., scanning is not performed in the vertical direction), and the area up to a predetermined distance from the LiDAR 81 (hereinafter, "maximum detection distance") may be set as the undetectable area.
  • the maximum detection distance may be defined as the maximum distance at which a potential object is expected to affect the vehicle in terms of traffic safety. Identifying the undetectable area in this manner reduces the amount of data for the undetectable area.
  • FIG. 3(b) and 5(a) the identification of the latent object according to this modified example will be described in more detail.
  • a point cloud is formed on the side wall of the building 54d, so the building 54d is an obscured object. Therefore, an undetected area A is formed on the opposite side of the point cloud from the vehicle 80. Naturally, no point cloud is formed for the person 60d who is in the undetected area A.
  • FIG. 5(a) it can be seen from FIG. 5(a) that the person 60d is in the undetected area A. Therefore, the control unit 11 determines that the person 60d is a latent object. If necessary, the above-mentioned first criterion or second criterion may be further applied.
  • an undetected area may also be formed behind the buildings 54a and 54b shown in FIG. 3(b), but since it is far from the vehicle 80, there is little point in detecting the latent object in the undetected area. Therefore, by appropriately setting the above-mentioned maximum detection distance, it is possible to prevent the building 54d from being included in the undetected area. According to this modified example, it is possible to extract the latent object more reliably.
  • This modified example uses smart glasses (eyeglass-type display device) as the display unit instead of the monitor 83.
  • Smart glasses are a type of wearable device that has a shape like glasses and is worn around the eyes in the same way as glasses. It is a display that can add information to the scene that is actually being viewed and display it in an overlaid manner, and is sometimes called AR (Augmented Reality glass) glasses due to its use.
  • smart glasses are connected in place of the monitor 83 shown in FIG. 2, and the driver wears the smart glasses while driving.
  • the driver's line of sight is moved when viewing.
  • HMD Head Mounted Display
  • Smart glasses do not have the above disadvantages and can ensure greater safety.
  • Figure 9 (c) shows an example of a display image in the smart glasses 84.
  • virtual objects VO1 and VO2 are displayed superimposed on the actual surrounding scene.
  • the driver can recognize where potential objects are located.
  • the driver can simultaneously view the surrounding scene outside the smart glasses 84, further increasing safety.
  • the visibility support display device, visibility support display system, and visibility support display method according to this modified example can provide a visibility support display device, visibility support display system, and visibility support display method that can obtain and report information about objects that cannot be directly detected by the device itself.
  • the first modified example can more reliably extract potential objects.
  • the second modified example can further increase safety when viewing potential objects.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供する。対象物を検知するＬｉＤＡＲ（８１）と、ＬｉＤＡＲ（８１）では検知できない潜在対象物を周囲の実画像と重畳させてモニタ（８３）に表示させる制御部（１１）と、を備え、制御部（１１）は、潜在対象物の視認を遮っている対象物と関連付けて、潜在対象物を報知する画像を表示部（１１）に表示させることを特徴とする。

Description

視界支援表示装置、視界支援表示システム、および視界支援表示方法
　本発明は、視界支援表示装置、視界支援表示システム、および視界支援表示方法に関する。
　従来、車両の運転者の視界を支援する技術として、例えば車載カメラの実画像と、シンボル化した他車両、障害物等の車両周囲の環境情報を合成して、車載モニタに表示する技術が知られている。また、車両に搭載したＨＵＤ(Head Up Display)に、運転者が把握しやすいように加工された路面情報、あるいはナビゲーション情報等を重畳表示する技術が知られている。視界支援表示装置の一例として、特許文献１には、交差点の手前で、ポップアップノズルを車体前方に突き出し、カメラで交差点の左右両側方の領域を撮影し、カメラの映像を車室内のモニタに表示して、ドライバーに交差路上の他車両や歩行者の存在を早期に知らせる車両用視覚支援装置が開示されている。
特開２０１２－０５６５０９号公報
　車両の運転者にとって、人、他車両、障害物等（以下、「対象物」）の情報をいち早く知ることが重要であり、従来様々な検討がなされてきた。その主たる技術は、車両に対象物検知手段を設け、検知された周囲の対象物を、例えば車両に搭載された表示手段に表示させて、運転者に報知する構成である。しかしながら、人、車両等が多数存在し、通行、交通が錯綜した状況では、自車両の対象物検知手段で検知された対象物の情報だけでは不足する場面も想定される。すなわち、自車両の対象物検知手段では検知できないが、接近等が予測される対象物の存在を運転者が認識できれば、潜在的な危険をも回避することができると考えられる。
　そこで本発明は、上記従来の問題点に鑑みなされたものであり、自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供することを目的とする。
　上記課題を解決するために、本発明の視界支援表示装置は、対象物を検知する検知部と、前記検知部では検知できない潜在対象物を周囲の実画像と重畳させて表示部に表示させる制御部と、を備え、前記制御部は、前記潜在対象物の視認を遮っている対象物と関連付けて、前記潜在対象物を報知する画像を前記表示部に表示させることを特徴とする。
　このような本発明の視界支援表示装置では、制御部が、潜在対象物の視認を遮っている対象物と関連付けて、潜在対象物を報知する画像を表示部に表示させ、自装置では直接検知できない対象物の情報を取得し、報知することができる。このことにより、運転者が、接近等が予測される潜在対象物の存在を認識することができるので、潜在的な危険を回避することが可能となる。
　また、本発明の一態様では、前記制御部は、前記潜在対象物の前記表示部への表示に際し、前記潜在対象物の視認を遮っている対象物を透視して前記潜在対象物を示すマークを表示させることを特徴とする。
　また、本発明の一態様では、前記制御部は、公共検知装置による公共検知情報に含まれ、前記検知部による対象物の検知情報には含まれない対象を前記潜在対象物とすることを特徴とする。
　また、本発明の一態様では、前記潜在対象物を抽出する処理部と、前記視界支援表示装置の周囲を撮像した前記実画像を取得する撮像部と、前記視界支援表示装置の位置情報を取得する位置情報取得部と、地図情報提供装置から前記位置情報による位置の周囲の地図情報を取得し、前記公共検知装置から前記公共検知情報を取得する通信部と、前記表示部と、をさらに備え、前記処理部は、前記位置情報、前記地図情報、前記検知情報、および前記公共検知情報を用いて前記潜在対象物を抽出することを特徴とする。
　また、本発明の一態様では、前記検知部、および前記公共検知装置は、検知光によって対象物に複数の反射点を含む点群を形成するＬｉＤＡＲであって、前記処理部は、前記地図情報と前記検知情報を合成した第１の点群データと、前記地図情報と前記公共検知情報を合成した第２の点群データとの差分データに基づいて前記潜在対象物を抽出することを特徴とする。
　また、本発明の一態様では、前記差分データは、各々反射点の集合である複数の潜在対象物候補を含み、前記処理部は、形状に基づいて前記潜在対象物候補を選別する第１の基準、および移動状態に基づいて前記潜在対象物候補を選別する第２の基準の少なくとも一方を適用して、前記潜在対象物候補から前記潜在対象物を抽出することを特徴とする。
　また、本発明の一態様では、前記処理部は、前記第１の点群データに基づいて前記反射点が形成された対象物の背後に前記検知部が検知できない不検知領域を設定し、前記第２の点群データに含まれる点群のうち前記不検知領域に存在する点群を前記潜在対象物として抽出することを特徴とする。
　また、本発明の一態様では、前記表示部が眼鏡型表示装置であることを特徴とする。
　上記課題を解決するために、本発明の視界支援表示システムは、上記の視界支援表示装置と、前記地図情報提供装置と、前記公共検知装置と、を含むことを特徴とする。
　上記課題を解決するために、本発明の視界支援表示方法は、対象物を検知する検知部と、前記検知部では検知できない潜在対象物を周囲の実画像と重畳させて表示部に表示させる制御部と、を備えた視界支援表示装置を用いた視界支援表示方法であって、前記潜在対象物の視認を遮っている対象物と関連付けて、前記潜在対象物を報知する画像を前記表示部に表示させることを特徴とする。
　本発明では、自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供することができる。
実施形態に係る、（ａ）は視界支援表示装置を搭載した車両の一例を示す上面図、（ｂ）は公共検知装置の一例を示す側面図である。 実施形態に係る視界支援表示装置の構成の一例を示すブロック図である。 実施形態に係る、（ａ）は地図情報の一例を示す上面図、（ｂ）は自車両に設置されたＬｉＤＡＲによる点群の一例を示す上面図である。 実施の形態に係る、（ａ）は信号柱５１ａに設置されたＬｉＤＡＲ５２ａによる点群の一例を示す上面図、（ｂ）は信号柱５１ｂに設置されたＬｉＤＡＲ５２ｂによる点群の一例を示す上面図である。 実施の形態に係る、（ａ）は合成された公共検知装置による点群を示す上面図、（ｂ）は潜在対象物候補の点群を示す上面図である。 実施の形態に係る、（ａ）は選別された潜在対象物候補の点群を示す上面図、（ｂ）は潜在対象物の点群を示す上面図である。 実施形態に係る視界支援表示装置の、（ａ）は人の点群の一例を示す模式図、（ｂ）はモニタの表示の一例を示す模式図である。 実施形態に係る視界支援表示装置の処理の流れの一例を示すフローチャートである。 実施の形態に係る、（ａ）、（ｂ）は不検知領域を説明する模式図、（ｃ）はスマートグラスによる表示画像の一例を示す模式図である。
　以下、本発明の実施形態について、図面を参照して詳細に説明する。各図面に示される同一または同等の構成要素、部材、処理には同一の符号を付すものとし、適宜重複した説明は省略する。以下の実施形態では、本実施形態に係る視界支援表示装置を、車両等の移動体に搭載する形態を例示して説明する。また、本実施形態では運転者が運転する通常の形態の車両を想定して説明するが、自動運転や先進運転支援システム（ADAS）を実装した車両に適用した形態としてもよい。
　本実施形態に係る視界支援表示装置は、自車両に搭載した検知手段では検知できない対象物（以下、「潜在対象物」）を表示する。潜在対象物としては人、他の車両や、標識、信号機等の地物等任意の対象物であってよい。本実施形態では潜在対象物の一例として人を例示して説明する。ただし、この場合の人には自転車に乗った人、あるいはキックボードを操作する人等を含む。また、本実施形態に係る視界支援表示装置は、公共検知装置からの検知情報を取得することができる。本実施形態に係る公共検知装置とは、信号柱、街路灯、電柱、標識、カーブミラー、公共建築物等の公共構造物に設けられた対象物の検知手段をいい、当該公共構造物の周囲の対象物を常時検知している。本実施形態では、公共検知装置の一例として、信号柱に設けられた検知手段を例示して説明する。
　図１から図９を参照して、本実施形態に係る視界支援表示装置、視界支援表示システム、および視界支援表示方法について説明する。図１（ａ）は本実施形態に係る視界支援表示装置を搭載した車両の一例を示す上面図である。図１（ａ）に示すように、本実施形態に係る車両８０は、視界支援表示装置１０（不図示）の一部である、検知部としてのＬｉＤＡＲ(Light Detection And Ranging)８１、撮像部としてのカメラ８２（ステレオでも単眼でもよい）、表示部としてのモニタ８３を備えている。視界支援表示装置１０の構成の詳細は後述する。
　ＬｉＤＡＲ８１は、レーザ光を対象物に照射し、照射したレーザ光が対象物で反射して返ってくるまでの時間を計測し、対象物までの距離や方向を測定する測距装置である。ＬｉＤＡＲ８１によって、対象物の位置、大きさ等に関する情報を取得することができる。図１（ａ）に示すように、視界支援表示装置１０に係るＬｉＤＡＲ８１は、一例として車両８０の天井に配置されている。しかしながら、ＬｉＤＡＲ８１の配置位置は天井に限らず、走査範囲等を考慮して適切な位置に配置してよい。ここで、本実施形態では測距装置としてＬｉＤＡＲ８１を用いる形態を例示して説明するがこれに限らず、カメラ、超音波センサ、ミリ波レーダ等を用いてもよい。
　カメラ８２は車両８０の前方を撮像する撮像装置であり、図１（ａ）に示すように、一例として車両８０のフロントウィンドウの上部に配置されている。しかしながらこれに限らず、例えば車両８０の後方を撮像するために、カメラ８２を車両のリアウィンドウの上部に配置してもよい。モニタ８３は、カメラ８２が撮像した画像、潜在対象物を示す画像等を映し出すための、例えば液晶画面による表示装置である。モニタ８３は、図１（ａ）に示すように、例えば運転席近傍の、運転者により視認可能な位置に配置されている。
　図１（ｂ）は検知手段が設置された公共検知装置５０を示す側面図である。図１（ｂ）に示すように、公共検知装置５０は、信号機５５が設けられた信号柱５１に設置されたＬｉＤＡＲ５２、および通信装置５３を備えている。ＬｉＤＡＲ５２は、上記のＬｉＤＡＲ８１と同様の測距装置であり、同様にカメラ、超音波センサ、ミリ波レーダ等を用いてもよい。通信装置５３は、ＬｉＤＡＲ５２をＩＰ網等の通信ネットワークに接続する装置である。ＬｉＤＡＲ５２は、例えば路面Ｒ上の人６０や車両９０等を常時検知しており、検知した情報を常時、あるいは間欠的に通信装置５３を介して周囲に送信している。車両８０は、自車両の通信部（後述）を介して、ＬｉＤＡＲ５２の情報を取得することができる。ＬｉＤＡＲ５２の情報には後述の点群データが含まれ、必要な場合には対象物の位置（緯度、経度）、速度、進行方向等が含まれる場合もある。なお、公共検知装置５０自体の位置情報は、後述する地図情報提供装置が提供するＨＤマップに含まれている場合もある。ただしこれに限らず、通信装置５３に設けられたＲＯＭ等の記憶手段に位置情報を記憶させておき、車両８０との通信において当該位置情報も送るようにしてもよい。
　図２を参照して、視界支援表示装置１０の構成の一例について説明する。図２に示すように、視界支援表示装置１０は、制御部１１、ＬｉＤＡＲ８１、位置情報取得部としてのＧＮＳＳ(Global Navigation Satellite System)２０、運転情報取得部としてのＩＭＵ(Inertial Measurement Unit)２１、カメラ８２、およびモニタ８３を備えている。ＬｉＤＡＲ８１、ＧＮＳＳ２０、ＩＭＵ２１、カメラ８２、およびモニタ８３の各々は、制御部１１に接続されている。制御部１１は、処理部１２、制御信号生成部１３、および通信部１４を含む。
　制御部１１は、処理部１２、制御信号生成部１３、通信部１４、ＬｉＤＡＲ８１、ＧＮＳＳ２０、ＩＭＵ２１、カメラ８２、およびモニタ８３を制御する制御部である。制御部１１は、例えば図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を含むマイクロコンピュータであってもよい。
　ＧＮＳＳ２０は全球測位衛星システムであり、航空機、船舶等の航法支援用として開発されたシステムである。本システムは、上空を周回するＧＰＳ衛星、当該ＧＰＳ衛星の追跡と管制を行う管制局、測位を行うための利用者の受信機で構成される。すなわち、本実施形態に係るＧＮＳＳ２０は、全球測位衛星システムからの情報を受信するための受信機である。車両８０の運転者は、ＧＮＳＳ２０によって、自車両の緯度、経度等を取得することができる。なお、ＧＮＳＳ２０は自車両の位置を取得することが目的であるので、位置を知ることができる手段であれば、他の手段を用いてもよい。
　ＩＭＵ２１は慣性計測装置であり、運動を司る３軸の角度（または角速度）と加速度を検出する装置である。車両８０の運転者は、ＩＭＵ２１によって、自車両の移動方向、速度等（以下、「運転情報」という場合がある）を取得することができる。なお、ＩＭＵ２１は自車両の運転情報を取得することが目的であるので、運転情報を検知することができる手段であれば、他の手段を用いてもよい。
　処理部１２は、ＬｉＤＡＲ８１、ＧＮＳＳ２０、ＩＭＵ２１、およびカメラ８２から取得した情報を処理する部位である。処理部１２は、ＧＮＳＳ２０から取得した位置情報、ＩＭＵ２１から取得した運転情報を、図示しないＨＤＤ等の記憶手段に記憶させる場合もある。
　処理部１２は、ＬｉＤＡＲ８１によるレーザ光（以下、「検知光」という場合がある）走査の結果、車両８０の周囲の対象物表面から反射した反射光のデータを点群データとして取得する。つまり本実施形態に係る「点群データ」とは、ＬｉＤＡＲ８１からの検知光によって形成された、対象物における反射点の集合をいう。また、処理部１２は、必要に応じＬｉＤＡＲ８１から対象物までの距離、および対象物の方位を示すデータを取得する。処理部１２は、点群データを所定の規則でグルーピングして、点群データを対象物ごとに分離する。処理部１２はさらに、分離された対象物ごとの点群データから、潜在対象物の種別を特定する。処理部１２は、特定された潜在対象物（例えば人）を、必要に応じマークに変換する。
　処理部１２は、特定された潜在対象物の存在を、所定の方法で運転者に報知する。報知形態の詳細については後述するが、一例として、車両８０の周囲をカメラ８２によって撮像した撮像画像（以下、「実画像」という場合がある）を取得し、上記のようにマークで示された潜在対象物を、当該実画像の潜在対象物が存在する位置に表示する。すなわち、実画像と潜在対象物の画像を合成する。制御信号生成部１３は、合成された実画像と潜在対象物の画像（以下、「合成環境画像」という場合がある）を、モニタ８３に表示させるための制御信号を生成し、モニタ８３に送る。車両８０の運転者は、合成環境画像を見ることによって、人等の潜在的な対象物を認識することができる。
　通信部１４は、ＩＰ網等の通信ネットワーク３０に接続され、公共検知装置５０、地図情報提供装置３１等からの情報を取得する。公共検知装置５０の通信装置５３は通信ネットワーク３０に接続されており、通信ネットワーク３０を介して、視界支援表示装置１０の通信部１４と接続することができる。地図情報提供装置３１はＨＤマップを提供する。地図情報提供装置３１はＨＤマップを格納した、例えばサーバである。ＨＤマップとは高精度３次元地図データのことであり、例えば自動運転システムや先進運転支援システム(ADAS)において、自己位置の正確な認識や、信号機などの地物情報を参照するためのマップである。上述したように、ＨＤマップには、公共検知装置５０の位置情報も含まれている場合もある。視界支援表示装置１０、公共検知装置５０、および地図情報提供装置３１が、本発明に係る視界支援表示システムを構成している。なお、本実施形態において、処理部１２、制御信号生成部１３、および通信部１４の各々はソフトウエアによって実現されているが、これに限らず、少なくとも一部についてＡＳＩＣ等のハードウエアによって実現してもよい。
　図３から図８を参照して、本実施形態に係る視界支援表示装置１０の動作について、より詳細に説明する。図３（ａ）は、地図情報提供装置３１のＨＤマップから取得した、自車両である車両８０の周囲の構造物等の配置を示している。図３（ａ）に示すように、本実施形態では、路面Ｒの周囲に配置された建築物５４ａ、５４ｂ、５４ｃ、５４ｄ、信号柱５１ａ、５１ｂが車両８０の周囲に存在している。図３（ｂ）は、検知情報としての車両８０のＬｉＤＡＲ８１による点群データを示している。当該点群データが、本発明に係る「第１の点群データ」の一例である。車両８０の周囲には、建築物５４ａ、５４ｂ、５４ｃ、５４ｄ、信号柱５１ａ、５１ｂの他に、他車両である車両９０、人６０ａ、６０ｂ、６０ｃ、６０ｄが存在している。本実施形態に係るＬｉＤＡＲ８１は、検知光束Ｌｃによって車両の前方を走査している。検知光束Ｌｃとは、ＬｉＤＡＲ８１の走査範囲における検知光の集合をいう。図３（ｂ）には不検知領域Ａも図示しているが、不検知領域Ａについては後述する。
　上述したように、ＬｉＤＡＲ８１からの検知光は、対象物の照射された部位において反射点ＲＰを形成する。図３（ｂ）ではこの反射点を黒丸で表わしている。点群は、同一の対象物に属すと考えられる反射点ＲＰの集合である。例えば、人６０ａには５点の反射点が存在し、この５点の反射点を点群という。なお、図３（ｂ）に示す点群は、説明上概念的に示されており、実際の点群内の反射点の数は図３（ｂ）より多い場合も少ない場合もある。また、本実施形態では、ＬｉＤＡＲ８１の走査範囲を前方に限定しているが、これに限らず、例えば後方に限定したり、全方向としたりしてもよい。図３（ｂ）に示すように、ＬｉＤＡＲ８１の走査によって、建築物５４ａ、５４ｂ、５４ｄ、信号柱５１ａ、車両９０、人６０ａ、６０ｂに点群が形成されている。
　図４（ａ）は、信号柱５１ａに設けられたＬｉＤＡＲ５２ａによる点群データを示している。ＬｉＤＡＲ５２ａは検知光束Ｌｐ１で走査している。その結果、建築物５４ｃ、５４ｄ、信号柱５１ｂ、車両９０、人６０ｄ、車両８０に点群が形成されている。なお、本実施形態では、ＬｉＤＡＲ５２ａの走査範囲を部分的に限定しているが、これに限らず、例えば全方向を走査範囲としてもよい。
　図４（ｂ）は、信号柱５１ｂに設けられたＬｉＤＡＲ５２ｂによる点群データを示している。ＬｉＤＡＲ５２ｂは検知光束Ｌｐ２で走査している。その結果、建築物５４ｂ、車両９０、人６０ｂ、６０ｃに点群が形成されている。なお、本実施形態では、ＬｉＤＡＲ５２ｂの走査範囲を部分的に限定しているが、これに限らず、例えば全方向を走査範囲としてもよい。
　図５（ａ）は、信号柱５１ａに設けられたＬｉＤＡＲ５２ａによる点群データ、すなわち図４（ａ）と、信号柱５１ｂに設けられたＬｉＤＡＲ５２ｂによる点群データ、すなわち図４（ｂ）とを合成した図である。つまり図５（ａ）は、ＬｉＤＡＲ５２ａ、５２ｂを含む公共検知装置による点群データである。当該点群データが、本発明に係る「第２の点群データ」の一例である。なお、公共検知装置による情報を、「公共検知情報」という。
　図５（ｂ）は、ＬｉＤＡＲ５２ａ、５２ｂを介した公共検知装置による公共検知情報には含まれるが、車両８０のＬｉＤＡＲ８１の検知情報には含まれない反射点ＲＰ、すなわち、図３（ｂ）と図５（ａ）との差分データを示している。図５（ｂ）の楕円で囲んだ反射点の集合が差分であり、本実施形態では、各々の楕円に含まれる反射点の集合を、「反射点グループ」という。つまり図５（ｂ）においては、９個の反射点グループが存在している。ここで、差分をとると点群の一部が欠ける場合があることを考慮し、以降「点群」の代わりに「反射点グループＲＧ」を用いる。各々の反射点グループＲＧは、潜在対象物の可能性があるという意味で、潜在対象物候補を構成する。
　図６（ａ）は、予め定められた第１の基準を満たす反射点グループＲＧを抽出した結果を示している。第１の基準とは、反射点グループＲＧをふるいにかけるための形状に基づく基準であり、本実施形態では人等を潜在対象物としているので、この基準を、反射点グループの長さが１ｍ以下であることとしている。図６（ａ）においては、当該第１の基準により、上記９個の反射点グループが４個の反射点グループＲＧ１、ＲＧ２、ＲＧ３、ＲＧ４までに絞られている。すなわち、潜在対象物候補が４個まで減じられている。
　図６（ｂ）は、最終的に抽出された反射点グループＲＧ１、およびＲＧ２を示している。本実施形態では、潜在対象物候補に対応する反射点グループから潜在対象物に対応する反射点グループを抽出する場合において、予め定められた第２の基準を適用している。第２の基準は、移動状態に基づく基準であり、反射点グループが移動するという基準である。移動するかしないかは、ＬｉＤＡＲの走査におけるあるフレームと、前後する他のフレームにおいて、反射点グループＲＧが移動するかしないかで判定する。ここで、フレームとはＬｉＤＡＲの１周期の走査によって取得された点群データをいう。すなわち、ＬｉＤＡＲによる走査は、フレームごとに更新される。例えば、図３（ｂ）に示すＬｉＤＡＲ８１が検知光束Ｌｃの１回の走査によって取得された点群データが１フレームである。図６（ａ）の状態に対して、第２基準を適用した結果が図６（ｂ）である。すなわち、最終的に反射点グループＲＧ１、ＲＧ２が抽出される。反射点グループＲＧ１、ＲＧ２は各々人６０ｄ、６０ｃに対応するので、最終的に、人６０ｄ、６０ｃが潜在対象物として抽出されたことになる。なお、図６（ａ）においては、反射点グループＲＧ３も移動する可能性があるが、車両９０は移動に伴って大きさが大きく変化するので、フレーム間の比較により上記第１の基準で除かれると考えられる。
　なお、本実施形態では、第１の基準を適用して、潜在対象物候補に対応する反射点グループＲＧを大きさで絞ったが、当該基準は適用せず、図５（ｂ）に示す反射点グループＲＧに対して、第２の基準を適用し、移動する反射点グループを潜在対象物に対応する反射点グループとしてもよい。さらに、反射点グループＲＧの形状的な特徴から人を判別し、潜在対象物としてもよい。
　図７（ａ）を参照して、潜在対象物が人の場合の潜在対象物に対応する反射点グループＲＧの特定方法について説明する。図７（ａ）は、図６（ｂ）に図示する人６０ｃの反射点グループＲＧ２を抜き出して示したものである。ただし、説明の都合上反射点ＲＰの個数はより多く図示している。図７（ａ）には、反射点グループＲＧ２の幅Ｗ、奥行Ｄ（以下、「特徴量」という場合がある）を併せて示している。本実施形態では、人６０で想定される特徴量を、ＨＤＤ（図示省略）等の記憶手段に記憶させておく。幅Ｗ、奥行Ｄの具体的な数値は、例えばＷが５０ｃｍから１００ｃｍ程度、Ｄが３０ｃｍから６０ｃｍ程度である。処理部１２は、特徴量が予め登録された範囲内である場合に、当該反射点グループＲＧが人６０の反射点グループＲＧであると判定する。特徴量は幅Ｗ、奥行Ｄに限らず検知光の照射態様等を勘案して適切に定めてよく、例えば幅Ｗだけであってもよい。潜在対象物が、自転車に乗った人、キックボードを操作する人等複数ある場合は、潜在対象物ごとに特徴量を規定し、記憶手段に記憶させておく。本特定方法によれば、人が静止していても潜在対象物として特定することができる。
　次に、潜在対象物の存在を運転者に報知する形態について説明する。本実施形態において、報知形態は特に限定されないが、以下のような形態が挙げられる。
・潜在対象物の視認を遮っている対象物（以下、「遮蔽対象物」という場合がある）を透視して、潜在対象物を示すマークを表示する。
・遮蔽対象物に注意を促すマーク（例えば感嘆符）を付与する。
・遮蔽対象物に引き出し線をつけて、その先に注意を促すマーク（例えば感嘆符）を付与する。
・遮蔽対象物を矢印で示す。
・遮蔽対象物そのものを点滅させる。
　要するに、本実施形態では、遮蔽対象物と関連付けて、潜在対象物を報知する画像をモニタ８３に表示させればよい。
　図７（ｂ）を参照して、上記の報知形態の一例について説明する。図７（ｂ）は、上記の報知形態のうちの、遮蔽対象物を透視して潜在対象物を示す画像を表示する形態を示した図である。図７（ｂ）は、自車両である車両８０に備えられたモニタ８３における表示画像の一例を示している。図７（ｂ）は、図３（ｂ）の位置にある車両８０のカメラ８２が撮像した前方の実画像が基礎となっている。本実施形態に係る視界支援表示装置１０は、この実画像に、上記で抽出した反射点グループＲＧ１、ＲＧ２に対応する潜在対象物を重畳させて表示する。その際処理部１２は、反射点グループＲＧ１、ＲＧ２を、運転者にとって視認しやすいマークに変換する。この潜在対象物としての反射点グループＲＧ１、ＲＧ２が変換されたマークを仮想対象物という。図７(ｂ)では、反射点グループＲＧ１による仮想対象物を符号ＶＯ１で、反射点グループＲＧ２による仮想対象物を符号ＶＯ２で示している。上述したように、仮想対象物ＶＯ１は人６０ｄに、仮想対象物ＶＯ２は人６０ｃに、各々対応している。
　処理部１２は、仮想対象物ＶＯ１、ＶＯ２の表示に際し、必要に応じて仮想対象物ＶＯ１、ＶＯ２が歩行する路面Ｒ等、仮想対象物ＶＯ１、ＶＯ２の位置の把握に必要な程度の仮想的な空間の表示も行う。すなわち、カメラ８２の撮像画像には現れない部分を、透視した画像（つまり、遮蔽対象物を透視した画像）を併せて表示する。カメラ８２の撮像画像には現れない部分は、例えばＨＤマップと実画像とを対比させて作成する。以上の処理の結果得られる画像が、合成環境画像である。このような合成環境画像によれば、車両８０の運転者は、ＬｉＤＡＲ８１では直接検知できない人等の潜在対象物を、簡易かつ的確に認識することができる。さらにカメラ８２は高感度に設定可能なので、特に夜間において建物の陰で見えない人等を認識するのに威力を発揮する。なお、本実施形態では、カメラ８２による実画像に仮想対象物ＶＯ１、ＶＯ２を重畳して表示させる形態を例示して説明したが、これに限らず、例えば図３（ａ）に示す上面図に、仮想対象物ＶＯ１、ＶＯ２を重畳表示させる形態としてもよい。
　図８を参照して、本実施形態に係る視界支援表示装置１０が実行する表示処理について説明する。図８は、本表示処理を記述する表示プログラムの処理の流れを示すフローチャートである。表示プログラムは、一例として図示しないＲＯＭ等の記憶手段に記憶されており、ＣＰＵによって読み出され、ＲＡＭ等に展開されて実行される。
　以下の説明では、視界支援表示装置１０に対して、すでに本表示プログラムの実行開始の指示がなされているとする。実行開始の指示は、例えば制御部１１が車両８０のエンジンの始動を受信したタイミングとすることができる。制御部１１の処理部１２はＬｉＤＡＲ８１からの点群データ、カメラ８２からの撮像画像を連続的、または間欠的に取得している。制御部１１の通信部１４は、公共検知装置５０のＬｉＤＡＲ５２からの点群データを連続的、または間欠的に取得している。
　図８を参照して、ステップＳ１０で、制御部１１は、自車両である車両８０のＬｉＤＡＲ８１が検知した点群データを取得するように処理部１２を制御する。
　ステップＳ１１で、制御部１１は、自車両である車両８０の位置情報をＧＮＳＳ２０から取得するように処理部１２を制御する。本実施形態では、位置情報の一例として、車両８０の緯度、経度を取得する。
　ステップＳ１２で、制御部１１は、地図情報を取得するように通信部１４を制御する。通信部１４は通信ネットワーク３０を介して地図情報提供装置３１にアクセスし、ステップＳ１１で取得した緯度、経度に基づく所定の範囲の地図情報（ＨＤマップ）を取得する。その際、信号柱５１ａ、５１ｂの位置等の情報も併せて取得される。
　ステップＳ１３で、制御部１１は、自車両である車両８０の運転情報をＩＭＵ２１から取得するように処理部１２を制御する。本実施形態では、運転情報の一例として、車両８０の移動方向、速度等を取得する。当該移動方向、速度等の運転情報は、潜在対象物への接近の判断等、必要に応じて使用される。
　ステップＳ１４で、制御部１１は、公共検知装置５０から公共検知情報としての点群データを取得するように通信部１４を制御する。通信部１４は通信ネットワーク３０を介して信号柱５１ａの通信装置５３ａ、および信号柱５１ｂの通信装置５３ｂにアクセスし、ＬｉＤＡＲ５２ａ、および５２ｂからの点群データを取得する。本ステップで取得された点群データが、図５（ａ）に示す点群データである。
　ステップＳ１５で、制御部１１は、ステップＳ１０で取得した点群データと、ステップＳ１４で取得した点群データとの差分から、差分反射点グループのデータを生成するように処理部１２を制御する。本ステップで生成された差分反射点グループのデータの一例が、図５（ｂ）に示すデータである。
　ステップＳ１６で、制御部１１は、潜在対象物に対応する反射点グループを抽出するように処理部１２を制御する。上述したように、本実施形態では、ステップＳ１５で生成した図５（ｂ）に示すデータに、上述した第１の基準および第２の基準を適用して、図６（ｂ）に示す、潜在対象物に対応する反射点グループＲＧ１、およびＲＧ２を抽出する。
　ステップＳ１７で、制御部１１は、潜在対象物に対応する反射点グループを、仮想対象物として表示するためのデータを生成する。本ステップで生成されたデータの一例が、上述したマークとしての仮想対象物ＶＯ１、およびＶＯ２を表示するためのデータである。
　ステップＳ１８で、制御部１１は、カメラ８２から撮像画像、すなわち実画像を取得するように、処理部１２を制御する。
　ステップＳ１９で、制御部１１は、合成環境画像を生成するように、処理部１２を制御する。合成環境画像は、ステップＳ１８で取得した実画像に、ステップＳ１７で生成した仮想対象物ＶＯ１、ＶＯ２を重畳させて生成する。合成環境画像の一例が、図７（ｂ）に示す画像である。
　ステップＳ２０で、制御部１１は、ステップＳ１９で生成した合成環境画像を、モニタ８３に表示させるための制御信号を生成するように、制御信号生成部１３を制御する。
　ステップＳ２１で、制御部１１は、ステップＳ２０で生成された制御信号に基づいてモニタ８３に合成環境画像が表示されるように、モニタ８３を制御する。
　ステップＳ２２で、終了指示があったか判定する。当該判定が肯定判定の場合は本表示プログラムを終了し、否定判定の場合は、ステップＳ１０に戻り、点群データの取得を継続する。本表示プログラム終了の指示の判定は、例えば、運転者によって車両８０のエンジンが停止されたことを示す情報を、制御部１１が受け取ったタイミングとしてもよい。
　ここで、自車両としての車両８０の周囲の環境は、時々刻々変化するのが通常である。例えば図３（ｂ）に示す人６０ｄ、６０ｃは移動しているので、ある時点においては潜在対象物であっても時間の経過に伴って、ＬｉＤＡＲ８１で検知される通常の対象物になっている可能性もある。このような場合であっても、本表示処理では、開始後終了指示があるまでの間は常にステップＳ１０に戻ってループ処理しているので、潜在対象物を確実に追跡することができる。なお、図８に示すフローチャートは一例であって、処理の流れに矛盾を生じない限り、各ステップは前後してもよいし、入れ替えてもよい。
　以上詳述したように、本実施形態に係る視界支援表示装置、視界支援表示システム、および視界支援表示方法によれば、自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供することができる。
　なお、本実施形態では、公共検知装置としてＬｉＤＡＲを用いた形態を例示したが、ＬｉＤＡＲによる点群データでは人、特に静止している人を潜在対象物として認識することが困難な場合も想定される。この場合、公共検知装置としてカメラを用いれば、当該カメラの撮像画像を画像認識することによって、比較的簡易に静止している人をその位置も含めて判別することができる。
　また、多数の人が歩道を歩いているような場合には、多数の潜在対象物が抽出されることになる。このような場合には仮想対象物が錯綜するので、例えば自車両である車両８０に近い順に限られた数（例えば２、３個）の仮想対象物を表示するようにしてもよい。このような場合でも、本実施形態に係る表示処理は図８に示すようにループしているので、潜在対象物の入れ替え等更新にも対応することができる。
　ここで、図９を参照し、本実施形態に係る視界支援表示装置、視界支援表示システム、および視界支援表示方法の２つの変形例について説明する。第１の変形例は、潜在対象物の抽出に際し、自車両のＬｉＤＡＲによる点群データと、公共検知装置のＬｉＤＡＲによる点群データの差分データを用いるのではなく、自車両のＬｉＤＡＲの不検知領域を用いる形態である。本実施形態では、不検知領域に存在する点群を潜在対象物として抽出する。上記実施形態で説明した点群データの差分を用いる方法では、差分をとることにより点群の欠落が発生する可能性もある。その場合少ない点群により潜在対象物を抽出することになり、ノイズ等の影響を受ける場合も想定される。そのような場合に本変形例は有効である。
　図９（ａ）、（ｂ）を参照して、車両８０のＬｉＤＡＲ８１の不検知領域について説明する。本変形例では、ＬｉＤＡＲ８１は、水平方向だけでなく鉛直方向にも走査する。図９（ａ）は鉛直方向下方に走査する例であり、水平線ｈよりも鉛直方向下方に検知光Ｌ１が出射されている。ＬｉＤＡＲ８１の前方に対象物ＯＢ１が存在すると、対象物ＯＢ１に検知光Ｌ１による反射点ＲＰ１が形成され、対象物ＯＢのＬｉＤＡＲ８１と反対側の背後は検知することができない。検知光Ｌ１の延長線と路面Ｒとの交点を点Ｐ１とすると、対象物ＯＢ１から点Ｐ１までの範囲が不検知領域Ａ１と定義される。
　図９（ｂ）は鉛直方向上方に走査する例であり、水平線ｈよりも鉛直方向上方に検知光Ｌ２が出射されている。ＬｉＤＡＲ８１の前方に対象物ＯＢ２が存在すると、対象物ＯＢ２に検知光Ｌ２による反射点ＲＰ２が形成され、対象物ＯＢ２のＬｉＤＡＲ８１と反対側の背後は検知することができない。ＬｉＤＡＲ８１の検知可能な最大の距離に対応する点を点Ｐ２とすると、対象物ＯＢ２から点Ｐ２までの範囲が不検知領域Ａ２と定義される。不検知領域Ａ１、Ａ２は、ＬｉＤＡＲ８１の周囲に３次元的に形成される。
　以上のように特定された不検知領域Ａ１，Ａ２は、図示しないＨＤＤ等の記憶手段に記憶され、以下で説明する処理に利用される。ここで、上記のように特定された不検知領域は３次元データであり、特に不検知領域Ａ２では、ＬｉＤＡＲ８１の検知可能な最長の距離まで不検知領域とするので、データ量が大きくなることも想定される。その場合は、ＬｉＤＡＲ８１の鉛直方向の走査角度を固定し（すなわち、鉛直方向には走査しない）、ＬｉＤＡＲ８１から予め定められた距離（以下、「最大検知距離」）までの領域を不検知領域としてもよい。最大検知距離は、潜在対象物が、交通安全上自車両に影響を与えることが想定される最大距離として定めてもよい。このようにして不検知領域を特定すると、不検知領域のデータ量が少なくてすむ。
　図３（ｂ）、図５（ａ）を参照して、本変形例による潜在対象物の特定についてより詳細に説明する。例えば、図３（ｂ）において、建築物５４ｄの側壁には点群が形成されているので、建築物５４ｄが遮蔽対象物となっている。従って、当該点群の車両８０とは反対側に不検知領域Ａが形成される。不検知領域Ａに存在する人６０ｄには、当然ながら点群が形成されていない。一方図５（ａ）から不検知領域Ａに人６０ｄが存在することが分かる。従って、制御部１１は、人６０ｄが潜在対象物であると判定する。必要な場合にはさらに、上記第１の基準、あるいは第２の基準を適用してもよい。なお、図３（ｂ）に示す建築物５４ａ、５４ｂの背後にも不検知領域が形成される可能性もあるが、車両８０から離れているので、当該不検知領域において潜在対象物を検知することにあまり意味がない。そこで、上記の最大検知距離を適切に設定することにより、不検知領域に含めないようにすることもできる。本変形例によれば、より確実に潜在対象物を抽出することが可能となる。
　図９（ｃ）を参照して、第２の変形例について説明する。本変形例は、表示部としてモニタ８３の代わりに、スマートグラス（眼鏡型表示装置）を用いる形態である。スマートグラスとは、眼鏡のような形状を有し、眼鏡と同様に目の周辺に装着して使用するウェアラブルデバイスの1種である。実際に見ている光景に情報を付加し、重ねて表示することができるディスプレイで、その用途からＡＲ(Augmented Reality glass)グラスと呼ばれることもある。本実施形態では、スマートグラスを図２に示すモニタ８３の代わりに接続し、運転者はスマートグラスをかけて運転している。ＨＵＤを使用した場合には、視認に際し運転者の視線の移動を伴う。また、ＨＭＤ(Head Mounted Display)を使用した場合、ＨＭＤは目全体を覆うため、視界が遮られる可能性がある。スマートグラスによれば、以上のような欠点はないので、より安全を期することができる。
　図９（ｃ）は、スマートグラス８４における表示画像の一例を示している。スマートグラス内には実際の周囲の光景に、仮想対象物ＶＯ１、ＶＯ２が重畳して表示されている。運転者はスマートグラス８４内の実際の光景、仮想対象物ＶＯ１、ＶＯ２を視認することにより、どこに潜在対象物が存在しているかを認識することができる。さらに運転者は、スマートグラス８４から外れた周囲の光景も同時に視認することができるので、より安全性が高まる。
　以上詳述したように、本変形例に係る視界支援表示装置、視界支援表示システム、および視界支援表示方法によっても、自装置では直接検知できない対象物の情報を取得し、報知することが可能な視界支援表示装置、視界支援表示システム、および視界支援表示方法を提供することができる。特に第１の変形例によれば、潜在対象物をより確実に抽出することができる。また、第２の変形例によれば、潜在対象物の視認に際しての安全性をより高めることができる。
　本国際出願は、２０２２年１２月１４日に出願された日本国特許出願である特願２０２２－１９９３９４号に基づく優先権を主張するものであり、当該日本国特許出願である特願２０２２－１９９３９４号の全内容は、本国際出願に援用される。
　本発明の特定の実施の形態についての上記説明は、例示を目的として提示したものである。それらは、網羅的であったり、記載した形態そのままに本発明を制限したりすることを意図したものではない。数多くの変形や変更が、上記の記載内容に照らして可能であることは当業者に自明である。
１０…視界支援表示装置
１１…制御部
１２…処理部
１３…制御信号生成部
１４…通信部
２０…ＧＮＳＳ
２１…ＩＭＵ
３０…通信ネットワーク
３１…地図情報提供装置
５０…公共検知装置
５１、５１ａ、５１ｂ…信号柱
５２、５２ａ、５２ｂ…ＬｉＤＡＲ
５３、５３ａ、５３ｂ…通信装置
５４ａ、５４ｂ、５４ｃ、５４ｄ…建築物
５５…信号機
６０、６０ａ、６０ｂ、６０ｃ、６０ｄ…人
８０…車両
８１…ＬｉＤＡＲ
８２…カメラ
８３…モニタ
８４…スマートグラス
９０…車両
Ａ、Ａ１、Ａ２…不検知領域
ｈ…水平線
Ｌ１、Ｌ２…検知光
Ｌｃ、Ｌｐ１、Ｌｐ２…検知光束
ＯＢ１、ＯＢ２…対象物
Ｐ１、Ｐ２…点Ｒ…路面
ＲＰ、ＲＰ１、ＲＰ２…反射点
ＲＧ、ＲＧ１、ＲＧ２、ＲＧ３、ＲＧ４…反射点グループ
ＶＯ１、ＶＯ２…仮想対象物 

Claims (10)

  1. 　対象物を検知する検知部と、
    　前記検知部では検知できない潜在対象物を周囲の実画像と重畳させて表示部に表示させる制御部と、を備え、
    　前記制御部は、前記潜在対象物の視認を遮っている対象物と関連付けて、前記潜在対象物を報知する画像を前記表示部に表示させることを特徴とする視界支援表示装置。
  2. 　請求項１に記載の視界支援表示装置であって、
    　前記制御部は、前記潜在対象物の前記表示部への表示に際し、前記潜在対象物の視認を遮っている対象物を透視して前記潜在対象物を示すマークを表示させることを特徴とする視界支援表示装置。
  3. 　請求項１に記載の視界支援表示装置であって、
    　前記制御部は、公共検知装置による公共検知情報に含まれ、前記検知部による対象物の検知情報には含まれない対象を前記潜在対象物とすることを特徴とする視界支援表示装置。
  4. 　請求項３に記載の視界支援表示装置であって、
    　前記潜在対象物を抽出する処理部と、
    　前記視界支援表示装置の周囲を撮像した前記実画像を取得する撮像部と、
    　前記視界支援表示装置の位置情報を取得する位置情報取得部と、
    　地図情報提供装置から前記位置情報による位置の周囲の地図情報を取得し、前記公共検知装置から前記公共検知情報を取得する通信部と、
    　前記表示部と、をさらに備え、
    　前記処理部は、前記位置情報、前記地図情報、前記検知情報、および前記公共検知情報を用いて前記潜在対象物を抽出することを特徴とする視界支援表示装置。
  5. 　請求項４に記載の視界支援表示装置であって、
    　前記検知部、および前記公共検知装置は、検知光によって対象物に複数の反射点を含む点群を形成するＬｉＤＡＲであって、
    　前記処理部は、前記地図情報と前記検知情報を合成した第１の点群データと、前記地図情報と前記公共検知情報を合成した第２の点群データとの差分データに基づいて前記潜在対象物を抽出することを特徴とする視界支援表示装置。
  6. 　請求項５に記載の視界支援表示装置であって、
    　前記差分データは、各々反射点の集合である複数の潜在対象物候補を含み、
    　前記処理部は、形状に基づいて前記潜在対象物候補を選別する第１の基準、および移動状態に基づいて前記潜在対象物候補を選別する第２の基準の少なくとも一方を適用して、前記潜在対象物候補から前記潜在対象物を抽出することを特徴とする視界支援表示装置。
  7. 　請求項５に記載の視界支援表示装置であって、
    　前記処理部は、前記第１の点群データに基づいて前記反射点が形成された対象物の背後に前記検知部が検知できない不検知領域を設定し、前記第２の点群データに含まれる点群のうち前記不検知領域に存在する点群を前記潜在対象物として抽出することを特徴とする視界支援表示装置。
  8. 　請求項１に記載の視界支援表示装置であって、
    　前記表示部が眼鏡型表示装置であることを特徴とする視界支援表示装置。
  9. 　請求項４から請求項７のいずれか１項に記載の視界支援表示装置と、
    　前記地図情報提供装置と、
    　前記公共検知装置と、を含むことを特徴とする視界支援表示システム。
  10. 　対象物を検知する検知部と、前記検知部では検知できない潜在対象物を周囲の実画像と重畳させて表示部に表示させる制御部と、を備えた視界支援表示装置を用いた視界支援表示方法であって、
    　前記潜在対象物の視認を遮っている対象物と関連付けて、前記潜在対象物を報知する画像を前記表示部に表示させることを特徴とする視界支援表示方法。
PCT/JP2023/043385 2022-12-14 2023-12-05 視界支援表示装置、視界支援表示システム、および視界支援表示方法 WO2024128060A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022199394A JP2024085067A (ja) 2022-12-14 2022-12-14 視界支援表示装置、視界支援表示システム、および視界支援表示方法
JP2022-199394 2022-12-14

Publications (1)

Publication Number Publication Date
WO2024128060A1 true WO2024128060A1 (ja) 2024-06-20

Family

ID=91485701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/043385 WO2024128060A1 (ja) 2022-12-14 2023-12-05 視界支援表示装置、視界支援表示システム、および視界支援表示方法

Country Status (2)

Country Link
JP (1) JP2024085067A (ja)
WO (1) WO2024128060A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2006215911A (ja) * 2005-02-04 2006-08-17 Sumitomo Electric Ind Ltd 接近移動体表示装置、システム及び方法
JP2006285694A (ja) * 2005-03-31 2006-10-19 Honda Motor Co Ltd 車両間通信システム
WO2022154018A1 (ja) * 2021-01-18 2022-07-21 京セラ株式会社 運転支援システム、車両、撮影装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2006215911A (ja) * 2005-02-04 2006-08-17 Sumitomo Electric Ind Ltd 接近移動体表示装置、システム及び方法
JP2006285694A (ja) * 2005-03-31 2006-10-19 Honda Motor Co Ltd 車両間通信システム
WO2022154018A1 (ja) * 2021-01-18 2022-07-21 京セラ株式会社 運転支援システム、車両、撮影装置

Also Published As

Publication number Publication date
JP2024085067A (ja) 2024-06-26

Similar Documents

Publication Publication Date Title
EP1961613B1 (en) Driving support method and driving support device
US10600250B2 (en) Display system, information presentation system, method for controlling display system, computer-readable recording medium, and mobile body
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
US8094192B2 (en) Driving support method and driving support apparatus
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
US10029700B2 (en) Infotainment system with head-up display for symbol projection
US8686873B2 (en) Two-way video and 3D transmission between vehicles and system placed on roadside
JP2001344597A (ja) 融合視界装置
WO2018167966A1 (ja) Ａｒ表示装置及びａｒ表示方法
WO2010029707A2 (ja) 画像照射システム及び画像照射方法
JP4981566B2 (ja) 運転支援装置および運転支援方法
EP1878618A2 (en) Driving support method and apparatus
US20070003162A1 (en) Image generation device, image generation method, and image generation program
JP4784572B2 (ja) 運転支援方法及び運転支援装置
JP2004219664A (ja) 情報表示システム及び情報表示方法
JP7163748B2 (ja) 車両用表示制御装置
JPH0935177A (ja) 運転支援方法および運転支援装置
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP4715325B2 (ja) 情報表示装置
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
KR20170014451A (ko) 시야 확보 시스템, 방법 및 이를 수행하기 위한 단말
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2010073032A (ja) 画像照射システムおよび画像照射方法
JP6947873B2 (ja) Ａｒ表示装置、ａｒ表示方法、およびプログラム
WO2024128060A1 (ja) 視界支援表示装置、視界支援表示システム、および視界支援表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23903349

Country of ref document: EP

Kind code of ref document: A1