[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2019097595A1 - 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム - Google Patents

車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム Download PDF

Info

Publication number
WO2019097595A1
WO2019097595A1 PCT/JP2017/041024 JP2017041024W WO2019097595A1 WO 2019097595 A1 WO2019097595 A1 WO 2019097595A1 JP 2017041024 W JP2017041024 W JP 2017041024W WO 2019097595 A1 WO2019097595 A1 WO 2019097595A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
intention
display
display content
giving
Prior art date
Application number
PCT/JP2017/041024
Other languages
English (en)
French (fr)
Inventor
義広 都丸
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201780096507.3A priority Critical patent/CN111344761A/zh
Priority to PCT/JP2017/041024 priority patent/WO2019097595A1/ja
Priority to JP2019554086A priority patent/JP6651062B2/ja
Priority to DE112017008149.1T priority patent/DE112017008149B4/de
Priority to US16/652,176 priority patent/US11087224B2/en
Publication of WO2019097595A1 publication Critical patent/WO2019097595A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/549—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for expressing greetings, gratitude or emotions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to an outside communication apparatus and an outside communication method for displaying display content to a pedestrian, an information processing apparatus constituting a part of the outside communication apparatus, and an outside communication program for causing a computer to execute an outside communication method.
  • a notification device for a vehicle has been proposed for notifying the pedestrian recognized by the recognition device of the recognition by irradiation of the marking light (see, for example, Patent Document 1).
  • This device determines whether the pedestrian has an intention to cross the road (ie, crossing intention) based on the detection result of the camera. Specifically, this device determines that the pedestrian has the crossing intention when the pedestrian takes a predetermined action (for example, raising hand, direction of face).
  • the above-described device determines the pedestrian's crossing intention based on only predetermined behavior, it can not accurately determine the pedestrian's crossing intention. Therefore, it is not possible to accurately determine whether the pedestrian has the intention (i.e., the intention to give the vehicle) to give way to the vehicle, and it is impossible to provide appropriate information to the pedestrian.
  • the present invention has been made to solve the above-described problems, and an object thereof is to accurately determine the state of the pedestrian's intention to give away and to display an appropriate display content for the pedestrian.
  • a communication device and an external communication method, an information processing device forming part of the external communication device, and an external communication program for causing a computer to execute the external communication method are provided.
  • a communication apparatus outside the vehicle according to a state of giving intention and a head of the pedestrian, which is an intention that the pedestrian intends to give way to a vehicle based on a learning database created in advance from traffic scenes.
  • a transfer intention determination parameter learning unit that learns in advance a relationship between a behavior and the position of the pedestrian, and generates a transfer intention determination parameter that is learning data in which the behavior and the position are linked to the state of the transfer intention;
  • a storage unit for storing transfer intention determination parameters, a peripheral situation acquisition unit for acquiring a head image and position of a first pedestrian, an acquired head image and position of the first pedestrian, and the storage unit
  • a transfer intent determination unit that determines the state of the first pedestrian's transfer intent based on the transfer intent determination parameter stored in the display unit; a display device that displays the display content on the road; Whether to display the display content for the first pedestrian based on the result of the determination of the state of the first pedestrian's intention to yield, the content of the display content, and the road of the display content
  • a display control unit that determines a display position on the upper side and controls the display based on the determination.
  • a method for communicating outside a vehicle according to a state of giving intention and a head of the pedestrian which the pedestrian intends to give way to a vehicle based on a learning database created in advance from traffic scenes.
  • the relationship between the behavior of the pedestrian and the position of the pedestrian is learned in advance, a transfer intention judging parameter which is learning data in which the behavior and the position are linked to the state of the transfer intention is generated, and the transfer intention judgment parameter is stored.
  • Storing in the storage unit storing in the storage unit, acquiring the head image and position of the first pedestrian from the surrounding situation acquiring unit, and acquiring the acquired head image and position of the first pedestrian Determining the state of the first pedestrian's intention to give on the basis of the second intention to decide on the intention of giving the second pedestrian, and based on the result of determining the state of the intention to give the first pedestrian. Determining whether to display the display content for the first pedestrian, the content of the display content, and the display position of the display content on the road, and displaying the display content on the road based on the determination And controlling an indicator to be displayed.
  • the state of the pedestrian's giving intention can be accurately determined, and appropriate display content can be displayed for the pedestrian.
  • FIG. 1 is a functional block diagram schematically showing a configuration of an external communication device according to Embodiment 1.
  • FIG. 1 is a diagram showing an example of the positional relationship between a vehicle equipped with an external communication device according to Embodiment 1 and a pedestrian. It is a figure which shows the example of the position of the pedestrian with respect to a vehicle, and the display content displayed on the road. It is a flowchart which shows the learning operation (it is performed by an off-line process) by the transfer intention determination parameter learning part of the communication apparatus outside the vehicle which concerns on Embodiment 1.
  • FIG. It is a figure which shows the example of the transfer intent judgment parameter memorize
  • FIG. 7 is a table showing an example of a necessity determination table used by the display necessity determining unit of the external communication device according to the first embodiment;
  • FIG. 7 is a diagram showing an example of a content DB used by a display content determination unit of the external communication device according to the first embodiment in a tabular form.
  • FIG. 7 is a functional block diagram schematically showing a configuration of an external communication device according to Embodiment 2. It is a flowchart which shows the learning operation (it is performed by an offline process) by the understanding degree judgment parameter learning part of the communication apparatus outside the vehicle which concerns on Embodiment 2.
  • An external communication apparatus according to an embodiment of the present invention, an external communication method, an information processing apparatus forming part of an external communication apparatus, and an external communication program for causing a computer to execute an external communication method will be described with reference to the attached drawings. While explaining.
  • the communication apparatus outside the vehicle is provided in a vehicle (for example, a car), and enables communication between the vehicle and the pedestrian by displaying display content for a person on the road around the vehicle (ie, a pedestrian) It is The following embodiments are merely examples, and various modifications are possible within the scope of the present invention.
  • FIG. 1 is a functional block diagram schematically showing a configuration of the external communication device according to the first embodiment.
  • the communication apparatus outside the vehicle shown in FIG. 1 is an apparatus capable of executing the communication method outside the vehicle according to the first embodiment.
  • the communication apparatus outside the vehicle is created from a traffic scene in advance, and a surrounding situation acquisition unit 10 for photographing or detecting the situation around the vehicle (for example, an object around the vehicle).
  • learning for example, machine learning or deep learning
  • data such as the transfer intention determination parameter learning unit 20 which generates the transfer intention determination parameter 31 in advance
  • storage unit 30 which is a storage device stored in advance.
  • the giving intention judging parameter learning unit 20 is provided to generate the giving intention judging parameter 31 by learning using the image data and sensor data of the learning DB, and is not used when performing the communication outside the vehicle.
  • the image data of the learning DB is image data obtained by capturing a traffic scene with a camera for acquiring the learning DB.
  • the sensor data of the learning DB is data obtained by detecting an object in a traffic scene using a millimeter wave sensor or a laser sensor for acquiring the learning DB.
  • the communication apparatus outside the vehicle according to the first embodiment is a state (for example, “withdrawal intention”), “dealing intention” of an actual pedestrian (hereinafter also referred to as “first pedestrian”) in an actual traffic scene.
  • a display control unit 50 for controlling the display unit 60.
  • the display control unit 50 displays the display content on the road surface.
  • “Without intention” is a state in which the pedestrian has an intention to cross the road before the vehicle passes, that is, a state in which the pedestrian does not have an intention to give the road to the vehicle.
  • “Abandonment decision” is a state in which a pedestrian crosses the road before passing the vehicle or passes the vehicle first, and he / she crosses the road after passing the vehicle or is lost. It is a state.
  • the head extraction unit 14, the pedestrian detection unit 15, the yield intention determination parameter learning unit 20, the yield intention determination unit 40, and the display control unit 50 constitute an information processing apparatus according to the first embodiment.
  • An example of the hardware configuration of the information processing apparatus is shown in FIG. 14 described later.
  • FIG. 2 shows an example of the positional relationship between the vehicle 91 provided with the communication apparatus outside the vehicle according to the first embodiment and an actual pedestrian (hereinafter also referred to as “first pedestrian”) 92 going to cross the road 93.
  • FIG. FIG. 3 is a diagram showing an example of the position of the first pedestrian 92 with respect to the vehicle 91 and the display content 61 displayed on the road 93.
  • the vehicle 91 is at the origin (0, 0) in the V x -V y Cartesian coordinate system, and has its tip directed in the arrow 94 direction, that is, in the + V y axis direction.
  • the first pedestrian 92 is at coordinates (V x h , V y h ) and faces in the direction of arrow 95, that is, in the direction of -V x and walks in the direction of-V x and crosses the road 93 Or I want to cross and stop.
  • the surrounding condition acquisition unit 10 is a means for acquiring a head image of the first pedestrian 92 around the vehicle 91 and a position of the first pedestrian 92.
  • the periphery of the vehicle 91 is an area within a predetermined angle range in front of the vehicle 91, that is, in the direction of the arrow 94.
  • the surrounding condition acquisition unit 10 captures an image by the camera 11 that captures an image, the millimeter wave sensor 12 and the laser sensor 13 that detects the position of the first pedestrian 92 as an object, and the camera 11
  • the position of the first pedestrian 92 is detected from sensor data provided from the head extraction unit 14 that extracts the head image of the first pedestrian 92 from the captured image, and the millimeter wave sensor 12 and the laser sensor 13 And a pedestrian detection unit 15.
  • the head of the first pedestrian 92 includes the face of the first pedestrian 92.
  • the position of the first pedestrian 92 may be measured based on an image (for example, a head image) of the first pedestrian 92 captured by the camera 11 Good.
  • the position of the first pedestrian 92 can be identified by the distance L from the vehicle 91 to the first pedestrian 92 and the direction (arrow 96) of the first pedestrian 92 viewed from the vehicle 91.
  • the millimeter wave sensor 12 detects the position of the object using millimeter waves.
  • the millimeter wave sensor 12 is also called a millimeter wave radar.
  • the laser sensor 13 detects the position of an object using a laser beam.
  • the peripheral situation acquiring unit 10 is not limited to the configuration shown in FIG. 1 as long as it can acquire the head image of the first pedestrian 92 and the position of the first pedestrian 92.
  • the giving intention determining parameter learning unit 20 is used to generate the giving intention determining parameter 31 and store the giving intention determining parameter 31 in the storage unit 30 before using the external communication device according to the first embodiment in an actual traffic scene.
  • the giving intention determining parameter learning unit 20 is used in a state where the camera 11 in FIG. 1 is separated from the head extraction unit 14 and the millimeter wave sensor 12 and the laser sensor 13 are separated from the pedestrian detection unit 15. Processing in this state is called off-line processing.
  • the giving intention judging parameter learning unit 20 is a state of giving intention that is an intention for the pedestrian to give the vehicle to the vehicle based on a learning DB created in advance from the traffic scene, the behavior of the head of the pedestrian and the above The relationship between the position of the pedestrian and the position of the pedestrian are learned in advance, and the intention-to-transfer judgment parameter 31, which is learning data in which "the behavior of the head of the pedestrian" and “the position of the pedestrian" are linked to "state of giving intention” And stores the giving intention determination parameter 31 in the storage unit 30.
  • the behavior of the pedestrian's head is the pedestrian's face orientation, change in the face orientation, the time during which the face orientation is maintained in a fixed direction, the pedestrian's gaze, the pedestrian's face
  • the judgment can be made by extracting the facial expression of or the combination thereof.
  • the change in the orientation of the face may include the movement of the head for the pedestrian to confirm the passage of the vehicle, the movement of the head when the pedestrian pleads, and the like.
  • the state of giving intention appears, for example, when the pedestrian has the intention to give, "with intention to give”, when the pedestrian does not give the intention to give “without intention to give it", and the pedestrian takes the vehicle to the vehicle. It includes one or more of the "undecided” or “lost” states that appear when you give way or cross the road first.
  • the storage unit 30 storing the transfer intention determination parameter 31 can be configured by a semiconductor memory, a hard disk drive, or the like.
  • the storage unit 30 has a necessity determination table 32 in which necessity information indicating whether or not display of display content is required is linked to the “state of intention to take over” in addition to the intention to take over decision parameter 31 and the intention to transfer.
  • a content database (content DB) 33 in which the display content is linked to the state is stored in advance.
  • the transfer intention determination parameter 31, the necessity determination table 32, and the content DB 33 may be respectively stored in a plurality of different storage units.
  • the yield intention determination unit 40 determines the first pedestrian.
  • Judge 92 giving intentions The giving intention of the first pedestrian 92 appears when the first pedestrian 92 has an giving intention, “with giving intention”, and appears when the first pedestrian 92 has no giving intention. "Without intention”, and “Without intention” or “In a state of being lost” which appears when the first pedestrian 92 is wondering whether he will give way to the vehicle or cross the road ahead. Includes one or more.
  • the display device 60 is a device that displays the display content 97 on the road surface of the road 93.
  • the display 60 is, for example, a projector that projects an image.
  • the display control unit 50 determines whether the display content for the first pedestrian 92 is to be displayed, the content of the display content, and the display content based on the result of the determination of the state of the first pedestrian 92's giving intention.
  • the display position on the road 93 is determined, and the display 60 is controlled based on the determination.
  • the display control unit 50 has a display necessity determination unit 51 that determines whether to display the display content based on the necessity determination table 32 stored in the storage unit 30.
  • the display control unit 50 also has a display content determination unit 52 that determines display content based on the content DB 33 stored in the storage unit 30.
  • the display control unit 50 includes a display position determination unit 53 that controls the display 60 so that the display content 97 is displayed at a position on a line segment 98 connecting the vehicle 91 and the first pedestrian 92.
  • the display position determination unit 53 displays the characters included in the display content such that the lower part of the characters is located near the first pedestrian 92 and the upper part of the characters is located farther from the first pedestrian 92 Control the machine 60.
  • the operation of the communication apparatus outside the vehicle is off-line processing (FIG. 4 described later) in which learning is performed using a learning DB to create transfer intention determination parameter 31, and the first in the actual traffic scene.
  • the determination of the state of transfer intention of the pedestrian 92 is performed, and the on-line processing (described later shown in FIG. 6) for displaying the display content is included.
  • the learning DB is equipped with a camera for acquiring the learning DB, a millimeter wave sensor, and a laser sensor on a vehicle for acquiring the learning DB, and takes several seconds to several tens of pedestrians under an experimental environment assuming an actual traffic scene. It is a collection of time series image data and time series sensor data obtained by photographing and detecting a second time.
  • the transfer intention determination parameter 31 is generated prior to the use of the external communication device in an actual traffic scene, and is stored in the storage unit 30.
  • time-series image data and time-series sensor data of the DB for learning are the state of the pedestrian's intention of giving away, "with giving intention”, “without giving intention”, “not giving with giving”, and "walking” Are linked to pedestrian behavior such as “independent of traffic on the road”.
  • the acquisition method of the time-sequential image data of learning DB and time-sequential sensor data can be selected freely, and if it follows an actual traffic scene, there is no restriction
  • the millimeter wave sensor 12, the laser sensor 13 and the camera 11 attached to the vehicle 91 have been calibrated in advance. Therefore, the communication apparatus outside the vehicle has already acquired information indicating the mounting position and mounting direction of the millimeter wave sensor 12, the laser sensor 13, and the camera 11 with respect to the vehicle 91.
  • FIG. 4 is a flowchart showing a learning operation by the yield intention determining parameter learning unit 20 of the external communication device according to the first embodiment.
  • time-series sensor data of the learning DB prepared in advance is input to the pedestrian detection unit 15, and time-series image data of the learning DB prepared in advance is input to the head extraction unit 14. Ru.
  • the head extraction unit 14 trims and extracts the head of the pedestrian from the image based on the learning DB (step S101).
  • the extraction of the head can be performed by a method using Histograms of Oriented Gradients (HOG) or a method using a learned neural network such as Single Shot MultiBox Detector (SSD).
  • HOG Histograms of Oriented Gradients
  • SSD Single Shot MultiBox Detector
  • step S102 the position of the pedestrian on the road is detected based on the vehicle from the sensor data of the learning DB in the pedestrian detection unit 15 (step S102).
  • the correspondence between the position in the image of the head of the pedestrian acquired by the head extraction unit 14 and the position obtained by detecting the head of the pedestrian by the millimeter wave sensor 12 or the laser sensor 13 is calculate. Since the millimeter wave sensor 12, the laser sensor 13, and the camera 11 have been calibrated, the image coordinate system in the image obtained by photographing with the camera 11 and the sensor coordinate system obtained by the millimeter wave sensor 12 and the laser sensor 13 Coordinates can be converted between By averaging the position of the pedestrian on the road obtained from the detection signal of the millimeter wave sensor 12 and the position of the pedestrian on the road obtained from the detection signal of the laser sensor 13, highly accurate position information can be obtained You can get it. Thus, it is possible to acquire, from the learning DB, a data group which is a set of time-series head images and time-series positions on the road.
  • the yield intention determination parameter learning unit 20 learns based on the acquired data group.
  • the model used in this learning may be a neural network using Long Short-Term Memory (LSTM), a Hidden Markov Model (HMM), or any other model capable of solving a classification problem based on time series data. It does not matter. No matter what model is used, it takes as input the time series head image and the position of the pedestrian's time series on the road, and gives a tag that is the behavior of the pedestrian as output teacher data to learn Good.
  • the parameter for the model obtained by this learning is stored in the storage unit 30 as the yield intention determination parameter 31 (step S103).
  • FIG. 5 is a table showing an example of the yield intention determination parameter 31 stored in the storage unit 30. As shown in FIG. The giving intention determination parameter 31 is tagged based on the behavior of the pedestrian.
  • the data tags indicating the transfer intention of the pedestrian “with transfer intention”, “without transfer intention”, and “transfer without intention decision” are prepared, and for each of the data tags, the scene # N (N Is an integer greater than or equal to 1).
  • the data group of one scene has a head image data group consisting of time series head image data and a road position data group consisting of time series position data on the road.
  • FIG. 6 is a flowchart showing the outside communication operation (performed by online processing) in an actual traffic scene of the outside communication apparatus according to the first embodiment.
  • time-series sensor data of the millimeter wave sensor 12 and the laser sensor 13 are input to the pedestrian detection unit 15, and time-series image data captured by the camera 11 is input to the head extraction unit 14. It is input.
  • the head of the first pedestrian 92 is extracted from the photographed image of the camera 11 provided in the vehicle 91 by the head extraction unit 14 (step S111). Then, the pedestrian detection unit 15 detects a value of sensor data of the millimeter wave sensor 12 and the laser sensor 13 being sensed, and the position of the head of the first pedestrian 92 in the image of the first pedestrian on the road The position 92 is calculated (step S112). This process is similar to that of the off-line process.
  • the yield intention determination unit 40 determines the state of the first pedestrian 92's intention to yield (Step S113). This can be calculated by inputting the head image of the pedestrian and the position of the first pedestrian 92 on the road with respect to the model to which the obtained intention-to-transfer decision parameter 31 is applied.
  • the behavior of the first pedestrian 92 obtained here is any of the tags registered in the learning DB.
  • the display necessity determination unit 51 determines the necessity of the display of the display content for the first pedestrian 92 based on the behavior of the first pedestrian 92 (steps S114 and S115).
  • the necessity of the display of the display content for the first pedestrian 92 is determined based on the necessity determination table 32 created in advance. For example, if the behavior of the first pedestrian 92 is the behavior of "willing to give in”, a display is necessary to show gratitude to the first pedestrian 92, that is, the display is "necessary” .
  • the behavior of the first pedestrian 92 is “don't care about traffic”, ie no display is necessary for people who only stand near the intersection without intention of crossing, ie the display becomes “unnecessary”
  • the necessity determination table 32 is created.
  • FIG. 7 is a table showing an example of the necessity determination table 32 used by the display necessity determining unit 51 of the communication apparatus outside the vehicle according to the first embodiment.
  • the display content determination unit 52 determines the display content for the first pedestrian 92 from the content DB 33 (step S116).
  • the display content corresponding to the behavior of the first pedestrian 92 determined by the giving intention judging unit 40 is from the content DB 33 which is a content group linked to each behavior of the pedestrian created in advance when determining the display content. It is selected.
  • FIG. 8 is a diagram showing an example of the content DB 33 used by the display content determination unit 52 of the external communication device according to the first embodiment in the form of a table. As shown in FIG. 8, it is possible to prepare a plurality of display contents corresponding to the behavior of the first pedestrian 92 in the content DB 33, in which case the age and race of the first pedestrian 92 are , Gender, etc. may be selected. A known method can be adopted as a method of identifying the age, race, gender and the like of the first pedestrian 92.
  • the display position determination unit 53 determines the display position and the angle of the display content (step S117).
  • the + V y axis direction of the V x -V y coordinate system having the center of the rectangle circumscribing the vehicle 91 as the origin is the coordinate axis of the traveling direction.
  • the display position (V x — d , V y — d ) and the display angle ⁇ are determined according to the following calculation formula be able to.
  • FIG. 3 shows an example of the position of the first pedestrian 92 with respect to the vehicle 91 and the display content 97 displayed on the road 93.
  • the process ends (step S118).
  • the content corresponding to “thank you” in FIG. 8 can be applied as the display content 97.
  • the content corresponding to “Please go ahead” in FIG. 8 may be applied as the display content 97. it can.
  • the content corresponding to “Will you be welcome” in FIG. 8 is applied as the display content 97. can do.
  • the external communication apparatus automatically learns a rule from time series data indicating the behavior of a pedestrian and a tag linked thereto. , As a learning data, it generates a transfer intention judgment parameter 31.
  • the state of the giving intention of the first pedestrian 92 is determined according to the giving intention judging parameter 31, so when only the rule decided in advance is used In comparison with, it is possible to accurately determine the state of intention to give. Therefore, it is possible for the first pedestrian 92 to display the display content of the appropriate content at the appropriate display position.
  • the display content is not displayed if the display of the display content is unnecessary. can do. For this reason, it is possible to suppress display of lowering the emotion gain for the first pedestrian 92 by displaying unnecessary display content.
  • the communication apparatus outside the vehicle is the first walking based on the result of the determination of the state of giving intention of the first pedestrian 92 (steps S111 to S113 in FIG. 6) It is determined whether the display content is displayed to the person 92 (steps S114 and S115 in FIG. 6), the content of the display content is determined (step S116 in FIG. 6), and the display position of the display content on the road 93 Are determined (step S117 in FIG. 6), and the display 60 is controlled based on these determinations (step S118 in FIG. 6).
  • the first pedestrian 92 can not understand the display content displayed on the road 93 by the display 60 or can not visually recognize the display content displayed on the road 93.
  • the communication apparatus outside the vehicle determines the degree of understanding of the display content by the pedestrian, and when the display content can not be understood, the display content is changed to a new one and the first pedestrian 92 Allow the user to understand the displayed content.
  • FIG. 9 is a functional block diagram schematically showing the configuration of the external communication device according to the second embodiment.
  • the same or corresponding components as those shown in FIG. 1 are denoted by the same reference numerals as those shown in FIG.
  • the communication apparatus outside the vehicle shown in FIG. 9 is an apparatus capable of executing the communication method outside the vehicle according to the second embodiment.
  • the external communication apparatus determines the understanding level of the display content by the first pedestrian 92 using the understanding level determination parameter learning unit 70 that generates the understanding level determination parameter 34 and the understanding level determination parameter 34.
  • This embodiment differs from the communication apparatus outside the vehicle according to the first embodiment in that it has an understanding level judging unit 80 and a display content changing unit 54.
  • the understanding level determination parameter learning unit 70 learns in advance the relationship between the pedestrian's comprehension of the display content displayed on the road 93, the behavior of the pedestrian's head, and the position of the pedestrian, and walks to the comprehension level
  • An understanding level determination parameter 34 which is learning data linking the behavior of the person's head and the position of the pedestrian, is generated and stored in the storage unit 30a.
  • the behavior of the head of the pedestrian linked to the understanding level in the understanding level determination parameter 34 is the behavior that appears when the pedestrian understands the display content, the behavior that appears when the pedestrian does not understand the display content, and the walking Include one or more of the behaviors that appear when the viewer can not view the displayed content.
  • the behavior that appears when the pedestrian understands the display content is, for example, the behavior in which the pedestrian moves his head and nods.
  • Behaviors that appear when the pedestrian does not understand the display content include, for example, behavior where the pedestrian tilts his head, and expressions of questions appearing on the pedestrian's face.
  • the behavior that appears when the pedestrian can not view the display content is, for example, a behavior in which the pedestrian moves the head vertically and horizontally to look at a portion of the display content hidden in the shadow of the obstacle.
  • the understanding level determination unit 80 determines the head image of the first pedestrian 92 acquired by the surrounding condition acquisition unit 10, the position of the first pedestrian 92, and the understanding level determination parameter 34 stored in the storage unit 30a.
  • the degree of understanding of the display content of the first pedestrian 92 is determined based on
  • the display control unit 50 determines the necessity of the change of the displayed content based on the result of the determination of the understanding level of the display content by the first pedestrian 92, and based on the determination of the necessity of the change. Control the display 60. Except for the above points, the configuration of the communication apparatus outside the vehicle according to the second embodiment is the same as that of the first embodiment.
  • the off-vehicle communication apparatus performs off-line processing for creating the transfer intention determination parameter 31 and the understanding level determination parameter 34, and determines and understands the transfer intent in the actual traffic scene. And an on-line process of providing display content to the first pedestrian 92 based on the determination of the degree.
  • a learning DB similar to that of the first embodiment is used in the off-line processing. Also, it is assumed that the millimeter wave sensor, the laser sensor, and the camera have been calibrated.
  • a time-series obtained by detecting a pedestrian for a period of several seconds to several tens of seconds under an experimental environment assuming an actual traffic scene. It is assumed that a learning DB for preparing an understanding level, which is a set of sensor data and time-series image data, is prepared in advance.
  • each data is tied to the pedestrian's understanding level such as "I understand the display content”, “I can not understand the content” of the display content, “I can not see the display content”, “I do not look at the display content” Shall be
  • FIG. 10 is a flowchart showing learning operation (performed by off-line processing) by the understanding level determination parameter learning unit 70 of the external communication device according to the second embodiment.
  • step S200 The learning of the giving intention determination parameter 31 (step S200) is similar to the off-line processing in the first embodiment.
  • the head extraction unit 14 trims and extracts the pedestrian's head from all images in the understanding level learning DB (step S201).
  • the extraction of the pedestrian's head can be performed by the same known method as learning of the yield intention determination parameter 31.
  • the pedestrian detection unit 15 detects the position of the pedestrian on the road based on the position of the vehicle from all the sensor data of the understanding level learning DB (step S202).
  • a known method can be used as in the case of learning of the yield intention determination parameter 31. Through these processes, it is possible to acquire time series head image data and a set of time series position data on the road from the understanding level learning DB.
  • FIG. 11 is a table showing an example of the understanding level determination parameter 34 stored in the storage unit 30a. Further, since data of the understanding level learning DB is tagged in accordance with the level of understanding of the pedestrian, a group of data that can be organized as shown in FIG. 11 is generated.
  • the understanding level determination parameter learning unit 70 learns based on the generated data group (step S203).
  • the model used for learning may be any model that can solve a classification problem based on time series data, such as a neural network using LSTM or one using a hidden Markov model. Whatever model is used, time series head image data and pedestrian position data on the road may be used as an input, and a tag indicating an understanding level may be given and learned as output teacher data.
  • the parameters for the model acquired by learning are stored in the storage unit 30a as the understanding level determination parameter 34 (step S203).
  • FIG. 12 is a flowchart showing the outside-vehicle communication operation (performed by online processing) in an actual traffic scene of the outside-vehicle communication device according to the second embodiment.
  • process steps having the same contents as the process steps shown in FIG. 6 are assigned the same step numbers as the step numbers in FIG.
  • the processes of steps S111 to S118 are the same as those in FIG.
  • the understanding level determination unit 80 determines the head image data of the first pedestrian 92 provided from the head extraction unit 14 and the first pedestrian 92 on the road provided from the pedestrian detection unit 15.
  • the position data is used to determine the degree of understanding of the display content for the first pedestrian 92 by the first pedestrian 92 (step S211).
  • This determination applies the head image data of the first pedestrian and the position data of the first pedestrian 92 on the road 93 to the model to which the understanding level determination parameter 34 acquired by learning in offline processing is applied. It can calculate by doing.
  • the comprehension degree obtained by this process is any of the tags registered in the comprehension degree learning DB, for example, one of the “data tags indicating comprehension degree” shown in the left column of FIG.
  • step S212 If it is determined in step S212 that the determination result is "I understand” the display content, the processing is ended without changing the display content (the display content that has already been displayed is not changed).
  • step S212 if the determination result is other than understanding the display content, the display content change unit 54 changes the display content (step S213).
  • the display content changing unit 54 may select display content in the content DB 33 corresponding to the behavior of the first pedestrian 92 provided by the transfer intention determination unit 40, which is different from the display content displayed previously. For example, in the case where the behavior of the first pedestrian 92 indicates “withdrawal intention” and “thank you” in FIG. 8 is selected and already displayed as the display content, the display content is not displayed yet. You can change it to "Thank you !!" Thus, although it is possible to select new display content at random, more appropriate new display content by making the content of the behavior of each pedestrian in the content DB 33 correspond in advance to each understanding level Can be provided to the first pedestrian 92.
  • FIG. 13 is a diagram showing an example of the content DB 33 used by the display content changing unit 54 of the external communication device according to the second embodiment in a tabular form.
  • the content DB 33 is prepared corresponding to the type of understanding level as shown in FIG. 13, the behavior of the first pedestrian 92 is "withdrawal intention” and the basic display content "thank you” Is displayed, if the comprehension degree is judged to be “invisible”, that is, “invisible” in the intelligibility judgment, it belongs to the item “with intention to give over” and "content can not be viewed” Can be changed to the display of "thank you” which reversed the bright area and the dark area corresponding to.
  • the external communication device automatically learns a rule from time-series data indicating the behavior of a pedestrian and a tag linked thereto. , And generates an understanding level determination parameter 34 as learning data. Then, the understanding level determination parameter 34 is used to determine the understanding level of the first pedestrian 92, and the display content is changed to a new one according to the understanding level of the display content. Therefore, the information can be accurately provided to the first pedestrian 92.
  • FIG. 14 is a diagram showing a hardware configuration of the communication apparatus outside the vehicle according to the first and second embodiments.
  • this communication apparatus outside the vehicle includes a processor 101, an external storage medium 102 as a storage device, a memory 103 as another storage device, a network interface 104, and a display interface 105. These configurations are connected to each other directly or through data bus 106.
  • the camera 11, the millimeter wave sensor 12, and the laser sensor 13 are connected to the data bus 106 via the network interface 104.
  • the display 60 is connected to the data bus 106 via the display interface 105.
  • the external communication apparatus is realized by an apparatus (for example, a computer) using a memory 103 for storing an external communication program as software and a processor 101 for executing the program stored in the memory 103.
  • the out-of-vehicle communication program can be obtained by downloading via the Internet or from a recording medium storing the out-of-vehicle communication program.
  • the storage unit 30 in FIG. 1 corresponds to the memory 103 or the external storage medium 102 in FIG.
  • the communication apparatus outside the vehicle according to the second embodiment can be realized by an apparatus (for example, a computer) using the memory 103 storing the communication program outside the vehicle and the processor 101 executing the program stored in the memory 103.
  • the storage unit 30a in FIG. 9 corresponds to the memory 103 or the external storage medium 102 in FIG.
  • the whole or part of can be realized by the memory 103 shown in FIG. 14 and the processor 101 that executes a program.
  • the vehicle carrying the said communication apparatus outside a vehicle can be mounted in the various vehicles which drive
  • the display position of the display content displays the vehicle 91 and the first pedestrian 92 on the road surface on the line of sight by detecting the direction of the line of sight of the first pedestrian 92, not only on the line segment 98. You may
  • peripheral condition acquisition unit 11 camera, 12 mm wave sensor, 13 laser sensor, 14 head extraction unit, 15 pedestrian detection unit, 20 yield determination parameter learning unit, 30, 30a storage unit, 31 yield intention determination parameter, 32 necessity determination table, 33 content DB, 34 comprehension degree judgment parameter, 40 yield intention judgment part, 50, 50a display control part, 60 display unit, 70 comprehension degree judgment parameter learning part, 80 comprehension degree judgment part.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)

Abstract

車外コミュニケーション装置は、学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と歩行者の頭部の挙動と歩行者の位置との関係を予め学習し、譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタ（３１）を生成し、これを記憶部（３０）に記憶させる譲り意思判断パラメタ学習部（２０）と、周辺状況取得部（１０）から取得した実際の歩行者の頭部画像及び位置と記憶部（３０）に記憶されている譲り意思判断パラメタ（３１）とに基づいて実際の歩行者の譲り意思を判断する譲り意思判断部（４０）と、実際の歩行者の譲り意思の状態の判断の結果に基づいて、実際の歩行者に対して表示コンテンツを表示するか否か、表示コンテンツの内容、及び表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて表示機（６０）を制御する表示制御部（５０）とを備える。

Description

車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム
　本発明は、歩行者に対して表示コンテンツを表示する車外コミュニケーション装置及び車外コミュニケーション方法、車外コミュニケーション装置の一部を構成する情報処理装置、並びにコンピュータに車外コミュニケーション方法を実行させる車外コミュニケーションプログラムに関する。
　認識装置により認識された歩行者に対して、認識したことをマーキング光の照射により報知する車両用の報知装置が提案されている（例えば、特許文献１参照）。この装置は、カメラの検出結果に基づいて歩行者が道路を横断する意思（すなわち、横断意思）を持つか否かを判断する。具体的には、この装置は、歩行者が予め決められた行動（例えば、挙手、顔の向き）をとった場合に、歩行者が横断意思を持っていると判断する。
特開２０１４－４６８３８号公報（要約、段落００２６、００６８、００８５、図１６）
　しかしながら、上記装置は、予め決められた行動のみを基準として歩行者の横断意思を判断しているので、歩行者の横断意思を正確に判断することはできない。したがって、歩行者が車両に道を譲ろうとする意思（すなわち、譲り意思）を持っているのか否かを正確に判断することができず、歩行者に対する適切な情報の提供ができない。
　本発明は、上記課題を解決するためになされたものであり、その目的は、歩行者の譲り意思の状態を正確に判断し、歩行者に対して適切な表示コンテンツを表示することができる車外コミュニケーション装置及び車外コミュニケーション方法、車外コミュニケーション装置の一部を構成する情報処理装置、並びにコンピュータに車外コミュニケーション方法を実行させる車外コミュニケーションプログラムを提供することである。
　本発明の一態様に係る車外コミュニケーション装置は、予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成する譲り意思判断パラメタ学習部と、前記譲り意思判断パラメタを記憶する記憶部と、第１の歩行者の頭部画像及び位置を取得する周辺状況取得部と、取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断する譲り意思判断部と、道路上に表示コンテンツを表示する表示機と、前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して前記表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて前記表示機を制御する表示制御部とを備えたことを特徴とする。
　本発明の他の態様に係る車外コミュニケーション方法は、予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成し、前記譲り意思判断パラメタを記憶部に記憶させるステップと、周辺状況取得部から第１の歩行者の頭部画像及び位置を取得するステップと、取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断するステップと、前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて道路上に表示コンテンツを表示する表示機を制御するステップとを有することを特徴とする。
　本発明によれば、歩行者の譲り意思の状態を正確に判断することができ、歩行者に対して適切な表示コンテンツを表示することができる。
実施の形態１に係る車外コミュニケーション装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る車外コミュニケーション装置を備えた車両と歩行者との位置関係の例を示す図である。 車両に対する歩行者の位置と道路上に表示された表示コンテンツの例を示す図である。 実施の形態１に係る車外コミュニケーション装置の譲り意思判断パラメタ学習部による学習動作（オフライン処理により行われる）を示すフローチャートである。 記憶部に記憶される譲り意思判断パラメタの例を表形式で示す図である。 実施の形態１に係る車外コミュニケーション装置の実際の交通シーンにおける車外コミュニケーション動作（オンライン処理により行われる）を示すフローチャートである。 実施の形態１に係る車外コミュニケーション装置の表示要否決定部が使用する要否決定テーブルの例を表形式で示す図である。 実施の形態１に係る車外コミュニケーション装置の表示内容決定部が使用するコンテンツＤＢの例を表形式で示す図である。 実施の形態２に係る車外コミュニケーション装置の構成を概略的に示す機能ブロック図である。 実施の形態２に係る車外コミュニケーション装置の理解度判断パラメタ学習部による学習動作（オフライン処理により行われる）を示すフローチャートである。 記憶部に記憶される理解度判断パラメタの例を表形式で示す図である。 実施の形態２に係る車外コミュニケーション装置の実際の交通シーンにおける車外コミュニケーション動作（オンライン処理により行われる）を示すフローチャートである。 実施の形態２に係る車外コミュニケーション装置の表示内容変更部が使用するコンテンツＤＢの例を表形式で示す図である。 実施の形態１及び２の変形例に係る車外コミュニケーション装置のハードウェア構成を示す図である。
　以下に、本発明の実施の形態に係る車外コミュニケーション装置、車外コミュニケーション方法、車外コミュニケーション装置の一部を構成する情報処理装置、並びにコンピュータに車外コミュニケーション方法を実行させる車外コミュニケーションプログラムを、添付図面を参照しながら説明する。車外コミュニケーション装置は、車両（例えば、自動車）に備えられ、車両の周辺の道路上の人（すなわち、歩行者）に対する表示コンテンツを表示することで、車両と歩行者との間のコミュニケーションを可能にするものである。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《１》実施の形態１．
《１－１》構成
＜車外コミュニケーション装置＞
　図１は、実施の形態１に係る車外コミュニケーション装置の構成を概略的に示す機能ブロック図である。図１の車外コミュニケーション装置は、実施の形態１に係る車外コミュニケーション方法を実行することができる装置である。
　図１に示されるように、実施の形態１に係る車外コミュニケーション装置は、車両の周辺の状況（例えば、周辺の対象物）を撮影又は検出する周辺状況取得部１０と、予め交通シーンから作成された学習用データベース（学習用ＤＢ）に基づく学習（例えば、機械学習又は深層学習）により、予め譲り意思判断パラメタ３１を生成する譲り意思判断パラメタ学習部２０と、譲り意思判断パラメタ３１などのデータが予め保存されている記憶装置である記憶部３０とを備える。譲り意思判断パラメタ学習部２０は、学習用ＤＢの画像データ及びセンサデータを用いた学習により、譲り意思判断パラメタ３１を生成するために備えられており、車外コミュニケーションを実施する際には使用されない。ここで、学習用ＤＢの画像データとは、学習用ＤＢを取得するためのカメラによって交通シーンを撮影した画像データである。学習用ＤＢのセンサデータは、学習用ＤＢを取得するためのミリ波センサ又はレーザセンサによって交通シーンで対象物を検出したことで得られたデータである。
　また、実施の形態１に係る車外コミュニケーション装置は、実際の交通シーンにおける実際の歩行者（以下「第１の歩行者」ともいう）の譲り意思の状態（例えば、「譲り意思有り」、「譲り意思無し」、又は「譲り意思未決定」）を判断する譲り意思判断部４０と、路面上に表示コンテンツを表示する表示機６０と、表示機６０を制御する表示制御部５０とを備える。
　「譲り意思有り」は、歩行者が、車両を先に通過させて自身は車両の通過の後に道路を横断しようとする意思を持っている状態、すなわち、車両に道を譲ろうとする意思を持っている状態である。
　「譲り意思無し」は、歩行者が、車両の通過前に道路を横断しようとする意思を持っている状態、すなわち、車両に道を譲ろうとする意思を持っていない状態である。
　「譲り意思未決定」は、歩行者が、車両の通過前に道路を横断するか又は車両を先に通過させて自身は車両の通過の後に道路を横断するか迷っている状態、すなわち、迷い状態である。
　頭部抽出部１４、歩行者検出部１５、譲り意思判断パラメタ学習部２０、譲り意思判断部４０、及び表示制御部５０は、実施の形態１に係る情報処理装置を構成する。この情報処理装置のハードウェア構成の例は、後述の図１４に示される。
＜周辺状況取得部１０＞
　図２は、実施の形態１に係る車外コミュニケーション装置を備えた車両９１と道路９３を横断しようとする実際の歩行者（以下「第１の歩行者」ともいう）９２との位置関係の例を示す図である。図３は、車両９１に対する第１の歩行者９２の位置と道路９３上に表示された表示コンテンツ６１の例を示す図である。図２及び図３において、車両９１は、Ｖｘ－Ｖｙ直交座標系における原点（０，０）にあり、矢印９４方向すなわち＋Ｖｙ軸方向に先端を向けている。第１の歩行者９２は座標（Ｖｘ＿ｈ，Ｖｙ＿ｈ）にあり、矢印９５方向すなわち－Ｖｘ軸方向に顔を向けており、－Ｖｘ軸方向に歩行して道路９３を横断している又は横断したいと思って立ち止まっている。
　周辺状況取得部１０は、車両９１の周辺の第１の歩行者９２の頭部画像及び第１の歩行者９２の位置を取得する手段である。実施の形態１において、車両９１の周辺は、車両９１の前方すなわち矢印９４方向の予め決められた角度範囲内の領域である。
　図１の例では、周辺状況取得部１０は、画像を撮影するカメラ１１と、対象物としての第１の歩行者９２の位置を検出するミリ波センサ１２及びレーザセンサ１３と、カメラ１１によって撮影された画像から第１の歩行者９２の頭部画像を抽出する頭部抽出部１４と、ミリ波センサ１２及びレーザセンサ１３から提供されるセンサデータから第１の歩行者９２の位置を検出する歩行者検出部１５とを有する。第１の歩行者９２の頭部は、第１の歩行者９２の顔を含む。カメラ１１が距離計測機能を持つ場合には、第１の歩行者９２の位置は、カメラ１１によって撮影された第１の歩行者９２の画像（例えば、頭部画像）に基づいて計測されてもよい。第１の歩行者９２の位置は、車両９１から第１の歩行者９２までの距離Ｌと車両９１から見た第１の歩行者９２の方向（矢印９６）とによって特定できる。ミリ波センサ１２は、ミリ波を用いて対象物の位置を検出する。ミリ波センサ１２は、ミリ波レーダーとも呼ばれる。レーザセンサ１３は、レーザビームを用いて対象物の位置を検出する。周辺状況取得部１０は、第１の歩行者９２の頭部画像及び第１の歩行者９２の位置を取得できる手段であれば、図１に示される構成のものに限定されない。
＜譲り意思判断パラメタ学習部２０＞
　譲り意思判断パラメタ学習部２０は、実施の形態１に係る車外コミュニケーション装置を実際の交通シーンにおいて使用する前に、譲り意思判断パラメタ３１を生成し、記憶部３０に保存するために使用される。譲り意思判断パラメタ学習部２０は、図１におけるカメラ１１を頭部抽出部１４から切り離し、ミリ波センサ１２及びレーザセンサ１３を歩行者検出部１５から切り離した状態で使用される。この状態における処理を、オフライン処理と言う。譲り意思判断パラメタ学習部２０は、予め交通シーンから作成された学習用ＤＢに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、「譲り意思の状態」に「歩行者の頭部の挙動」及び「歩行者の位置」を紐付けした学習データである譲り意思判断パラメタ３１を生成し、譲り意思判断パラメタ３１を記憶部３０に記憶させる。
　歩行者の頭部の挙動は、時系列の画像データから、歩行者の顔の向き、顔の向きの変化、顔の向きが一定方向に維持された時間、歩行者の視線、歩行者の顔の表情、又はこれらの組み合わせなどを抽出して、判断可能である。顔の向きの変化は、歩行者が車両の通行を確認するための頭部の移動、歩行者が会釈する際の頭部の移動などを含むことができる。
　譲り意思の状態は、例えば、歩行者が譲り意思を持っているときに現われる「譲り意思有り」、歩行者が譲り意思を持っていないときに現われる「譲り意思無し」、及び歩行者が車両に道を譲ろうか又は先に道路を横断しようか迷っているときに現われる「譲り意思未決定」すなわち「迷っている状態」の内の１つ以上を含む。
＜記憶部３０＞
　譲り意思判断パラメタ３１を記憶する記憶部３０は、半導体メモリ又はハードディスク装置などで構成できる。記憶部３０は、譲り意思判断パラメタ３１に加えて、「譲り意思の状態」に表示コンテンツの表示が必要であるか否かを示す要否情報を紐付けした要否決定テーブル３２及び譲り意思の状態に表示コンテンツを紐付けしたコンテンツデータベース（コンテンツＤＢ）３３を予め記憶している。譲り意思判断パラメタ３１、要否決定テーブル３２、及びコンテンツＤＢ３３は、互いに異なる複数の記憶部にそれぞれ記憶されてもよい。
＜譲り意思判断部４０＞
　譲り意思判断部４０は、第１の歩行者９２の頭部画像及び第１の歩行者９２の位置と記憶部３０に記憶されている譲り意思判断パラメタ３１とに基づいて、第１の歩行者９２の譲り意思を判断する。第１の歩行者９２の譲り意思は、第１の歩行者９２が譲り意思を持っているときに現われる「譲り意思有り」、第１の歩行者９２が譲り意思を持っていないときに現われる「譲り意思無し」、及び第１の歩行者９２が車両に道を譲ろうか又は先に道路を渡ろうか迷っているときに現われる「譲り意思未決定」すなわち「迷っている状態」の内の１つ以上を含む。
＜表示機６０＞
　表示機６０は、道路９３の路面上に表示コンテンツ９７を表示する装置である。表示機６０は、例えば、画像を投射するプロジェクタである。
＜表示制御部５０＞
　表示制御部５０は、第１の歩行者９２の譲り意思の状態の判断の結果に基づいて、第１の歩行者９２に対する表示コンテンツを表示するか否か、表示コンテンツの内容、及び表示コンテンツの道路９３上における表示位置を決定し、前記決定に基づいて表示機６０を制御する。
　表示制御部５０は、記憶部３０に記憶されている要否決定テーブル３２に基づいて、表示コンテンツを表示するか否かを決定する表示要否決定部５１を有する。また、表示制御部５０は、記憶部３０に記憶されているコンテンツＤＢ３３に基づいて、表示コンテンツを決定する表示内容決定部５２を有する。さらに、表示制御部５０は、車両９１と第１の歩行者９２とを結ぶ線分９８上の位置に表示コンテンツ９７が表示されるように表示機６０を制御する表示位置決定部５３を有する。表示位置決定部５３は、表示コンテンツに含まれる文字が、文字の下部が第１の歩行者９２の近くに位置し、文字の上部が第１の歩行者９２から遠くに位置するように、表示機６０を制御する。
《１－２》動作
　車外コミュニケーション装置の動作は、譲り意思判断パラメタ３１を作成するために学習用ＤＢを用いて学習を行うオフライン処理（後述の図４）と、実際の交通シーンにおける第１の歩行者９２の譲り意思の状態の判断を行い、表示コンテンツを表示するオンライン処理（後述の図６）とを含む。学習用ＤＢは、学習用ＤＢ取得用の車両に学習用ＤＢ取得用のカメラ、ミリ波センサ、及びレーザセンサを搭載し、実際の交通シーンを想定した実験環境下で歩行者を数秒から数十秒の時間、撮影及び検知して得られた時系列の画像データ及び時系列のセンサデータの集合である。譲り意思判断パラメタ３１は、車外コミュニケーション装置を実際の交通シーンで使用するよりも前に生成され、記憶部３０に記憶される。
　また、学習用ＤＢの時系列の画像データ及び時系列のセンサデータは、歩行者の譲り意思の状態である「譲り意思有り」、「譲り意思無し」、「譲り意思未決定」、及び「歩行者は道路上の交通と無関係」等の歩行者の挙動に紐付けられている。なお、学習用ＤＢの時系列の画像データ及び時系列のセンサデータの取得方法は、自由に選択でき、実際の交通シーンに従ったものであれば、データ量及び取得方法に制限はない。また、車両９１に取り付けられたミリ波センサ１２、レーザセンサ１３、及びカメラ１１は、予めキャリブレーション済みである。したがって、車外コミュニケーション装置は、ミリ波センサ１２、レーザセンサ１３、及びカメラ１１の車両９１に対する取付け位置及び取付け方向を示す情報を、取得済みである。
＜オフライン処理＞
　図４は、実施の形態１に係る車外コミュニケーション装置の譲り意思判断パラメタ学習部２０による学習動作を示すフローチャートである。学習動作においては、歩行者検出部１５に予め用意された学習用ＤＢの時系列のセンサデータが入力され、頭部抽出部１４に予め用意された学習用ＤＢの時系列の画像データが入力される。
　学習動作においては、頭部抽出部１４にて学習用ＤＢに基づく画像から歩行者の頭部をトリミングして抽出する（ステップＳ１０１）。頭部の抽出は、Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）を用いた手法又はＳｉｎｇｌｅ　Ｓｈｏｔ　ＭｕｌｔｉＢｏｘ　Ｄｅｔｅｃｔｏｒ（ＳＳＤ）等の学習済みニューラルネットワークを用いた手法などで行うことができる。
　次に、歩行者検出部１５にて学習用ＤＢのセンサデータから、車両を基準にして歩行者の道路上における位置を検出する（ステップＳ１０２）。
　次に、頭部抽出部１４で取得する歩行者の頭部の画像内における位置と、歩行者の頭部をミリ波センサ１２又はレーザセンサ１３で検出したことで得られる位置との対応関係を算出する。ミリ波センサ１２、レーザセンサ１３、及びカメラ１１はキャリブレーション済みであるため、カメラ１１の撮影で得られた画像における画像座標系とミリ波センサ１２及びレーザセンサ１３で得られたセンサ座標系との間で座標変換できる。ミリ波センサ１２の検出信号から求められた歩行者の道路上における位置とレーザセンサ１３の検出信号から求められた歩行者の道路上における位置との平均をとることで、精度の高い位置情報を得ることができる。これにより、学習用ＤＢから、時系列の頭部画像と時系列の道路上における位置の集合であるデータ群を取得できる。
　次に、譲り意思判断パラメタ学習部２０にて、取得したデータ群を元に学習する。この学習で使用されるモデルは、ＬＳＴＭ（Ｌｏｎｇ　Ｓｈｏｒｔ－Ｔｅｒｍ　Ｍｅｍｏｒｙ）を利用するニューラルネットワーク、隠れマルコフモデル（ＨＭＭ）等、時系列データを元に分類問題を解くことが可能なモデルであればどのようなものでも構わない。どのようなモデルを用いたとしても、時系列の頭部画像と道路上における歩行者の時系列の位置とを入力とし、出力の教師データとして歩行者の挙動であるタグを与えて学習すればよい。この学習によって得られたモデル向けのパラメタは、譲り意思判断パラメタ３１として記憶部３０に保存される（ステップＳ１０３）。
　図５は、記憶部３０に記憶される譲り意思判断パラメタ３１の例を表形式で示す図である。譲り意思判断パラメタ３１では、歩行者の挙動に基づくタグ付けがなされている。図５では、歩行者の譲り意思を示すデータタグとして、「譲り意思有り」、「譲り意思無し」、「譲り意思未決定」が用意されており、データタグの各々に、シーン＃Ｎ（Ｎは１以上の整数）のデータ群が紐付けされている。図５では、１つのシーンのデータ群は、時系列の頭部画像データからなる頭部画像データ群と、道路上の時系列の位置データからなる道路上位置データ群とを有する。
＜オンライン処理＞
　図６は、実施の形態１に係る車外コミュニケーション装置の実際の交通シーンにおける車外コミュニケーション動作（オンライン処理により行われる）を示すフローチャートである。車外コミュニケーション動作においては、歩行者検出部１５にはミリ波センサ１２及びレーザセンサ１３の時系列のセンサデータが入力され、頭部抽出部１４にはカメラ１１で撮影された時系列の画像データが入力される。
　まず、頭部抽出部１４にて車両９１に備えられたカメラ１１の撮影画像から第１の歩行者９２の頭部を抽出する（ステップＳ１１１）。そして、歩行者検出部１５にて、センシングしているミリ波センサ１２及びレーザセンサ１３のセンサデータの値と第１の歩行者９２の頭部の画像内位置から道路上における第１の歩行者９２の位置を算出する（ステップＳ１１２）。この処理は、オフライン処理時のものと同様である。
　次に、譲り意思判断部４０は、第１の歩行者９２の頭部画像及び道路上における第１の歩行者９２の位置を用いて、第１の歩行者９２の譲り意思の状態を判断する（ステップＳ１１３）。これは、学習した譲り意思判断パラメタ３１を適用したモデルに対し、歩行者の頭部画像及び道路上における第１の歩行者９２の位置を入力することで算出できる。なお、ここで得られる第１の歩行者９２の挙動は、学習用ＤＢに登録済みのタグのいずれかとなる。
　次に、表示要否決定部５１は、第１の歩行者９２の挙動を元に第１の歩行者９２に対する表示コンテンツの表示の要否を決定する（ステップＳ１１４，Ｓ１１５）。第１の歩行者９２に対する表示コンテンツの表示の要否は、予め作成した要否決定テーブル３２に基づいて決定される。例えば、第１の歩行者９２の挙動が「譲り意思有り」の挙動であれば、第１の歩行者９２に対し感謝の意を示すために表示が必要、すなわち、表示は“要”となる。第１の歩行者９２の挙動が「歩行者は交通に無関係」つまり横断の意思なく交差点の付近に立っているだけの人に対して表示は不要、すなわち、表示は“不要”となるように要否決定テーブル３２を作成する。
　図７は、実施の形態１に係る車外コミュニケーション装置の表示要否決定部５１が使用する要否決定テーブル３２の例を表形式で示す図である。図７に示されるように、ステップＳ１１５において表示が“不要”と判断した場合は、処理を終了する。表示が“要”と判断した場合は、表示内容決定部５２で、コンテンツＤＢ３３から第１の歩行者９２に対する表示コンテンツを決定する（ステップＳ１１６）。表示コンテンツの決定に際して、予め作成された歩行者の挙動ごとに紐付けられたコンテンツ群であるコンテンツＤＢ３３から、譲り意思判断部４０で判断した第１の歩行者９２の挙動に対応する表示コンテンツが選択される。
　図８は、実施の形態１に係る車外コミュニケーション装置の表示内容決定部５２が使用するコンテンツＤＢ３３の例を表形式で示す図である。図８に示されるように、コンテンツＤＢ３３内に第１の歩行者９２の挙動に対応する表示コンテンツを複数用意することも可能であり、その場合は、第１の歩行者９２の年齢、人種、性別等で選択できるようにすればよい。第１の歩行者９２の年齢、人種、性別などを識別する方法として、公知の方法を採用することができる。
　次に、表示位置決定部５３で表示コンテンツの表示位置及び角度を決定する（ステップＳ１１７）。ここで、車両９１に外接する矩形の中心を原点とするＶｘ－Ｖｙ座標系の＋Ｖｙ軸方向が進行方向の座標軸である。
　図２に示されるように、表示コンテンツを第１の歩行者９２と車両９１との間に表示するために、以下の計算式で表示位置（Ｖｘ＿ｄ，Ｖｙ＿ｄ）と表示角θを決定することができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｔは、第１の歩行者９２から表示コンテンツ９７までの距離であり、予め適当な距離（例えば、Ｔ＝３メートル）に決められている。
　図３に、車両９１に対する第１の歩行者９２の位置と道路９３上に表示された表示コンテンツ９７の例を示す。表示制御部５０は、表示位置と表示角に従って道路９３の路面上に表示コンテンツを表示すれば処理は終了となる（ステップＳ１１８）。図３の状況で車両９１が先に通行する場合には、表示コンテンツ９７として、図８中の「ありがとう」に対応するコンテンツを適用することができる。また、図３の状況で車両９１が第１の歩行者９２の横断の後で通行する場合には、表示コンテンツ９７として、図８中の「先にどうぞ」に対応するコンテンツを適用することができる。また、図３の状況で車両９１が第１の歩行者９２の横断の意思が分からない場合には、表示コンテンツ９７として、図８中の「お渡りになりますか」に対応するコンテンツを適用することができる。
《１－３》効果
　以上に説明したように、実施の形態１に係る車外コミュニケーション装置は、歩行者の挙動を示す時系列のデータとそれに紐付けられたタグとから自動的にルールを学習し、学習データとして譲り意思判断パラメタ３１を生成する。実際の交通シーンで車外コミュニケーション装置を使用する場合には、譲り意思判断パラメタ３１に応じて第１の歩行者９２の譲り意思の状態を判断するので、予め人が決めたルールのみを用いた場合に比べ、譲り意思の状態を正確に判断することができる。そのため、第１の歩行者９２に、適切な内容の表示コンテンツを適切な表示位置に表示できる。
　また、第１の歩行者９２の譲り意思の状態を正確に判断することができるので、第１の歩行者９２の譲り意思に従い、表示コンテンツの表示が不要であれば表示コンテンツを表示しないようにすることができる。このため、不要な表示コンテンツの表示により、第１の歩行者９２に対して感情利得を下げる表示を抑制できる。
《２》実施の形態２．
《２－１》構成
　上記実施の形態１に係る車外コミュニケーション装置は、第１の歩行者９２の譲り意思の状態の判断（図６のステップＳ１１１～Ｓ１１３）の結果に基づいて、第１の歩行者９２に対して表示コンテンツを表示するか否かを決定し（図６のステップＳ１１４、Ｓ１１５）、表示コンテンツの内容を決定し（図６のステップＳ１１６）、表示コンテンツの道路９３上における表示位置を決定し（図６のステップＳ１１７）、これらの決定に基づいて表示機６０を制御する（図６のステップＳ１１８）。
　しかし、第１の歩行者９２が表示機６０によって道路９３上に表示された表示コンテンツを理解することができない又は道路９３上に表示された表示コンテンツを視認することができない場合がある。
　そこで、実施の形態２に係る車外コミュニケーション装置は、歩行者による表示コンテンツの理解度を判断し、表示コンテンツが理解できない場合には、表示コンテンツを新たなものに変更して第１の歩行者９２が表示コンテンツを理解できるようにする。
　図９は、実施の形態２に係る車外コミュニケーション装置の構成を概略的に示す機能ブロック図である。図９において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図９の車外コミュニケーション装置は、実施の形態２に係る車外コミュニケーション方法を実行することができる装置である。実施の形態２の説明に際しては、図２及び図３をも参照する。
　実施の形態２に係る車外コミュニケーション装置は、理解度判断パラメタ３４を生成する理解度判断パラメタ学習部７０と、理解度判断パラメタ３４を用いて第１の歩行者９２による表示コンテンツの理解度を判断する理解度判断部８０と、表示内容変更部５４とを有する点において、実施の形態１に係る車外コミュニケーション装置と相違する。
　理解度判断パラメタ学習部７０は、道路９３上に表示された表示コンテンツに対する歩行者の理解度、歩行者の頭部の挙動、及び歩行者の位置との関係を予め学習し、理解度に歩行者の頭部の挙動及び歩行者の位置を紐付けした学習データである理解度判断パラメタ３４を生成し、これを記憶部３０ａに記憶させる。
　理解度判断パラメタ３４において理解度に紐付けされた歩行者の頭部の挙動は、歩行者が表示コンテンツを理解した場合に現われる挙動、歩行者が表示コンテンツを理解できない場合に現われる挙動、及び歩行者が表示コンテンツを視認できない場合に現われる挙動の内の１つ以上を含む。歩行者が表示コンテンツを理解した場合に現われる挙動としては、例えば、歩行者が頭を動かしてうなずく挙動がある。歩行者が表示コンテンツを理解できない場合に現われる挙動としては、例えば、歩行者が頭を傾ける挙動、歩行者の顔に表われる疑問の表情などがある。歩行者が表示コンテンツを視認できない場合に現われる挙動としては、例えば、歩行者が頭を上下左右に動かして障害物の影に隠れている表示コンテンツの部分を見ようとする挙動がある。
　理解度判断部８０は、周辺状況取得部１０によって取得された第１の歩行者９２の頭部画像及び第１の歩行者９２の位置と記憶部３０ａに記憶されている理解度判断パラメタ３４とに基づいて第１の歩行者９２の表示コンテンツに対する理解度を判断する。表示制御部５０は、第１の歩行者９２による表示コンテンツの理解度の判断の結果に基づいて、表示されている表示コンテンツの変更の要否を決定し、前記変更の要否の決定に基づいて表示機６０を制御する。上記以外の点では、実施の形態２の車外コミュニケーション装置の構成は、実施の形態１のものと同じである。
《２－２》動作
　実施の形態２に係る車外コミュニケーション装置は、譲り意思判断パラメタ３１の作成及び理解度判断パラメタ３４の作成のためのオフライン処理と、実際の交通シーンにおける譲り意思の判断及び理解度の判断に基づいて第１の歩行者９２に対して表示コンテンツを提供するオンライン処理とを行う。実施の形態２では、オフライン処理において実施の形態１と同様の学習用ＤＢを用いる。また、ミリ波センサ、レーザセンサ、及びカメラはキャリブレーション済みであるものとする。また、車両にカメラ、ミリ波センサ、及びレーザセンサを車載した状態で、実際の交通シーンを想定した実験環境下で歩行者を数秒から数十秒の期間、検知して得られた時系列のセンサデータ及び時系列の画像データの集合である理解度を学習するための学習用ＤＢが予め用意されているものとする。また、各データは、表示コンテンツを「理解した」、表示コンテンツの「内容が理解できない」、「表示コンテンツが見えない」、表示コンテンツを「見ていない」等の歩行者の理解度に紐付けられているものとする。
＜オフライン処理＞
　図１０は、実施の形態２に係る車外コミュニケーション装置の理解度判断パラメタ学習部７０による学習動作（オフライン処理により行われる）を示すフローチャートである。
　譲り意思判断パラメタ３１の学習（ステップＳ２００）は、実施の形態１におけるオフライン処理と同様である。
　次に、理解度判断パラメタ３４を作成するための学習を実施する。まず、頭部抽出部１４にて理解度学習用ＤＢの全画像から歩行者の頭部をトリミングして抽出する（ステップＳ２０１）。歩行者の頭部の抽出は、譲り意思判断パラメタ３１の学習時と同様の公知の手法で行うことができる。
　次に、歩行者検出部１５にて理解度学習用ＤＢの全センサデータから、車両の位置を基準とした道路上における歩行者の位置を検出する（ステップＳ２０２）。この処理は、譲り意思判断パラメタ３１の学習時と同様に公知の手法を用いることができる。これらの処理により、理解度学習用ＤＢから、時系列の頭部画像データ及び時系列の道路上における位置データの集合が取得できる。
　図１１は、記憶部３０ａに記憶される理解度判断パラメタ３４の例を表形式で示す図である。また、予め理解度学習用ＤＢのデータには、歩行者の理解度によるタグ付けがなされているため、図１１に示されるように整理可能なデータ群が生成される。
　次に、理解度判断パラメタ学習部７０にて、生成されたデータ群を元に学習する（ステップＳ２０３）。学習で使用するモデルは、ＬＳＴＭを利用するニューラルネットワーク又は隠れマルコフモデルを利用するもの等、時系列データを元に分類問題を解くことが可能なモデルであればどのようなものでも構わない。どのようなモデルを用いたとしても、時系列の頭部画像データと道路上における歩行者の位置データを入力とし、出力の教師データとして理解度を示すタグを与え学習すればよい。学習によって取得されたモデル向けのパラメタは、理解度判断パラメタ３４として記憶部３０ａに保存される（ステップＳ２０３）。
＜オンライン処理＞
　図１２は、実施の形態２に係る車外コミュニケーション装置の実際の交通シーンにおける車外コミュニケーション動作（オンライン処理により行われる）を示すフローチャートである。図１２において、図６に示される処理ステップと同じ内容の処理ステップには、図６におけるステップ番号と同じステップ番号が付される。図１２において、ステップＳ１１１～Ｓ１１８の処理は、図６におけるものとおなじである。
　次に、理解度判断部８０は、頭部抽出部１４から提供された第１の歩行者９２の頭部画像データと歩行者検出部１５から提供された道路上における第１の歩行者９２の位置データとを用いて、第１の歩行者９２のための表示コンテンツに対する第１の歩行者９２による理解度を判断する（ステップＳ２１１）。この判断は、オフライン処理における学習で取得された理解度判断パラメタ３４を適用したモデルに対し、第１の歩行者の頭部画像データと道路９３上における第１の歩行者９２の位置データを適用することで算出できる。この処理によって得られる理解度は、理解度学習用ＤＢに登録済みのタグのいずれか、例えば、図１１の左欄に示される「理解度を示すデータタグ」のいずれかとなる。
　ステップＳ２１２において、判断結果が表示コンテンツを「理解した」であれば、表示内容を変更せず、処理を終了する（既に表示した表示コンテンツを変更しない）。
　ステップＳ２１２において、判断結果が表示コンテンツを理解した以外であれば、表示内容変更部５４にて表示コンテンツを変更する（ステップＳ２１３）。
表示内容変更部５４は、譲り意思判断部４０から提供された第１の歩行者９２の挙動に対応するコンテンツＤＢ３３内の表示コンテンツから、以前に表示した表示コンテンツと異なるものを選べばよい。例えば、第１の歩行者９２の挙動が「譲り意思有り」を示しており、表示コンテンツとして図８における「ありがとう」が選択され既に表示されていた場合には、未だ表示されていない表示コンテンツである「Ｔｈａｎｋ　ｙｏｕ！！」に変更すればよい。このように、新しい表示コンテンツをランダムに選択することも可能であるが、予めコンテンツＤＢ３３内の各歩行者の挙動のコンテンツを理解度ごとに対応させておくことで、より適切な新たな表示コンテンツを第１の歩行者９２に提供できる。
　図１３は、実施の形態２に係る車外コミュニケーション装置の表示内容変更部５４が使用するコンテンツＤＢ３３の例を表形式で示す図である。例えば、コンテンツＤＢ３３を図１３に示されるように理解度の種類に対応させて用意していれば、第１の歩行者９２の挙動が「譲り意思有り」であり、基本の表示コンテンツ「ありがとう」を表示しているときに、理解度判断において理解度が「表示コンテンツが見えない」すなわち「視認できない」と判断された場合は、「譲り意思有り」の項目に属し且つ「コンテンツが見えない」に対応する明領域と暗領域とを逆転させた「ありがとう」の表示に変更できる。このように表示コンテンツを新たなものに変更することで、表示コンテンツが見えない状況を解消することができる。また、表示コンテンツの変更後における理解度判断において、再度、理解度が「表示コンテンツが見えない」である場合には、理解度が「理解した」になるまで同様の処理を繰り返してもよい。
《２－３》効果
　以上に説明したように、実施の形態２に係る車外コミュニケーション装置は、歩行者の挙動を示す時系列のデータとそれに紐付けられたタグとから自動的にルールを学習し、学習データとして理解度判断パラメタ３４を生成する。そして、理解度判断パラメタ３４を用いて第１の歩行者９２の理解度を判断し、表示コンテンツの理解度に応じて表示コンテンツを新たなものに変更する。このため、第１の歩行者９２に正確に情報を提供することができる。
《３》変形例．
　図１４は、実施の形態１及び２に係る車外コミュニケーション装置のハードウェア構成を示す図である。図１４に示されるように、この車外コミュニケーション装置は、プロセッサ１０１、記憶装置としての外部記憶媒体１０２、他の記憶装置としてのメモリ１０３、ネットワークインタフェース１０４、及び表示機インタフェース１０５を備える。これらの構成は、直接又はデータバス１０６を介して互いに接続される。カメラ１１、ミリ波センサ１２、及びレーザセンサ１３は、ネットワークインタフェース１０４を介してデータバス１０６に接続される。表示機６０は、及び表示機インタフェース１０５を介してデータバス１０６に接続される。
　実施の形態１に係る車外コミュニケーション装置は、ソフトウェアとしての車外コミュニケーションプログラムを格納するメモリ１０３と、メモリ１０３に格納されたプログラムを実行するプロセッサ１０１とを用いた装置（例えば、コンピュータ）により実現することができる。車外コミュニケーションプログラムは、インターネットを介するダウンロードによって、又は、車外コミュニケーションプログラムを格納した記録媒体から取得することができる。この場合には、図１における記憶部３０は、図１４におけるメモリ１０３又は外部記憶媒体１０２に相当する。また、図１における頭部抽出部１４、歩行者検出部１５、譲り意思判断パラメタ学習部２０、譲り意思判断部４０、及び表示制御部５０の全体又は一部は、図１４に示されるメモリ１０３と、プログラムを実行するプロセッサ１０１とによって実現することができる。
　実施の形態２に係る車外コミュニケーション装置は、車外コミュニケーションプログラムを格納するメモリ１０３と、メモリ１０３に格納されたプログラムを実行するプロセッサ１０１とを用いた装置（例えば、コンピュータ）により実現することができる。この場合には、図９における記憶部３０ａは、図１４におけるメモリ１０３又は外部記憶媒体１０２に相当する。また、図９における頭部抽出部１４、歩行者検出部１５、譲り意思判断パラメタ学習部２０、譲り意思判断部４０、表示制御部５０ａ、理解度判断パラメタ学習部７０、及び理解度判断部８０の全体又は一部は、図１４に示されるメモリ１０３と、プログラムを実行するプロセッサ１０１とによって実現することができる。
　また、上記車外コミュニケーション装置を搭載する車両は、歩行者が通行する道路を走行する各種の車両に搭載可能である。
　また、表示コンテンツの表示位置は、車両９１と第１の歩行者９２とを線分９８上に限らず、第１の歩行者９２の視線方向を検出することで、この視線上の路面に表示してもよい。
　１０　周辺状況取得部、　１１　カメラ、　１２　ミリ波センサ、　１３　レーザセンサ、　１４　頭部抽出部、　１５　歩行者検出部、　２０　譲り意思判断パラメタ学習部、　３０，３０ａ　記憶部、　３１　譲り意思判断パラメタ、　３２　要否決定テーブル、　３３　コンテンツＤＢ、　３４　理解度判断パラメタ、　４０　譲り意思判断部、　５０，５０ａ　表示制御部、　６０　表示機、　７０　理解度判断パラメタ学習部、　８０　理解度判断部。

Claims (14)

  1. 　予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成する譲り意思判断パラメタ学習部と、
    　前記譲り意思判断パラメタを記憶する記憶部と、
    　第１の歩行者の頭部画像及び位置を取得する周辺状況取得部と、
    　取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断する譲り意思判断部と、
    　道路上に表示コンテンツを表示する表示機と、
    　前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して前記表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて前記表示機を制御する表示制御部と
    　を備えたことを特徴とする車外コミュニケーション装置。
  2. 　前記譲り意思判断パラメタにおける前記譲り意思の状態に紐付けされた前記挙動は、
    　前記歩行者が前記譲り意思を持っている場合に前記歩行者の頭部に現われる譲り意思有りの場合の挙動、
    　前記歩行者が前記譲り意思を持っていない場合に前記歩行者の頭部に現われる譲り意思無しの場合の挙動、及び
    　前記歩行者が車両に道を譲ろうか又は先に道路を渡ろうか迷っている場合に前記歩行者の頭部に現われる譲り意思未決定の場合の挙動
    　の内の１つ以上を含むことを特徴とする請求項１に記載の車外コミュニケーション装置。
  3. 　前記譲り意思判断パラメタは、前記歩行者の時系列の頭部画像からなる頭部画像データ群と前記時系列の頭部画像に対応する時系列の位置からなる位置データ群とを含むデータ集合を、前記譲り意思の状態に紐付けした前記学習データであることを特徴とする請求項１又は２に記載の車外コミュニケーション装置。
  4. 　前記譲り意思判断部は、前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断することを特徴とする請求項１から３のいずれか１項に記載の車外コミュニケーション装置。
  5. 　前記記憶部は、前記譲り意思の状態に表示コンテンツの表示が必要であるか否かを示す要否情報を紐付けした要否決定テーブルを予め記憶し、
    　前記表示制御部は、前記要否決定テーブルに基づいて、前記表示コンテンツを表示するか否かを決定する表示要否決定部を有する
    　ことを特徴とする請求項１から４のいずれか１項に記載の車外コミュニケーション装置。
  6. 　前記記憶部は、前記譲り意思の状態に表示コンテンツを紐付けしたコンテンツデータベースを予め記憶し、
    　前記表示制御部は、前記コンテンツデータベースに基づいて、表示される前記表示コンテンツを決定する表示内容決定部を有する
    　ことを特徴とする請求項１から５のいずれか１項に記載の車外コミュニケーション装置。
  7. 　前記表示制御部は、前記車両と前記第１の歩行者とを結ぶ線分上に前記表示コンテンツが表示されるように前記表示機を制御する表示位置決定部を有することを特徴とする請求項１から６のいずれか１項に記載の車外コミュニケーション装置。
  8. 　前記表示位置決定部は、前記表示コンテンツに含まれる文字が、前記文字の下部が前記第１の歩行者の近くに位置し、前記文字の上部が前記第１の歩行者から遠くに位置するように、前記表示機を制御することを特徴とする請求項７に記載の車外コミュニケーション装置。
  9. 　予め作成された理解度学習用データベースに基づいて道路上に表示された前記表示コンテンツに対する前記歩行者の理解度と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記理解度に前記挙動及び前記位置を紐付けした学習データである理解度判断パラメタを生成し、前記記憶部に記憶させる理解度判断パラメタ学習部と、
    　取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記理解度判断パラメタとに基づいて前記第１の歩行者の表示コンテンツに対する理解度を判断する理解度判断部と
    　をさらに備え、
    　前記表示制御部は、前記第１の歩行者の理解度の判断の結果に基づいて、表示されている前記表示コンテンツの変更の要否を決定する
    　ことを特徴とする請求項１から８のいずれか１項に記載の車外コミュニケーション装置。
  10. 　前記理解度判断パラメタにおいて前記理解度に紐付けされた前記挙動は、
    　前記歩行者が前記表示コンテンツを理解した場合に前記歩行者の頭部に現われる挙動、
    　前記歩行者が前記表示コンテンツを理解できない場合に前記歩行者の頭部に現われる挙動、及び
    　前記歩行者が前記表示コンテンツを視認できない場合に前記歩行者の頭部に現われる挙動
    　の内の１つ以上を含むことを特徴とする請求項９に記載の車外コミュニケーション装置。
  11. 　前記理解度判断部が前記第１の歩行者が前記表示コンテンツを理解したと判断した場合に、前記表示制御部は、新たな表示コンテンツを決定し、前記新たな表示コンテンツに基づいて前記表示機を制御することを特徴とする請求項１０に記載の車外コミュニケーション装置。
  12. 　予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成し、前記譲り意思判断パラメタを記憶部に記憶させるステップと、
    　周辺状況取得部から第１の歩行者の頭部画像及び位置を取得するステップと、
    　取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断するステップと、
    　前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて道路上に表示コンテンツを表示する表示機を制御するステップと
    　を有することを特徴とする車外コミュニケーション方法。
  13. 　第１の歩行者の頭部画像及び位置を取得する周辺状況取得部と道路上に表示コンテンツを表示する表示機とを備えた車両で使用される情報処理装置であって、
    　予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成し、前記譲り意思判断パラメタを記憶部に記憶させる譲り意思判断パラメタ学習部と、
    　前記周辺状況取得部から取得した前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断する譲り意思判断部と、
    　前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して前記表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて前記表示機を制御する表示制御部と
    　を備えたことを特徴とする情報処理装置。
  14. 　予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成し、前記譲り意思判断パラメタを記憶部に記憶させる処理と、
    　周辺状況取得部から第１の歩行者の頭部画像及び位置を取得する処理と、
    　取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断する処理と、
    　前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて道路上に表示コンテンツを表示する表示機を制御する処理と
    　をコンピュータに実行させることを特徴とする車外コミュニケーションプログラム。
PCT/JP2017/041024 2017-11-15 2017-11-15 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム WO2019097595A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201780096507.3A CN111344761A (zh) 2017-11-15 2017-11-15 车外交流装置、车外交流方法、信息处理装置和车外交流程序
PCT/JP2017/041024 WO2019097595A1 (ja) 2017-11-15 2017-11-15 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム
JP2019554086A JP6651062B2 (ja) 2017-11-15 2017-11-15 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム
DE112017008149.1T DE112017008149B4 (de) 2017-11-15 2017-11-15 Vorrichtung für eine von einem Fahrzeug ausgehende Kommunikation, Verfahren zum Kommunizieren von einem Fahrzeug nach außen Informationsverarbeitungsvorrichtung und computerlesbares Medium
US16/652,176 US11087224B2 (en) 2017-11-15 2017-11-15 Out-of-vehicle communication device, out-of-vehicle communication method, information processing device, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/041024 WO2019097595A1 (ja) 2017-11-15 2017-11-15 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム

Publications (1)

Publication Number Publication Date
WO2019097595A1 true WO2019097595A1 (ja) 2019-05-23

Family

ID=66538550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041024 WO2019097595A1 (ja) 2017-11-15 2017-11-15 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム

Country Status (5)

Country Link
US (1) US11087224B2 (ja)
JP (1) JP6651062B2 (ja)
CN (1) CN111344761A (ja)
DE (1) DE112017008149B4 (ja)
WO (1) WO2019097595A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021030901A (ja) * 2019-08-26 2021-03-01 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3670228B1 (en) * 2018-12-17 2022-04-13 Audi Ag A display device and a vehicle comprising the display device
JP7079747B2 (ja) * 2019-03-08 2022-06-02 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
US12100224B1 (en) * 2020-05-21 2024-09-24 Zoox, Inc. Key point detection
CN112329684B (zh) * 2020-11-16 2024-04-30 常州大学 一种基于注视检测和交通场景识别的行人穿越马路意图识别方法
US11733369B2 (en) * 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
CN115384545A (zh) * 2021-05-25 2022-11-25 华为技术有限公司 控制方法和装置
CN114529946A (zh) * 2022-02-23 2022-05-24 厦门市美亚柏科信息股份有限公司 基于自监督学习的行人重识别方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332297A (ja) * 2004-05-21 2005-12-02 Fujitsu Ten Ltd 運転者意志通知装置
JP2007328612A (ja) * 2006-06-08 2007-12-20 Nissan Motor Co Ltd 運転支援システムおよび運転支援方法
US20170240096A1 (en) * 2016-02-22 2017-08-24 Uber Technologies, Inc. Intention signaling for an autonomous vehicle

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988545B2 (ja) * 2002-06-10 2007-10-10 日産自動車株式会社 サービス提供システム、サービス提供方法および運転状況判定装置
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置
JP2013114536A (ja) 2011-11-30 2013-06-10 Seiko Epson Corp 安全支援装置、及び、安全支援方法
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots
DE102012009555A1 (de) 2012-05-12 2012-11-29 Daimler Ag Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs und Fahrerassistenzsystem
JP5696701B2 (ja) * 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
JP6156732B2 (ja) * 2013-05-15 2017-07-05 スズキ株式会社 歩車間通信システム
CN104175950A (zh) * 2013-05-23 2014-12-03 北京千橡网景科技发展有限公司 一种用于车内人员与外界沟通的方法及设备
US9128577B2 (en) 2013-12-10 2015-09-08 Atmel Corporation Hybrid capacitive touch system design and method
US9349293B2 (en) * 2014-02-07 2016-05-24 Here Global B.V Method and apparatus for providing vehicle synchronization to facilitate a crossing
DE102014215057A1 (de) 2014-07-31 2016-02-04 Bayerische Motoren Werke Aktiengesellschaft Bestimmung einer Kollisionswahrscheinlichkeit auf Basis einer Kopforientierung eines Fußgängers
DE102014226254A1 (de) 2014-12-17 2016-06-23 Robert Bosch Gmbh Verfahren zum Betreiben eines insbesondere autonom oder teilautonom fahrenden/fahrbaren Kraftfahrzeugs, Signalisierungsvorrichtung, Kraftfahrzeug
CN104537360B (zh) * 2015-01-15 2018-01-02 上海博康智能信息技术有限公司 车辆未让行违章检测方法及其检测系统
DE102015210781A1 (de) 2015-06-12 2016-12-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Kommunikation zwischen einem autonomen Fahrzeug und einem Verkehrsteilnehmer
CN106428000B (zh) * 2016-09-07 2018-12-21 清华大学 一种车辆速度控制装置和方法
US10427596B2 (en) * 2017-07-27 2019-10-01 Alexa Lea Haushalter Vehicle directional indicator for autonomous and non-autonomous vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332297A (ja) * 2004-05-21 2005-12-02 Fujitsu Ten Ltd 運転者意志通知装置
JP2007328612A (ja) * 2006-06-08 2007-12-20 Nissan Motor Co Ltd 運転支援システムおよび運転支援方法
US20170240096A1 (en) * 2016-02-22 2017-08-24 Uber Technologies, Inc. Intention signaling for an autonomous vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021030901A (ja) * 2019-08-26 2021-03-01 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP7345123B2 (ja) 2019-08-26 2023-09-15 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム

Also Published As

Publication number Publication date
DE112017008149T5 (de) 2020-07-16
JPWO2019097595A1 (ja) 2020-04-02
DE112017008149B4 (de) 2024-04-18
JP6651062B2 (ja) 2020-02-19
US20200250553A1 (en) 2020-08-06
CN111344761A (zh) 2020-06-26
US11087224B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
WO2019097595A1 (ja) 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム
US11282389B2 (en) Pedestrian detection for vehicle driving assistance
US10318831B2 (en) Method and system for monitoring the status of the driver of a vehicle
CN111695402B (zh) 用于标注3d点云数据中人体姿态的工具和方法
US20230076266A1 (en) Data processing system, object detection method, and apparatus thereof
JP4171501B2 (ja) 車両の周辺監視装置
WO2018061616A1 (ja) 監視システム
García et al. Driver monitoring based on low-cost 3-D sensors
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
Ray et al. Dynamic blindspots measurement for construction equipment operators
CN111027481A (zh) 基于人体关键点检测的行为分析方法及装置
JP3732757B2 (ja) 画像認識方法および画像認識装置
Shahid et al. Eye-gaze and augmented reality framework for driver assistance
KR101575100B1 (ko) 사용자 그룹의 공간행동 센싱 및 의미분석 시스템
US11314968B2 (en) Information processing apparatus, control method, and program
Sai Sandeep Raju et al. Driver drowsiness detection
KR20230120600A (ko) 오브젝트를 검출하는 전자 장치 및 이의 제어 방법
KR20230077560A (ko) 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법
Varghese et al. An Intelligent Voice Assistance System for Visually Impaired using Deep Learning
JP4942197B2 (ja) テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体
Mihai et al. Using dual camera smartphones as advanced driver assistance systems: Navieyes system architecture
WO2024095362A1 (ja) 情報処理システム、情報処理装置、情報処理方法、および記録媒体
Manjari et al. Path Texture Detection for Visually Impaired using Transfer Learning
Kaisar et al. Real-time driving monitoring system on a single-board computer utilizing deep neural networks integrated with MiDAS

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17932164

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019554086

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17932164

Country of ref document: EP

Kind code of ref document: A1