[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021053780A1 - 認知機能推定装置、学習装置、および、認知機能推定方法 - Google Patents

認知機能推定装置、学習装置、および、認知機能推定方法 Download PDF

Info

Publication number
WO2021053780A1
WO2021053780A1 PCT/JP2019/036686 JP2019036686W WO2021053780A1 WO 2021053780 A1 WO2021053780 A1 WO 2021053780A1 JP 2019036686 W JP2019036686 W JP 2019036686W WO 2021053780 A1 WO2021053780 A1 WO 2021053780A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature amount
vehicle
information
information feature
cognitive function
Prior art date
Application number
PCT/JP2019/036686
Other languages
English (en)
French (fr)
Inventor
周作 ▲高▼本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US17/637,310 priority Critical patent/US11810373B2/en
Priority to CN201980100335.1A priority patent/CN114423343A/zh
Priority to JP2021546128A priority patent/JP7031072B2/ja
Priority to DE112019007558.6T priority patent/DE112019007558B4/de
Priority to PCT/JP2019/036686 priority patent/WO2021053780A1/ja
Publication of WO2021053780A1 publication Critical patent/WO2021053780A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Definitions

  • the present invention relates to a cognitive function estimation device that estimates the cognitive function of a vehicle driver, a learning device that learns the cognitive function of a vehicle driver, and a cognitive function estimation method that estimates the cognitive function of a vehicle driver.
  • the cognitive function referred to here is a function possessed by a person for properly driving a vehicle.
  • the cognitive function referred to here is a function possessed by a person for properly driving a vehicle.
  • the driver of a vehicle is elderly, the driver may not be able to perform the cognitive function due to the deterioration of the cognitive function, and as a result, may not be able to drive properly. Therefore, for example, in the driving support technology, a technology for estimating whether or not the driver has a certain level of cognitive function is required.
  • recognition that estimates the recognition based on the vertical movement of the driver's line of sight of the vehicle. A degree estimation device is disclosed.
  • the recognition level estimation device as disclosed in Patent Document 1 estimates the recognition level, and the recognition level is a temporary concentration on driving by a certain driver. It does not estimate whether or not it has a certain level of function for driving the vehicle properly. Therefore, the above-mentioned problem cannot be solved by the technique of the recognition degree estimation device as disclosed in Patent Document 1.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a cognitive function estimation device capable of estimating whether or not a driver has a certain level of cognitive function.
  • the cognitive function estimation device has an out-of-vehicle information acquisition unit that acquires out-of-vehicle information regarding the situation around the vehicle, a face information acquisition unit that acquires face information regarding the face of the driver of the vehicle, and biological information of the driver. Based on the biological information acquisition unit to be acquired, the vehicle information acquisition unit to acquire vehicle information about the vehicle, and the vehicle exterior information acquired by the vehicle exterior information acquisition unit, the vehicle exterior information feature amount for estimating the driver's cognitive function is extracted. Face information features for estimating the driver's cognitive function based on the face information acquired by the face information acquisition unit according to the vehicle exterior information feature amount extraction unit and the vehicle exterior information feature amount extracted by the vehicle exterior information feature amount extraction unit.
  • the driver's cognitive function based on the biological information acquired by the biological information acquisition unit according to the facial information feature amount extraction unit that extracts the amount and the vehicle external information feature amount extracted by the vehicle exterior information feature quantity extraction unit.
  • the driver's cognitive function based on the vehicle information acquired by the vehicle information acquisition unit according to the external information feature amount extracted by the biological information feature amount extraction unit and the vehicle exterior information feature amount extraction unit.
  • the vehicle information feature amount extraction unit that extracts the vehicle information feature amount for estimating, the vehicle information feature amount extracted by the vehicle outside information feature amount extraction unit, the face information feature amount extracted by the face information feature amount extraction unit, and the living body.
  • the driver's cognitive function is low based on at least one of the biological information feature amount extracted by the information feature amount extraction unit or the vehicle information feature amount extracted by the vehicle information feature amount extraction unit and the machine learning model. It is equipped with a cognitive function estimation unit that estimates whether or not it is present.
  • FIG. 5A and 5B are diagrams showing an example of the hardware configuration of the cognitive function estimation device according to the first embodiment.
  • FIG. 1 is a diagram showing a configuration example of the cognitive function estimation device 1 according to the first embodiment.
  • the cognitive function estimation device 1 according to the first embodiment is assumed to be mounted on a vehicle (not shown).
  • the cognitive function estimation device 1 is connected to an in-vehicle image pickup device 2, a biosensor 3, a vehicle information detection device 4, and an outside vehicle image pickup device 5. It is assumed that the in-vehicle image pickup device 2, the biosensor 3, the vehicle information detection device 4, and the out-of-vehicle image pickup device 5 are mounted on the vehicle.
  • the in-vehicle image pickup device 2 images the inside of the vehicle.
  • the in-vehicle image pickup device 2 is, for example, an in-vehicle camera installed in the vehicle for the purpose of monitoring the inside of the vehicle, and includes at least a range in which the face of the driver seated in the driver's seat should exist. It is installed so that the range of can be imaged.
  • the range in which the driver's face seated in the driver's seat should exist is, for example, a range corresponding to the space near the front of the headrest of the driver's seat.
  • the in-vehicle image pickup device 2 may be shared with the image pickup device included in the so-called "driver monitoring system" mounted on the vehicle for monitoring the state of the driver in the vehicle.
  • the biosensor 3 measures the driver's biometric information.
  • the driver's biological information is, for example, information on the driver's pulse, body temperature, blood pressure, respiration, heartbeat, or brain wave.
  • the vehicle information detection device 4 detects vehicle information related to the vehicle.
  • the vehicle information detection device 4 includes various devices that detect information about the vehicle, such as an accelerator opening sensor, a steering angle sensor, a brake sensor, a GPS (Global Positioning System), and a navigation device.
  • the vehicle information is, for example, information on the accelerator opening degree, information on the steering angle of the steering wheel, or information on the amount of brake operation.
  • the vehicle information detection device 4 is an accelerator opening sensor
  • the accelerator opening sensor detects that the accelerator has been operated, the accelerator opening of the vehicle, or the like.
  • the steering angle sensor detects the steering angle of the steering wheel of the vehicle and the like.
  • the vehicle information detection device 4 when the vehicle information detection device 4 is a brake sensor, the brake sensor detects that the vehicle brake has been operated, the amount of brake operation, or the like. Further, for example, when the vehicle information detection device 4 is GPS, the GPS detects the current position of the vehicle. Further, for example, when the vehicle information detection device 4 is a navigation device, the navigation device detects that the navigation device has been operated, vehicle route information, or the like.
  • the vehicle exterior image pickup device 5 is, for example, an vehicle exterior camera that images the periphery of the vehicle.
  • the cognitive function estimation device 1 includes an image captured by the vehicle exterior image pickup device 5 (hereinafter referred to as “vehicle exterior image pickup image”), an image captured by the vehicle interior image pickup device 2 (hereinafter referred to as “vehicle interior image pickup image”), and a biological sensor 3.
  • the cognitive function of the driver of the vehicle is estimated based on the measured biological information or the vehicle information measured by the vehicle information detection device 4 and the machine learning model 203.
  • the "model” is a trained model in machine learning.
  • the machine learning model 203 is generated by the learning device 20 using machine learning. Details of the learning device 20 and the machine learning model 203 will be described later.
  • the "cognitive function” refers to a function possessed by a person for appropriately driving a vehicle.
  • the driver can drive the vehicle appropriately.
  • the cognitive function of the driver deteriorates, the driver cannot drive the vehicle properly, such as committing a certain violation in driving the vehicle. It is generally said that cognitive function declines with age.
  • the cognitive function estimation device 1 includes a face information acquisition unit 11, a biological information acquisition unit 12, a vehicle information acquisition unit 13, an external information acquisition unit 14, an external information feature amount extraction unit 15, a facial information feature amount extraction unit 16, and a biological information feature. It includes a quantity extraction unit 17, a vehicle information feature quantity extraction unit 18, a cognitive function estimation unit 19, and a learning device 20.
  • the cognitive function estimation unit 19 includes a determination unit 191.
  • the learning device 20 includes an acquisition unit 201, a learning unit 202, and a machine learning model 203.
  • the face information acquisition unit 11 acquires an in-vehicle image from the in-vehicle image pickup device 2, and acquires face information regarding the face of the driver of the vehicle based on the in-vehicle image.
  • the driver's face information includes information on the driver's face orientation, information on the driver's line of sight, information on the driver's eye opening degree, information on the driver's opening degree, and driver's facial expression. Based on emotional information, information on the position of the driver's head, etc.
  • the face information acquisition unit 11 may acquire the driver's face information from the captured image in the vehicle by using, for example, a known image recognition technique.
  • the face information acquisition unit 11 outputs the acquired face information to the face information feature amount extraction unit 16.
  • the face information acquisition unit 11 may store the acquired face information in a storage unit (not shown).
  • the biological information acquisition unit 12 acquires the biological information of the driver of the vehicle from the biological sensor 3.
  • the biological information acquisition unit 12 may acquire an in-vehicle image from the in-vehicle image pickup device 2 and acquire biological information from the in-vehicle image by using an existing image recognition technique.
  • the biological information acquisition unit 12 analyzes, for example, a change in the brightness of the driver's face in an in-vehicle image by using an existing image recognition technique. Then, the biological information acquisition unit 12 estimates, for example, the driver's pulse from the analyzed change in the brightness of the driver's face.
  • the biological information acquisition unit 12 outputs the acquired biological information to the biological information feature amount extraction unit 17.
  • the biological information acquisition unit 12 may store the acquired biological information in the storage unit.
  • the vehicle information acquisition unit 13 acquires vehicle information about the vehicle from the vehicle information detection device 4.
  • the vehicle information acquisition unit 13 outputs the acquired vehicle information to the vehicle information feature amount extraction unit 18.
  • the vehicle information acquisition unit 13 may store the acquired vehicle information in the storage unit.
  • the vehicle exterior information acquisition unit 14 acquires an vehicle exterior image from the vehicle exterior image pickup device 5, and acquires vehicle exterior information regarding the situation around the vehicle based on the vehicle exterior image capture image.
  • the information outside the vehicle includes information on a signal, information on whether or not a pedestrian has jumped out, information on a route on which the vehicle is traveling, information on a sign, and the like.
  • Information about the signal includes, for example, information about the presence or absence of the signal and information about the color of the signal.
  • the information about the sign includes, for example, the presence or absence of the sign and the information about the content of the sign.
  • the vehicle exterior information acquisition unit 14 may acquire vehicle exterior information from the vehicle exterior captured image by using, for example, a known image recognition technique.
  • vehicle exterior information acquisition unit 14 may use the vehicle exterior captured image itself acquired from the vehicle exterior imaging device 5 as vehicle exterior information.
  • the vehicle exterior information acquisition unit 14 outputs the acquired vehicle exterior information to the vehicle exterior information feature amount extraction unit 15.
  • the vehicle exterior information acquisition unit 14 may store the acquired vehicle exterior information in the storage unit.
  • the vehicle exterior information feature amount extraction unit 15 extracts the vehicle exterior information feature quantity for estimating the driver's cognitive function based on the vehicle exterior information acquired by the vehicle exterior information acquisition unit 14. To give a specific example, for example, when the signal information is included in the vehicle exterior information and the signal is a red signal, the vehicle exterior information feature amount extraction unit 15 provides the driver's information to the effect that the signal is a red signal. It is extracted as an out-of-vehicle information feature quantity for estimating cognitive function. At this time, the vehicle exterior information feature amount extraction unit 15 can include, for example, information indicating the position of the signal in the real space in the vehicle exterior information feature amount.
  • the vehicle exterior information feature amount extraction unit 15 determines the position of the signal in the real space based on, for example, the vehicle exterior captured image, the map information, and the vehicle position information. It may be calculated.
  • the vehicle exterior information feature amount extraction unit 15 may acquire map information from a navigation device (not shown) mounted on the vehicle. Further, the vehicle exterior information feature amount extraction unit 15 may acquire the vehicle position information from the GPS. The position of the signal in the real space may be calculated by the vehicle exterior information acquisition unit 14 and output to the vehicle exterior information feature amount extraction unit 15 as vehicle exterior information.
  • the vehicle exterior information feature amount extraction unit 15 when the vehicle exterior information feature amount extraction unit 15 includes signal information in the vehicle exterior information and the signal is a green signal, the vehicle exterior information feature amount extraction unit 15 detects the driver's cognitive function with the information indicating that the signal is a green signal. It is extracted as the amount of information features outside the vehicle. At this time, the vehicle exterior information feature amount extraction unit 15 can include, for example, information indicating the position of the signal in the real space in the vehicle exterior information feature amount.
  • the vehicle exterior information feature amount extraction unit 15 detects that a person has popped out on the vehicle exterior captured image when the vehicle exterior captured image is acquired as the vehicle exterior information
  • the vehicle exterior information feature amount extraction unit 15 outputs information indicating that the vehicle has popped out.
  • the outside information is, for example, an outside image
  • the outside information acquisition unit 14 compares the outside image stored in the storage unit with the outside image output from the outside information acquisition unit 14. Then, it suffices to detect whether or not a person has popped out.
  • the vehicle outside information feature amount extraction unit 15 provides the driver's cognitive function with the information that the vehicle intrusion prohibition sign information is present. It is extracted as an amount of information features outside the vehicle for estimation. Further, for example, when the information of the stop sign is acquired as the information outside the vehicle, the vehicle exterior information feature amount extraction unit 15 estimates the driver's cognitive function with the information that there is the information of the stop sign. It is extracted as a feature amount of information outside the vehicle.
  • the vehicle exterior information feature amount extraction unit 15 outputs information that the vehicle is repeatedly traveling on the same road when similar exterior vehicle information is repeatedly output within a preset period. It is extracted as an out-of-vehicle information feature quantity for estimating the cognitive function of.
  • the vehicle exterior information is an vehicle exterior image captured by the vehicle exterior image pickup device 5, and the vehicle exterior information acquisition unit 14 is similar to the vehicle exterior within a period based on the vehicle exterior image captured in the storage unit. It may be determined that the information is repeatedly output.
  • the out-of-vehicle information feature amount extraction unit 15 outputs the extracted vehicle exterior information feature amount to the face information feature amount extraction unit 16, the biological information feature amount extraction unit 17, the vehicle information feature amount extraction unit 18, and the cognitive function estimation unit 19. To do.
  • the face information feature amount extraction unit 16 is for estimating the driver's cognitive function based on the face information acquired by the face information acquisition unit 11 according to the vehicle outside information feature amount extracted by the vehicle outside information feature amount extraction unit 15. Extract facial information features. The details of the face information feature amount based on the outside information feature amount will be described later with specific examples.
  • the face information feature amount extraction unit 16 outputs the extracted face information feature amount to the cognitive function estimation unit 19.
  • the biological information feature amount extraction unit 17 is for estimating the cognitive function of the driver based on the biological information acquired by the biological information acquisition unit 12 according to the vehicle external information feature amount extracted by the vehicle exterior information feature amount extraction unit 15. Extract biological information features. The details of the biological information feature amount based on the external information feature amount will be described later with specific examples.
  • the biological information feature amount extraction unit 17 outputs the extracted biological information feature amount to the cognitive function estimation unit 19.
  • the vehicle information feature amount extraction unit 18 is for estimating the driver's cognitive function based on the vehicle information acquired by the vehicle information acquisition unit 13 according to the vehicle outside information feature amount extracted by the vehicle outside information feature amount extraction unit 15. Vehicle information feature quantity is extracted. The details of the vehicle information feature amount based on the vehicle outside information feature amount will be described later with specific examples.
  • the vehicle information feature amount extraction unit 18 outputs the extracted vehicle information feature amount to the cognitive function estimation unit 19.
  • FIG. 2 shows the outside information feature amount extracted by the vehicle-outside information feature amount extraction unit 15, the face information feature amount extracted by the face information feature amount extraction unit 16, and the biological information feature amount extraction unit 17 extracted in the first embodiment. It is a figure for demonstrating the image of an example of the relationship with the biological information feature amount, or the vehicle information feature amount extracted by the vehicle information feature amount extraction unit 18. As shown in FIG.
  • FIG. 2 lists and shows an example of a face information feature amount, an example of a biological information feature amount, or an example of a vehicle information feature amount that can be extracted according to a certain external information feature amount.
  • the face information feature amount, the biometric information feature amount, and the vehicle information feature amount corresponding to the certain outside information feature amount shown in FIG. 2 are all extracted. Is not essential.
  • FIG. 2 shows, for example, when the information indicating a red light is extracted as the outside information feature amount, the face information feature amount is always the information indicating the driver's line-of-sight direction and the face. It does not mean that the orientation information must be extracted. Further, FIG. 2 shows, for example, when information indicating a red light is extracted as an external information feature amount, the brake operation information indicating whether or not the brake has been operated, the reaction time until the brake operation, and the reaction time until the brake operation are always shown. It does not mean that the accelerator operation information as to whether or not the accelerator has been operated must be extracted.
  • the outside information feature amount extraction unit 15 extracts the information indicating that it is a red light as the outside information feature amount
  • the face information feature amount extraction unit 16 is based on the face information acquired by the face information acquisition unit 11.
  • Information indicating the driver's line-of-sight direction is extracted as a facial information feature amount.
  • the vehicle information feature amount extraction unit 18 extracts the brake operation information as to whether or not the brake has been operated as the vehicle information feature amount, based on the vehicle information acquired by the vehicle information acquisition unit 13. In this way, the vehicle-outside information feature amount extraction unit 15 can extract information indicating the driver's behavior pattern with respect to the event indicated by the vehicle-outside information feature amount as the vehicle information feature amount.
  • the vehicle exterior information feature amount extraction unit 15 provides information indicating an action pattern indicating whether or not the driver has operated the brake in response to the event of a red light, which is indicated by the vehicle exterior information feature quantity. , Vehicle information feature amount.
  • the vehicle information feature amount extraction unit 18 determines the time required from the extraction of the vehicle outside information feature amount indicating the red light to the operation of the brake. It may be extracted as a vehicle information feature amount.
  • the vehicle information feature amount extraction unit 18 determines, for example, the time required from the extraction of the outside information feature amount indicating the red light to the operation of the brake based on the vehicle information stored in the storage unit. It may be calculated.
  • the vehicle information feature amount extraction unit 18 can use the reaction time of the driver for the event indicated by the vehicle information feature amount as the vehicle information feature amount.
  • the vehicle information feature amount extraction unit 18 determines the reaction time until the driver operates the brake in response to the event that the red light is indicated, which is indicated by the vehicle information feature amount. It is supposed to be.
  • the vehicle exterior information feature amount extraction unit 15 extracts information indicating that it is a green light as the vehicle exterior information feature amount
  • the face information feature amount extraction unit 16 is based on the face information acquired by the face information acquisition unit 11.
  • Information indicating the driver's line-of-sight direction is extracted as a facial information feature amount.
  • the vehicle information feature amount extraction unit 18 extracts the accelerator operation information as to whether or not the accelerator has been operated as the vehicle information feature amount, based on the vehicle information acquired by the vehicle information acquisition unit 13.
  • the vehicle information feature amount extraction unit 18 may, for example, extract the reaction time from the extraction of the vehicle information feature amount indicating that it is a green light to the operation of the accelerator as the vehicle information feature amount.
  • the vehicle exterior information feature amount extraction unit 15 extracts information indicating that there is a pop-out as the vehicle exterior information feature amount
  • the face information feature amount extraction unit 16 is based on the face information acquired by the face information acquisition unit 11.
  • Information indicating the degree of eye opening of the driver is extracted as a facial information feature amount.
  • the vehicle information feature amount extraction unit 18 needs from the time when the vehicle information feature amount indicating that there is a pop-out is extracted based on the vehicle information acquired by the vehicle information acquisition unit 13 until the brake is operated. The time is extracted as a vehicle information feature amount.
  • the vehicle information feature amount extraction unit 15 extracts information indicating that there is a stop sign as the vehicle outside information feature amount
  • the vehicle information feature amount extraction unit 18 is the vehicle acquired by the vehicle information acquisition unit 13. Based on the information, the brake operation information as to whether or not the brake has been operated is extracted as the vehicle information feature amount.
  • the face information feature amount extraction unit 16 may use the face information acquisition unit 11.
  • the driver's emotional information is extracted as a facial information feature amount based on the facial information acquired by.
  • the biometric information feature amount extraction unit 17 extracts information on the driver's pulse and heartbeat as the biometric information feature amount based on the biometric information acquired by the biometric information acquisition unit 12.
  • the vehicle information feature amount extraction unit 18 extracts information indicating whether or not the navigation device has been operated based on the vehicle information acquired by the vehicle information acquisition unit 13 as the vehicle information feature amount.
  • the vehicle information feature amount extraction unit 18 May extract the steering angle of the steering wheel of the vehicle as the vehicle information feature amount based on the vehicle information acquired by the vehicle information acquisition unit 13.
  • the vehicle information feature amount extraction unit 18 extracts information indicating the driver's behavior pattern for the event indicated by the outside information feature amount as the vehicle information feature amount. did.
  • the face information feature amount extraction unit 16 can also extract information indicating the driver's behavior pattern as the face information feature amount. For example, when the vehicle-external information feature amount extraction unit 15 extracts information indicating that there is a pop-out as the vehicle-external information feature amount, the face information feature amount extraction unit 16 pops out based on the face information stored in the storage unit.
  • the facial information feature amount can also be information indicating an action pattern of whether or not the driver's emotional information has changed in response to the event that there is.
  • the driver when there is no change in the driver's emotional information, it can be said that the driver has taken an action of continuing the expressionlessness in response to the event that there is a pop-out without noticing the pop-out.
  • the vehicle exterior information feature amount extraction unit 15 extracts information indicating that there is a stop sign as the vehicle exterior information feature amount
  • the face information feature amount extraction unit 16 may store face information stored in the storage unit. Based on the above, the information indicating the behavior pattern that the driver has changed the line-of-sight direction in response to the event that the stop sign is present can be used as the facial information feature amount. For example, if the driver does not look in the direction of the stop sign, it can be said that the driver has taken the action of overlooking the sign.
  • the biological information feature amount extraction unit 17 can also extract information indicating the driver's behavior pattern as the biological information feature amount. For example, when the vehicle-external information feature amount extraction unit 15 extracts information indicating that there is a pop-out as the vehicle-external information feature amount, the biometric information feature amount extraction unit 17 pops out based on the biometric information stored in the storage unit. Information indicating the behavior pattern of whether or not the driver's respiratory rate has changed in response to the event that there is a presence can also be used as a biometric information feature. For example, when there is a change in the driver's respiratory rate, it can be said that the driver intentionally takes a lot of breathing in order to calm down the event of popping out.
  • the vehicle information feature amount extraction unit 18 determines the reaction time from the occurrence of the event indicated by the outside information feature amount to the vehicle operation performed by the driver.
  • An example of extracting as an information feature has been described.
  • the face information feature amount extraction unit 16 determines the reaction time from the occurrence of the event indicated by the outside information feature amount to the change in the driver's face information. It can also be extracted as an information feature amount. For example, when the vehicle exterior information feature amount extraction unit 15 extracts information indicating that it is a red light as the vehicle exterior information feature amount, the face information feature amount extraction unit 16 operates based on the face information stored in the storage unit.
  • the reaction time until the person turns his or her eyes to the red light can be used as the facial information feature amount.
  • the biological information feature amount extracting unit 17 determines the reaction time from the occurrence of the event indicated by the external information feature amount to the change in the driver's biological information. It can also be extracted as a quantity. For example, when the vehicle-external information feature amount extraction unit 15 extracts the information indicating that the vehicle has popped out as the vehicle-external information feature amount, the biometric information feature amount extraction unit 17 is based on the biometric information stored in the storage unit. The reaction time until the driver's breathing rate changes in response to the event of popping out can be used as the biological information feature amount.
  • the face information feature amount extraction unit 16, the biological information feature amount extraction unit 17, or the vehicle information feature amount extraction unit 18 are each based on the vehicle exterior information feature amount extracted by the vehicle exterior information feature amount extraction unit 15. , Face information feature amount, biometric information feature amount, or vehicle information feature amount is extracted. For the facial information feature amount, the biological information feature amount, or the vehicle information feature amount, a certain violation that is likely to be performed when the driver is a driver with impaired cognitive function is determined according to the out-of-vehicle information feature amount. Information to do is set.
  • the cognitive function estimation device As described above, in the cognitive function estimation device 1, all of the face information feature amount, the biological information feature amount, and the vehicle information feature amount with respect to the vehicle outside information feature amount extracted by the vehicle outside information feature amount extraction unit 15. Is not required to be extracted. In the cognitive function estimation device 1, at least one of the face information feature amount, the biological information feature amount, or the vehicle information feature amount is extracted with respect to the vehicle outside information feature amount extracted by the vehicle outside information feature amount extraction unit 15. It should be like this.
  • the cognitive function estimation unit 19 includes the vehicle-outside information feature amount extracted by the vehicle-outside information feature amount extraction unit 15, the vehicle information feature amount extracted by the vehicle information feature amount extraction unit 18, and the face information extracted by the face information feature amount extraction unit 16. It is estimated whether or not the driver's cognitive function is low based on the feature amount or at least one of the biological information feature amounts extracted by the biological information feature amount extraction unit 17 and the machine learning model 203. Specifically, the cognitive function estimation unit 19 inputs at least one of the vehicle information feature amount, the vehicle information feature amount, the face information feature amount, or the biological information feature amount into the machine learning model 203, and drives the machine. Obtain cognitive function information indicating whether or not a person's cognitive function is low.
  • the cognitive function estimation unit 19 includes a determination unit 191.
  • the vehicle information feature amount extracted by the vehicle outside information feature amount extraction unit 15, the vehicle information feature amount extracted by the vehicle information feature amount extraction unit 18, and the face information feature amount extraction unit 16 A preset period (hereinafter, "determination period") based on the extracted facial information feature amount or at least one of the biological information feature amount extracted by the biological information feature amount extraction unit 17 and the machine learning model 203. It is continuously determined whether or not the driver's cognitive function is presumed to be low.
  • the cognitive function estimation unit 19 estimates that the driver's cognitive function is low when the determination unit 191 determines that the driver's cognitive function is low for the continuous determination period. This makes it possible to prevent the driver from being momentarily presumed to have low cognitive function and improve the estimation accuracy of the driver's cognitive function.
  • the cognitive function estimation unit 19 includes a determination unit 191 but this is only an example.
  • the cognitive function estimation unit 19 may be configured not to include the determination unit 191.
  • the learning device 20 includes an outside information feature amount for estimating the cognitive function of the driver of the vehicle, a vehicle information feature amount for estimating the cognitive function of the driver of the vehicle, and outside information according to the outside information feature amount.
  • a machine learning model 203 that outputs cognitive function information indicating whether or not the driver's cognitive function is low is generated.
  • the machine learning model 203 is generated by the learning device 20 before the cognitive function estimation unit 19 estimates the driver's cognitive function.
  • the learning device 20 includes an acquisition unit 201, a learning unit 202, and a machine learning model 203.
  • the acquisition unit 201 acquires the vehicle-external information feature amount, the vehicle information feature amount, the face information feature amount, or the biometric information feature amount, which is input to the machine learning model 203.
  • the outside information feature amount, the vehicle information feature amount, the face information feature amount, or the biometric information feature amount acquired by the acquisition unit 201 are given correct answer information as to whether or not the cognitive function is low.
  • the outside information feature amount to which the correct answer information is added and the vehicle information feature amount, the face information feature amount, or the biometric information feature amount, which are input to the machine learning model 203, are generated in advance.
  • the acquisition unit 201 acquires the vehicle-external information feature amount, the vehicle information feature amount, the face information feature amount, or the biometric information feature amount, which are generated in advance.
  • the specific contents of the vehicle exterior information feature amount, the vehicle information feature amount, the face information feature amount, or the biological information feature amount acquired by the acquisition unit 201 are the vehicle exterior information features extracted by the vehicle exterior information feature amount extraction unit 15.
  • the manager or the like conducts a paper test on the subject and measures the cognitive function of the subject to collect the test running data of the subject.
  • the manager or the like may collect the test run data of the subject by having the subject perform a test run and measuring the cognitive function of the subject. From the collected test driving data, the administrator, etc., inputs the machine learning model 203, and is given the correct answer information, the vehicle information feature amount, the vehicle information feature amount, the face information feature amount, or the biometric information feature amount. And generate. It is desirable that the manager and the like use a certain number of vehicle drivers having various levels of cognitive function as subjects.
  • an external information feature amount, a vehicle information feature amount, a face information feature amount, or a biological information feature amount acquired by the acquisition unit 201 an external information feature amount, a vehicle information feature amount, when a normal person drives a vehicle, The facial information feature amount or the biological information feature amount and the external information feature amount, the vehicle information feature amount, the facial information feature amount, or the biological information feature amount when a person with low cognitive function drives the vehicle are previously prepared. Has been generated. Correct answer information that the cognitive function is not low is given to the outside information feature amount, the vehicle information feature amount, the face information feature amount, or the biometric information feature amount when a normal person drives the vehicle.
  • the correct answer information indicating that the cognitive function is low is given to the outside information feature amount, the vehicle information feature amount, the face information feature amount, or the biometric information feature amount.
  • the biometric feature amount is generated in advance.
  • the normal person means a person who has a cognitive function necessary for driving the vehicle properly.
  • a person with low cognitive function means a person who does not have sufficient cognitive function to drive a vehicle properly.
  • the correct answer information to the effect that the cognitive function is not low is given to the outside information feature amount, the face information feature amount, and the vehicle information feature amount.
  • the traffic light turns red when an elderly person with low cognitive function is conducting a test run.
  • the elderly person visually recognizes a red light, operates the brake, and stops the vehicle, but it takes a longer time than a normal person to operate the brake before operating the brake. It takes.
  • information indicating that it is a red light is generated as an information feature amount outside the vehicle.
  • the line-of-sight direction of the elderly when the red light is turned on is generated as the facial information feature amount.
  • the correct answer information indicating that the cognitive function is low is given to the outside information feature amount, the face information feature amount, and the vehicle information feature amount.
  • the acquisition unit 201 outputs the acquired outside information feature amount, vehicle information feature amount, face information feature amount, or biometric information feature amount to the learning unit 202.
  • the learning unit 202 generates the machine learning model 203 by learning using the vehicle information feature amount, the vehicle information feature amount, the face information feature amount, or the biological information feature amount acquired by the acquisition unit 201.
  • the learning device 20 is provided in the cognitive function estimation device 1, but this is only an example.
  • the learning device 20 may be provided outside the cognitive function estimation device 1 at a place where the cognitive function estimation device 1 can be referred to, or the learning device 20 may be used alone.
  • FIG. 3 is a flowchart for explaining the operation of the cognitive function estimation device 1 according to the first embodiment.
  • the cognitive function estimation device 1 performs information acquisition processing and acquires various information (step ST301). Specifically, the face information acquisition unit 11 acquires an in-vehicle image from the in-vehicle image pickup device 2, and acquires face information about the driver's face of the vehicle based on the in-vehicle image.
  • the biometric information acquisition unit 12 acquires biometric information of the driver of the vehicle from the biosensor 3. Further, the vehicle information acquisition unit 13 acquires vehicle information about the vehicle from the vehicle information detection device 4.
  • the vehicle exterior information acquisition unit 14 acquires the vehicle exterior captured image from the vehicle exterior imaging device 5, and acquires the vehicle exterior information regarding the situation around the vehicle based on the vehicle exterior captured image.
  • the face information acquisition unit 11 outputs the acquired face information to the face information feature amount extraction unit 16.
  • the biological information acquisition unit 12 outputs the acquired biological information to the biological information feature amount extraction unit 17.
  • the vehicle information acquisition unit 13 outputs the acquired vehicle information to the vehicle information feature amount extraction unit 18.
  • the vehicle exterior information acquisition unit 14 outputs the acquired vehicle exterior information to the vehicle exterior information feature amount extraction unit 15.
  • the vehicle exterior information feature amount extraction unit 15 extracts the vehicle exterior information feature quantity for estimating the driver's cognitive function based on the vehicle exterior information acquired by the vehicle exterior information acquisition unit 14 in step ST301 (step ST302).
  • the vehicle exterior information feature amount extraction unit 15 outputs the extracted vehicle exterior information feature amount to the face information feature amount extraction unit 16, the biological information feature amount extraction unit 17, the vehicle information feature amount extraction unit 18, and the cognitive function estimation unit 19. To do.
  • the cognitive function estimation device 1 performs various feature quantity extraction processes according to the vehicle exterior information feature quantity extracted by the vehicle exterior information feature quantity extraction unit 15 in step ST302 (step ST303).
  • the face information feature amount extraction unit 16 has a driver's cognitive function based on the face information acquired by the face information acquisition unit 11 according to the vehicle outside information feature amount extracted by the vehicle outside information feature amount extraction unit 15.
  • the facial information feature amount for estimating is extracted.
  • the biological information feature amount extracting unit 17 estimates the driver's cognitive function based on the biological information acquired by the biological information acquisition unit 12 according to the vehicle external information feature amount extracted by the vehicle external information feature amount extracting unit 15.
  • the biometric feature amount for this is extracted.
  • the vehicle information feature amount extraction unit 18 estimates the driver's cognitive function based on the vehicle information acquired by the vehicle information acquisition unit 13 according to the vehicle outside information feature amount extracted by the vehicle outside information feature amount extraction unit 15. The vehicle information feature amount for this is extracted.
  • the face information feature amount extraction unit 16 outputs the extracted face information feature amount to the cognitive function estimation unit 19.
  • the biological information feature amount extraction unit 17 outputs the extracted biological information feature amount to the cognitive function estimation unit 19.
  • the vehicle information feature amount extraction unit 18 outputs the extracted vehicle information feature amount to the cognitive function estimation unit 19.
  • the cognitive function estimation device 1 performs the cognitive function estimation process (step ST304). Specifically, the cognitive function estimation unit 19 has the vehicle information feature amount extracted by the vehicle information feature amount extraction unit 15 in step ST302 and the vehicle information feature amount extracted by the vehicle information feature amount extraction unit 18 in step ST303. Based on at least one of the face information feature amount extracted by the face information feature amount extraction unit 16 or the biometric information feature amount extracted by the biometric information feature amount extraction unit 17, and the machine learning model 203, the driver Estimate whether cognitive function is low.
  • FIG. 4 is a flowchart for explaining the operation of the learning device 20 according to the first embodiment.
  • the acquisition unit 201 performs a feature amount acquisition process (step ST401). Specifically, the acquisition unit 201 inputs the external information feature amount to which the correct answer information is given, which is input to the machine learning model 203, and the vehicle information feature amount, the face information feature amount, or the biometric information feature amount. get. The acquisition unit 201 outputs the acquired outside information feature amount, vehicle information feature amount, face information feature amount, or biometric information feature amount to the learning unit 202.
  • the learning unit 202 generates the machine learning model 203 by learning using the vehicle information feature amount, the vehicle information feature amount, the face information feature amount, or the biological information feature amount acquired by the acquisition unit 201 in step ST401. (Step ST402).
  • the cognitive function estimation device 1 extracts the out-of-vehicle information feature amount for estimating that the driver's cognitive function is deteriorated, and is based on the extracted out-of-vehicle information feature amount. Then, the facial information feature amount, the biological information feature amount, or the vehicle information feature amount for estimating that the driver's cognitive function is deteriorated is extracted. Then, the cognitive function estimation device 1 inputs the extracted external information feature amount, the face information feature amount, the biological information feature amount, or the vehicle information feature amount into the machine learning model 203, and the driver's cognitive function is performed. Obtain cognitive function information indicating whether it is low or not. In this way, the cognitive function estimation device 1 can estimate the cognitive function of whether or not the driver can constantly drive the vehicle appropriately.
  • the cognitive function information obtained by the cognitive function estimation device 1 according to the first embodiment can be utilized in various situations.
  • the vehicle is an autonomous driving vehicle capable of automatically traveling without a person performing a driving operation
  • the cognitive function estimation device 1 is mounted on the autonomous driving vehicle.
  • the cognitive function estimation device 1 obtains the cognitive function information that the driver's cognitive function is low, the braking effect of the vehicle driven by the driver is improved or the braking effect of the vehicle driven by the driver is improved based on the cognitive function information.
  • driving support such as improving the effectiveness of steering wheel operation.
  • a medical institution can use cognitive function information as a judgment material when the driver decides whether or not to drive.
  • a person with impaired cognitive function may perform rehabilitation to restore the cognitive function by driving. If the cognitive function estimation device 1 is installed in a vehicle used in such rehabilitation, the cognitive function information obtained by the cognitive function estimation device 1 can help confirm the result of the rehabilitation. it can. Further, for example, when the cognitive function estimation device 1 obtains cognitive function information that the driver's cognitive function is low, the vehicle recognizes the driver of the vehicle from the vehicle to the surroundings based on the cognitive function information. It is also possible to notify that the function is low. Specifically, for example, a control unit (not shown) provided in the cognitive function estimation device 1 transmits an e-mail notifying the driver's family that the driver is driving. Further, for example, the control unit controls to turn on the hazard lamp or to sound the horn.
  • FIG. 5A and 5B are diagrams showing an example of the hardware configuration of the cognitive function estimation device 1 according to the first embodiment.
  • the face information acquisition unit 11, the biological information acquisition unit 12, the vehicle information acquisition unit 13, the vehicle outside information acquisition unit 14, the vehicle outside information feature amount extraction unit 15, and the face information feature amount extraction unit 16 The functions of the biological information feature amount extraction unit 17, the vehicle information feature amount extraction unit 18, the cognitive function estimation unit 19, the acquisition unit 201, and the learning unit 202 are realized by the processing circuit 501.
  • the cognitive function estimation device 1 includes a processing circuit 501 for inferring the cognitive function of the driver.
  • the processing circuit 501 may be dedicated hardware as shown in FIG. 5A, or may be a CPU (Central Processing Unit) 505 that executes a program stored in the memory 506 as shown in FIG. 5B.
  • CPU Central Processing Unit
  • the processing circuit 501 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). Gate Array) or a combination of these is applicable.
  • the face information acquisition unit 11, the biological information acquisition unit 12, the vehicle information acquisition unit 13, the vehicle outside information acquisition unit 14, the vehicle outside information feature amount extraction unit 15, and the face information feature amount extraction The functions of the unit 16, the biological information feature amount extraction unit 17, the vehicle information feature amount extraction unit 18, the cognitive function estimation unit 19, the acquisition unit 201, and the learning unit 202 are software, firmware, or software and firmware. It is realized by the combination with. That is, the face information acquisition unit 11, the biometric information acquisition unit 12, the vehicle information acquisition unit 13, the vehicle exterior information acquisition unit 14, the vehicle exterior information feature amount extraction unit 15, the face information feature amount extraction unit 16, and the biometric information.
  • the feature amount extraction unit 17, the vehicle information feature amount extraction unit 18, the cognitive function estimation unit 19, the acquisition unit 201, and the learning unit 202 use the programs stored in the HDD (Hard Disk Drive) 502, the memory 506, and the like. It is realized by a processing circuit 501 such as a CPU 505 to be executed and a system LSI (Lage-Scale Information). Further, the programs stored in the HDD 502, the memory 506, etc. include the face information acquisition unit 11, the biological information acquisition unit 12, the vehicle information acquisition unit 13, the vehicle exterior information acquisition unit 14, and the vehicle exterior information feature amount extraction unit 15.
  • the memory 506 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Online Memory), an EPROM (Electric Memory), etc.
  • a sexual or volatile semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versaille Disc), or the like is applicable.
  • Some of the functions of the feature amount extraction unit 17, the vehicle information feature amount extraction unit 18, the cognitive function estimation unit 19, the acquisition unit 201, and the learning unit 202 are realized by dedicated hardware, and some are software. Alternatively, it may be realized by firmware.
  • the biological information acquisition unit 12, the vehicle information acquisition unit 13, and the vehicle exterior information acquisition unit 14 are realized by the processing circuit 501 as dedicated hardware, and the vehicle exterior information feature amount extraction unit 15 and the face information.
  • the processing circuit 501 stores the feature amount extraction unit 16, the biological information feature amount extraction unit 17, the vehicle information feature amount extraction unit 18, the cognitive function estimation unit 19, the acquisition unit 201, and the learning unit 202 in the memory 506. It is possible to realize the function by reading and executing the executed program. Further, the machine learning model 203 uses the memory 506. This is an example, and the machine learning model 203 may be composed of an HDD 502, an SSD (Solid State Drive), a DVD, or the like. Further, the cognitive function estimation device 1 is an input interface device 503 and an output interface device that perform wired communication or wireless communication with a device such as an in-vehicle image pickup device 2, a biological sensor 3, a vehicle information detection device 4, or an outside vehicle image pickup device 5. 504 is provided.
  • the cognitive function estimation device 1 has the vehicle exterior information acquisition unit 14 that acquires the vehicle exterior information regarding the situation around the vehicle and the face that acquires the face information regarding the vehicle driver's face.
  • the driver is based on the information acquisition unit 11, the biological information acquisition unit 12 that acquires the driver's biological information, the vehicle information acquisition unit 13 that acquires vehicle information about the vehicle, and the external information acquired by the external information acquisition unit 14.
  • the face information acquisition unit 11 acquired the external information feature amount extraction unit 15 for extracting the external information feature amount for estimating the cognitive function of the vehicle, and the external information feature amount extraction unit 15 extracted by the external information feature amount extraction unit 15.
  • the face information feature amount extracting unit 16 that extracts the face information feature amount for estimating the driver's cognitive function and the vehicle outside information feature amount extracting unit 15 extract the living body according to the vehicle outside information feature amount extracted.
  • the biological information feature amount extraction unit 17 for extracting the biological information feature amount for estimating the cognitive function of the driver and the vehicle external information extracted by the vehicle exterior information feature amount extraction unit 15
  • the vehicle information feature amount extraction unit 18 for extracting the vehicle information feature amount for estimating the driver's cognitive function based on the vehicle information acquired by the vehicle information acquisition unit 13 according to the feature amount, and the vehicle information feature amount extraction unit 18
  • the cognitive function estimation unit 19 for estimating whether or not the driver's cognitive function is low is provided based on at least one of the vehicle information feature quantities extracted by the above and the machine learning
  • the cognitive function estimation device 1 includes an external information feature amount, a face information feature amount, a biological information feature amount, or at least one of a vehicle information feature amount.
  • a determination unit 191 for determining whether or not the driver's cognitive function is presumed to be low is provided continuously for the determination period, and the cognitive function estimation unit 19 is determined by the determination unit 191.
  • the cognitive function estimation device 1 can prevent the driver from being momentarily estimated to have a low cognitive function, and can improve the estimation accuracy of the driver's cognitive function.
  • the cognitive function estimation device 1 is an in-vehicle device mounted on a vehicle, and is a face information acquisition unit 11, a biological information acquisition unit 12, a vehicle information acquisition unit 13, an outside information acquisition unit 14, and an outside information.
  • the feature amount extraction unit 15, the face information feature amount extraction unit 16, the biological information feature amount extraction unit 17, the vehicle information feature amount extraction unit 18, the cognitive function estimation unit 19, and the learning device 20 are provided in the cognitive function estimation device 1. It was assumed that it was done. Not limited to this, the face information acquisition unit 11, the biometric information acquisition unit 12, the vehicle information acquisition unit 13, the vehicle exterior information acquisition unit 14, the vehicle exterior information feature amount extraction unit 15, the face information feature amount extraction unit 16, the biometric information feature amount extraction.
  • a part of the unit 17, the vehicle information feature amount extraction unit 18, the cognitive function estimation unit 19, or the learning device 20 shall be provided in the in-vehicle device mounted on the vehicle, and the others may be provided via the in-vehicle device and the network.
  • the cognitive function estimation system may be configured by the in-vehicle device and the server as provided in the server to be connected.
  • the cognitive function estimation device Since the cognitive function estimation device according to the present invention is configured to be able to estimate whether or not the driver has a certain level of cognitive function, it is applied to the cognitive function estimation device that estimates the cognitive function of the driver of the vehicle. be able to.
  • 1 Cognitive function estimation device 2 In-vehicle image pickup device, 3 Biosensor, 4 Vehicle information detection device, 5 Out-of-vehicle image pickup device, 11 Face information acquisition unit, 12 Biometric information acquisition unit, 13 Vehicle information acquisition unit, 14 Outside vehicle information acquisition unit, 15 External information feature amount extraction unit, 16 Face information feature amount extraction unit, 17 Biometric information feature amount extraction unit, 18 Vehicle information feature amount extraction unit, 19 Cognitive function estimation unit, 191 Judgment unit, 20 Learning device, 201 Acquisition unit, 202 learning unit, 203 machine learning model, 501 processing circuit, 502 HDD, 503 input interface device, 504 output interface device, 505 CPU, 506 memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

車外情報を取得する車外情報取得部（１４）と、顔情報を取得する顔情報取得部（１１）と、生体情報を取得する生体情報取得部（１２）と、車両情報を取得する車両情報取得部（１３）と、車外情報に基づき車外情報特徴量を抽出する車外情報特徴量抽出部（１５）と、車外情報特徴量に基づき顔情報特徴量を抽出する顔情報特徴量抽出部（１６）と、車外情報特徴量に基づき生体情報特徴量を抽出する生体情報特徴量抽出部（１７）と、車外情報特徴量に基づき車両情報特徴量を抽出する車両情報特徴量抽出部（１８）と、車外情報特徴量と、顔情報特徴量、生体情報特徴量、または、車両情報特徴量のうちの少なくとも１つと、機械学習モデル（２０３）とに基づき、運転者の認知機能が低いか否かを推定する認知機能推定部（１９）を備えた。

Description

認知機能推定装置、学習装置、および、認知機能推定方法
　この発明は、車両の運転者の認知機能を推定する認知機能推定装置、車両の運転者の認知機能を学習する学習装置、および、車両の運転者の認知機能を推定する認知機能推定方法に関する。
　一般的に、人は高齢になるにつれて、認知機能が低下することが知られている。ここでいう認知機能とは、人が有する、車両を適切に運転するための機能のことである。例えば、車両の運転者が高齢である場合、認知機能が低下していることによって、運転者は、当該認知機能を果たすことができず、その結果、適切な運転ができない場合がある。したがって、例えば、運転支援の技術において、運転者が、一定水準の認知機能を有しているか否かを推定する技術が求められる。
　一方、ある運転者の、運転に対する集中の度合いという意味での認知度に関する技術としては、例えば、特許文献１に、車両の運転者の視線の上下方向の動きに基づいて認知度を推定する認知度推定装置が開示されている。
特開２０１５－８０５４９号公報
　上述のとおり、運転支援の技術において、運転者が、一定水準の認知機能を有しているか否かを推定する技術が求められる。しかしながら、従来の運転支援の技術では、運転者の認知機能を推定することができていないという課題があった。
　特許文献１に開示されているような認知度推定装置では、認知度を推定しているが、当該認知度は、ある運転者における一時的な、運転に対する集中度であり、ある運転者が、一定水準の、車両を適切に運転するための機能を有しているか否かを推定するものではない。そのため、特許文献１に開示されているような認知度推定装置の技術では、上記課題を解決できない。
　この発明は、上記のような課題を解決するためになされたもので、運転者が一定水準の認知機能を有するか否か推定することができる認知機能推定装置を提供することを目的とする。
　この発明に係る認知機能推定装置は、車両周辺の状況に関する車外情報を取得する車外情報取得部と、車両の運転者の顔に関する顔情報を取得する顔情報取得部と、運転者の生体情報を取得する生体情報取得部と、車両に関する車両情報を取得する車両情報取得部と、車外情報取得部が取得した車外情報に基づき、運転者の認知機能を推定するための車外情報特徴量を抽出する車外情報特徴量抽出部と、車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、顔情報取得部が取得した顔情報に基づき、運転者の認知機能を推定するための顔情報特徴量を抽出する顔情報特徴量抽出部と、車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、生体情報取得部が取得した生体情報に基づき、運転者の認知機能を推定するための生体情報特徴量を抽出する生体情報特徴量抽出部と、車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、車両情報取得部が取得した車両情報に基づき、運転者の認知機能を推定するための車両情報特徴量を抽出する車両情報特徴量抽出部と、車外情報特徴量抽出部が抽出した車外情報特徴量と、顔情報特徴量抽出部が抽出した顔情報特徴量、生体情報特徴量抽出部が抽出した生体情報特徴量、または、車両情報特徴量抽出部が抽出した車両情報特徴量のうちの少なくとも１つと、機械学習モデルとに基づき、運転者の認知機能が低いか否かを推定する認知機能推定部を備えたものである。
　この発明によれば、運転者が一定水準の認知機能を有するか否か推定することができる。
実施の形態１に係る認知機能推定装置の構成例を示す図である。 実施の形態１において、車外情報特徴量抽出部が抽出する車外情報特徴量と、顔情報特徴量抽出部が抽出する顔情報特徴量、生体情報特徴量抽出部が抽出する生体情報特徴量、または、車両情報特徴量抽出部が抽出する車両情報特徴量との関係の一例のイメージを説明するための図である。 実施の形態１に係る認知機能推定装置の動作を説明するためのフローチャートである。 実施の形態１に係る学習装置の動作を説明するためのフローチャートである。 図５Ａ，図５Ｂは、実施の形態１に係る認知機能推定装置のハードウェア構成の一例を示す図である。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、実施の形態１に係る認知機能推定装置１の構成例を示す図である。
　実施の形態１に係る認知機能推定装置１は、車両（図示省略）に搭載されることを想定している。
　図１に示すように、認知機能推定装置１は、車内撮像装置２、生体センサ３、車両情報検知装置４、および、車外撮像装置５と接続される。車内撮像装置２、生体センサ３、車両情報検知装置４、および、車外撮像装置５は、車両に搭載されることを想定している。
　車内撮像装置２は、車両内を撮像する。車内撮像装置２は、例えば、車両内をモニタリングすることを目的に車両に設置された車内カメラ等であり、少なくとも、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲を撮像可能に設置される。運転席に着座している運転者の顔が存在すべき範囲とは、例えば、運転席のヘッドレストの前方付近の空間に相当する範囲である。車内撮像装置２は、車両内の運転者の状態を監視するために車両に搭載される、いわゆる「ドライバモニタリングシステム」が有する撮像装置と共用のものであってもよい。
　生体センサ３は、運転者の生体情報を計測する。運転者の生体情報とは、例えば、運転者の脈拍、体温、血圧、呼吸、心拍、または、脳波の情報である。
　車両情報検知装置４は、車両に関する車両情報を検知する。車両情報検知装置４は、アクセル開度センサ、操舵角センサ、ブレーキセンサ、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、ナビゲーション装置等、車両に関する情報を検知する様々な装置を含む。車両情報とは、例えば、アクセル開度に関する情報、ハンドル操舵角に関する情報、または、ブレーキ操作量に関する情報である。例えば、車両情報検知装置４がアクセル開度センサである場合、当該アクセル開度センサは、アクセルが操作されたこと、または、車両のアクセル開度等を検知する。また、例えば、車両情報検知装置４が操舵角センサである場合、当該操舵角センサは、車両のハンドル操舵角等を検知する。また、例えば、車両情報検知装置４がブレーキセンサである場合、当該ブレーキセンサは、車両のブレーキが操作されたこと、または、ブレーキ操作量等を検知する。また、例えば、車両情報検知装置４がＧＰＳである場合、当該ＧＰＳは、車両の現在位置を検知する。また、例えば、車両情報検知装置４がナビゲーション装置である場合、当該ナビゲーション装置は、当該ナビゲーション装置が操作されたこと、または、車両の経路情報等を検知する。
　車外撮像装置５は、例えば、車両の周辺を撮像する車外カメラである。
　認知機能推定装置１は、車外撮像装置５が撮像した画像（以下「車外撮像画像」という。）と、車内撮像装置２が撮像した画像（以下「車内撮像画像」という。）、生体センサ３が計測した生体情報、または、車両情報検知装置４が計測した車両情報と、機械学習モデル２０３とに基づき、車両の運転者の認知機能を推定する。ここで、「モデル」とは、機械学習における学習済みモデルのことである。機械学習モデル２０３は、学習装置２０が機械学習を用いて生成する。学習装置２０および機械学習モデル２０３の詳細については後述する。
　実施の形態１において、「認知機能」とは、人が有する、車両を適切に運転するための機能をいう。運転者が一定水準の認知機能を有する場合、当該運転者は、車両を適切に運転することができる。一方、運転者の認知機能が低下すると、当該運転者は、車両を運転する上で一定の違反行為をしてしまう等、車両を適切に運転することができなくなる。一般的に、高齢になるにつれて、認知機能は低下すると言われている。
　認知機能推定装置１は、顔情報取得部１１、生体情報取得部１２、車両情報取得部１３、車外情報取得部１４、車外情報特徴量抽出部１５、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、認知機能推定部１９、および、学習装置２０を備える。
　認知機能推定部１９は、判定部１９１を備える。
　学習装置２０は、取得部２０１、学習部２０２、および、機械学習モデル２０３を備える。
　顔情報取得部１１は、車内撮像装置２から、車内撮像画像を取得し、車内撮像画像に基づき、車両の運転者の顔に関する顔情報を取得する。実施の形態１において、運転者の顔情報とは、運転者の顔向きに関する情報、運転者の視線に関する情報、運転者の開眼度に関する情報、運転者の開口度に関する情報、運転者の表情に基づく感情情報、運転者の頭部の位置に関する情報等である。顔情報取得部１１は、例えば、既知の画像認識技術を用いて、車内撮像画像から、運転者の顔情報を取得すればよい。
　顔情報取得部１１は、取得した顔情報を、顔情報特徴量抽出部１６に出力する。顔情報取得部１１は、取得した顔情報を、記憶部（図示省略）に蓄積させるようにしてもよい。
　生体情報取得部１２は、生体センサ３から、車両の運転者の生体情報を取得する。
　生体情報取得部１２は、車内撮像装置２から車内撮像画像を取得し、既存の画像認識技術を用いて、車内撮像画像から、生体情報を取得してもよい。具体的には、生体情報取得部１２は、例えば、既存の画像認識技術を用いて、車内撮像画像における運転者の顔の輝度変化を解析する。そして、生体情報取得部１２は、解析した、運転者の顔の輝度変化から、例えば、運転者の脈拍を推定する。
　生体情報取得部１２は、取得した生体情報を、生体情報特徴量抽出部１７に出力する。生体情報取得部１２は、取得した生体情報を、記憶部に蓄積させるようにしてもよい。
　車両情報取得部１３は、車両情報検知装置４から、車両に関する車両情報を取得する。
　車両情報取得部１３は、取得した車両情報を、車両情報特徴量抽出部１８に出力する。車両情報取得部１３は、取得した車両情報を、記憶部に蓄積させるようにしてもよい。
　車外情報取得部１４は、車外撮像装置５から、車外撮像画像を取得し、車外撮像画像に基づき、車両周辺の状況に関する車外情報を取得する。実施の形態１において、車外情報とは、信号に関する情報、歩行者の飛び出しがあるか否かの情報、車両が走行中の経路に関する情報、標識に関する情報等である。信号に関する情報には、例えば、信号の有無、および、信号の色に関する情報が含まれる。標識に関する情報には、例えば、標識の有無、および、標識の内容に関する情報が含まれる。車外情報取得部１４は、例えば、既知の画像認識技術を用いて、車外撮像画像から、車外情報を取得すればよい。また、車外情報取得部１４は、車外撮像装置５から取得した車外撮像画像そのものを車外情報としてもよい。
　車外情報取得部１４は、取得した車外情報を、車外情報特徴量抽出部１５に出力する。車外情報取得部１４は、取得した車外情報を、記憶部に蓄積させるようにしてもよい。
　車外情報特徴量抽出部１５は、車外情報取得部１４が取得した車外情報に基づき、運転者の認知機能を推定するための車外情報特徴量を抽出する。
　具体例を挙げると、例えば、車外情報特徴量抽出部１５は、車外情報に信号の情報が含まれており、信号が赤信号である場合、当該赤信号である旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。このとき、車外情報特徴量抽出部１５は、例えば、実空間上の信号の位置を示す情報も、車外情報特徴量に含めるようにすることができる。車外撮像画像の撮像範囲は予め決められているものとし、車外情報特徴量抽出部１５は、実空間上の信号の位置を、例えば、車外撮像画像、地図情報、および、車両の位置情報に基づいて算出すればよい。車外情報特徴量抽出部１５は、例えば、車両に搭載されているナビゲーション装置（図示省略）から地図情報を取得するようにすればよい。また、車外情報特徴量抽出部１５は、ＧＰＳから車両の位置情報を取得するようにすればよい。なお、実空間上の信号の位置は、車外情報取得部１４が算出し、車外情報として車外情報特徴量抽出部１５に出力するようにしてもよい。
　また、例えば、車外情報特徴量抽出部１５は、車外情報に信号の情報が含まれており、信号が青信号である場合、当該青信号である旨の情報を、運転者の認知機能を検知するための車外情報特徴量として抽出する。このとき、車外情報特徴量抽出部１５は、例えば、実空間上の信号の位置を示す情報も、車外情報特徴量に含めるようにすることができる。
　また、例えば、車外情報特徴量抽出部１５は、車外情報として車外撮像画像が取得された場合、当該車外撮像画像上で人の飛び出しが発生したことを検知すると、当該飛び出しがある旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。なお、この場合、車外情報は例えば車外撮像画像であり、車外情報取得部１４は、記憶部に直近に蓄積された車外撮像画像と、車外情報取得部１４から出力された車外撮像画像とを比較し、人の飛び出しが発生したか否かを検知すればよい。
　また、例えば、車外情報特徴量抽出部１５は、車外情報として車両侵入禁止の標識の情報が取得された場合、当該車両侵入禁止の標識の情報がある旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。また、例えば、車外情報特徴量抽出部１５は、車外情報として一時停止の標識の情報が取得された場合、当該一時停止の標識の情報がある旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。
　また、例えば、車外情報特徴量抽出部１５は、予め設定された期間内に、類似の車外情報が繰り返し出力されている場合、車両が同じ道を繰り返し走行している旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。なお、この場合、例えば、車外情報は、車外撮像装置５が撮像した車外撮像画像であり、車外情報取得部１４は、記憶部に蓄積されている車外撮像画像に基づき、期間内に類似の車外情報が繰り返し出力されていることを判断すればよい。
　車外情報特徴量抽出部１５が、車外情報に基づいて、どのような車外情報特徴量を抽出するかは、予め決められている。車外情報特徴量は、車外で発生した何らかの事象であって、運転者が、認知機能が低下した運転者である場合に行いやすい一定の違反行為（例えば、警視庁ホームページ、認知機能が低下した場合に行われやすい一定の違反行為（１８基準行為）、URL：『https://www.keishicho.metro.tokyo.jp/smph/menkyo/koshu/koureisha_anzen.html』参照）、を行い得る事象、に関する情報とするよう、予め決められている。
　車外情報特徴量抽出部１５は、抽出した車外情報特徴量を、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、および、認知機能推定部１９に出力する。
　顔情報特徴量抽出部１６は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、顔情報取得部１１が取得した顔情報に基づき、運転者の認知機能を推定するための顔情報特徴量を抽出する。車外情報特徴量に基づく顔情報特徴量の詳細については、具体例を挙げて後述する。顔情報特徴量抽出部１６は、抽出した顔情報特徴量を、認知機能推定部１９に出力する。
　生体情報特徴量抽出部１７は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、生体情報取得部１２が取得した生体情報に基づき、運転者の認知機能を推定するための生体情報特徴量を抽出する。車外情報特徴量に基づく生体情報特徴量の詳細については、具体例を挙げて後述する。生体情報特徴量抽出部１７は、抽出した生体情報特徴量を、認知機能推定部１９に出力する。
　車両情報特徴量抽出部１８は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、車両情報取得部１３が取得した車両情報に基づき、運転者の認知機能を推定するための車両情報特徴量を抽出する。車外情報特徴量に基づく車両情報特徴量の詳細については、具体例を挙げて後述する。車両情報特徴量抽出部１８は、抽出した車両情報特徴量を、認知機能推定部１９に出力する。
　ここで、車外情報特徴量抽出部１５が抽出した車外情報特徴量に基づいて顔情報特徴量抽出部１６が抽出する顔情報特徴量、生体情報特徴量抽出部１７が抽出する生体情報特徴量、または、車両情報特徴量抽出部１８が抽出する車両情報特徴量について、具体例を挙げて説明する。
　図２は、実施の形態１において、車外情報特徴量抽出部１５が抽出する車外情報特徴量と、顔情報特徴量抽出部１６が抽出する顔情報特徴量、生体情報特徴量抽出部１７が抽出する生体情報特徴量、または、車両情報特徴量抽出部１８が抽出する車両情報特徴量との関係の一例のイメージを説明するための図である。
　図２に示すように、顔情報特徴量抽出部１６がどのような顔情報特徴量を抽出するか、生体情報特徴量抽出部１７がどのような生体情報特徴量を抽出するか、または、車両情報特徴量抽出部１８がどのような車両情報特徴量を抽出するかは、車外情報特徴量抽出部１５が抽出した車外情報特徴量の内容に応じて、予め決められている。
　なお、図２では、ある車外情報特徴量に応じて、抽出され得る、顔情報特徴量の一例、生体情報特徴量の一例、または、車両情報特徴量の一例を列挙して示している。図２で示す、ある車外情報特徴量に対して、図２に示す、当該ある車外情報特徴量に対応する、顔情報特徴量、生体情報特徴量、および、車両情報特徴量が全て抽出されることが必須なわけではない。具体的には、図２は、例えば、赤信号である旨の情報が車外情報特徴量として抽出された場合に、必ず、顔情報特徴量として、運転者の視線方向を示す情報、および、顔向きを示す情報が抽出されなければならないことを意味するものではない。また、図２は、例えば、赤信号である旨の情報が車外情報特徴量として抽出された場合に、必ず、ブレーキが操作されたか否かのブレーキ操作情報、ブレーキ操作までの反応時間、および、アクセルが操作されたか否かのアクセル操作情報が抽出されなければならないことを意味するものではない。
　例えば、車外情報特徴量抽出部１５が、赤信号である旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、顔情報取得部１１が取得した顔情報に基づき、運転者の視線方向を示す情報を、顔情報特徴量として抽出する。この場合、例えば、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、ブレーキが操作されたか否かのブレーキ操作情報を、車両情報特徴量として抽出する。車外情報特徴量抽出部１５は、このように、車外情報特徴量で示される事象に対する、運転者の行動パターンを示す情報を、車両情報特徴量として抽出することができる。上述の例では、車外情報特徴量抽出部１５は、車外情報特徴量で示される、赤信号になったという事象に対して、運転者がブレーキを操作したか否かの行動パターンを示す情報を、車両情報特徴量としている。
　車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、赤信号である旨の車外情報特徴量が抽出されてから、ブレーキが操作されるまでに要した時間を、車両情報特徴量として抽出してもよい。車両情報特徴量抽出部１８は、例えば、記憶部に蓄積されている車両情報に基づき、赤信号である旨の車外情報特徴量が抽出されてから、ブレーキが操作されるまでに要した時間を算出すればよい。車両情報特徴量抽出部１８は、は、このように、車外情報特徴量で示される事象に対する、運転者の反応時間を、車両情報特徴量とすることができる。上述の例では、車両情報特徴量抽出部１８は、車外情報特徴量で示される、赤信号になったという事象に対して、運転者がブレーキを操作するまでの反応時間を、車両情報特徴量としている。
　また、例えば、車外情報特徴量抽出部１５が、青信号である旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、顔情報取得部１１が取得した顔情報に基づき、運転者の視線方向を示す情報を、顔情報特徴量として抽出する。この場合、例えば、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、アクセルが操作されたか否かのアクセル操作情報を、車両情報特徴量として抽出する。車両情報特徴量抽出部１８は、例えば、青信号である旨の車外情報特徴量が抽出されてから、アクセルが操作されるまでの反応時間を、車両情報特徴量として抽出してもよい。
　また、例えば、車外情報特徴量抽出部１５が、飛び出しがある旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、顔情報取得部１１が取得した顔情報に基づき、運転者の開眼度を示す情報を、顔情報特徴量として抽出する。この場合、例えば、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、飛び出しがある旨の車外情報特徴量が抽出されてから、ブレーキが操作されるまでに要した時間を、車両情報特徴量として抽出する。
　また、例えば、車外情報特徴量抽出部１５が、一時停止の標識がある旨の情報を車外情報特徴量として抽出した場合、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、ブレーキが操作されたか否かのブレーキ操作情報を、車両情報特徴量として抽出する。
　また、例えば、車外情報特徴量抽出部１５が、車両が同じ道を繰り返し走行している旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、顔情報取得部１１が取得した顔情報に基づき、運転者の感情情報を、顔情報特徴量として抽出する。この場合、例えば、生体情報特徴量抽出部１７は、生体情報取得部１２が取得した生体情報に基づき、運転者の脈拍および心拍に関する情報を、生体情報特徴量として抽出する。また、この場合、例えば、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、ナビゲーション装置が操作されたか否かを示す情報を、車両情報特徴量として抽出する。
　図２では図示していないが、例えば、車外情報特徴量抽出部１５が、車両は交差点またはカーブを走行中である旨の情報を車外情報特徴量として抽出した場合、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、車両のハンドル操舵角を、車両情報特徴量として抽出するようにしてもよい。
　以上の例では、認知機能推定装置１において、車両情報特徴量抽出部１８が、車外情報特徴量で示される事象に対する、運転者の行動パターンを示す情報を車両情報特徴量として抽出する例について説明した。これ以外に、認知機能推定装置１において、顔情報特徴量抽出部１６が、運転者の行動パターンを示す情報を、顔情報特徴量として抽出することもできる。例えば、車外情報特徴量抽出部１５が、飛び出しがある旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、記憶部に蓄積されている顔情報に基づき、当該飛び出しがあるという事象に対して、運転者の感情情報に変化があったか否かの行動パターンを示す情報を、顔情報特徴量とすることもできる。例えば、運転者の感情情報に変化がない場合、運転者は、飛び出しがあるという事象に対して、当該飛び出しに気づかず、無表情を継続させるという行動をとったと言える。
　また、例えば、車外情報特徴量抽出部１５が、一時停止の標識がある旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、記憶部に蓄積されている顔情報に基づき、当該一時停止の標識があるという事象に対して、運転者が視線方向を変化させたという行動パターンを示す情報を、顔情報特徴量とすることもできる。例えば、運転者が一時停止の標識の方向に視線を向けなかった場合、運転者は、当該標識を見落とすという行動をとったと言える。
　また、認知機能推定装置１において、生体情報特徴量抽出部１７が、運転者の行動パターンを示す情報を、生体情報特徴量として抽出することもできる。例えば、車外情報特徴量抽出部１５が、飛び出しがある旨の情報を車外情報特徴量として抽出した場合、生体情報特徴量抽出部１７は、記憶部に蓄積されている生体情報に基づき、当該飛び出しがあるという事象に対して、運転者の呼吸数に変化があったか否かの行動パターンを示す情報を、生体情報特徴量とすることもできる。例えば、運転者の呼吸数が多くなるという変化があった場合、運転者は、飛び出しがあるという事象に対して、落ち着かせるために意図的に呼吸を多く行うという行動をとったと言える。
　また、以上の例では、認知機能推定装置１において、車両情報特徴量抽出部１８が、車外情報特徴量で示される事象が発生してから、運転者が行った車両操作までの反応時間を車両情報特徴量として抽出する例について説明した。これ以外に、認知機能推定装置１において、顔情報特徴量抽出部１６が、車外情報特徴量で示される事象が発生してから、運転者の顔情報に変化が起きるまでの反応時間を、顔情報特徴量として抽出することもできる。例えば、車外情報特徴量抽出部１５が、赤信号である旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、記憶部に蓄積されている顔情報に基づき、運転者が赤信号に視線を向けるまでの反応時間を、顔情報特徴量とすることもできる。
　また、認知機能推定装置１において、生体情報特徴量抽出部１７が、車外情報特徴量で示される事象が発生してから、運転者の生体情報に変化が起きるまでの反応時間を、生体情報特徴量として抽出することもできる。例えば、車外情報特徴量抽出部１５が、飛び出しがあった旨の情報を車外情報特徴量として抽出した場合、生体情報特徴量抽出部１７は、記憶部に蓄積されている生体情報に基づき、当該飛び出しがあったという事象に対して、運転者の呼吸数に変化があるまでの反応時間を、生体情報特徴量とすることもできる。
　このように、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、または、車両情報特徴量抽出部１８は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に基づいて、それぞれ、顔情報特徴量、生体情報特徴量、または、車両情報特徴量を抽出する。
　顔情報特徴量、生体情報特徴量、または、車両情報特徴量には、車外情報特徴量に応じて、運転者が、認知機能が低下した運転者である場合に行いやすい一定の違反行為を判別するための情報が、設定される。
　なお、上述したように、認知機能推定装置１において、車外情報特徴量抽出部１５が抽出した車外情報特徴量に対して、顔情報特徴量、生体情報特徴量、および、車両情報特徴量のすべてが抽出されることは必須ではない。認知機能推定装置１において、車外情報特徴量抽出部１５が抽出した車外情報特徴量に対して、顔情報特徴量、生体情報特徴量、または、車両情報特徴量のうちの少なくとも１つが抽出されるようになっていればよい。
　図１を用いた認知機能推定装置１の説明に戻る。
　認知機能推定部１９は、車外情報特徴量抽出部１５が抽出した車外情報特徴量と、車両情報特徴量抽出部１８が抽出した車両情報特徴量、顔情報特徴量抽出部１６が抽出した顔情報特徴量、または、生体情報特徴量抽出部１７が抽出した生体情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、運転者の認知機能が低いか否かを推定する。具体的には、認知機能推定部１９は、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量のうちの少なくとも１つを機械学習モデル２０３に入力し、運転者の認知機能が低いか否かを示す認知機能情報を得る。
　実施の形態１では、認知機能推定部１９は、判定部１９１を備えるものとする。
　認知機能推定部１９の判定部１９１は、車外情報特徴量抽出部１５が抽出した車外情報特徴量と、車両情報特徴量抽出部１８が抽出した車両情報特徴量、顔情報特徴量抽出部１６が抽出した顔情報特徴量、または、生体情報特徴量抽出部１７が抽出した生体情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、予め設定された期間（以下「判定用期間」という。）継続して、運転者の認知機能が低いと推定されたか否かを判定する。
　認知機能推定部１９は、判定部１９１が、判定用期間継続して、運転者の認知機能が低いと推定されたと判定した場合に、運転者の認知機能が低いと推定する。これにより、運転者が、瞬間的に、認知機能が低いと推定されることを防ぎ、運転者の認知機能の推定精度を向上させることができる。
　なお、ここでは、認知機能推定部１９は、判定部１９１を備えるものとするが、これは一例に過ぎない。認知機能推定部１９は、判定部１９１を備えない構成としてもよい。
　学習装置２０は、車両の運転者の認知機能を推定するための車外情報特徴量と、車外情報特徴量に応じた、車両の運転者の認知機能を推定するための車両情報特徴量、車外情報特徴量に応じた、車両の運転者の認知機能を推定するための顔情報特徴量、または、車外情報特徴量に応じた、車両の運転者の認知機能を推定するための生体情報特徴量を入力とし、運転者の認知機能が低いか否かを示す認知機能情報を出力する機械学習モデル２０３を生成する。なお、機械学習モデル２０３は、認知機能推定部１９が運転者の認知機能を推定するよりも前に、学習装置２０によって生成されている。
　学習装置２０は、取得部２０１、学習部２０２、および、機械学習モデル２０３を備える。
　取得部２０１は、機械学習モデル２０３の入力とする、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量を取得する。取得部２０１が取得する、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量には、認知機能が低いか否かの正解情報が付与されている。
　機械学習モデル２０３の入力とする、正解情報が付与された、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とは、予め生成されている。取得部２０１は、これらの、予め生成されている、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを取得する。
　なお、取得部２０１が取得する、車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量の具体的な内容は、車外情報特徴量抽出部１５が抽出する車外情報特徴量、顔情報特徴量抽出部１６が抽出する顔情報特徴量、生体情報特徴量抽出部１７が抽出する生体情報特徴量、または、車両情報特徴量抽出部１８が抽出する車両情報特徴量の具体的な内容と同様である。
　例えば、管理者等は、被験者に対してペーパーテストを実施し、当該被験者の認知機能を計測することで、当該被験者のテスト走行データを収集する。例えば、管理者等は、被験者に対してテスト走行を行わせ、当該被験者の認知機能を計測することで、当該被験者のテスト走行データを収集してもよい。管理者等は、収集したテスト走行データから、機械学習モデル２０３の入力とする、正解情報が付与された、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを、生成する。なお、管理者等は、様々なレベルの認知機能を有する、一定数の車両の運転者を、被験者とすることが望ましい。
　例えば、取得部２０１が取得する車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量として、正常者が車両を運転した場合の車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量と、認知機能が低い者が車両を運転した場合の車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とが、予め生成されている。正常者が車両を運転した場合の車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量には、認知機能が低くない旨の正解情報が付与されている。一方、認知機能が低い者が車両を運転した場合の車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量には、認知機能が低い旨の正解情報が付与されている。
　具体的には、例えば、車両をテスト走行させられた正常者、および、認知機能が低い高齢者が当該テスト走行した際に取得される、車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量が、予め生成されている。なお、実施の形態１において、正常者とは、車両を適切に運転するために必要な認知機能を有している者をいう。一方、認知機能が低い者とは、車両を適切に運転するために十分な認知機能を有していない者をいう。
　正常者、および、高齢者等、認知機能が低い運転者がテスト走行した際に取得される車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量について、具体例を挙げて説明する。
　例えば、正常者がテスト走行をしている際に、信号が赤に変わったとする。そうすると、正常者は、赤信号を視認し、瞬時にブレーキを操作して、車両を停止させる。この場合、赤信号である旨の情報が車外情報特徴量として生成される。また、赤信号になった際の正常者の視線方向が顔情報特徴量として生成される。また、赤信号になってから正常者がブレーキ操作をしたか否か、および、赤信号になってからブレーキ操作までの反応時間が、車両情報特徴量として生成される。そして、これらの車外情報特徴量、顔情報特徴量、および、車両情報特徴量には、認知機能が低くない旨の正解情報が付与される。
　一方、例えば、認知機能が低い高齢者がテスト走行をしている際に、信号が赤に変わったとする。そうすると、当該高齢者は、例えば、赤信号を視認し、ブレーキを操作して、車両を停止させるが、ブレーキを操作するまでには、正常者がブレーキを操作するまでの時間よりも長い時間を要する。この場合、赤信号である旨の情報が車外情報特徴量として生成される。また、赤信号になった際の高齢者の視線方向が顔情報特徴量として生成される。また、赤信号になってから高齢者がブレーキ操作をしたか否か、および、赤信号になってからブレーキ操作までの反応時間が、車両情報特徴量として生成される。そして、これらの車外情報特徴量、顔情報特徴量、および、車両情報特徴量には、認知機能が低い旨の正解情報が付与される。
　取得部２０１は、取得した、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを、学習部２０２に出力する。
　学習部２０２は、取得部２０１が取得した、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを用いた学習によって機械学習モデル２０３を生成する。
　なお、実施の形態１では、図１に示すように、学習装置２０は、認知機能推定装置１に備えられるものとするが、これは一例に過ぎない。学習装置２０は、認知機能推定装置１の外部の、認知機能推定装置１が参照可能な場所に備えられるものとしてもよいし、学習装置２０は、単体で用いられるものとしてもよい。
　実施の形態１に係る認知機能推定装置１の動作について説明する。
　図３は、実施の形態１に係る認知機能推定装置１の動作を説明するためのフローチャートである。
　認知機能推定装置１は、情報取得処理を行い、各種情報を取得する（ステップＳＴ３０１）。具体的には、顔情報取得部１１は、車内撮像装置２から、車内撮像画像を取得し、車内撮像画像に基づき、車両の運転者の顔に関する顔情報を取得する。また、生体情報取得部１２は、生体センサ３から、車両の運転者の生体情報を取得する。また、車両情報取得部１３は、車両情報検知装置４から、車両に関する車両情報を取得する。また、車外情報取得部１４は、車外撮像装置５から、車外撮像画像を取得し、車外撮像画像に基づき、車両周辺の状況に関する車外情報を取得する。
　顔情報取得部１１は、取得した顔情報を、顔情報特徴量抽出部１６に出力する。また、生体情報取得部１２は、取得した生体情報を、生体情報特徴量抽出部１７に出力する。また、車両情報取得部１３は、取得した車両情報を、車両情報特徴量抽出部１８に出力する。また、車外情報取得部１４は、取得した車外情報を、車外情報特徴量抽出部１５に出力する。
　車外情報特徴量抽出部１５は、ステップＳＴ３０１にて車外情報取得部１４が取得した車外情報に基づき、運転者の認知機能を推定するための車外情報特徴量を抽出する（ステップＳＴ３０２）。
　車外情報特徴量抽出部１５は、抽出した車外情報特徴量を、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、および、認知機能推定部１９に出力する。
　認知機能推定装置１は、ステップＳＴ３０２にて車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、各種特徴量抽出処理を行う（ステップＳＴ３０３）。
　具体的には、顔情報特徴量抽出部１６は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、顔情報取得部１１が取得した顔情報に基づき、運転者の認知機能を推定するための顔情報特徴量を抽出する。また、生体情報特徴量抽出部１７は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、生体情報取得部１２が取得した生体情報に基づき、運転者の認知機能を推定するための生体情報特徴量を抽出する。また、車両情報特徴量抽出部１８は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、車両情報取得部１３が取得した車両情報に基づき、運転者の認知機能を推定するための車両情報特徴量を抽出する。
　顔情報特徴量抽出部１６は、抽出した顔情報特徴量を、認知機能推定部１９に出力する。また、生体情報特徴量抽出部１７は、抽出した生体情報特徴量を、認知機能推定部１９に出力する。また、車両情報特徴量抽出部１８は、抽出した車両情報特徴量を、認知機能推定部１９に出力する。
　認知機能推定装置１は、認知機能推定処理を行う（ステップＳＴ３０４）。具体的には、認知機能推定部１９は、ステップＳＴ３０２にて車外情報特徴量抽出部１５が抽出した車外情報特徴量と、ステップＳＴ３０３にて車両情報特徴量抽出部１８が抽出した車両情報特徴量、顔情報特徴量抽出部１６が抽出した顔情報特徴量、または、生体情報特徴量抽出部１７が抽出した生体情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、運転者の認知機能が低いか否かを推定する。
　図４は、実施の形態１に係る学習装置２０の動作を説明するためのフローチャートである。
　取得部２０１は、特徴量取得処理を行う（ステップＳＴ４０１）。具体的には、取得部２０１は、機械学習モデル２０３の入力とする、正解情報が付与された、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを取得する。
　取得部２０１は、取得した、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを、学習部２０２に出力する。
　学習部２０２は、ステップＳＴ４０１にて取得部２０１が取得した、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量を用いた学習によって機械学習モデル２０３を生成する（ステップＳＴ４０２）。
　以上のように、実施の形態１に係る認知機能推定装置１は、運転者の認知機能が低下していることを推定するための車外情報特徴量を抽出し、抽出した車外情報特徴量に基づいて、運転者の認知機能が低下していることを推定するための顔情報特徴量、生体情報特徴量、または、車両情報特徴量を抽出する。そして、認知機能推定装置１は、抽出した車外情報特徴量と、顔情報特徴量、生体情報特徴量、または、車両情報特徴量とを、機械学習モデル２０３に入力し、運転者の認知機能が低いか否かを示す認知機能情報を得る。
　このように、認知機能推定装置１は、運転者が、恒常的に車両を適切に運転可能か否かの認知機能を推定することができる。
　実施の形態１に係る認知機能推定装置１において得られた認知機能情報は、様々な場面で活用可能である。
　例えば、車両が、人が運転操作を行わなくても自動で走行することが可能な自動運転車両であって、認知機能推定装置１が当該自動運転車両に搭載されているとする。この場合、認知機能推定装置１において、運転者の認知機能が低いとの認知機能情報が得られると、当該認知機能情報に基づき、当該運転者が運転する車両のブレーキの効きをよくする、または、ハンドルの操作の効きをよくする等の運転支援を行うことができる。
　また、例えば、医療機関が、運転者による運転可否を判断する際の判断材料として、認知機能情報を使用することができる。
　また、例えば、認知機能が低下している人が、運転によって当該認知機能を回復させるリハビリテーションを行うことがある。このようなリハビリテーションにて使用される車両において、認知機能推定装置１を搭載するようにすれば、当該認知機能推定装置１において得られる認知機能情報は、リハビリテーションの成果を確認する一助とすることができる。
　また、例えば、認知機能推定装置１において、運転者の認知機能が低いとの認知機能情報が得られた場合に、当該認知機能情報に基づき、車両から、周囲に、当該車両の運転者の認知機能が低い旨を通知するようにすることもできる。具体的には、例えば、認知機能推定装置１に備えられた制御部（図示省略）は、運転者の家族あてに、当該運転者が運転していることを知らせるメールを送信する。また、例えば、制御部は、ハザードランプを点灯させる、または、ホーンを鳴らす制御を行う。
　図５Ａ，図５Ｂは、実施の形態１に係る認知機能推定装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２の機能は、処理回路５０１により実現される。すなわち、認知機能推定装置１は、運転者の認知機能の推論を行うための処理回路５０１を備える。
　処理回路５０１は、図５Ａに示すように専用のハードウェアであっても、図５Ｂに示すようにメモリ５０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０５であってもよい。
　処理回路５０１が専用のハードウェアである場合、処理回路５０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路５０１がＣＰＵ５０５の場合、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）５０２、メモリ５０６等に記憶されたプログラムを実行するＣＰＵ５０５、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路５０１により実現される。また、ＨＤＤ５０２、メモリ５０６等に記憶されたプログラムは、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ５０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４については専用のハードウェアとしての処理回路５０１でその機能を実現し、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２については処理回路５０１がメモリ５０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、機械学習モデル２０３は、メモリ５０６を使用する。なお、これは一例であって、機械学習モデル２０３は、ＨＤＤ５０２、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
　また、認知機能推定装置１は、車内撮像装置２、生体センサ３、車両情報検知装置４、または、車外撮像装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置５０３および出力インタフェース装置５０４を備える。
　以上のように、実施の形態１によれば、認知機能推定装置１は、車両周辺の状況に関する車外情報を取得する車外情報取得部１４と、車両の運転者の顔に関する顔情報を取得する顔情報取得部１１と、運転者の生体情報を取得する生体情報取得部１２と、車両に関する車両情報を取得する車両情報取得部１３と、車外情報取得部１４が取得した車外情報に基づき、運転者の認知機能を推定するための車外情報特徴量を抽出する車外情報特徴量抽出部１５と、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、顔情報取得部１１が取得した顔情報に基づき、運転者の認知機能を推定するための顔情報特徴量を抽出する顔情報特徴量抽出部１６と、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、生体情報取得部１２が取得した生体情報に基づき、運転者の認知機能を推定するための生体情報特徴量を抽出する生体情報特徴量抽出部１７と、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、車両情報取得部１３が取得した車両情報に基づき、運転者の認知機能を推定するための車両情報特徴量を抽出する車両情報特徴量抽出部１８と、車外情報特徴量抽出部１５が抽出した車外情報特徴量と、顔情報特徴量抽出部１６が抽出した顔情報特徴量、生体情報特徴量抽出部１７が抽出した生体情報特徴量、または、車両情報特徴量抽出部１８が抽出した車両情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、運転者の認知機能が低いか否かを推定する認知機能推定部１９を備えるように構成した。そのため、運転者が一定水準の認知機能を有するか否か推定することができる。
　また、実施の形態１に係る認知機能推定装置１は、上記の構成に加え、車外情報特徴量と、顔情報特徴量、生体情報特徴量、または、車両情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、判定用期間継続して、運転者の認知機能が低いと推定されたか否かを判定する判定部１９１を備え、認知機能推定部１９は、判定部１９１が、判定用期間継続して、運転者の認知機能が低いと推定されたと判定した場合に、運転者の認知機能が低いと推定するように構成した。これにより、認知機能推定装置１は、運転者が、瞬間的に、認知機能が低いと推定されることを防ぎ、運転者の認知機能の推定精度を向上させることができる。
　以上の実施の形態１では、認知機能推定装置１は、車両に搭載される車載装置とし、顔情報取得部１１、生体情報取得部１２、車両情報取得部１３、車外情報取得部１４、車外情報特徴量抽出部１５、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、認知機能推定部１９、および、学習装置２０は、認知機能推定装置１に備えられているものとした。
　これに限らず、顔情報取得部１１、生体情報取得部１２、車両情報取得部１３、車外情報取得部１４、車外情報特徴量抽出部１５、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、認知機能推定部１９、または、学習装置２０のうち、一部を車両に搭載される車載装置に備えられるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで認知機能推定システムを構成するようにしてもよい。
　また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　この発明に係る認知機能推定装置は、運転者が一定水準の認知機能を有するか否か推定することができるように構成したため、車両の運転者の認知機能を推定する認知機能推定装置に適用することができる。
　１　認知機能推定装置、２　車内撮像装置、３　生体センサ、４　車両情報検知装置、５　車外撮像装置、１１　顔情報取得部、１２　生体情報取得部、１３　車両情報取得部、１４　車外情報取得部、１５　車外情報特徴量抽出部、１６　顔情報特徴量抽出部、１７　生体情報特徴量抽出部、１８　車両情報特徴量抽出部、１９　認知機能推定部、１９１　判定部、２０　学習装置、２０１　取得部、２０２　学習部、２０３　機械学習モデル、５０１　処理回路、５０２　ＨＤＤ、５０３　入力インタフェース装置、５０４　出力インタフェース装置、５０５　ＣＰＵ、５０６　メモリ。

Claims (10)

  1. 　車両周辺の状況に関する車外情報を取得する車外情報取得部と、
    　前記車両の運転者の顔に関する顔情報を取得する顔情報取得部と、
    　前記運転者の生体情報を取得する生体情報取得部と、
    　前記車両に関する車両情報を取得する車両情報取得部と、
    　前記車外情報取得部が取得した車外情報に基づき、前記運転者の認知機能を推定するための車外情報特徴量を抽出する車外情報特徴量抽出部と、
    　前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記顔情報取得部が取得した顔情報に基づき、前記運転者の認知機能を推定するための顔情報特徴量を抽出する顔情報特徴量抽出部と、
    　前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記生体情報取得部が取得した生体情報に基づき、前記運転者の認知機能を推定するための生体情報特徴量を抽出する生体情報特徴量抽出部と、
    　前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記車両情報取得部が取得した車両情報に基づき、前記運転者の認知機能を推定するための車両情報特徴量を抽出する車両情報特徴量抽出部と、
    　前記車外情報特徴量抽出部が抽出した車外情報特徴量と、前記顔情報特徴量抽出部が抽出した顔情報特徴量、前記生体情報特徴量抽出部が抽出した生体情報特徴量、または、前記車両情報特徴量抽出部が抽出した車両情報特徴量のうちの少なくとも１つと、機械学習モデルとに基づき、前記運転者の認知機能が低いか否かを推定する認知機能推定部
    　を備えた認知機能推定装置。
  2. 　前記車外情報特徴量と、前記顔情報特徴量、前記生体情報特徴量、または、前記車両情報特徴量のうちの少なくとも１つと、前記機械学習モデルとに基づき、判定用期間継続して、前記運転者の認知機能が低いと推定されたか否かを判定する判定部を備え、
    　前記認知機能推定部は、前記判定部が、前記判定用期間継続して、前記運転者の認知機能が低いと推定されたと判定した場合に、前記運転者の認知機能が低いと推定する
    　ことを特徴とする請求項１記載の認知機能推定装置。
  3. 　前記顔情報特徴量は、前記運転者の視線に関する情報、前記運転者の開眼度に関する情報、または、前記運転者の感情に関する情報を含む
    　ことを特徴とする請求項１記載の認知機能推定装置。
  4. 　前記車両情報特徴量は、前記運転者のアクセル操作量に関する情報、前記運転者のブレーキ操作量に関する情報、または、前記運転者のハンドル操作量に関する情報を含む
    　ことを特徴とする請求項１記載の認知機能推定装置。
  5. 　前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量は、前記車外情報特徴量であらわされる事象に対する前記運転者の反応時間である
    　ことを特徴とする請求項１記載の認知機能推定装置。
  6. 　前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量は、前記車外情報特徴量であらわされる事象に対する前記運転者の行動パターンを示す情報である
    　ことを特徴とする請求項１記載の認知機能推定装置。
  7. 　前記機械学習モデルは、前記運転者の認知機能を推定するための車外情報特徴量と、前記車外情報特徴量に応じた、前記運転者の認知機能を推定するための顔情報特徴量、前記車外情報特徴量に応じた、前記運転者の認知機能を推定するための生体情報特徴量、または、前記車外情報特徴量に応じた、前記運転者の認知機能を推定するための車両情報特徴量とを学習することによって生成された前記機械学習モデルである
    　ことを特徴とする請求項１記載の認知機能推定装置。
  8. 　車両の運転者の認知機能を推定するための車外情報特徴量と、前記車外情報特徴量に応じた、前記車両の運転者の認知機能を推定するための顔情報特徴量、前記車外情報特徴量に応じた、前記車両の運転者の認知機能を推定するための生体情報特徴量、または、前記車外情報特徴量に応じた、前記車両の運転者の認知機能を推定するための車両情報特徴量とを取得する取得部と、
    　前記取得部が取得した、前記車外情報特徴量と、前記顔情報特徴量、前記生体情報特徴量、または、前記車両情報特徴量とを入力とし、前記車両の運転者の認知機能が低いか否かを示す認知機能情報を出力する機械学習モデルを生成する学習部
    　を備えた学習装置。
  9. 　前記取得部が取得する、前記車外情報特徴量、前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量は、正常者が前記車両を運転した場合の前記車外情報特徴量、前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量と、認知機能が低い者が前記車両を運転した場合の前記車外情報特徴量、前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量とを含む
    　ことを特徴とする請求項８記載の学習装置。
  10. 　車外情報取得部が、車両周辺の状況に関する車外情報を取得するステップと、
    　顔情報取得部が、前記車両の運転者の顔に関する顔情報を取得するステップと、
    　生体情報取得部が、前記運転者の生体情報を取得するステップと、
    　車両情報取得部が、前記車両に関する車両情報を取得するステップと、
    　車外情報特徴量抽出部が、前記車外情報取得部が取得した車外情報に基づき、前記運転者の認知機能を推定するための車外情報特徴量を抽出するステップと、
    　顔情報特徴量抽出部が、前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記顔情報取得部が取得した顔情報に基づき、前記運転者の認知機能を推定するための顔情報特徴量を抽出するステップと、
    　生体情報特徴量抽出部が、前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記生体情報取得部が取得した生体情報に基づき、前記運転者の認知機能を推定するための生体情報特徴量を抽出するステップと、
    　車両情報特徴量抽出部が、前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記車両情報取得部が取得した車両情報に基づき、前記運転者の認知機能を推定するための車両情報特徴量を抽出するステップと、
    　認知機能推定部が、前記車外情報特徴量抽出部が抽出した車外情報特徴量と、前記顔情報特徴量抽出部が抽出した顔情報特徴量、前記生体情報特徴量抽出部が抽出した生体情報特徴量、または、前記車両情報特徴量抽出部が抽出した車両情報特徴量のうちの少なくとも１つと、機械学習モデルとに基づき、前記運転者の認知機能が低いか否かを推定するステップ
    　を備えた認知機能推定方法。
PCT/JP2019/036686 2019-09-19 2019-09-19 認知機能推定装置、学習装置、および、認知機能推定方法 WO2021053780A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/637,310 US11810373B2 (en) 2019-09-19 2019-09-19 Cognitive function estimation device, learning device, and cognitive function estimation method
CN201980100335.1A CN114423343A (zh) 2019-09-19 2019-09-19 认知功能推测装置、学习装置及认知功能推测方法
JP2021546128A JP7031072B2 (ja) 2019-09-19 2019-09-19 認知機能推定装置、学習装置、および、認知機能推定方法
DE112019007558.6T DE112019007558B4 (de) 2019-09-19 2019-09-19 Kognitiv-Funktion-Abschätzungsvorrichtung, Lernvorrichtung und Verfahren zur Schätzung der kognitiven Funktion
PCT/JP2019/036686 WO2021053780A1 (ja) 2019-09-19 2019-09-19 認知機能推定装置、学習装置、および、認知機能推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/036686 WO2021053780A1 (ja) 2019-09-19 2019-09-19 認知機能推定装置、学習装置、および、認知機能推定方法

Publications (1)

Publication Number Publication Date
WO2021053780A1 true WO2021053780A1 (ja) 2021-03-25

Family

ID=74884429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036686 WO2021053780A1 (ja) 2019-09-19 2019-09-19 認知機能推定装置、学習装置、および、認知機能推定方法

Country Status (5)

Country Link
US (1) US11810373B2 (ja)
JP (1) JP7031072B2 (ja)
CN (1) CN114423343A (ja)
DE (1) DE112019007558B4 (ja)
WO (1) WO2021053780A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023204218A1 (ja) * 2022-04-18 2023-10-26 幸男 篠崎 認知力推定装置、及びプログラム
JP7568290B2 (ja) 2021-11-29 2024-10-16 株式会社アドダイス 精神疾患推定システム、精神疾患推定装置、精神疾患推定プログラム及び精神疾患推定方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7328828B2 (ja) * 2019-08-27 2023-08-17 フォルシアクラリオン・エレクトロニクス株式会社 状態推定装置、状態推定プログラムおよび状態推定方法
US11810373B2 (en) * 2019-09-19 2023-11-07 Mitsubishi Electric Corporation Cognitive function estimation device, learning device, and cognitive function estimation method
JP7359084B2 (ja) * 2020-06-23 2023-10-11 トヨタ自動車株式会社 感情推定装置、感情推定方法及びプログラム
JP7384130B2 (ja) * 2020-08-31 2023-11-21 トヨタ自動車株式会社 車両の運転支援装置、車両の運転支援方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008212490A (ja) * 2007-03-06 2008-09-18 Toyota Motor Corp 心理状態推定装置
JP2009301367A (ja) * 2008-06-13 2009-12-24 Toyota Motor Corp 運転者状態推定装置
JP2018127112A (ja) * 2017-02-08 2018-08-16 パナソニックＩｐマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法
JP2018151910A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP2018151911A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6047727B2 (ja) * 2012-03-02 2016-12-21 株式会社国際電気通信基礎技術研究所 ネットワークシステムおよび検知システム
JP6281238B2 (ja) 2013-10-22 2018-02-21 三菱自動車工業株式会社 認知度推定装置および認知度推定方法
DE102013224917A1 (de) * 2013-12-04 2015-06-11 Continental Teves Ag & Co. Ohg Verfahren zum Erfassen einer die Aufmerksamkeit eines Fahrers beschreibenden Aufmerksamkeitsgröße
AU2014391162B2 (en) * 2014-04-15 2019-05-02 Schlumberger, Technology B.V. Treatment fluid
JP6486640B2 (ja) * 2014-10-09 2019-03-20 株式会社日立製作所 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
TWI572938B (zh) * 2015-08-07 2017-03-01 台灣東電化股份有限公司 鏡頭驅動裝置
CN105809152B (zh) * 2016-04-06 2019-05-21 清华大学 一种基于多源信息融合的驾驶员认知分心监测方法
JP6748965B2 (ja) 2016-09-27 2020-09-02 パナソニックＩｐマネジメント株式会社 認知機能評価装置、認知機能評価方法、およびプログラム
WO2018158704A1 (en) 2017-02-28 2018-09-07 Omron Corporation Work management apparatus, method, and program
JP2018142259A (ja) 2017-02-28 2018-09-13 オムロン株式会社 作業管理装置、方法およびプログラム
US20190370580A1 (en) * 2017-03-14 2019-12-05 Omron Corporation Driver monitoring apparatus, driver monitoring method, learning apparatus, and learning method
JP2018151902A (ja) 2017-03-14 2018-09-27 オムロン株式会社 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP6911498B2 (ja) 2017-05-01 2021-07-28 オムロン株式会社 学習装置、学習方法、及び学習プログラム
US20190092337A1 (en) 2017-09-22 2019-03-28 Aurora Flight Sciences Corporation System for Monitoring an Operator
CN110211401A (zh) * 2018-02-28 2019-09-06 长城汽车股份有限公司 一种驾驶的危险提示方法及装置
US10850746B2 (en) * 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions
EP3722522B1 (en) * 2019-04-11 2024-03-27 Mitsubishi Logisnext Co., Ltd. Control device, control method, and program
US11810373B2 (en) * 2019-09-19 2023-11-07 Mitsubishi Electric Corporation Cognitive function estimation device, learning device, and cognitive function estimation method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008212490A (ja) * 2007-03-06 2008-09-18 Toyota Motor Corp 心理状態推定装置
JP2009301367A (ja) * 2008-06-13 2009-12-24 Toyota Motor Corp 運転者状態推定装置
JP2018127112A (ja) * 2017-02-08 2018-08-16 パナソニックＩｐマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法
JP2018151910A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP2018151911A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7568290B2 (ja) 2021-11-29 2024-10-16 株式会社アドダイス 精神疾患推定システム、精神疾患推定装置、精神疾患推定プログラム及び精神疾患推定方法
WO2023204218A1 (ja) * 2022-04-18 2023-10-26 幸男 篠崎 認知力推定装置、及びプログラム

Also Published As

Publication number Publication date
US20220277570A1 (en) 2022-09-01
CN114423343A (zh) 2022-04-29
US11810373B2 (en) 2023-11-07
JP7031072B2 (ja) 2022-03-07
DE112019007558B4 (de) 2024-05-23
JPWO2021053780A1 (ja) 2021-11-18
DE112019007558T5 (de) 2022-05-19

Similar Documents

Publication Publication Date Title
JP7031072B2 (ja) 認知機能推定装置、学習装置、および、認知機能推定方法
EP3755597B1 (en) Method for distress and road rage detection
US20220286811A1 (en) Method for smartphone-based accident detection
CN106618524B (zh) 丧失驾驶能力的检测和预防
US20190370580A1 (en) Driver monitoring apparatus, driver monitoring method, learning apparatus, and learning method
EP3915046A1 (en) Detection of cognitive state of a driver
JP2009015548A (ja) 運転支援装置および方法、並びに、プログラム
EP3588372A1 (en) Controlling an autonomous vehicle based on passenger behavior
US10948915B2 (en) Computer-assisted or autonomous driving vehicle incident management method and apparatus
JP6417962B2 (ja) 情報処理装置、情報処理方法及び記憶媒体
JP6834578B2 (ja) 車両用健康診断装置
US10745029B2 (en) Providing relevant alerts to a driver of a vehicle
JP2010102538A (ja) 居眠り判定装置
WO2021156914A1 (ja) 注意方向判定装置および注意方向判定方法
US20200210737A1 (en) System and method for monitoring driver inattentiveness using physiological factors
JP2007058751A (ja) 物体判別装置、物体判別方法および物体判別プログラム
RU2703341C1 (ru) Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства
JP7466433B2 (ja) 運転データ記録装置、運転支援システム、運転データ記録方法、およびプログラム
US11961395B2 (en) Driving assistance device, driving assistance method, and storage medium in which program is stored
WO2023112073A1 (ja) 基準値作成装置、覚醒度推定装置、および、基準値作成方法
US11110940B2 (en) Method and system for generating touch-based alerts to a driver in a vehicle
JP2023077733A (ja) 車両用運転診断システム
Susheelamma et al. DROWSINESS DETECTION OF DRIVERS USING IOT IMAGE PROCESSING AND MACHINE LEARNING TECHNIQUES
WO2017204195A1 (ja) Ｈｍｉ制御装置、移動体、ｈｍｉ制御方法、及びプログラム
JP2020004334A (ja) 運転監視装置及び運転監視プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19946194

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021546128

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19946194

Country of ref document: EP

Kind code of ref document: A1