DE102020211811B4

DE102020211811B4 - Method for prioritizing physiological parameters of vehicle occupants

Info

Publication number: DE102020211811B4
Application number: DE102020211811.6A
Authority: DE
Inventors: Viktor Bader; Paul Leiber; Theodor Heinze; Thanh-Binh To; Günther Bauernfeind; Lisa-Sophia Krahnen
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2020-09-22
Filing date: 2020-09-22
Publication date: 2024-08-08
Anticipated expiration: 2040-09-23
Also published as: DE102020211811A1

Abstract

Verfahren zur Priorisierung von Physiologieparametern von Fahrzeuginsassen (10), wobei in einem Fahrzeug (100) angeordnete Sensoren (11, 11a, 11b) fahrzeugseitige Physiologieparameter eines Fahrzeuginsassen (10) bereitstellen, und wobei in einer tragbaren Datenverarbeitungsvorrichtung (12, 12a) angeordnete Sensoren (19) vorrichtungsseitige Physiologieparameter des Fahrzeuginsassen (10) bereitstellen, dadurch gekennzeichnet, dass eine Auswerteeinheit (13) eine erste Wahrscheinlichkeit dafür ermittelt, dass die fahrzeugseitigen Physiologieparameter tatsächlichen Physiologiewerten des Fahrzeuginsassen (10) entsprechen, und wobei die Auswerteeinheit (13) eine zweite Wahrscheinlichkeit dafür ermittelt, dass die vorrichtungsseitigen Physiologieparameter den tatsächlichen Physiologiewerten des Fahrzeuginsassen (10) entsprechen, und dass die Auswerteinheit (13) den fahrzeugseitigen Physiologieparametern und den vorrichtungsseitigen Physiologieparametern in Abhängigkeit der ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit Prioritätswerte zuordnet, und dadurch, dass die fahrzeugseitigen Physiologieparameter und die vorrichtungsseitigen Physiologieparameter kombiniert werden, wenn eine Differenz der ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit kleiner als eine vorbestimmte Schwelle sind.

Method for prioritizing physiological parameters of vehicle occupants (10), wherein sensors (11, 11a, 11b) arranged in a vehicle (100) provide vehicle-side physiological parameters of a vehicle occupant (10), and wherein sensors (19) arranged in a portable data processing device (12, 12a) provide device-side physiological parameters of the vehicle occupant (10), characterized in that an evaluation unit (13) determines a first probability that the vehicle-side physiological parameters correspond to actual physiological values of the vehicle occupant (10), and wherein the evaluation unit (13) determines a second probability that the device-side physiological parameters correspond to the actual physiological values of the vehicle occupant (10), and that the evaluation unit (13) assigns priority values to the vehicle-side physiological parameters and the device-side physiological parameters depending on the first probability and the second probability, and in that the vehicle-side physiological parameters and the device-side physiological parameters are combined if a difference between the first probability and the second probability is smaller than a predetermined threshold.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Priorisierung von Quellen für Physiologieparameter von Fahrzeuginsassen, wobei in einem Fahrzeug angeordnete Sensoren fahrzeugseitige Physiologieparameter eines Fahrzeuginsassen bereitstellen, und wobei in einer tragbaren Datenverarbeitungsvorrichtung angeordnete Sensoren vorrichtungsseitige Physiologieparameter des Fahrzeuginsassen bereitstellen.The present invention relates to a method for prioritizing sources for vehicle occupant physiology parameters, wherein sensors arranged in a vehicle provide vehicle-side physiology parameters of a vehicle occupant, and wherein sensors arranged in a portable data processing device provide device-side physiology parameters of the vehicle occupant.

Ferner betrifft die vorliegende Erfindung ein Fahrzeug umfassend ein System zur Messung von Physiologieparametern von Fahrzeuginsassen.Furthermore, the present invention relates to a vehicle comprising a system for measuring physiological parameters of vehicle occupants.

Verschiedene tragbare Datenverarbeitungsvorrichtungen, wie Wearables, insbesondere Smartwatches, oder Smartphones, bieten die Möglichkeit, physiologische Daten kontinuierlich aufzuzeichnen, zu speichern, zu verarbeiten und weiterzuleiten. Mit derartigen Datenverarbeitungsvorrichtungen können beispielsweise Elektrokardiogramme erstellt und Herzraten oder Herzratenvariabilitäten aufgezeichnet werden. Teilweise werden diese Daten bereits genutzt, um den Nutzer vor einem möglichen Gesundheitsrisiko, wie zum Beispiel einem Vorhofflimmern, zu warnen.Various portable data processing devices, such as wearables, especially smartwatches, or smartphones, offer the possibility of continuously recording, storing, processing and forwarding physiological data. Such data processing devices can, for example, be used to create electrocardiograms and record heart rates or heart rate variabilities. In some cases, this data is already being used to warn the user of a possible health risk, such as atrial fibrillation.

Ferner sind in Fahrzeugen einsetzbare Messmethoden bekannt, mit denen solche Daten in einem Fahrzeug erfasst werden können. Derart fahrzeugseitig ermittelte Daten können ebenfalls zur Abschätzung des Gesundheitszustandes eines Fahrzeuginsassen und zur Erkennung von Notfallsituationen genutzt werden.Furthermore, measurement methods that can be used in vehicles are known with which such data can be recorded in a vehicle. Data recorded in this way on the vehicle side can also be used to estimate the health status of a vehicle occupant and to detect emergency situations.

Aus der WO 2018/009219 A1 sind ein Verfahren und ein System zur Überwachung des Wohlbefindens eines Fahrzeuginsassen bekannt. Zur Messung beispielsweise der Sauerstoffsättigung oder des Blutdrucks des Fahrzeuginsassen sind Kontaktsensoren in einem Lenkradkranz eines Lenkrades angeordnet.From the WO 2018/009219 A1 A method and a system for monitoring the well-being of a vehicle occupant are known. To measure, for example, the oxygen saturation or blood pressure of the vehicle occupant, contact sensors are arranged in a steering wheel rim.

Die WO 2018/089024 A1 offenbart ein Fahrzeug umfassend Sensoren zur Überwachung der physiologischen Parameter eines Fahrzeuginsassen.The WO 2018/089024 A1 discloses a vehicle comprising sensors for monitoring the physiological parameters of a vehicle occupant.

Die DE 10 2015 203 676 A1 beschreibt ein Verfahren umfassend die Schritte: Erfassen eines Elektrokardiogrammsignals des Fahrers eines Fahrzeugs mittels eines ersten Sensors; Erfassen einer Kenngröße des Elektrokardiogrammsignals mittels eines zweiten Sensors; Erkennen einer Qualitätseinbuße des Elektrokardiogrammsignals, und im Ansprechen darauf; Verwenden der mittels des zweiten Sensors erfassten Kenngröße zur Überwachung der Verfassung des Fahrers, bis die Qualitätseinbuße überwunden ist.The DE 10 2015 203 676 A1 describes a method comprising the steps of: detecting an electrocardiogram signal of the driver of a vehicle by means of a first sensor; detecting a characteristic of the electrocardiogram signal by means of a second sensor; detecting a deterioration in the quality of the electrocardiogram signal, and in response thereto; using the characteristic detected by means of the second sensor to monitor the condition of the driver until the deterioration in quality is overcome.

Die Verwendung von in einem Fahrzeug angeordneten Sensoren bietet verschiedenste Vorteile gegenüber der Verwendung von Sensoren in tragbaren Datenverarbeitungsvorrichtungen alleine.The use of sensors located in a vehicle offers several advantages over the use of sensors in portable computing devices alone.

Ein Fahrzeug bietet kontrollierte Bedingungen während der Erfassung der physiologischen Daten, zum Beispiel über die Steuerung der Umgebungstemperatur mittels einer Klimakontrolle, der Innenraumbeleuchtung oder über die Mediennutzung. Zudem können in Fahrzeugen Sensoren mit erhöhtem Platz- oder Energiebedarf integriert werden. Mittels spezieller kamerabasierter Sensoren kann eine kontaktlose Aufzeichnung der Gesundheitsdaten erfolgen.A vehicle offers controlled conditions during the recording of physiological data, for example by controlling the ambient temperature using climate control, interior lighting or media usage. In addition, sensors with increased space or energy requirements can be integrated into vehicles. Special camera-based sensors can be used to record health data contactlessly.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Priorisierung von Physiologieparametern von Fahrzeuginsassen bereitzustellen, für den Fall, dass zeitgleich sowohl von in einem Fahrzeug angeordneten Sensoren aufgenommene Physiologieparameter als auch von in einer tragbaren Datenverarbeitungsvorrichtung angeordneten Sensoren aufgenommene Physiologieparameter parallel zur Verfügung stehen.The present invention is based on the object of providing a method for prioritizing physiological parameters of vehicle occupants in the event that physiological parameters recorded by sensors arranged in a vehicle and physiological parameters recorded by sensors arranged in a portable data processing device are available in parallel at the same time.

Zur Lösung der der Erfindung zugrundeliegenden Aufgabe wird ein Verfahren zur Priorisierung von Physiologieparametern von Fahrzeuginsassen vorgeschlagen, wobei in einem Fahrzeug angeordnete Sensoren fahrzeugseitige Physiologieparameter eines Fahrzeuginsassen bereitstellen, und wobei in einer tragbaren Datenverarbeitungsvorrichtung angeordnete Sensoren vorrichtungsseitige Physiologieparameter des Fahrzeuginsassen bereitstellen, wobei eine Auswerteeinheit eine erste Wahrscheinlichkeit dafür ermittelt, dass die fahrzeugseitigen Physiologieparameter tatsächlichen Physiologiewerten des Fahrzeuginsassen entsprechen, und wobei die Auswerteeinheit eine zweite Wahrscheinlichkeit dafür ermittelt, dass die vorrichtungsseitigen Physiologieparameter den tatsächlichen Physiologiewerten des Fahrzeuginsassen entsprechen, und wobei die Auswerteinheit den fahrzeugseitigen Physiologieparametern und den vorrichtungsseitigen Physiologieparametern in Abhängigkeit der ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit Prioritätswerte zuordnet.To solve the problem underlying the invention, a method for prioritizing physiological parameters of vehicle occupants is proposed, wherein sensors arranged in a vehicle provide vehicle-side physiological parameters of a vehicle occupant, and wherein sensors arranged in a portable data processing device provide device-side physiological parameters of the vehicle occupant, wherein an evaluation unit determines a first probability that the vehicle-side physiological parameters correspond to actual physiological values of the vehicle occupant, and wherein the evaluation unit determines a second probability that the device-side physiological parameters correspond to the actual physiological values of the vehicle occupant, and wherein the evaluation unit assigns priority values to the vehicle-side physiological parameters and the device-side physiological parameters depending on the first probability and the second probability.

Verfahrensgemäß wird somit den fahrzeugseitigen Physiologieparametern, das heißt den fahrzeugseitig ermittelten Physiologieparametern, eine erste Wahrscheinlichkeit zugeordnet, und es wird den vorrichtungsseitigen Physiologieparametern, das heißt den vorrichtungsseitig ermittelten Physiologieparametern, eine zweite Wahrscheinlichkeit zugeordnet, auf deren Basis entschieden werden kann, welche der fahrzeugseitigen Physiologieparameter oder der vorrichtungsseitigen Physiologieparameter den tatsächlichen Zustand des Fahrzeugsinsassen, das heißt die tatsächlichen Physiologiewerte des Fahrzeuginsassen, am zutreffendsten wiederspiegeln. Anschließend ordnet die Auswerteinheit den fahrzeugseitigen Physiologieparametern und den vorrichtungsseitigen Physiologieparametern in Abhängigkeit der ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit Prioritätswerte zu.According to the method, a first probability is assigned to the vehicle-side physiological parameters, i.e. the physiological parameters determined on the vehicle side, and a second probability is assigned to the device-side physiological parameters, i.e. the physiological parameters determined on the device side, on the basis of which decisions are made can determine which of the vehicle-side physiological parameters or the device-side physiological parameters most accurately reflect the actual state of the vehicle occupant, i.e. the actual physiological values of the vehicle occupant. The evaluation unit then assigns priority values to the vehicle-side physiological parameters and the device-side physiological parameters depending on the first probability and the second probability.

Anhand der Prioritätswerte kann dann entschieden werden, welche der Physiologieparameter, das heißt der fahrzeugseitig ermittelten Physiologieparameter und der vorrichtungsseitig ermittelten Physiologieparameter, zur weiteren Auswertung herangezogen werden sollen.Based on the priority values, it can then be decided which of the physiological parameters, i.e. the physiological parameters determined on the vehicle side and the physiological parameters determined on the device side, should be used for further evaluation.

Entsprechend können Physiologieparameter in einer Art und Weise ermittelt werden, welche die Aufnahme von einer durchgängigen Messkette mit möglichst exakten Physiologiewerten des Fahrzeuginsassen gewährleistet. So kann, beispielsweise aufgrund der Bedingungen innerhalb der Fahrzeugkabine, der Sitzposition oder anderer Einflüsse, der Fall eintreten, dass die vorrichtungsseitigen Physiologieparameter eine geringere Wahrscheinlichkeit als die fahrzeugseitigen Physiologieparameter aufweisen, die tatsächlichen Physiologiewerte des Fahrzeuginsassen zutreffend zu beschreiben. Weisen die fahrzeugseitigen Physiologieparameter eine höhere Wahrscheinlichkeit auf, die tatsächlichen Physiologiewerte des Fahrzeuginsassen zutreffend zu beschrieben, so kann den fahrzeugseitigen Physiologieparametern ein höherer Prioritätswert zugeordnet werden, und die fahrzeugseitigen Physiologieparameter können für eine weitere Auswertung gegenüber den vorrichtungsseitigen Physiologieparametern priorisiert bzw. bevorzugt werden.Accordingly, physiological parameters can be determined in a way that ensures the recording of a continuous measurement chain with the most accurate possible physiological values of the vehicle occupant. For example, due to the conditions inside the vehicle cabin, the seating position or other influences, the device-side physiological parameters may have a lower probability than the vehicle-side physiological parameters of accurately describing the actual physiological values of the vehicle occupant. If the vehicle-side physiological parameters have a higher probability of accurately describing the actual physiological values of the vehicle occupant, the vehicle-side physiological parameters can be assigned a higher priority value, and the vehicle-side physiological parameters can be prioritized or preferred over the device-side physiological parameters for further evaluation.

Bevorzugt ist vorgesehen, dass die tragbare Datenverarbeitungsvorrichtung ein Wearable, bevorzugt eine Smartwatch oder eine Datenbrille, insbesondere eine Virtual-Reality-Brille oder eine Augmented Reality-Brille, oder ein Smartphone, oder ein auf der Haut oder auf Körperoberflächen aufbringbares elektronisches Gerät oder ein smartes Bekleidungsstück ist.It is preferably provided that the portable data processing device is a wearable, preferably a smartwatch or data glasses, in particular virtual reality glasses or augmented reality glasses, or a smartphone, or an electronic device that can be applied to the skin or to body surfaces, or a smart item of clothing.

Derartige tragbare Datenverarbeitungsvorrichtungen weisen eine Vielzahl von Sensoren auf, welche zur Ermittlung von vorrichtungsseitigen Physiologieparametern geeignet sind.Such portable data processing devices have a plurality of sensors which are suitable for determining device-side physiological parameters.

Das auf der Haut oder auf Körperoberflächen aufbringbare elektronische Gerät kann z.B. ein elektronisches Pflaster oder eine elektronische Kontaktlinse mit Sensoren sein.The electronic device that can be applied to the skin or body surfaces can be, for example, an electronic patch or an electronic contact lens with sensors.

Bevorzugt kann vorgesehen sein, dass im Fahrzeug zusätzliche Sensorvorrichtungen angeordnet sind, wobei von den Sensorvorrichtungen ermittelte Daten von der Auswerteeinheit zur Ermittlung der ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit verwendet werden.Preferably, it can be provided that additional sensor devices are arranged in the vehicle, wherein data determined by the sensor devices are used by the evaluation unit to determine the first probability and the second probability.

Die Entscheidung, welche der fahrzeugseitigen oder vorrichtungsseitigen Physiologieparameter genutzt werden, soll so getroffen werden, dass die ermittelten Physiologieparameter bestmöglich den real vorhandenen Physiologiewerten des Fahrzeuginsassen entsprechen. Für diese Entscheidung können weitere Sensorvorrichtungen in der Fahrzeugkabine oder auch in der tragbaren Datenverarbeitungsvorrichtung vorgesehen sein, welche bevorzugt keine unmittelbaren Physiologieparameter bereitstellen.The decision as to which of the vehicle-side or device-side physiological parameters are used should be made in such a way that the physiological parameters determined correspond as closely as possible to the actual physiological values of the vehicle occupant. For this decision, additional sensor devices can be provided in the vehicle cabin or in the portable data processing device, which preferably do not provide any direct physiological parameters.

Beispielsweise können in der Fahrzeugkabine Kamerasysteme vorgesehen sein, oder es können Kontaktsensoren, insbesondere Druck- oder Bewegungssensoren in der Fahrzeugkabine, insbesondere in den Fahrzeugsitzen, angeordnet sein. Die Sensorvorrichtungen können zur Ortung der tragbaren Datenverarbeitungsvorrichtung und des damit verbundenen Körperteils des Fahrzeuginsassen im Raum der Fahrzeugkabine ausgebildet sein. Ferner kann es möglich sein, aus den Daten der Sensorvorrichtungen auf eine Sitzposition oder auf die Bewegungen des Fahrzeuginsassen zu schließen. So kann zum Beispiel bei einer bestimmten Sitzposition des Fahrzeuginsassen ein tatsächlich vorhandener Physiologiewert je nach Messmethode über die im Fahrzeug angeordneten Sensoren oder über die in der tragbaren Datenverarbeitungsvorrichtung angeordneten Sensoren mit jeweils unterschiedlichen Wahrscheinlichkeiten zutreffend ermittelt werden. Unter Zuhilfenahme zusätzlicher Daten der zusätzlichen Sensorvorrichtungen, wobei die zusätzlichen Daten bevorzugt nicht den fahrzeugseitigen Physiologieparametern oder den vorrichtungsseitigen Physiologieparametern entsprechen, kann somit für die fahrzeugseitigen Physiologieparameter und für die vorrichtungsseitigen Physiologieparameter eine Wahrscheinlichkeit bestimmt werden, inwieweit die tatsächlichen Physiologiewerte des Fahrzeuginsassen von den fahrzeugseitigen Physiologieparametern und den vorrichtungsseitigen Physiologieparametern widergespiegelt werden.For example, camera systems can be provided in the vehicle cabin, or contact sensors, in particular pressure or motion sensors, can be arranged in the vehicle cabin, in particular in the vehicle seats. The sensor devices can be designed to locate the portable data processing device and the body part of the vehicle occupant connected to it in the space of the vehicle cabin. It can also be possible to use the data from the sensor devices to deduce a sitting position or the movements of the vehicle occupant. For example, for a certain sitting position of the vehicle occupant, an actually existing physiological value can be correctly determined using the sensors arranged in the vehicle or the sensors arranged in the portable data processing device, depending on the measurement method, with different probabilities in each case. With the aid of additional data from the additional sensor devices, wherein the additional data preferably do not correspond to the vehicle-side physiological parameters or the device-side physiological parameters, a probability can thus be determined for the vehicle-side physiological parameters and for the device-side physiological parameters as to the extent to which the actual physiological values of the vehicle occupant are reflected by the vehicle-side physiological parameters and the device-side physiological parameters.

Die erste Wahrscheinlichkeit und/oder die zweite Wahrscheinlichkeit kann beispielsweise unter Verwendung einer Lookup-Table oder einer Funktion oder unter Verwendung einer angelernten künstlichen Intelligenz bestimmt werden.The first probability and/or the second probability can be determined, for example, using a lookup table or a function or using trained artificial intelligence.

Bevorzugt ist vorgesehen, dass fahrzeugseitige Physiologieparameter für eine weitere Auswertung verwendet werden, wenn die erste Wahrscheinlichkeit einen Wahrscheinlichkeitsschwellwert überschreitet.Preferably, vehicle-side physiological parameters are used for further evaluation if the first probability probability exceeds a probability threshold.

Überschreiten die erste Wahrscheinlichkeit und die zweite Wahrscheinlichkeit einen Wahrscheinlichkeitsschwellwert, so können jene Physiologieparameter, insbesondere die fahrzeugseitigen Physiologieparameter oder die vorrichtungsseitigen Physiologieparameter, genutzt werden, welche die höhere Wahrscheinlichkeit aufweisen, die tatsächlichen Physiologiewerte des Fahrzeuginsassen widerzuspiegeln.If the first probability and the second probability exceed a probability threshold, those physiological parameters, in particular the vehicle-side physiological parameters or the device-side physiological parameters, which have the higher probability of reflecting the actual physiological values of the vehicle occupant can be used.

Bevorzugt ist vorgesehen, dass die im Fahrzeug angeordneten Sensoren und/oder die in der tragbaren Datenverarbeitungsvorrichtung angeordneten Sensoren Sensoren zur Messung einer Herzrate, oder einer Herzratenvariabilität, oder einer Sauerstoffsättigung, oder einer Hauttemperatur, oder Beschleunigungssensoren umfassen.It is preferably provided that the sensors arranged in the vehicle and/or the sensors arranged in the portable data processing device comprise sensors for measuring a heart rate, or a heart rate variability, or an oxygen saturation, or a skin temperature, or acceleration sensors.

Die im Fahrzeug angeordneten Sensoren oder die in der tragbaren Datenverarbeitungsvorrichtung angeordneten Sensoren können auch Kameras umfassen.The sensors arranged in the vehicle or the sensors arranged in the portable data processing device may also include cameras.

Darüber hinaus können die im Fahrzeug angeordneten Sensoren Kontaktsensoren in einem Lenkradkranz eines Lenkrades, zum Beispiel zur Bestimmung der Herzrate oder der Sauerstoffsättigung des Fahrzeuginsassen sein. Es können ferner elektrisch leitfähige Textilien in einem Fahrzeugsitz für kapazitive Messverfahren vorgesehen sein. Darüber hinaus kann vorgesehen sein, dass in einem Fahrzeugsitz, insbesondere in einer Rückenlehne eines Fahrzeugsitzes kapazitive Elektroden angeordnet sind, welche zur Aufzeichnung der Herzrate oder der Herzratenvariabilität ausgebildet sind.In addition, the sensors arranged in the vehicle can be contact sensors in a steering wheel rim, for example for determining the heart rate or the oxygen saturation of the vehicle occupant. Electrically conductive textiles can also be provided in a vehicle seat for capacitive measuring methods. In addition, it can be provided that capacitive electrodes are arranged in a vehicle seat, in particular in a backrest of a vehicle seat, which are designed to record the heart rate or heart rate variability.

Bevorzugt ist vorgesehen, dass die zusätzlichen Sensorvorrichtungen eine Kamera, insbesondere eine Thermokamera, oder einen Radarsensor, oder einen Lasersensor, oder einen Kontaktsensor, bevorzugt in einem Lenkrad oder in einem Fahrzeugsitz, oder einen fahrzeugspezifischen Sensor umfassen.It is preferably provided that the additional sensor devices comprise a camera, in particular a thermal camera, or a radar sensor, or a laser sensor, or a contact sensor, preferably in a steering wheel or in a vehicle seat, or a vehicle-specific sensor.

Wie schon erläutert können auch die im Fahrzeug angeordneten Sensoren oder die in der tragbaren Datenverarbeitungsvorrichtung angeordneten Sensoren eine Kamera, insbesondere eine Thermokamera, oder einen Radarsensor, oder einen Lasersensor, oder einen Kontaktsensor umfassen.As already explained, the sensors arranged in the vehicle or the sensors arranged in the portable data processing device can also comprise a camera, in particular a thermal camera, or a radar sensor, or a laser sensor, or a contact sensor.

Beispielsweise können Daten der Kameras, Radar- oder Lasersensoren oder Kontaktsensoren im Fahrzeug dafür verwendet werden, auf eine Sitzposition oder auf eine Bewegung des Fahrzeuginsassen zu schließen. Diese Informationen können genutzt werden, zu ermitteln, ob die fahrzeugseitigen Sensoren oder die vorrichtungsseitigen Sensoren eine größere Wahrscheinlichkeit aufweisen, die tatsächlichen Physiologiewerte des Fahrzeuginsassen zu beschreiben.For example, data from cameras, radar or laser sensors, or contact sensors in the vehicle can be used to infer a seating position or movement of the vehicle occupant. This information can be used to determine whether the vehicle-side sensors or the device-side sensors are more likely to describe the actual physiological values of the vehicle occupant.

Je nach Ausgestaltung der zusätzlichen Sensorvorrichtungen können diese jedoch zusätzlich auch zur Ermittlung der fahrzeugseitigen Physiologieparameter verwendet werden. Ist beispielsweise eine Kamera, insbesondere eine Thermokamera, im Fahrzeug installiert, so können von dieser zum einen Hauttemperaturwerte als fahrzeugseitige Physiologieparameter ermittelt werden. Zusätzlich kann mittels der Kamera auf eine Sitzposition oder Bewegung des Fahrzeuginsassen geschlossen werden.Depending on the design of the additional sensor devices, these can also be used to determine the vehicle's physiological parameters. For example, if a camera, in particular a thermal camera, is installed in the vehicle, this can be used to determine skin temperature values as a vehicle's physiological parameter. In addition, the camera can be used to determine the sitting position or movement of the vehicle occupant.

Über die Kameras können kontinuierlich Physiologieparameter extrahiert werden. Entsprechende Algorithmen sind dem Fachmann bekannt, um aus den Kameradaten, beispielsweise über Transthermal Optical Imaging (TOI), kardiovaskuläre Parameter wie die Herzrate, die Herzratenvariabilität, den Blutdruck, den Blutsauerstoff, die Sauersättigung sowie Atmungssignale und daraus abgeleitete Erkenntnisse wie zum Beispiel den Stresslevel zu extrahieren. Die zusätzlichen Sensorvorrichtungen, wie Radar- oder Lasersensoren im Fahrzeugsitz, können zur parallelen Erfassung der physiologischen Parameter dienen. Somit ist gewährleistet, dass bei Erfassungsunterbrechung der kamerabasierten Parameter, zum Beispiel bei Kopfbewegungen oder Positionsänderungen des Fahrzeuginsassen, eine lückenlose Aufzeichnung der Daten erfolgt.Physiological parameters can be extracted continuously via the cameras. Experts are familiar with appropriate algorithms for extracting cardiovascular parameters such as heart rate, heart rate variability, blood pressure, blood oxygen, oxygen saturation and respiratory signals and derived findings such as stress levels from the camera data, for example via transthermal optical imaging (TOI). The additional sensor devices, such as radar or laser sensors in the vehicle seat, can be used to record the physiological parameters in parallel. This ensures that the data is recorded without interruption if the recording of the camera-based parameters is interrupted, for example due to head movements or changes in position of the vehicle occupant.

Es können fahrzeugseitig mehrere Sensoren für die Ermittlung der fahrzeugseitigen Physiologieparameter vorhanden sein. So können zum Beispiel mehrere Kameras das Gesicht beziehungsweise den Körper des Fahrzeuginsassen erfassen und tracken.There can be several sensors on the vehicle to determine the vehicle's physiological parameters. For example, several cameras can capture and track the face or body of the vehicle occupant.

Bevorzugt ist vorgesehen, dass zur Ermittlung der ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit von der Auswerteeinheit Verarbeitungsalgorithmen ausgeführt werden, wobei die Verarbeitungsalgorithmen bevorzugt Algorithmen des maschinellen Lernens, insbesondere Objekterkennungsalgorithmen und/oder Bildverarbeitungsalgorithmen und/oder Bewegungsanalysealgorithmen, umfassen.It is preferably provided that processing algorithms are executed by the evaluation unit to determine the first probability and the second probability, wherein the processing algorithms preferably comprise machine learning algorithms, in particular object recognition algorithms and/or image processing algorithms and/or motion analysis algorithms.

Die Daten der zusätzlichen Sensorvorrichtungen können somit fahrzeugseitig erfasst und verarbeitet werden. Auf Basis der Daten der zusätzlichen Sensorvorrichtungen können unter Verwendung von Verarbeitungsalgorithmen, insbesondere Algorithmen des maschinellen Lernens, Objekterkennungsalgorithmen, Bildverarbeitungsalgorithmen oder Bewegungsanalysealgorithmen, die erste Wahrscheinlichkeit und die zweite Wahrscheinlichkeit ermittelt werden.The data from the additional sensor devices can thus be recorded and processed on the vehicle side. Based on the data from the additional sensor devices, the first probability and the second probability can be determined using processing algorithms, in particular machine learning algorithms, object recognition algorithms, image processing algorithms or motion analysis algorithms.

Erfindungsgemäß werden die fahrzeugseitigen Physiologieparameter und die vorrichtungsseitigen Physiologieparameter kombiniert, wenn die Differenz der ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit kleiner als eine vorbestimmte Schwelle sind.According to the invention, the vehicle-side physiological parameters and the device-side physiological parameters are combined if the difference between the first probability and the second probability is smaller than a predetermined threshold.

Ist die Differenz zwischen der ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit beispielsweise kleiner als 5% bis 10%, so kann die Auswerteeinheit entscheiden, dass sowohl die fahrzeugseitigen als auch die vorrichtungsseitigen Physiologieparameter eine gewisse Wahrscheinlichkeit haben, die tatsächlichen Physiologiewerte des Fahrzeuginsassen korrekt zu beschreiben. In diesem Fall können die fahrzeugseitigen Physiologieparameter und die vorrichtungsseitigen Physiologieparameter kombiniert, beispielsweise gemittelt, werden oder es kann eine gewichtete Summe über die fahrzeugseitigen Physiologieparameter und die vorrichtungsseitigen Physiologieparameter verwendet werden.If the difference between the first probability and the second probability is, for example, less than 5% to 10%, the evaluation unit can decide that both the vehicle-side and the device-side physiology parameters have a certain probability of correctly describing the actual physiology values of the vehicle occupant. In this case, the vehicle-side physiology parameters and the device-side physiology parameters can be combined, for example averaged, or a weighted sum of the vehicle-side physiology parameters and the device-side physiology parameters can be used.

Die Speicherung und/oder Verarbeitung der fahrzeugseitigen Physiologieparameter und/oder der vorrichtungsseitigen Physiologieparameter kann im Fahrzeug oder extern in einer Cloud durchgeführt werden. Zusätzliche Optionen zum anonymen Teilen der Daten können berücksichtigt werden. Anzeigemöglichkeiten der fahrzeugseitigen oder vorrichtungsseitigen Physiologieparameter in einer Schnittstelle (Mensch-Maschine-Schnittstelle; HMI) des Fahrzeuges können berücksichtigt werden. Beispielsweise kann der Fahrzeuginsasse auf Wunsch über seinen Gesundheitszustand informiert werden.The storage and/or processing of the vehicle-side physiology parameters and/or the device-side physiology parameters can be carried out in the vehicle or externally in a cloud. Additional options for anonymous sharing of the data can be considered. Display options for the vehicle-side or device-side physiology parameters in an interface (human-machine interface; HMI) of the vehicle can be considered. For example, the vehicle occupant can be informed about his health status upon request.

Bevorzugt ist vorgesehen, dass der Verarbeitungsalgorithmus eine Erkennung von Notfallsituationen umfasst und/oder Notfallbenachrichtigungen auslösen kann.Preferably, the processing algorithm includes detection of emergency situations and/or can trigger emergency notifications.

In einem vollautomatisierten oder autonomen Fahrzeug kann in einer Notfallsituation eine direkte Fahrt des Fahrzeugs zu einem Krankenhaus, inklusive Voranmeldung des Fahrzeuginsassen, erfolgen. Bei noch vorhandener Fahrfähigkeit kann über das Navigationssystem der kürzeste Weg zum nächsten Krankenhaus oder Arzt vorgeschlagen werden.In an emergency situation, a fully automated or autonomous vehicle can drive directly to a hospital, including prior notification of the vehicle occupant. If the driver is still able to drive, the navigation system can suggest the shortest route to the nearest hospital or doctor.

Mit Vorteil kann vorgesehen sein, dass der Fahrzeuginsasse eine Präferenz für die fahrzeugseitigen Physiologieparameter oder für die vorrichtungsseitigen Physiologieparameter einstellt.Advantageously, it can be provided that the vehicle occupant sets a preference for the vehicle-side physiological parameters or for the device-side physiological parameters.

Somit kann der Fahrzeuginsasse individuelle Vertrauenswerte festlegen, die neben der errechneten ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit in die Zuordnung der Prioritätswerte einfließen.This allows the vehicle occupant to specify individual confidence values, which, in addition to the calculated first probability and the second probability, are included in the assignment of priority values.

Mit weiterem Vorteil kann vorgesehen sein, dass aus den fahrzeugseitigen Physiologieparametern oder den vorrichtungsseitigen Physiologieparametern ermittelte Informationen dem Fahrzeuginsassen angezeigt werden.It can be further advantageously provided that information determined from the vehicle-side physiological parameters or the device-side physiological parameters is displayed to the vehicle occupant.

Insbesondere in autonom fahrenden Fahrzeugen kann somit ein Fahrzeuginsasse über Gesundheitsthemen und insbesondere über seine Physiologiewerte informiert werden. Beispielsweise können die Informationen in einem Headupdisplay, auf Anzeigevorrichtungen von Multimediasystemen, in Daten- oder Virtual Reality-Brillen, angezeigt werden. Ferner können die Informationen auf dem Smartphone oder auf einem Wearable angezeigt werden.In autonomous vehicles in particular, a vehicle occupant can be informed about health issues and in particular about his or her physiological values. For example, the information can be shown in a head-up display, on display devices of multimedia systems, in data or virtual reality glasses. The information can also be shown on a smartphone or on a wearable.

Bevorzugt ist vorgesehen, dass der Fahrzeuginsasse die Option zur anonymen Weitergabe der fahrzeugseitigen Physiologieparameter und/oder der vorrichtungsseitigen Physiologieparameter an verschiedene Dienste, beispielsweise an wissenschaftliche Datenbanken, freigibt oder sperrt.Preferably, the vehicle occupant enables or blocks the option to anonymously transmit the vehicle-side physiological parameters and/or the device-side physiological parameters to various services, for example to scientific databases.

Ferner ist bevorzugt vorgesehen, dass die Auswerteeinheit die Daten, das heißt insbesondere die vorrichtungsseitigen Physiologieparameter und/oder die fahrzeugseitigen Physiologieparameter, analysiert und über Auffälligkeiten informiert.Furthermore, it is preferably provided that the evaluation unit analyses the data, i.e. in particular the device-side physiological parameters and/or the vehicle-side physiological parameters, and informs about any abnormalities.

Dabei kann ein individuelles Profil des Fahrzeuginsassen erstellt werden, und es können Veränderungen beziehungsweise Anomalien erkannt werden. Optional kann bei einer erkannten Anomalie eine verfeinerte diagnostische Messung über im Fahrzeug vorhandene Trockenelektroden erfolgen. Optional kann ein Telearztkontakt mit Datenweitergabe erfolgen.An individual profile of the vehicle occupant can be created and changes or anomalies can be detected. If an anomaly is detected, a more refined diagnostic measurement can optionally be carried out using dry electrodes in the vehicle. Teledoctor contact with data transfer can optionally be arranged.

Bevorzugt ist vorgesehen, dass auf Basis der fahrzeugseitigen Physiologieparameter und/oder der vorrichtungsseitigen Physiologieparameter longitudinale Messreihen angefertigt werden, das heißt reproduzierbare und wiederholte Messungen zur gleichen Zeit, zum Beispiel bei der täglichen Fahrt zu und von der Arbeit.Preferably, longitudinal measurement series are carried out on the basis of the vehicle-side physiological parameters and/or the device-side physiological parameters, i.e. reproducible and repeated measurements at the same time, for example during the daily journey to and from work.

Darüber hinaus kann vorgesehen sein, dass Beschleunigungswerte zur Ermittlung der fahrzeugseitigen oder vorrichtungsseitigen Physiologieparameter verwendet werden. Dafür können Beschleunigungssensoren in dem Fahrzeug oder in der tragbaren Datenvorrichtung vorgesehen sein.In addition, acceleration values can be used to determine the vehicle-side or device-side physiological parameters. For this purpose, acceleration sensors can be provided in the vehicle or in the portable data device.

Die Übermittlung der vorrichtungsseitigen Physiologieparameter an die Auswerteeinheit kann mittels funkbasierter Technologien wie WLAN oder Bluetooth erfolgen.The device-side physiological parameters can be transmitted to the evaluation unit using radio-based technologies such as WLAN or Bluetooth.

Eine weitere Lösung der der Erfindung zugrundeliegenden Aufgabe besteht in der Bereitstellung eines Fahrzeuges, insbesondere eines autonom fahrenden Fahrzeuges, umfassend ein System zur Messung von Physiologieparametern vom Fahrzeuginsassen, wobei das System zur Durchführung eines vorbeschriebenen Verfahrens ausgebildet ist.A further solution to the problem underlying the invention consists in providing a vehicle, in particular an autonomously driving vehicle, comprising a system for measuring physiological parameters of the vehicle occupant, wherein the system is designed to carry out a method described above.

Die Erfindung wird nachstehend näher anhand der beigefügten Figur erläutert. Es zeigt:

1 ein Fahrzeug umfassend ein System zur Messung von Physiologieparametern von Fahrzeuginsassen.

The invention is explained in more detail below with reference to the attached figure. It shows:

1 a vehicle comprising a system for measuring physiological parameters of vehicle occupants.

1 zeigt ein Fahrzeug 100 mit einem darin befindlichen Fahrzeuginsassen 10. In dem Fahrzeug 100 sind Sensoren 11 zur Ermittlung von fahrzeugseitigen Physiologieparametern des Fahrzeuginsassen 10 angeordnet. Ferner trägt der Fahrzeuginsasse eine tragbare Datenverarbeitungsvorrichtung 12, beispielsweise eine Smartwatch 12a, bei sich. Mittels der tragbaren Datenverarbeitungsvorrichtung 12 werden vorrichtungsseitige Physiologieparameter des Fahrzeuginsassen 10 ermittelt. Hierfür weist die tragbare Datenverarbeitungsvorrichtung 12 ebenfalls geeignete Sensoren 19 auf. Im Fahrzeug 100 ist zudem eine Auswerteeinheit 13 angeordnet, welche für die fahrzeugseitigen Physiologieparameter und für die vorrichtungsseitigen Physiologieparameter eine erste Wahrscheinlichkeit und eine zweite Wahrscheinlichkeit dafür ermitteln, ob die fahrzeugseitigen Physiologieparameter oder die vorrichtungsseitigen Physiologieparameter den tatsächlichen Physiologiewerten des Fahrzeuginsassen 10 entsprechen. Auf Basis der ersten Wahrscheinlichkeit und der zweiten Wahrscheinlichkeit ordnet die Auswerteeinheit 13 den fahrzeugseitigen Physiologieparametern und den vorrichtungsseitigen Physiologieparametern einen Prioritätswert zu. 1 shows a vehicle 100 with a vehicle occupant 10 inside it. Sensors 11 for determining vehicle-side physiological parameters of the vehicle occupant 10 are arranged in the vehicle 100. The vehicle occupant also carries a portable data processing device 12, for example a smartwatch 12a. Device-side physiological parameters of the vehicle occupant 10 are determined by means of the portable data processing device 12. The portable data processing device 12 also has suitable sensors 19 for this purpose. An evaluation unit 13 is also arranged in the vehicle 100, which determines a first probability and a second probability for the vehicle-side physiological parameters and for the device-side physiological parameters as to whether the vehicle-side physiological parameters or the device-side physiological parameters correspond to the actual physiological values of the vehicle occupant 10. Based on the first probability and the second probability, the evaluation unit 13 assigns a priority value to the vehicle-side physiological parameters and the device-side physiological parameters.

Die im Fahrzeug 100 angeordneten Sensoren 11 können beispielsweise eine Thermokamera 11a und Kontaktsensoren 11b in einem Lenkradkranz 14 eines Lenkrades 15 sein. Mit der Thermokamera 11a kann die Hauttemperatur des Fahrzeuginsassen 10 ermittelt werden. Mit den Kontaktsensoren 11b kann die Herzrate oder die Sauerstoffsättigung des Blutes des Fahrzeuginsassen 10 ermittelt werden.The sensors 11 arranged in the vehicle 100 can be, for example, a thermal camera 11a and contact sensors 11b in a steering wheel rim 14 of a steering wheel 15. The skin temperature of the vehicle occupant 10 can be determined using the thermal camera 11a. The heart rate or the oxygen saturation of the blood of the vehicle occupant 10 can be determined using the contact sensors 11b.

Darüber hinaus umfasst das Fahrzeug 100 zusätzliche Sensorvorrichtungen 16. Die zusätzlichen Sensorvorrichtungen 16 können als eine Kamera 16a oder als in einem Fahrzeugsitz 17 angeordnete Radar- oder Lasersensoren 16b ausgebildet sein. Anhand der zusätzlichen Sensorvorrichtungen 16 kann die Auswerteeinheit 13 beispielsweise auf eine Sitzposition oder auf Bewegungen des Fahrzeuginsassen 10 schließen. Darüber hinaus können nicht dargestellt Sensorvorrichtungen 16 zur Messung von Umgebungswerten, wie beispielsweise der Innenraumtemperatur oder dem Lichtniveau, vorgesehen sein. Die im Fahrzeug 100 angeordneten Sensoren 11, wie beispielsweise die Thermokamera 11a und die Kontaktsensoren 11b, können in einer Doppelfunktion auch als zusätzliche Sensorvorrichtungen 16 fungieren.In addition, the vehicle 100 comprises additional sensor devices 16. The additional sensor devices 16 can be designed as a camera 16a or as radar or laser sensors 16b arranged in a vehicle seat 17. Based on the additional sensor devices 16, the evaluation unit 13 can, for example, infer a seating position or movements of the vehicle occupant 10. In addition, sensor devices 16 (not shown) for measuring environmental values, such as the interior temperature or the light level, can be provided. The sensors 11 arranged in the vehicle 100, such as the thermal camera 11a and the contact sensors 11b, can also function as additional sensor devices 16 in a dual function.

Auf Basis der Werte der zusätzlichen Sensorvorrichtungen 16 entscheidet die Auswerteeinheit 13, ob die fahrzeugseitigen Physiologieparameter oder die vorrichtungsseitigen Physiologieparameter den tatsächlichen Physiologiewerten des Fahrzeuginsassen 10 entsprechen. Weisen beispielsweise die fahrzeugseitigen Physiologieparameter aufgrund der vom Fahrzeuginsassen 10 eingenommenen Sitzposition eine höhere Wahrscheinlichkeit als die vorrichtungsseitigen Physiologieparameter auf, den tatsächlichen Physiologiewerten zu entsprechen, so wird den fahrzeugseitigen Physiologieparametern von der Auswerteeinheit 13 eine höhere Priorität zugeordnet. Auf einer im Fahrzeug 100 angeordneten Anzeigevorrichtung 18 kann der Fahrzeuginsasse 10 über Gesundheitsthemen oder über die ermittelten Physiologieparameter informiert werden. Im Notfall kann das Fahrzeug 100 automatisch einen Notruf absenden.Based on the values of the additional sensor devices 16, the evaluation unit 13 decides whether the vehicle-side physiological parameters or the device-side physiological parameters correspond to the actual physiological values of the vehicle occupant 10. If, for example, the vehicle-side physiological parameters have a higher probability of corresponding to the actual physiological values than the device-side physiological parameters due to the seating position assumed by the vehicle occupant 10, the evaluation unit 13 assigns a higher priority to the vehicle-side physiological parameters. The vehicle occupant 10 can be informed about health topics or about the determined physiological parameters on a display device 18 arranged in the vehicle 100. In an emergency, the vehicle 100 can automatically send an emergency call.

BezugszeichenlisteList of reference symbols

100100: Fahrzeugvehicle
1010: FahrzeuginsasseVehicle occupant
1111: Sensorsensor
11 a11 a: ThermokameraThermal camera
11b11b: KontaktsensorContact sensor
1212: DatenverarbeitungsvorrichtungData processing device
12a12a: SmartwatchSmartWatch
1313: AuswerteeinheitEvaluation unit
1414: LenkradkranzSteering wheel rim
1515: Lenkradsteering wheel
1616: SensorvorrichtungSensor device
16a16a: Kameracamera
16b16b: LasersensorLaser sensor
1717: FahrzeugsitzVehicle seat
1818: AnzeigevorrichtungDisplay device
1919: Sensorsensor

Claims

Method for prioritizing physiological parameters of vehicle occupants (10), wherein sensors (11, 11a, 11b) arranged in a vehicle (100) determine vehicle-side physiological parameters of a vehicle occupant (10), and wherein sensors (19) arranged in a portable data processing device (12, 12a) provide device-side physiology parameters of the vehicle occupant (10), characterized in that an evaluation unit (13) determines a first probability that the vehicle-side physiology parameters correspond to actual physiology values of the vehicle occupant (10), and wherein the evaluation unit (13) determines a second probability that the device-side physiology parameters correspond to the actual physiology values of the vehicle occupant (10), and that the evaluation unit (13) assigns priority values to the vehicle-side physiology parameters and the device-side physiology parameters depending on the first probability and the second probability, and in that the vehicle-side physiology parameters and the device-side physiology parameters are combined if a difference between the first probability and the second probability is smaller than a predetermined threshold.

Procedure according to Claim 1 , characterized in that the portable data processing device (12) is a wearable, preferably a smartwatch (12a) or data glasses, in particular virtual reality glasses or augmented reality glasses, or a smartphone, or an electronic device that can be applied to the skin or to body surfaces, or a smart item of clothing.

Procedure according to Claim 1 or 2 , characterized in that additional sensor devices (16, 16a, 16b) are arranged in the vehicle (100), wherein data determined by the sensor devices (16, 16a, 16b) are used by the evaluation unit (13) to determine the first probability and the second probability.

Method according to one of the preceding claims, characterized in that the sensors (11, 11a, 11b) arranged in the vehicle (100) and/or the sensors (19) arranged in the portable data processing device (12, 12a) comprise sensors for measuring a heart rate, or a heart rate variability, or an oxygen saturation, or a skin temperature, or acceleration sensors.

Method according to one of the preceding claims, characterized in that the sensors (11, 11a, 11b, 19) and/or the additional sensor devices (16, 16a, 16b) comprise a camera (16a), in particular a thermal camera, or a radar sensor, or a laser sensor (16b), or a contact sensor, preferably in a steering wheel (15) or in a vehicle seat (17), or a vehicle-specific sensor.

Method according to one of the preceding claims, characterized in that processing algorithms are executed by the evaluation unit (13) to determine the first probability and the second probability, wherein the processing algorithms preferably comprise machine learning algorithms, in particular object recognition algorithms and/or image processing algorithms and/or motion analysis algorithms.

Method according to one of the preceding claims, characterized in that the vehicle occupant (10) sets a preference for the vehicle-side physiological parameters or for the device-side physiological parameters.

Method according to one of the preceding claims, characterized in that information determined from the vehicle-side physiological parameters or the device-side physiological parameters is displayed to the vehicle occupant (10).

Vehicle (100) comprising a system for measuring physiological parameters of vehicle occupants (10), wherein the system is designed to carry out a method according to one of the Claims 1 until 8th is trained.