FR3064568A1 - Dispositif et procede d'observation du conducteur d'un vehicule - Google Patents
Dispositif et procede d'observation du conducteur d'un vehicule Download PDFInfo
- Publication number
- FR3064568A1 FR3064568A1 FR1852744A FR1852744A FR3064568A1 FR 3064568 A1 FR3064568 A1 FR 3064568A1 FR 1852744 A FR1852744 A FR 1852744A FR 1852744 A FR1852744 A FR 1852744A FR 3064568 A1 FR3064568 A1 FR 3064568A1
- Authority
- FR
- France
- Prior art keywords
- lighting
- driver
- installation
- camera
- conductor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000009434 installation Methods 0.000 claims abstract description 101
- 239000004020 conductor Substances 0.000 claims description 39
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract 3
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
Dispositif d'observation d'un conducteur (100) pour déterminer sa position (115) ayant une interface d'éclairage (120) émettant un signal d'éclairage (135) de l'installation d'éclairage de l'arrière-plan (140), pour générer une zone d'ombre du côté avant (145), - une interface de caméra (125) enregistrant le signal de l'installation de caméra (150), - une unité d'observation (130) pour observer le conducteur (105) en utilisant le signal d'éclairage (135) et le signal de caméra (125).
Description
(57) Dispositif d'observation d'un conducteur (100) pour déterminer sa position (115) ayant une interface d'éclairage (120) émettant un signal d'éclairage (135) de l'installation d'éclairage de l'arrière-plan (140), pour générer une zone d'ombre du côté avant (145),
- une interface de caméra (125) enregistrant le signal de l'installation de caméra (150),
- une unité d'observation (130) pour observer le conducteur (105) en utilisant le signal d'éclairage (135) et le signal de caméra (125).
i
Domaine de l’invention
La présente invention se rapporte à un dispositif et un procédé d’observation du conducteur dans un véhicule pour déterminer sa position.
L’invention a également pour objet un programme d’ordinateur appliquant le procédé.
Etat de la technique
Les systèmes d’observation servent à observer le conducteur du véhicule pendant le mouvement du véhicule pour, entre autre, analyser l’aptitude à la réaction du conducteur. Pour cela, on utilise fréquemment les procédés de poursuite de tête et de poursuite des yeux.
Exposé et avantages de l’invention
La présente invention a pour objet un dispositif d’observation d’un conducteur pour observer un conducteur dans le véhicule et déterminer au moins une position du conducteur dans le véhicule, le dispositif d’observation ayant au moins une interface d’éclairage pour émettre un signal d’éclairage commandant une installation d’éclairage de l’arrière-plan, cette installation étant disposée ou pouvant être disposée pour éclairer au moins une zone autour du côté arrière du conducteur et/ou le côté arrière du conducteur, pour générer une zone d’ombre dans une autre zone du côté avant du conducteur à l’opposé de son côté arrière, une interface de caméra pour une installation de caméra, cette interface de caméra enregistrant un signal de caméra fourni par l’installation de caméra et qui représente une image de caméra du côté avant du conducteur avec la zone d’ombre et une unité d’observation pour observer le conducteur en utilisant le signal d’éclairage émis par l’interface d’éclairage et le signal de caméra enregistré par l’interface de caméra.
L’invention a également pour objet un procédé d’observation d’un conducteur dans un véhicule pour déterminer au moins une position du conducteur dans le véhicule en utilisant un dispositif d’observation du conducteur ce procédé comprenant au moins les étapes suivantes :
- émettre le signal d’éclairage pour commander au moins l’installation d’éclairage de l’arrière-plan, cette installation étant située et/ou installée dans au moins une zone autour du côté arrière du conducteur et/ou le côté arrière du conducteur pour dans la suite du procédé,
- générer la zone d’ombre dans la zone étendue du côté arrière en regard du côté avant du conducteur,
- enregistrer le signal de caméra fourni par l’image de caméra représentant le côté avant du conducteur avec la zone d’ombre, et
- observer le conducteur en utilisant au moins le signal d’éclairage émis par l’interface d’éclairage et qui comporte une interface de caméra pour enregistrer le signal de caméra.
L’invention a l’avantage de permettre de mieux détecter, grâce à l’éclairage du conducteur par l’arrière, la position du conducteur, par exemple, la tenue de sa tête dans l’image de caméra prise par le devant du conducteur, ce qui ne nécessite qu’un algorithme de traitement d’image, simplifié comme dispositif d’observation du conducteur.
Un dispositif d’observation du conducteur pour observer le conducteur dans le véhicule et déterminer au moins une position, par exemple, celle de la tête du conducteur dans le véhicule qui comporte comme déjà exposé, au moins une interface d’éclairage, une interface de caméra et une unité d’observation. L’interface d’éclairage génère un signal d’éclairage pour commander une installation d’éclairage de l’arrière-plan, située ou pouvant être située de façon à éclairer au moins une zone autour du côté arrière du conducteur et/ou éclairer ce côté arrière du conducteur, pour avoir une zone d’ombre générée par le conducteur dans une autre zone du côté avant opposé du conducteur.
L’installation d’éclairage de l’arrière-plan selon une forme de réalisation du dispositif d’observation du conducteur, fait partie de ce dispositif d’observation de conducteur. L’interface de caméra est une interface avec une installation de caméra qui est installée ou peut être installée avantageusement dans la direction opposée à la direction de vue de l’installation d’éclairage d’arrière-plan. L’interface caméra enregistre le signal de caméra fourni par l’installation de caméra ; ce signal est une image du côté avant du véhicule avec la zone d’ombre. L’installation d’éclairage arrière et/ou l’installation de caméra peuvent, le cas échéant, également faire partie du dispositif d’observation du conducteur. L’unité d’observation est conçue pour observer le conducteur en utilisant le signal d’éclairage émis par l’interface d’éclairage et pour observer le signal de caméra enregistré par l’interface. L’unité d’observation est conçue pour qu’en application au moins du signal d’éclairage et du signal de caméra, on détermine ou calcule avec l’image de caméra et la zone d’ombre, la position du conducteur.
L’unité d’observation peut en outre servir au traitement d’image.
Le dispositif d’observation du conducteur tel que présenté facilite la reconnaissance de la position du conducteur dans 1 véhicule car par un éclairage défini du conducteur par l’arrière et par lequel le conducteur lui-même génère la zone d’ombre dans l’image de caméra, et permet de reconnaître rapidement et simplement cette zone dans l’éclairage associé au conducteur. C’est ainsi que, par exemple, on peut reconnaître la position de la tête du conducteur par la zone d’ombre générée par la tête à l’intérieur de l’éclairage généré par l’installation d’éclairage de l’arrière-plan.
L’interface d’éclairage selon un exemple de réalisation est conçue pour commander en outre une installation d’éclairage frontal disposé ou susceptible d’être disposé pour éclairer la face du conducteur. Cette installation d’éclairage frontal est située ou peut être située dans la zone de l’installation de caméra, c’est-à-dire également dans la direction opposée à la direction de vue de l’installation d’éclairage de base et le cas échéant faire partie du dispositif d’observation du conducteur. Une telle installation d’éclairage frontal peut servir à une application de poursuite de la tête et/ou de poursuite des yeux. L’installation d’éclairage frontal est, par exemple, disposé pour éclairer le visage du conducteur et déceler l’apparition de la fatigue et/ou d’autres caractéristiques d’état du conducteur reconnaissable sur le visage.
Suivant une autre caractéristique avantageuse, l’interface d’éclairage commande au moins l’installation d’éclairage de l’arrièreplan et/ou l’installation d’éclairage frontal pour éclairer avec au moins un faisceau infrarouge. L’utilisation de lumière infrarouge permet d’avoir un éclairage du conducteur, homogène et aussi indépendant que possible de l’environnement et la lumière infrarouge a en outre l’avantage de ne pas être visible par le conducteur ou de ne pas l’éblouir. Cela permet de commander, par exemple, l’installation d’éclairage arrière et/ou l’installation d’éclairage frontal avec au moins une source lumineuse LED et/ou une source laser.
Si l’interface d’éclairage et/ou au moins l’installation d’éclairage de l’arrière-plan et/ou l’installation d’éclairage frontal selon une forme de réalisation avantageuse de l’invention comporte au moins une installation générant un motif et qui est réalisée pour générer le motif lumineux pour l’éclairage du conducteur, on peut avoir une lumière structurée en ce que la position de la zone d’ombre générée à l’intérieur du motif lumineux se reconnaît rapidement et simplement. L’installation générant le motif peut être réalisée pour générer le motif lumineux d’au moins un motif et/ou une installation de projection et/ou une optique. Par exemple, l’installation générant le motif génère le motif lumineux qui a au moins une ligne et/ou au moins une ligne multiple et/ou un croisillon et/ou un point. Une telle installation générant un motif, prévue dans l’installation d’éclairage arrière peut permettre une segmentation simple de la tête du conducteur sans nécessiter d’algorithme de segmentation complexe dans une application de traitement d’image. Une telle installation générant un motif prévu sur l’installation d’éclairage frontal peut fournir des informations de profondeur concernant la vue du conducteur et qui détermine une déformation du motif lumineux sur la tête du conducteur.
L’invention a également pour objet un procédé d’observation d’un conducteur dans son véhicule pour déterminer au moins une position, par exemple, celle de la tête du conducteur dans le véhicule en utilisant les dispositifs d’observation du conducteur présentés ci-dessus et ayant au moins les étapes déjà définies :
- émettre le signal d’éclairage pour commander au moins l’installation d’éclairage de l’arrière-plan qui est située ou peut être située pour éclairer au moins la zone autour du côté arrière du conducteur et/ou le côté arrière du conducteur, pour générer dans l’autre plage du côté avant en regard du côté arrière du véhicule, la zone d’ombre produite par le conducteur,
- enregistrer le signal de caméra qui représente l’image de caméra du côté avant du conducteur avec la zone d’ombre et observer le conducteur en utilisant au moins le signal d’éclairage émis par l’interface d’éclairage et le signal de caméra enregistré par l’interface de caméra.
Ce procédé peut être implémenté sous la forme d’un programme ou d’un circuit ou d’une forme mixte composée d’un programme et d’un circuit, par exemple, dans l’appareil de commande.
L’invention a également pour objet un produitprogramme d’ordinateur ou un programme d’ordinateur avec un codeprogramme enregistré sur un support lisible par une machine ou un support de mémoire tel qu’une mémoire à semi-conducteurs, une mémoire en forme de disque dur ou une mémoire optique pour exécuter, appliquer et commander les étapes du procédé tel que décrit ci-dessus et notamment lorsque le produit-programme ou plus simplement le programme est exécuté par un ordinateur ou un calculateur.
Dessins
La présente invention sera décrite ci-après, de manière plus détaillée à l’aide d’exemples de réalisation d’un dispositif d’observation du conducteur d’un véhicule pour déterminer sa position dans le véhicule, représentée dans les dessins annexés dans lesquels :
la figure 1 est un schéma d’un dispositif d’observation du conducteur pour observer le conducteur dans son véhicule et déterminer sa position, la figure 2 est une représentation schématique de l’image de caméra fournie par une interface de caméra à partir d’un dispositif d’observation du conducteur, la figure 3 est un schéma d’une autre image de caméra fournie par une interface de caméra d’un dispositif d’observation du conducteur, et la figure 4 est un ordinogramme d’un procédé d’observation d’un conducteur dans son véhicule pour déterminer sa position dans le véhicule.
Description de modes de réalisation
La figure 1 est un schéma d’un dispositif d’observation du conducteur 100 servant à observer le conducteur 105 dans un véhicule 110 pour déterminer la position 115 du conducteur 105 dans le véhicule 110 selon un exemple de réalisation de l’invention.
Le dispositif d’observation du conducteur 100 comporte au moins une interface d’éclairage 120, une interface de caméra 125 et une unité d’observation 130.
L’interface d’éclairage 120 émet un signal d’éclairage 135 pour commander une installation d’éclairage d’arrière-plan 140 installée ou qui peut être installée pour éclairer au moins une zone autour du côté arrière 142 du conducteur 105 et/ou le côté arrière 142 du conducteur 105, pour générer une zone d’ombre projetée par le conducteur 105 dans une autre zone du côté avant 145 à l’opposé du côté arrière 142 du conducteur 105.
L’interface de caméra 125 est une interface vers une installation de caméra 150 orientée ou qui peut être orientée dans la direction opposée à la direction de visée de l’installation d’éclairage de l’arrière-plan 140. L’interface de caméra 125 fournit le signal de caméra de l’installation de caméras 150 et qui représente une image de la face avant 145 du conducteur 105 avec la zone d’ombre.
L’unité d’observation 130 observe le conducteur 105 en utilisant le signal d’éclairage 135 fourni par l’interface d’éclairage 120 et le signal de caméra fourni par l’interface de caméra 125.
Les caractéristiques du dispositif d’observation du conducteur 100 décrites ci-après sont en option. Selon cet exemple de réalisation, l’unité d’observation 130 utilise au moins le signal d’éclairage 135 et le signal de caméra pour déterminer ou pour calculer la position 115 du conducteur 105.
Selon cet exemple de réalisation, le conducteur 105 est assis dans le véhicule 110 ; le dispositif d’observation du conducteur 100 observe et/ou détermine la position 115 du conducteur 105 qui est la position de la tête du conducteur 105.
L’interface d’éclairage 120 selon cet exemple de réalisation commande en outre une installation d’éclairage frontal 155 qui est installée ou peut être installée pour éclairer la face avant 145 qui est ici le visage du conducteur 145.
Selon cet exemple de réalisation, l’installation de caméra 150 et l’installation d’éclairage frontal 155 sont disposées dans des positions voisines l’une de l’autre dans l’instrument combiné 160 du véhicule 110. Le dispositif d’observation du conducteur 100 est situé au voisinage de l’installation de caméra 150. Selon une variante d’exemple de réalisation, le dispositif d’observation du conducteur 100 se trouve dans le dispositif de caméra 150. Le dispositif de caméra 150 selon cet exemple de réalisation est une caméra de surveillance du conducteur appelée en abrégé caméra DMC.
L’interface d’éclairage 120 commande au moins l’installation d’éclairage d’arrière-plan 140 et/ou l’installation d’éclairage frontal 155 pour générer un faisceau infrarouge 165 pour l’éclairage. De plus, l’interface d’éclairage 120 et/ou l’installation d’éclairage de l’arrière-plan 140 et/ou l’installation d’éclairage frontal 155 ont une installation générant un motif pour générer un motif lumineux servant à éclairer le conducteur 105 et qui apparaît aux figures 2 et 3.
Des détails du dispositif d’observation du conducteur 100 seront décrits ci-après de manière plus précise :
Le mode de réalisation permet un éclairage arrière ou rétro-éclairage infrarouge, avec une ombre pour une segmentation ROI (ROI région intéressante) efficace pour les applications destinées à l’observation d’un conducteur. Selon cet exemple de réalisation, la région ROI est la tête du conducteur 105.
Les applications pour effectuer une opération de poursuite de tête et de poursuite des yeux sont actuellement des composants principaux de tous systèmes d’observation du conducteur (système DMC). De tels systèmes sont indispensables pour permettre dans le futur la conduite partiellement automatique et ultérieurement totalement automatisée, par l’analyse de l’attitude réactive du conducteur 105. Une application présentée ici se trouve dans le procédé de traitement d’images / CV (CV : vision par ordinateur) travaillant avec un éclairage infrarouge direct éventuellement pulsé, encore appelé éclairage IR, du conducteur 105 et qui est ici optimisé. Les émetteurs IR de l’installation d’éclairage frontal 155 sont ici à proximité de l’installation de caméra 150 dans la grille des instruments de bord ou selon une variante de réalisation, à un autre endroit à l’intérieur de l’habitacle, dans la zone située devant le conducteur 105 en étant orientés vers celui-ci. Pour l’éclairage, on utilise de la lumière infrarouge pour avoir un éclairage homogène, aussi indépendant que possible de l’éclairage ambiant et qui n’est pas visible par le conducteur 105 ou ne risque pas de l’éblouir. Pour neutraliser la lumière ambiante, selon cet exemple de réalisation, on utilise un filtre passe-bande optique.
L’installation d’éclairage frontal 155 présentée ici éclaire le visage du conducteur, de façon optimale en tenant compte de la distance de la tête, du profil, des mouvements et des propriétés réfléchissantes, le cas échéant les lunettes portées par le conducteur et de la lumière ambiante extérieure par un éclairage ROI direct. La fonction principale est ici d’éclairer la zone ROI c’est-à-dire le visage du conducteur 105 pour pouvoir le distinguer par rapport à l’arrière-plan ou le segmenter. Dans les systèmes connus d’observation du conducteur, on applique soit l’intensité d’éclairage maximal initial des sources de rayonnement infrarouge (appelé en abrégé émetteur infrarouge IRE ou plus simplement émetteur IRE) selon la position ROI actuelle et la qualité de l’éclairage en régulant par des algorithmes de poursuite de la tête ou des yeux ; cette opération encore appelée « régulation en boucle fermée » ou « segmentation » est traduite si l’on ne dispose pas de données en retour, par un bloc supplémentaire, distinct, de traitement d’images pour évaluer la situation d’éclairage ROI. La régulation de l’éclairage ROI en combinaison avec la segmentation fiable de la tête du conducteur 105 par rapport à l’arrière-plan de l’image se détermine par l’extraction des caractéristiques du visage de l’application DMC et constitue la base de toutes les applications de poursuite de la tête et de poursuite des yeux qui en découlent. La complexité du calcul de ces parties d’algorithme dépend très fortement de l’état d’éclairage ambiant extérieur / formation d’ombres et de la qualité du chemin optique du système DMC. Comme le chemin optique, y compris les systèmes d’imagerie du système DMC, représente un coût important, on a ici une
306456S application commercialement limitée, à fonctionnement optimisé du point de vue du coût. Les imperfections inhérentes peuvent être compensées par un meilleur procédé de régulation de l’éclairage de la zone ROI et par des algorithmes optimisés de traitement d’images et qui résultent d’une complexité croissante, c’est-à-dire une allocation de ressources de procédure, plus poussée.
D’autres procédés d’éclairage nouveaux, indirects proposés par la présente solution, utilisant éventuellement un éclairage structuré, peuvent servir avantageusement d’aide. L’éclairage structuré s’applique de nos jours principalement à la télémétrie et à la modélisation d’objets en trois dimensions. Ici on copie un motif lumineux défini avec des dispositifs de projection spéciaux sur l’objet à mesurer et à l’aide d’un ou plusieurs systèmes de caméras on exploite le motif de projection pour modéliser la surface / géométrie de la surface de l’objet, généralement par des relations de triangulation. Selon cet exemple de réalisation, l’installation d’éclairage frontal 155 équipée de l’installation de génération de motifs, utilise un tel éclairage structuré directement et par l’installation d’éclairage arrière ou rétro-éclairage 140, un éclairage indirect, avec ombre, c’est-à-dire un rétro-éclairage en liaison avec les applications de poursuite de tête et de poursuite des yeux.
Le dispositif d’observation du conducteur 100 présenté ici simplifie de manière significative le problème de la segmentation de la tête du conducteur 105 appliquée par un traitement d’images, par rapport à l’arrière-plan de l’image ainsi qu’avec une régulation de l’éclairage de la zone la plus intéressante ROI. Pour cela, on utilise un éclairage infrarouge de l’arrière-plan, avec l’ombre projetée par la tête du conducteur 105, cet éclairage infrarouge étant situé derrière le conducteur 105, ici au plafond du véhicule 110.
Apparaît ainsi, selon la figure 1, un schéma de l’éclairage par infrarouge, structuré, avec ombre. Cette installation d’éclairage de l’arrière-plan ou rétro-éclairage 140 génère un éclairage infrarouge de l’arrière-plan, appelé en abrégé éclairage BIRE, orienté dans la direction opposée à la direction du regard qui est celui de l’éclairage infrarouge frontal, direct, généré par l’installation d’éclairage frontal 155 du visage du conducteur ROI et orientée dans la direction opposée à la direction ίο de visée de l’installation de caméra 150 dans le véhicule 110. Les unités d’éclairage IRE ou BIRE sont commandées / régulées par le système DMC.
L’installation d’éclairage de l’arrière-plan 140 utilise, de la lumière structurée selon cet exemple de réalisation, pour son application en mode permanent, et pour distinguer l’éclairage ROI par infrarouge direct, frontal de l’installation d’éclairage frontal 155. L’installation d’éclairage de l’arrière-plan 140 se compose des ensembles suivants :
Une ou plusieurs sources lumineuses dédiées LED ou LASER, un ou plusieurs gabarits pour générer le motif souhaité ou motif lumineux souhaité et/ou au moins une unité de projection ou un optique appropriée pour générer le motif de lumière infrarouge.
Les sources lumineuses LED génèrent un point infrarouge, homogène. A l’aide d’un ou plusieurs motifs le cas échéant des motifs variables, on peut générer les motifs les plus différents pour un éclairage structuré et qui sont accordés / optimisés pour l’application DMC. Les motifs de l’éclairage structuré selon cet exemple de réalisation se composent de différentes lignes, multi-lignes, croix et/ou points avec des arêtes vives. L’utilisation d’une optique permet une mise à l’échelle du motif selon la dimension nécessaire pour la zone de distance d’objets, donnée. La capacité de figuration de l’optique est importante pour arriver à une résolution aussi poussée que possible et réduire les défauts de la représentation comme, par exemple, les défauts de signes. L’utilisation de la lumière laser dans le domaine infrarouge pour générer un éclairage structuré permet d’atteindre des largeurs de lignes allant jusqu’à 10 pm alors que les lignes LED ont au moins une largeur de 50 pm. Si cette précision est nécessaire, on peut remplacer les motifs par un ou plusieurs micro-miroirs commandés et remplacer une logique de commande, ce qui supprime également en grande partie, l’optique d’imagerie.
Grâce à l’éclairage par infrarouge de l’arrière-plan, complémentaire, présenté ici on peut avantageusement simplifier l’algorithme de traitement d’images pour la segmentation de la tête, également au niveau de la régulation de l’éclairage direct, frontal. Cela permet d’utiliser un processeur moins performant et ainsi plus économique dans le système DMC ou de réduire l’attribution de ressources de processeur qui sont ainsi disponibles pour d’autres applications.
La lumière infrarouge émise par l’installation d’éclairage de l’arrière-plan 140 peut, selon cet exemple de réalisation, différer en mode permanent de la signature de structure définie par le système DMC connu, par rapport à l’éclairage frontal IRE-ROI du conducteur. Selon une variante d’exemple de réalisation, on renonce à la structuration de la lumière si un éclairage variant dans le temps, direct ou indirect assuré par l’installation d’éclairage frontal 155 et par l’installation d’éclairage de l’arrière-plan 140 fournit des résultats suffisants pour une application DMC caractéristique et pour tenir compte de la lumière ambiante. Ce mode pulsé, en option, peut conduire en outre à une réduction plus importante du coût de production car on peut supprimer les motifs nécessaires à générer la structure et l’unité de projection de l’installation d’éclairage de l’arrière-plan 140.
Un autre avantage du concept d’éclairage BIRE présenté ici est son application simple et fiable à un contrôle de fonctionnement du chemin optique du système DMC permettant de déceler d’une manière efficace, les obturations, les encrassages, l’éblouissement / ou la détection d’occlusions de l’optique. Pour cela, on génère un motif d’essai, défini à un instant étonné à l’aide de l’éclairage BIRE. Si ce motif d’essai, actif, défini n’est pas reconnu, cela signifie qu’il y a un défaut dans le chemin optique DMC en supposant que l’éclairage BIRE fonctionne ce que l’on peut vérifier par l’électronique, par exemple en mesurant le courant ou à l’aide de phototransistors. On peut également utiliser un motif d’essai, combiné de l’éclairage frontal IRE et BIRE (voir à cet effet la figure 3) pour avoir une couverture partielle de l’optique, par exemple par la main du conducteur. La fiabilité de la détection de la couverture ou de l’encrassage du chemin optique DMC est très importante du point de vue de la sécurité de fonctionnement ISO 26262 et le bloc fonctionnel nécessaire que l’on réalise habituellement par le traitement d’images avec des moyens de calcul non négligeables, se réalisera sous la forme des programmes.
La figure 2 est une représentation schématique d’une image de caméra 200 selon un exemple de réalisation ; cette image de caméra correspond à une interface caméra d’un dispositif d’observation du conducteur. Il peut s’agir du dispositif d’observation du conducteur 100 décrit à l’aide de la figure 1.
L’image de caméra 210 fait apparaître que l’installation générant le motif 205 de l’installation d’éclairage de l’arrière-plan 140 pour générer le motif lumineux 210 comporte au moins l’un des motifs décrits à la figure 1 et/ou installation de projection et/ou optique, le motif étant réalisé pour générer le motif lumineux 210 qui comporte au moins une ligne et/ou au moins une ligne multiple et/ou un croisillon et/ou un point. Selon cet exemple de réalisation, l’installation de génération de motif 205 génère dans l’arrière-plan de la tête 215 du conducteur, un motif lumineux 210 mis au carré.
En d’autres termes, la figure 2 schématise une scène produite par l’éclairage BIRE, et prise par l’installation de caméra, c’est-à-dire une image de caméra 200 schématique d’un éclairage infrarouge structuré avec les ombres. L’éclairage structuré utilisé se compose d’un motif défini qui peut être optimisé par une application actuelle DMC, par exemple, Face-ID, traçage, etc., de la physique et du comportement du conducteur en optimisant et représenté ici schématiquement par une simple structure de grille. Grâce à cette structure BIRE, prédéfinie par le système DMC, on pourra segmenter beaucoup plus simplement la tête 215 du conducteur car celle-ci doit se situer dans la zone qui ne comporte pas le motif d’éclairage BIRE, c’est-à-dire le motif lumineux 210.
Cela permet de réaliser l’algorithme de segmentation par des algorithmes simples, par exemple, en formant des masques / ou des seuils, alors que normalement, cet algorithme demande un nombre considérable d’opérations de calcul un calcul, par exemple, du procédé par gradient ou du procédé par région. A côté de l’éclairage BIRE permanent, on peut, selon un exemple de réalisation en variante, déterminer en fonction de l’application DMC courante, un éclairage cyclique pulsé dans le temps, par exemple, en synchronisme avec chaque dixième prise d’images d’un traitement vidéo en temps réel. De plus, on peut également procéder par une commande événementielle selon les nécessités de l’application DMC avec un flash de type BIRE seulement dans le cas de situations d’éclairage difficiles, avec éclairage solaire direct et développement d’images produites par la fenêtre latérale en commandant par le système DMC. Comme déjà évoqué, on peut renoncer à un mode pulsé dans le temps, le cas échéant à une mise en structure de l’éclairage BIRE et utiliser le mode BIRE normal comme éclairage total car l’instant peut servir de critère pour distinguer par rapport à l’éclairage IRE frontal. Il doit être coupé à l’instant de l’impulsion BIRE / flash ou alterner dans le temps avec celui-ci. En outre, on peut également utiliser une impulsion BIRE / flash, selon une régulation simple de l’éclairage IRE direct frontal si celui-ci n’est pas produit indirectement par la régulation en boucle fermée, réaction des valeurs d’état de l’algorithme de poursuite de tête pour déterminer la qualité actuelle de l’éclairage ROI.
La figure 3 est une représentation schématique d’une autre image de caméra 300 enregistrée par le dispositif d’observation du conducteur et qui correspond à un exemple de réalisation. Il peut s’agir de l’image de caméra déjà décrite à l’aide de la figure 2 et qui comporte en plus un motif lumineux généré par l’installation d’éclairage frontal 155 et une autre installation de génération de motifs 305 de l’installation d’éclairage frontal 155 donnant un autre motif lumineux 310.
En d’autres termes, la figure 3 est une image de caméra 300, schématique, coupée et l’éclairage par infrarouge, direct, structuré. L’éclairage structuré déjà décrit à l’aide de la figure 2 par l’installation d’éclairage de l’arrière-plan 140 selon cet exemple de réalisation est également en mode permanent ; selon une variante d’exemple de réalisation, cet éclairage est en mode pulsé pour l’éclairage IRE frontal produit par l’installation d’éclairage frontal 155. La structure de l’éclairage frontal diffère ici de l’installation d’éclairage frontal 155 directement par la structure de la zone d’éclairage arrière par l’installation d’éclairage arrière 140 selon cet exemple de réalisation et qui est perpendiculaire. Un avantage de cet éclairage frontal structuré sous la forme de l’autre motif lumineux 310 est une information partielle, complémentaire, de profon3064568 deur qui se détermine par la déformation du motif prédéfini à l’aide d’une corrélation triangulaire. Il en résulte alors une plus grande simplification des algorithmes de tête et/ou de pauses de têtes et de poursuite. L’éclairage structuré alterné peut, comme déjà évoqué, se faire selon une variante d’exemple de réalisation, selon l’application DMC et l’état d’éclairage, également sous la forme d’une installation d’éclairage de l’arrière-plan 140 selon le domaine d’application DMC et la situation d’éclairage le cas échéant par une demande pulsée périodiquement sur le côté et/ou dans le temps, ponctuellement / à la demande, même en l’absence de l’éclairage de l’arrière-plan résultant de l’installation d’éclairage de l’arrière-plan 140.
La figure 4 montre un ordinogramme d’un procédé 400 pour observer un conducteur dans un véhicule et déterminer au moins une position du conducteur dans le véhicule selon un exemple de réalisation.
Il s’agit d’un procédé 400 exécuté par les dispositifs d’observation du conducteur décrit ci-dessus avec les figures précédentes. Le procédé 400 a au moins une étape d’émission 405, une étape d’enregistrement 410 et une étape d’observation 415.
Dans l’étape d’émission 405 on émet le signal d’éclairage conçu pour commander au moins une installation d’éclairage de l’arrière-plan qui est située ou peut être située pour éclairer au moins une zone autour du côté arrière du conducteur et/ou le côté arrière du conducteur, pour générer la zone d’ombre dans cette autre zone de la face avant à l’opposé du côté arrière du conducteur.
Dans l’étape d’enregistrement 410 on enregistre le signal de caméra qui représente l’image de caméra de la présence du conducteur avec la zone d’ombre.
Dans l’étape d’observation 415 on observe le conducteur en utilisant au moins un signal d’éclairage émis par l’interface d’éclairage et le signal de caméra produit par l’interface de caméra.
En option, selon cet exemple de réalisation, dans l’étape d’observation 415, en utilisant au moins le signal d’éclairage et le signale de caméra, on détermine la position du conducteur et/ou de sa tête.
Les étapes de procédé présentées ci-dessus peuvent se faire dans un ordre même différent de celui décrit ci-dessus.
NOMENCLATURE DES ELEMENTS PRINCIPAUX
| 100 | Dispositif d’observation du conducteur | |
| 105 | Conducteur | |
| 5 | 110 | Véhicule |
| 115 | Position du conducteur | |
| 120 | Interface d’éclairage | |
| 125 | Interface de caméra | |
| 130 | Unité d’observation | |
| 10 | 135 | Signal d’éclairage |
| 140 | Installation d’éclairage de l’arrière-plan | |
| 142 | Côté arrière du conducteur | |
| 145 | Face conducteur | |
| 150 | Installation de caméra / tête du conducteur | |
| 15 | 155 | Installation d’éclairage frontal portant un véhicule |
| 160 | Instrument combiné | |
| 200 | Image schématique de caméra | |
| 210 | Motif lumineux | |
| 215 | Tête du conducteur | |
| 20 | 300 | Image caméra |
| 305 | Installation générant un motif | |
| 310 | Autre motif lumineux | |
| 400 | Procédé d’observation d’un conducteur | |
| 405, 410, 415 | Etapes du procédé | |
| 25 | BIRE | Eclairage permanent |
Claims (9)
- REVENDICATIONS1°) Dispositif d’observation d’un conducteur (100) pour l’observer dans le véhicule (110) et déterminer au moins une position (115) du conducteur (105) dans le véhicule (110), le dispositif d’observation (100) ayant au moins les caractéristiques suivantes :une interface d’éclairage (120) pour émettre un signal d’éclairage (135) commandant une installation d’éclairage de l’arrière-plan (140), cette installation étant disposée ou pouvant être disposée pour éclairer au moins une zone autour du côté arrière (142) du conducteur (105) et/ou le côté arrière (142) du conducteur (105), pour générer une zone d’ombre dans une autre zone, côté avant, (145) du conducteur (105) à l’opposé de son côté arrière (142), une interface de caméra (125) pour une installation de caméra (150), cette interface de caméra (125) enregistrant un signal de caméra fourni par l’installation de caméra (150) et qui représente une image de caméra (200, 300) de la face (145) du conducteur (105) avec la zone d’ombre, et une unité d’observation (130) pour observer le conducteur (105) en utilisant le signal d’éclairage (135) émis par l’interface d’éclairage (120) et le signal de caméra enregistré par l’interface de caméra (125).
- 2°) Dispositif d’observation du conducteur (100) selon la revendication 1, caractérisé en ce que l’interface d’éclairage (120) commande une installation d’éclairage frontal (155) qui est disposée ou peut être disposée pour éclairer la face (145) du conducteur (105).
- 3°) Dispositif d’observation du conducteur (100) selon l’une des revendications précédentes, caractérisé en ce que l’interface d’éclairage (120) commande au moins l’installation d’éclairage de l’arrière-plan (140) et/ou l’installation d’éclairage frontal (155) pour générer au moins un faisceau infrarouge (165) pour l’éclairage.
- 4°) Dispositif d’observation du conducteur (100) selon la revendication 1, caractérisé en ce que l’interface d’éclairage (120) et/ou au moins l’installation d’éclairage arrière (140) et/ou l’installation d’éclairage frontal (155) comporte(nt) au moins une installation générant un motif (205, 305) pour générer un motif lumineux (210, 310) en éclairant le conducteur (105).
- 5°) Dispositif d’observation du conducteur (100) selon la revendication 4, caractérisé en ce que l’installation générant le motif (205, 305) pour générer le motif lumineux (210, 310) comporte au moins un modèle et/ou une installation de projection et/ou une optique.
- 6°) Dispositif d’observation du conducteur (100) selon l’une des revendications 4 et 5, caractérisé en ce que l’installation générant le motif (205, 305) génère le motif lumineux (210, 310) qui comporte au moins une ligne et/ou une ligne multiple et/ une croix et/ou un point.
- 7°) Dispositif d’observation du conducteur (100) selon l’une des revendications précédentes, dans lequel l’unité d’observation (130) détermine la position (115) du conducteur (105) et/ou la tête du conducteur (105) dans le véhicule (110), en utilisant au moins le signal d’éclairage (135) et le signal de caméra.
- 8°) Procédé (400) d’observation d’un conducteur (105) dans un véhicule (110) pour déterminer au moins une position (115) du conducteur (105) dans le véhicule (110) en utilisant un dispositif d’observation du conducteur (100) selon l’une quelconque des revendications 1 à 7, procédé (400) comprenant au moins les étapes suivantes :émettre (405) le signal d’éclairage (135) pour commander au moins l’installation d’éclairage de l’arrière-plan (140), cette installation étant située et/ou installée dans au moins une zone autour du côté arrière (142) du conducteur (105) et/ou sur le côté arrière (142) du conducteur (105) pour dans la suite du procédé, générer la zone d’ombre dans la zone étendue du côté arrière (142) en regard du côté avant (145) du conducteur (105),5 - enregistrer (410) le signal de caméra fourni par l’image de caméra (200 ; 300) représentant la face (145) du conducteur (105) avec la zone d’ombre, et observer (415) le conducteur (105) en utilisant au moins le signal d’éclairage (135) émis par l’interface d’éclairage (120) et le signal io de caméra enregistré par l’interface de caméra (125).
- 9°) Programme d’ordinateur comprenant des instructions de code de programme pour l’exécution du procédé (400) selon la revendication 8, lorsque ce programme est exécuté sur un ordinateur.1/3
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017205386.0A DE102017205386A1 (de) | 2017-03-30 | 2017-03-30 | Fahrerbeobachtungsvorrichtung und Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug |
| DE102017205386.0 | 2017-03-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3064568A1 true FR3064568A1 (fr) | 2018-10-05 |
| FR3064568B1 FR3064568B1 (fr) | 2021-09-17 |
Family
ID=63525913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1852744A Active FR3064568B1 (fr) | 2017-03-30 | 2018-03-29 | Dispositif et procede d'observation du conducteur d'un vehicule |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN108688671B (fr) |
| DE (1) | DE102017205386A1 (fr) |
| FR (1) | FR3064568B1 (fr) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11341671B2 (en) * | 2018-11-01 | 2022-05-24 | Magna Electronics Inc. | Vehicular driver monitoring system |
| DE102023000955B3 (de) | 2023-03-13 | 2024-05-29 | Mercedes-Benz Group AG | Fahrzeuginsassenerfassungsvorrichtung und Fahrzeug |
| DE102023001618A1 (de) | 2023-04-24 | 2024-07-11 | Mercedes-Benz Group AG | Adaptives Dynamikkompressionsverfahren und Fahrzeug |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3116674B2 (ja) * | 1993-08-11 | 2000-12-11 | 日産自動車株式会社 | 運転者の状態検出装置 |
| US6400835B1 (en) * | 1996-05-15 | 2002-06-04 | Jerome H. Lemelson | Taillight mounted vehicle security system employing facial recognition using a reflected image |
| WO2012078996A2 (fr) * | 2010-12-10 | 2012-06-14 | Tk Holdings Inc. | Système de surveillance d'un conducteur de véhicule |
| US9041789B2 (en) * | 2011-03-25 | 2015-05-26 | Tk Holdings Inc. | System and method for determining driver alertness |
| DE102011016772B8 (de) * | 2011-04-12 | 2024-08-14 | Mercedes-Benz Group AG | Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung |
| KR101251836B1 (ko) * | 2011-09-02 | 2013-04-09 | 현대자동차주식회사 | 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법 |
| JP6372388B2 (ja) * | 2014-06-23 | 2018-08-15 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
| DE102014220759B4 (de) * | 2014-10-14 | 2019-06-19 | Audi Ag | Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs |
| KR102381140B1 (ko) * | 2015-02-25 | 2022-03-31 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 운전자 모니터링 방법 |
-
2017
- 2017-03-30 DE DE102017205386.0A patent/DE102017205386A1/de not_active Withdrawn
-
2018
- 2018-03-29 FR FR1852744A patent/FR3064568B1/fr active Active
- 2018-03-29 CN CN201810271681.3A patent/CN108688671B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108688671B (zh) | 2023-03-14 |
| DE102017205386A1 (de) | 2018-10-04 |
| FR3064568B1 (fr) | 2021-09-17 |
| CN108688671A (zh) | 2018-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2015253554B2 (en) | Handling glare in eye tracking | |
| US11275288B2 (en) | Ballistic light modulations for image enhancement through fog | |
| EP3222466B1 (fr) | Procédé de commande d'éclairage intérieur d'un véhicule automobile | |
| EP3901794B1 (fr) | Procédé d'authentification ou d'identification d'un individu | |
| FR3064568A1 (fr) | Dispositif et procede d'observation du conducteur d'un vehicule | |
| EP3222467A1 (fr) | Dispositif et procede de commande a reconnaissance vocale et/ou gestuelle pour l'eclairage interieur d'un vehicule | |
| US10106126B2 (en) | Apparatus and method for detecting precipitation for a motor vehicle | |
| FR3056775A1 (fr) | Procede de projection d'images par un systeme de projection d'un vehicule automobile, et systeme de projection associe | |
| EP2455916A1 (fr) | Interface homme-machine basée sur le suivi non-rigide | |
| KR101875980B1 (ko) | 객체 특징을 선택적으로 관찰하기 위한 고속 획득 비전 시스템 및 그 방법 | |
| EP2056093A1 (fr) | Procédé de détection d'un phénomène perturbateur de visibilité pour un véhicule | |
| EP3866064A1 (fr) | Procede d'authentification ou d'identification d'un individu | |
| EP3614306A1 (fr) | Procédé de localisation et d'identification de visage et de détermination de pose, à partir d'une vue tridimensionnelle | |
| WO2020109122A1 (fr) | Dispositif et procede d'authentification d'un individu | |
| EP3036687B1 (fr) | Dispositif de decision prevu pour decider si un oeil est vrai ou faux | |
| FR3040225A1 (fr) | Capteur biometrique avec au moins deux sources lumineuses a angles apparent differents | |
| FR3041739B1 (fr) | Systeme et procede d'eclairage | |
| EP2877979B1 (fr) | Methode monocamera de determination d'une direction d'un solide | |
| FR3117764A1 (fr) | Procédé et système de test d’un système de surveillance d’un conducteur de véhicule | |
| FR3055163B1 (fr) | Procede de detection d'objet dans un environnement connu et dispositif de detection d'objet | |
| WO2021255361A1 (fr) | Correction d'un halo dans une image numerique et dispositif de mise en œuvre de cette correction | |
| EP4376430A1 (fr) | Dispositif et procédé de traitement d'image | |
| FR3110010A1 (fr) | Procédé d’acquisition d’un trait biométrique d’un individu, en vue d’une authentification ou une identification dudit individu | |
| FR3059449A1 (fr) | Procede de detection de fraude d'un systeme de reconnaissance d'iris | |
| WO2017211834A1 (fr) | Dispositif et méthode de surveillance d'un conducteur d'un véhicule de transport |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210101 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |