DE102021202704A1

DE102021202704A1 - Method for determining a viewing area of a person and vehicle

Info

Publication number: DE102021202704A1
Application number: DE102021202704.0A
Authority: DE
Inventors: Hans-Joachim Bieg
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-03-19
Filing date: 2021-03-19
Publication date: 2022-09-22
Also published as: CN115158325A

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Blickzuwendungsbereichs (150) einer Person (140) in einer Umgebung, in der mehreren verschiedenen Bereichen (110-118) jeweils eine Kamera (120-128) zugeordnet ist, wobei von jeder der mehreren Kameras (120-128) ein Videosignal (132) erhalten wird, wobei anhand der Videosignale (132) für jede der Kameras (120-128) eine Wahrscheinlichkeit (W1, W2) bestimmt wird, mit der der Blickzuwendungsbereich (150) der Person (140) den der jeweiligen Kamera (120-128) zugeordneten Bereich, und wobei der Blickzuwendungsbereich (150) der Person (140) als derjenige Bereich (110-118) der mehreren verschiedenen Bereiche (110-118) bestimmt wird, dem die Kamera (120-128) mit der höchsten Wahrscheinlichkeit (W2) zugeordnet ist.The invention relates to a method for determining a viewing area (150) of a person (140) in an environment in which a number of different areas (110-118) are each assigned a camera (120-128), with each of the number of cameras (120 -128) a video signal (132) is obtained, with the video signals (132) for each of the cameras (120-128) determining a probability (W1, W2) with which the viewing area (150) of the person (140) the area assigned to the respective camera (120-128), and wherein the viewing area (150) of the person (140) is determined as that area (110-118) of the plurality of different areas (110-118) to which the camera (120-128 ) is assigned with the highest probability (W2).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen eines Blickzuwendungsbereichs einer Person, insbesondere eines Fahrers in einem Fahrzeug, eine Recheneinheit und ein Computerprogramm zu dessen Durchführung, sowie ein Fahrzeug mit einer solchen Recheneinheit.The present invention relates to a method for determining a viewing area of a person, in particular a driver in a vehicle, a computing unit and a computer program for its execution, and a vehicle with such a computing unit.

Hintergrund der ErfindungBackground of the Invention

In modernen Fahrzeugen kann eine Blickrichtung eines Fahrers z.B. bestimmt werden, um dessen Aufmerksamkeit z.B. in Bezug auf das Verkehrsgeschehen zu bestimmen.In modern vehicles, a driver's line of sight can be determined, for example, in order to determine his attention to the traffic situation, for example.

Offenbarung der ErfindungDisclosure of Invention

Erfindungsgemäß werden ein Verfahren zum Bestimmen eines Blickzuwendungsbereichs einer Person, eine Recheneinheit und ein Computerprogramm zu dessen Durchführung sowie ein Fahrzeug mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.According to the invention, a method for determining a viewing area of a person, a computing unit and a computer program for executing it, and a vehicle with the features of the independent patent claims are proposed. Advantageous configurations are the subject of the dependent claims and the following description.

Die vorliegende Erfindung beschäftigt sich mit dem Bestimmen eines Blickzuwendungsbereichs einer Person in einer Umgebung, wie z.B. eines Fahrers in einem Fahrzeug. Bei Systemen zur kamerabasierten Fahreraufmerksamkeitsschätzung kann als primäre Schätzquelle eine Blickrichtungsschätzung (d.h. die Schätzung der Blickrichtung des Fahrers) auf Basis einer oder mehrerer Kameras erfolgen. Die Kameradaten können mit Hilfe von Modellannahmen interpretiert werden, sodass eine Schätzung des Blickrichtungsvektors und Augenursprungs relativ zum Fahrzeuginnenraum möglich ist. Auf dieser Basis kann geschätzt werden, ob der Blick des Fahrers zu einem bestimmten Zeitpunkt auf eine bestimmte Position oder einen bestimmten Bereich, insbesondere eine sog. „Region of Interest“ (ROI), also eine Bereich von Interesse, gerichtet ist und es kann eine entsprechende Aufmerksamkeitseinstufung vorgenommen werden.The present invention is concerned with determining a gaze direction range of a person in an environment, such as a driver in a vehicle. In systems for camera-based driver attention estimation, the primary estimation source can be a viewing direction estimation (i.e. the estimation of the driver's viewing direction) based on one or more cameras. The camera data can be interpreted with the help of model assumptions, so that an estimation of the gaze direction vector and eye origin relative to the vehicle interior is possible. On this basis, it can be estimated whether the driver's gaze is directed at a specific position or a specific area, in particular a so-called "Region of Interest" (ROI), i.e. an area of interest, at a specific point in time appropriate attention rating.

Unter einer Aufmerksamkeit des Fahrers kann dabei eine Größe verstanden werden, welche ein Ausmaß einer Beschäftigung des Fahrers mit dem aktuellen Verkehrsgeschehen beschreibt. Ein Wert dieser Größe ist insbesondere unter Verwendung von im Fahrzeug vorhandenen Messmitteln bestimmbar, welche insbesondere eine Interaktion des Fahrers mit dem Fahrzeug erfassen. In diesem Sinne ist die Aufmerksamkeit des Fahrers eine Bezeichnung für eine eine Interaktion des Fahrers mit dem Fahrzeug beschreibende Größe.The driver's attentiveness can be understood as a variable that describes the extent to which the driver is preoccupied with the current traffic situation. A value of this variable can be determined in particular using measuring means present in the vehicle, which in particular record an interaction between the driver and the vehicle. In this sense, the driver's attention is a designation for a variable that describes an interaction between the driver and the vehicle.

Durch eine typische Positionierung der Blickerfassungskameras in Fahrzeugen, z.B. in der Nähe des Kombiinstruments, sind Blicke an andere Positionen oder ROIs (z.B. Blicke in den rechten Außenspiegel) nur schwer zu schätzen oder überhaupt zu erkennen.Due to the typical positioning of the gaze tracking cameras in vehicles, e.g. near the instrument cluster, glancing at other positions or ROIs (e.g. looking into the right-hand exterior mirror) are difficult to estimate or even detect at all.

Vor diesem Hintergrund wird vorgeschlagen, dass mehreren verschiedenen (lokalen) Bereichen bzw. Stellen in der Umgebung jeweils eine Kamera zugeordnet ist, wobei von jeder der mehreren Kameras ein Videosignal erhalten wird. Anhand der Videosignale (die ein von der Kamera erfasstes Bild darstellen, idealerweise auch mit der Person im Bild) wird dann für jede der Kameras eine Wahrscheinlichkeit bestimmt, mit der sich die jeweilige Kamera im Blickzuwendungsbereich der Person, insbesondere in einem zentralen bzw. optimalen Blickfeld, befindet. Hier kann insbesondere ein (statistisches) Blickzuwendungsmodell verwendet werden, wie später noch näher erläutert wird. Der Blickzuwendungsbereich der Person wird dann als derjenige Bereich bestimmt, dem die Kamera mit der höchsten Wahrscheinlichkeit zugeordnet ist. Vorzugsweise wird dabei jedoch der bestimmte Blickzuwendungsbereich nur dann als Information ausgegeben, z.B. an ein weiterverarbeitende Einheit wie z.B. ein Fahrerassistenzsystem in einem Fahrzeug, wenn die höchste Wahrscheinlichkeit um mehr als einen vorgegebenen Schwellwert (der z.B. absolut oder relativ angegeben sein kann) von der nächst höheren Wahrscheinlichkeit abweicht. Andernfalls kann davon ausgegangen werden, dass die Schätzung nicht gut genug ist. Damit kann also auch die Güte der Schätzung quantifiziert werden.Against this background, it is proposed that a camera is assigned to a number of different (local) areas or points in the environment, with a video signal being received from each of the number of cameras. Based on the video signals (which represent an image captured by the camera, ideally also with the person in the image), a probability is then determined for each of the cameras with which the respective camera is in the viewing area of the person, in particular in a central or optimal field of view , located. In particular, a (statistical) gaze direction model can be used here, as will be explained in more detail later. The person's gaze direction area is then determined as the area to which the camera is associated with the highest probability. Preferably, however, the specific viewing area is only output as information, e.g. to a further processing unit such as a driver assistance system in a vehicle, if the highest probability by more than a predetermined threshold value (which can be specified, for example, in absolute or relative terms) from the next higher one probability differs. Otherwise it can be assumed that the estimate is not good enough. This means that the quality of the estimate can also be quantified.

Anstatt den Blickzuwendungsbereich also absolut in Form eines Blickrichtungsvektors zu abstrahieren und so einen möglichen Blickkontakt mit einem Bereich bzw. ROI zu schätzen, wird die Zuwendung zu einem oder mehreren lokalen Bereichen direkt, auf Basis eines dem Bereich zugeordneten Kamerabildes geschätzt. Eine Schätzung ist damit genauer und zuverlässiger möglich. Die Schätzung ist auch mit qualitativ weniger hochwertigen Kameras (z.B. mit geringerer Auflösung) oder einfacheren, weniger leistungsintensiven Algorithmen möglich. Ein solches System kann somit kostengünstiger als ein System mit einer zentralen Fahrerbeobachtungskamera sein, selbst wenn hierfür mehr Kameras benötigt werden. Vorzugsweise ist einem Bereich eine Kamera dadurch zugeordnet, dass die Kamera ein Bild aus der Richtung des Bereichs in Richtung der Person aufnimmt.Instead of abstracting the viewing direction area in absolute terms in the form of a viewing direction vector and thus estimating a possible eye contact with an area or ROI, the viewing direction to one or more local areas is estimated directly based on a camera image assigned to the area. An estimate is therefore more accurate and reliable. The estimation is also possible with lower quality cameras (e.g. with lower resolution) or simpler, less powerful algorithms. Such a system can thus be more cost-effective than a system with a central driver observation camera, even if more cameras are required for this. A camera is preferably assigned to an area in that the camera records an image from the direction of the area in the direction of the person.

Für das Bestimmen der Wahrscheinlichkeiten, mit denen sich die Kamera im Blickzuwendungsbereich befindet, gibt es zwei bevorzugte Möglichkeiten. Eine Möglichkeit ist mit einem statistischen Modell. Dies umfasst eine Erkennung eines Gesichtes in einem Kamerabild, gefolgt von einer Identifikation einer Augenregion. Unter einer Augenregion ist dabei insbesondere eine beispielsweise rechteckige, ein oder beide Augen einschließende Region zu verstehen. Die Erkennung im Kamerabild erfolgt z.B. als zweidimensionale, rechteckige Region in Kamerabildkoordinaten. Nähere Ausführungen für eine konkrete Möglichkeit sind z.B. in „Viola, P. & Jones, M. Rapid object detection using a boosted cascade of simple features Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001, 1, 511-518“ zu finden. Die Identifikation der Augenregion kann z.B. durch Schätzen einer Gesichtspose mit einem Landmarkenmodell erfolgen, wie z.B. in „ Kazemi, V. & Sullivan, J. One millisecond face alignment with an ensemble of regression trees 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014, 1867-1874" beschrieben, gefolgt von z.B. einer Ermittlung der Augenregion anhand der Augenlandmarken.There are two preferred ways of determining the probabilities that the camera is in the gaze direction. One way is with a statistical model. This includes recognizing a face tes in a camera image, followed by an identification of an eye region. An eye region is to be understood in particular as a region that is rectangular, for example, and encloses one or both eyes. The recognition in the camera image takes place, for example, as a two-dimensional, rectangular region in camera image coordinates. More detailed explanations for a specific possibility are given, for example, in “Viola, P. & Jones, M. Rapid object detection using a boosted cascade of simple features Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001, 1, 511-518 " to find. The eye region can be identified, for example, by estimating a face pose with a landmark model, such as in "Kazemi, V. & Sullivan, J. One millisecond face alignment with an ensemble of regression trees 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014, 1867-1874", followed by, for example, a determination of the eye region using the eye landmarks.

Falls mit diesen Schritten keine Augenregion ermittelt bzw. identifiziert werden kann, wenn die Identifikation der Augenregion also fehlschlägt, wird keine Blickzuwendung zu der betreffenden Kamera angenommen, d.h. die Wahrscheinlichkeit für die betreffende Kamera wird als Null angenommen.If no eye region can be determined or identified with these steps, i.e. if the identification of the eye region fails, no gaze is assumed to be directed towards the camera in question, i.e. the probability for the camera in question is assumed to be zero.

Falls mit diesen Schritten eine Augenregion ermittelt werden kann, also bei erfolgreicher Identifikation der Augenregion, können weitere Schritte durchgeführt werden. Beispielsweise wird die Wahrscheinlichkeit für die betreffende Kamera dann anhand eines statistischen Klassifikationsverfahrens bestimmt. Dies umfasst insbesondere das Erstellen eines Merkmalsvektors anhand von Pixelinformationen in der Augenregion, sowie die Eingabe des Merkmalsvektors in ein statistisches Klassifikationsverfahren zur Bewertung der Blickzuwendung. Dies umfasst insbesondere die Ermittlung eines Konfidenzkoeffizienten, z.B. anhand der folgenden Merkmale: Erfolgreiche Identifikation der Augenregion; Lage und Größe der Augenregion im Kamerabild; Lage und Größe der Augenregion im Kamerabild im Vergleich zu zeitlich vorangegangenen Schätzungen; Schätzwahrscheinlichkeit des jeweiligen statistischen (Klassifikations-)Verfahrens.If an eye region can be determined with these steps, ie if the eye region has been successfully identified, further steps can be carried out. For example, the probability for the relevant camera is then determined using a statistical classification method. In particular, this includes the creation of a feature vector based on pixel information in the eye region and the input of the feature vector into a statistical classification method for evaluating the gaze direction. This includes in particular the determination of a confidence coefficient, e.g. based on the following characteristics: Successful identification of the eye region; position and size of the eye region in the camera image; location and size of the eye region in the camera image compared to previous estimates; Estimation probability of the respective statistical (classification) procedure.

Eine Möglichkeit für ein statistisches Klassifikationsverfahren besteht darin, auf Basis der Bildinhalte einen Merkmalsvektor zu berechnen, welcher mit Hilfe eines „Decision Trees“ (Entscheidungsbaums), „Random Forest“ (Entscheidungsbaum-Ensemble) oder anderen statistischen Lernverfahren interpretiert wird. Ein solcher Merkmalsvektor kann beispielsweise aus verschiedenen Statistiken bestehen, die über die Bildinhalte der Augenregion oder einer Transformation der Bildinhalte dieser Region (z.B. eine Transformation zur Kantenerkennung) gebildet werden. Ein Beispiel für eine solche Statistik ist z.B. die durchschnittliche Helligkeit des Ausschnitts. Alternativ können Werte eines Histogramms der Helligkeitswerte im Ausschnitt oder auch direkt die Helligkeitswerte einzelner oder aller Pixel innerhalb der Augenregion in den Merkmalsvektor eingehen. Die letzte Möglichkeit setzt voraus, dass eine Anpassung der Größe der Augenregion auf eine einheitliche Größe erfolgt. Ein solches Lernverfahren kann vor Verwendung entsprechend trainiert werden, z.B. mit entsprechenden, bekannten Bildern, von denen bekannt ist, dass die Augen darauf gezeigter Gesichter in die Kamera blicken.One possibility for a statistical classification method is to calculate a feature vector based on the image content, which is interpreted with the help of a "decision tree", "random forest" (decision tree ensemble) or other statistical learning method. Such a feature vector can consist, for example, of various statistics that are formed via the image content of the eye region or a transformation of the image content of this region (e.g. a transformation for edge detection). An example of such a statistic is the average brightness of the section. Alternatively, values of a histogram of the brightness values in the section or directly the brightness values of individual or all pixels within the eye region can be included in the feature vector. The last possibility assumes that the size of the eye region is adjusted to a uniform size. Such a learning method can be trained accordingly before use, e.g. with corresponding, known images from which it is known that the eyes of the faces shown on them are looking into the camera.

Eine andere Möglichkeit besteht insbesondere darin, die Wahrscheinlichkeiten unter Verwendung eines künstlichen neuronalen Netzes zu bestimmen. Damit kann eine Klassifikation der Blickzuwendung direkt über das Kamerabild erfolgen. Hierzu wird z.B. ein sog. „Convolutional Neural Network“ (faltendes neuronales Netz) verwendet, in das das jeweilige Kamerabild direkt eingegeben werden kann, d.h. das neuronale Netz erhält das Kamerabild bzw. das Videosignal einer Kamera als Eingang und gibt eine Wahrscheinlichkeit, mit der die Person in Richtung der Kamera blickt, aus. Ein solches neuronales Netz kann vor Verwendung entsprechend trainiert werden, z.B. mit entsprechenden, bekannten Bildern, von denen bekannt ist, dass die Augen darauf gezeigter Gesichter in die Kamera blicken.Another possibility is, in particular, to determine the probabilities using an artificial neural network. In this way, the gaze direction can be classified directly via the camera image. For this purpose, a so-called "convolutional neural network" (convolutional neural network) is used, into which the respective camera image can be entered directly, i.e. the neural network receives the camera image or the video signal of a camera as input and gives a probability with which the person is looking towards the camera. Such a neural network can be trained accordingly before use, e.g. with corresponding, known images, from which it is known that the eyes of the faces shown on them are looking into the camera.

Als mögliche Bereiche bzw. ROIs kommen insbesondere ein Kombiinstrument, ein Rückspiegel, ein Außenspiegel (links oder rechts), ein Infotainment-Display, eine Mittelkonsole und eine Türablage in Betracht. Insbesondere betreffen die Bereiche dann jeweils die von einem Fahrer aus sichtbaren Bereiche der betreffenden Komponente. Je nach Bedarf kann ein Bereich auch nur eine Position sein. Es versteht sich, dass auch mehr als zwei dieser Bereiche gewählt werden können, mit entsprechenden Kameras. Es versteht sich zudem, dass diese Bereiche nur beispielhaft sind, wenngleich es sich hierbei um für die Aufmerksamkeitsbestimmung eines Fahrers besonders wichtige bzw. relevante Bereiche handelt. Die Kameras selbst sollten dabei in dem Bereich oder in einem vorgegebenen Umfeld um den Bereich (also in der Nähe des Bereichs), dem die jeweilige Kamera zugeordnet ist, angeordnet sein. Bei einer Anordnung in einem Spiegel sollte darauf geachtet werden, dass der Spiegel im betreffenden Bereich (Kameraobjektiv) teildurchlässig ist.In particular, an instrument cluster, a rear-view mirror, an exterior mirror (left or right), an infotainment display, a center console and a door shelf come into consideration as possible areas or ROIs. In particular, the areas then each relate to the areas of the relevant component that are visible to a driver. Depending on your needs, an area can also be just one position. It goes without saying that more than two of these areas can also be selected, with corresponding cameras. It is also understood that these areas are only examples, although these are areas that are particularly important or relevant for determining the driver's attention. In this case, the cameras themselves should be arranged in the area or in a predetermined environment around the area (that is to say in the vicinity of the area) to which the respective camera is assigned. When arranged in a mirror, care should be taken that the mirror is partially transparent in the relevant area (camera lens).

Der beschriebene Einsatz mehrerer Bereichs- bzw. ROI-bezogener Kamera bzw. Kleinkameras kann auch mit einem klassischen System mit einer zentralen, hochwertigen Fahrerbeobachtungskamera kombiniert werden. Dies kann Vorteile mit sich bringen, insbesondere bei Blicken in ROIs, die mit einer solchen zentralen Kamera nur fehlerbehaftet erkannt bzw. wegen geringer Blickwinkelunterschiede nur schwer differenziert werden können (z.B. Rückspiegel, Seitenspiegel, Kombi-/Straßenblick).The described use of several area or ROI-related cameras or small cameras can also be combined with a classic system with a central, high-quality driver observation camera. This can bring advantages, especially when looking into ROIs, which only produce errors with such a central camera liable to be recognized or can only be differentiated with difficulty due to small differences in viewing angles (e.g. rear view mirror, side mirror, station wagon/road view).

Moderne Fahrzeuge weisen in aller Regel verschiedene Fahrerassistenzsysteme auf, die bis zu einem gewissen Grad eine Automatisierung des Fahrzeugs bzw. dessen Betriebs ermöglichen. Hierunter fallen zum Beispiel sog. Spurhalteassistenten sowie Abstands- und/oder Geschwindigkeitsregelsysteme. Wenn ein Fahrzeug hiermit teilautomatisiert betrieben wird, ist jedoch - aus Sicherheitsgründen - typischerweise erforderlich, dass ein Fahrer des Fahrzeugs die Verantwortung trägt und den Betrieb des Fahrzeugs überwacht, d.h. den umliegenden Verkehr im Blick hat und jederzeit auf unvorhergesehene Ereignisse reagieren kann. Hierbei besteht jedoch die Gefahr, dass sich der Fahrer zu sehr auf diese Fahrerassistenzsysteme verlässt und dann zu spät oder falsch auf unvorhergesehene Ereignisse reagiert. Unabhängig davon kann ein Problem auch in einer Überforderung des Fahrers mit komplexen Fahrsituationen bestehen.As a rule, modern vehicles have various driver assistance systems which, to a certain extent, enable the vehicle or its operation to be automated. This includes, for example, so-called lane departure warning systems as well as distance and/or speed control systems. If a vehicle is operated in a semi-automated manner, however, it is typically necessary - for safety reasons - for a driver of the vehicle to be responsible and monitor the operation of the vehicle, i.e. keep an eye on the surrounding traffic and be able to react to unforeseen events at any time. However, there is a risk here that the driver relies too much on these driver assistance systems and then reacts too late or incorrectly to unforeseen events. Irrespective of this, a problem can also be that the driver is overburdened with complex driving situations.

Hier kann das vorgeschlagene Vorgehen zum Bestimmen des Blickzuwendungsbereichs und die damit einhergehende Bestimmung einer Aufmerksamkeit des Fahrers angewendet werden. Beispielsweise erlaubt dies zu prüfen, ob ein Fahrer bei Abbiegen in einen Seiten- oder Rückspiegel sieht oder ob er bei hoher Geschwindigkeit auf die Straße sieht, ggf. trotz aktivem Geschwindigkeitsregelsystem.The proposed procedure for determining the gaze direction area and the associated determination of the driver's attention can be used here. For example, this makes it possible to check whether a driver is looking in a side or rear-view mirror when turning or whether he is looking at the road at high speed, possibly despite an active cruise control system.

Die beschriebenen Verfahrensschritte können z.B. mittels eines geeigneten Rechensystems durchgeführt werden, das also die Videosignale verarbeitet und die Berechnungen zur Schätzung durchführt. Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Kraftfahrzeugs, ist also, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.The method steps described can be carried out, for example, using a suitable computer system, which processes the video signals and carries out the calculations for the estimation. A computing unit according to the invention, e.g. a control unit of a motor vehicle, is therefore set up, in particular in terms of programming, to carry out a method according to the invention.

Die Erfindung betrifft außerdem ein System, wie z.B. ein Fahrzeug, mit mehreren Kameras, die jeweils einer von mehreren verschiedenen Positionen zugeordnet sind, und einer erfindungsgemäßen Recheneinheit.The invention also relates to a system, such as a vehicle, having a plurality of cameras, each associated with one of a plurality of different positions, and a computing unit according to the invention.

Es versteht sich, dass das vorgeschlagene Verfahren auch außerhalb eines Fahrzeugs angewendet werden kann, z.B. bei einer Überwachungs- oder Kontrollstation, bei der verschiedene Monitore oder Geräte im Blick behalten werden müssen.It goes without saying that the proposed method can also be applied outside a vehicle, for example at a monitoring or control station where various monitors or devices have to be kept in view.

Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.The implementation of a method according to the invention in the form of a computer program or computer program product with program code for carrying out all method steps is advantageous because this causes particularly low costs, especially if an executing control unit is also used for other tasks and is therefore available anyway. Suitable data carriers for providing the computer program are, in particular, magnetic, optical and electrical memories, such as hard drives, flash memories, EEPROMs, DVDs, etc. It is also possible to download a program via computer networks (Internet, intranet, etc.).

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.Further advantages and refinements of the invention result from the description and the attached drawing.

Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.The invention is shown schematically in the drawing using an exemplary embodiment and is described below with reference to the drawing.

Figurenlistecharacter list

1 shows schematically a vehicle in which a method according to the invention can be carried out.
2 shows schematically a sequence of a method according to the invention in a preferred embodiment.

Ausführungsform(en) der Erfindungembodiment(s) of the invention

In 1 ist schematisch ein Fahrzeug 100 als eine Umgebung gezeigt, bei der ein erfindungsgemäßes Verfahren durchführbar ist. Beispielhaft ist das Fahrzeug aus Richtung eines Fahrers 140 als Person in der Umgebung dargestellt und umfasst als Komponenten ein Kombiinstrument 110, ein Infotainment-Display 112, einen Rückspiegel 114, einen linken Außenspiegel 116 sowie einen rechten Au-ßenspiegel 118. Der Fahrer 140 blickt in dem gezeigten Fall in den Rückspiegel 114, der entsprechende Blickzuwendungsbereich ist mit 150 angedeutet. Diese Komponenten 110 bis 118 bilden zugleich Bereiche, auf die der Blick des Fahrers 140 typischerweise gerichtet sein kann. Als Blickzuwendungsbereich kann insbesondere ein zentrales bzw. optimales Blickfeld des Fahrers bestimmt werden.In 1 a vehicle 100 is shown schematically as an environment in which a method according to the invention can be carried out. For example, the vehicle is shown from the direction of a driver 140 as a person in the area and includes as components an instrument cluster 110, an infotainment display 112, a rearview mirror 114, a left exterior mirror 116 and a right exterior mirror 118. The driver 140 looks in in the case shown in the rearview mirror 114, the corresponding viewing area is indicated with 150. At the same time, these components 110 to 118 form areas onto which the gaze of the driver 140 can typically be directed. In particular, a central or optimal field of view of the driver can be determined as the viewing direction area.

Weiterhin ist jedem dieser Bereiche eine Kamera zugeordnet und insbesondere auch in oder um den betreffenden Bereich angeordnet. Vorliegend ist einem Bereich eine Kamera dadurch zugeordnet, dass die Kamera ein Bild aus der Richtung des Bereichs in Richtung der Person aufnimmt. Dem Kombiinstrument 110 ist die Kamera 120 zugeordnet, dem Infotainment-Display 112 die Kamera 122 (etwas oberhalb angeordnet), dem Rückspiegel 114 die Kamera 124, dem linken Außenspiegel 116 die Kamera 126 und dem rechten Außenspiegel 118 die Kamera 128. Wie schon erwähnt, ist bei Anordnung einer Kamera in einem Spiegel darauf zu achten, dass der Spiegel teildurchlässig ist. Denkbar wäre aber auch, die Kamera am Rand des Spiegels, z.B. im oder am Gehäuse oder Gehäuserand des Rückspiegels, anzuordnen.Furthermore, a camera is assigned to each of these areas and in particular is also arranged in or around the relevant area. In the present case, a camera is assigned to an area in that the camera takes an image from the direction of the area in the direction of the person. Camera 120 is assigned to instrument cluster 110, camera 122 (arranged slightly above) to infotainment display 112, camera 124 to rearview mirror 114, camera 126 to left exterior mirror 116, and camera 128 to right exterior mirror 118. As already mentioned, should be considered when arranging a camera in a mirror ensure that the mirror is partially transparent. However, it would also be conceivable to arrange the camera on the edge of the mirror, for example in or on the housing or housing edge of the rear-view mirror.

Weiterhin ist eine Recheneinheit 130 vorgesehen, bei der es sich z.B. um ein Steuergerät oder sonstiges Rechensystem im Fahrzeug 100 handeln kann. Diese Recheneinheit 130 ist an jede der Kameras 120 bis 128 angebunden und kann so - insbesondere in Echtzeit - Videosignale der Kameras erhalten und sie verarbeiten. Ein solches Videosignal 132 ist beispielhaft für die Kamera 128 angedeutet. Es versteht sich, dass für die Kameras auch eine entsprechende Stromversorgung vorzusehen ist.A computing unit 130 is also provided, which can be, for example, a control unit or other computing system in vehicle 100. This processing unit 130 is connected to each of the cameras 120 to 128 and can thus—particularly in real time—receive video signals from the cameras and process them. Such a video signal 132 is indicated for the camera 128 as an example. It goes without saying that a corresponding power supply must also be provided for the cameras.

In 2 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform dargestellt, wie es beispielsweise in dem Fahrzeug 100 aus 1 durchgeführt werden kann. Beispielhaft sollen hier die Videosignale der Kameras 126 für den Bereich 116 (linker Außenspiegel) und 124 für den Bereich 114 (Rücksiegel) betrachtet werden. Das Videosignal der Kamera 126 liefert ein Kamerabild 216, das Videosignal der Kamera 124 ein Kamerabild 214.In 2 a sequence of a method according to the invention is shown schematically in a preferred embodiment, as is the case in vehicle 100, for example 1 can be carried out. The video signals of the cameras 126 for the area 116 (left exterior mirror) and 124 for the area 114 (rear seal) are to be considered here as an example. The video signal from camera 126 supplies a camera image 216, the video signal from camera 124 supplies a camera image 214.

Beide Kamerabilder 216 und 214 werden nun - z.B. in der Recheneinheit 130 gemäß 1 - dahingehend analysiert, ob bzw. mit welcher Wahrscheinlichkeit der Blick des Fahrers auf die betreffende Kamera gerichtet ist. Dies soll beispielhaft zunächst anhand des Kamerabildes 214 und einer der vorstehend erwähnten Möglichkeiten (statistisches Modell) näher erläutert werden.Both camera images 216 and 214 are now - for example in the processing unit 130 according to 1 - analyzed as to whether or with what probability the driver's gaze is directed at the relevant camera. This will first be explained in more detail using the example of the camera image 214 and one of the options mentioned above (statistical model).

Hierzu wird zunächst in dem Kamerabild 214 ein Gesicht erkannt bzw. es wird geprüft, ob ein Gesicht vorhanden ist. Beispielhaft ist das Gesicht mit 224 bezeichnet. Weiterhin wird dann eine Augenregion, hier mit 234 bezeichnet, identifiziert bzw. versucht zu identifizieren.For this purpose, a face is first recognized in the camera image 214 or it is checked whether a face is present. The face is labeled 224 as an example. Furthermore, an eye region, designated here by 234, is then identified or attempted to be identified.

Falls mit diesen Schritten keine Augenregion (d.h. kein Rechteck, in dem ein oder zwei Augen enthalten sind) ermittelt bzw. identifiziert werden kann, wenn die Identifikation der Augenregion also fehlschlägt, wird keine Blickzuwendung zu der betreffenden Kamera angenommen, d.h. die Wahrscheinlichkeit für die betreffende Kamera - hier die Wahrscheinlichkeit W₂ - wird als Null angenommen. Im gezeigten Beispiel soll jedoch eine Augenregion erkannt werden, insbesondere weil dort zwei Augen zu sehen sind.If no eye region (ie no rectangle containing one or two eyes) can be determined or identified with these steps, ie if the identification of the eye region fails, no gaze towards the camera in question is assumed, ie the probability for the camera in question Camera - here the probability W ₂ - is assumed to be zero. In the example shown, however, an eye region is to be recognized, in particular because two eyes can be seen there.

Dann wird die Wahrscheinlichkeit W₂ für diese Kamera anhand eines statistischen Klassifikationsverfahrens M bestimmt. Dies umfasst z.B. das Erstellen eines Merkmalsvektors anhand von Pixelinformationen in der Augenregion, sowie die Eingabe des Merkmalsvektors in ein statistisches Klassifikationsverfahren zur Bewertung der Blickzuwendung, wie vorstehend schon näher erläutert. Dies führt letztlich zu einer Wahrscheinlichkeit, mit der der Blickzuwendungsbereich des Fahrers die Kamera 124 beinhaltet, z.B. W₂=80%.Then the probability W ₂ for this camera is determined using a statistical classification method M. This includes, for example, creating a feature vector based on pixel information in the eye region and entering the feature vector into a statistical classification method for evaluating the gaze direction, as already explained in more detail above. Ultimately, this leads to a probability with which the driver's viewing area includes the camera 124, eg W ₂ =80%.

Für das Kamerabild 216 der Kamera 116 wird diese Analyse ebenfalls vorgenommen und die zugehörige Wahrscheinlichkeit W₁ bestimmt. Dort wird zwar ein Gesicht 226 erkannt, und die Region 236 stellt auch eine Augenregion dar, auch wenn dort nur ein Auge zu sehen ist. Der Blick ist aber nicht auf die betreffende Kamera gerichtet, das Auge ist letztlich nur seitlich erfasst. Dies resultiert daraus, dass der Fahrer nicht in den linken Außenspiegel und damit die betreffende Kamera blickt. Dies kann z.B. als W₁=20% bestimmt werden. Je nach Situation kann die Region 236 aber auch nicht als Augenregion identifiziert werden, wenn gar keine Augen im Bild vorhanden sind, was dann zu der Wahrscheinlichkeit null führt.This analysis is also performed for the camera image 216 of the camera 116 and the associated probability W ₁ is determined. A face 226 is recognized there, and the region 236 also represents an eye region, even if only one eye can be seen there. However, the view is not directed at the camera in question, the eye is ultimately only captured from the side. This results from the fact that the driver does not look in the left exterior mirror and thus the relevant camera. This can be determined, for example, as W ₁ =20%. Depending on the situation, however, the region 236 may also not be identified as an eye region if there are no eyes at all in the image, which then leads to the probability of zero.

Nachfolgend werden in einem Schritt 240 die Wahrscheinlichkeiten für alle Kamerabilder - hier beispielhaft nur W₁ und W₂ - miteinander verglichen. Grundsätzlich wird der Bereich, dem die Kamera mit der höchsten Wahrscheinlichkeit zugeordnet ist, als Blickzuwendungsbereich (der Bereich, auf den der Blick gerichtet ist) bestimmt. Dies wäre in dem Beispiel der Bereich 114, also der Rückspiegel.Subsequently, in a step 240, the probabilities for all camera images—only W ₁ and W ₂ here, for example—are compared with one another. Basically, the area that the camera is associated with with the highest probability is determined as the gaze direction area (the area to which the gaze is directed). In the example, this would be area 114, ie the rear-view mirror.

Ergänzend kann aber eine Prüfung der Güte der Bestimmung des Blickzuwendungsbereichs erfolgen. Nur dann, wenn die höchste Wahrscheinlichkeit um mehr als einen Schwellwert ΔW von z.B. 10% von der nächsthöheren Wahrscheinlichkeit abweicht, wenn also W₂>W₁+ΔW gilt, wird davon ausgegangen, dass der so bestimmte Blickzuwendungsbereich auch dem tatsächlichen Blickzuwendungsbereich entspricht. Dann wird eine Information 250 ausgegeben, die besagt, was der aktuelle Blickzuwendungsbereich ist. Diese Information 250 kann dann z.B. in einem anderen Steuergerät oder im Rahmen einer Fahrerassistenzfunktion verarbeitet werden.In addition, however, the quality of the determination of the viewing area can be checked. Only when the highest probability deviates from the next higher probability by more than a threshold value ΔW of, for example, 10%, ie when W ₂ >W ₁ +ΔW applies, is it assumed that the gaze direction area determined in this way also corresponds to the actual gaze direction area. Information 250 is then output stating what the current gaze direction area is. This information 250 can then be processed, for example, in another control device or as part of a driver assistance function.

Claims

A method for determining a viewing area (150) of a person (140) in an environment in which a number of different areas (110-118) are each assigned a camera (120-128), each of the number of cameras (120-128) having a Video signal (132) is obtained, with the video signals (132) for each of the cameras (120-128) determining a probability (W ₁ , W ₂ ) with which the viewing area (150) of the person (140) corresponds to that of the respective includes the area associated with the camera (120-128), and wherein the viewing area (150) of the person (140) is determined as that area (110-118) of the plurality of different areas (110-118) to which the camera (120-128) is associated with the highest probability (W ₂ ).

procedure after claim 1 , wherein the specific viewing direction area (150) is only output as information (250) if the highest probability (W ₂ ) differs from the next higher probability (W ₁ ) by more than a predetermined threshold value (ΔW).

procedure after claim 1 or 2 , wherein in order to determine the probabilities (W ₁ , W ₂ ) for each camera (120-128), a face (224) is recognized in a camera image (210, 214) and then an eye region (234) is identified.

procedure after claim 3 , where if the identification of the eye region (234) fails, the probability for the camera in question is assumed to be zero.

procedure after claim 3 or 4 , wherein if the eye region (234) has been successfully identified, the probability (W ₂ ) for the relevant camera (114) is determined using a statistical classification method (M).

A method according to any one of the preceding claims, wherein the probabilities are determined using an artificial neural network.

Method according to one of the preceding claims, wherein the plurality of cameras (120-128) are each arranged in the area (110-118) or in a predetermined environment around the area to which the respective camera (120-128) is assigned.

A method according to any one of the preceding claims, wherein the environment is a vehicle (100) and the person (140) is a driver of the vehicle.

procedure after claim 8 , wherein the multiple areas are selected from an instrument cluster (110), a rear view mirror (114), an outside mirror (116, 118), an infotainment display (112), a center console and a door shelf.

Arithmetic unit (130) which is set up to carry out all method steps of a method according to one of the preceding claims.

System (100) with a plurality of cameras (120-128), each of which is assigned to one of a plurality of different areas (110-118), and a computing unit (130). claim 10 .

Computer program that causes a computing unit (130) to carry out all method steps of a method according to one of Claims 1 until 9 to be performed when it is executed on the computing unit (130).

Machine-readable storage medium with a computer program stored on it claim 12 .