-
Die Erfindung betrifft ein Verfahren zur Detektion und Klassifikation von Fußgängern in einer Umgebung eines Kraftfahrzeugs und ein Kraftfahrzeug.
-
Moderne Kraftfahrzeuge weisen eine steigende Zahl von Fahrzeugsystemen, insbesondere Fahrerassistenzsystemen und Sicherheitssystemen, auf, die auf den Schutz und die Berücksichtigung von Fußgängern abstellen. Mithin wird die Erkennung von Fußgängern anhand der Umgebungssensoren des Kraftfahrzeugs immer wichtiger. Heutige Umgebungssensoren, mit denen Fußgänger detektiert und klassifiziert werden sollen, basieren hauptsächlich auf optischen Umgebungssensoren, insbesondere Kameras, wobei Bildverarbeitungsalgorithmen verwendet werden, um Fußgänger-Modelle zu extrahieren und zu klassifizieren.
-
Die Verwendung von Radarsensoren in Kraftfahrzeugen ist im Stand der Technik bereits weitgehend bekannt. Radarsensoren werden heutzutage meist als Umgebungssensoren für einen mittleren und größeren Distanzbereich eingesetzt, um andere Verkehrsteilnehmer oder größere Objekte in Distanz, Winkel und Relativgeschwindigkeit bestimmen zu können. Derartige Radardaten können in Umfeldmodelle eingehen oder auch unmittelbar Fahrzeugsystemen zur Verfügung gestellt werden. Nutzen aus Radardaten ziehen im bekannten Stand der Technik beispielsweise Längsführungssysteme, wie ACC, oder auch Sicherheitssysteme.
-
Radarsensoren herkömmlicher Bauart weisen meist eine größere Ausdehnung auf und sind eher klobig, nachdem die Antennen sowie die unmittelbar an der Antenne benötigten Elektronikkomponenten, also das Radar-Frontend, in einem Gehäuse integriert sind. Hauptsächlich bilden die Elektronikkomponenten dabei den Radar-Transceiver, der eine Frequenzsteuerung (üblicherweise umfassend eine Phasenregelschleife – PLL), Mischeinrichtungen, einem Low Noise Amplifier (LNA) und dergleichen enthält, oft werden jedoch auch Steuermodule und digitale Signalverarbeitungskomponenten antennennah realisiert, beispielweise um bereits aufbereitete Sensordaten, beispielsweise Objektlisten, auf einen angeschlossenen Bus, beispielsweise einen CAN-Bus, geben zu können.
-
Die Realisierung von Radarkomponenten auf Halbleiterbasis erwies sich lange Zeit als schwierig, da teure Spezialhalbleiter, insbesondere GaAs, benötigt wurden. Es wurden kleinere Radarsensoren vorgeschlagen, deren gesamtes Radar-Frontend auf einem einzigen Chip in SiGe-Technologie realisiert ist, ehe auch Lösungen in der CMOS-Technologie bekannt wurden. Solche Lösungen sind Ergebnis der Erweiterung der CMOS-Technologie auf Hochfrequenzanwendungen, was oft auch als RF-CMOS bezeichnet wird. Ein solcher CMOS-Radarchip ist äußerst kleinbauend realisiert und nutzt keine teuren Spezialhalbleiter, bietet also vor allem in der Herstellung deutliche Vorteile gegenüber anderen Halbleitertechnologien. Eine beispielhafte Realisierung eines 77 GHz-Radar-Transceivers als ein CMOS-Chip ist in dem Artikel von Jri Lee et al., „A Fully Integrated 77-GHz FMCW Radar Transceiver in 65-nm CMOS Technology", IEEE Journal of Solid State Circuits 45 (2010), S. 2746–2755, beschrieben.
-
Nachdem zudem vorgeschlagen wurde, den Chip und die Antenne in einem gemeinsamen Package zu realisieren, ist ein äußerst kostengünstiger kleiner Radarsensor möglich, der Bauraumanforderungen deutlich besser erfüllen kann und aufgrund der kurzen Signalwege auch ein sehr niedriges Signal-Zu-Rausch-Verhältnis aufweist sowie für hohe Frequenzen und größere, variable Frequenzbandbreiten geeignet ist. Daher lassen sich derartige, kleinbauende Radarsensoren auch für Kurzreichweiten-Anwendungen, beispielsweise im Bereich von 30 cm bis 10 m, einsetzen.
-
Es wurde auch bereits vorgeschlagen, einen solchen CMOS-Transceiver-Chip und/oder ein Package mit CMOS-Transceiver-Chip und Antenne auf einer gemeinsamen Leiterplatte mit einem digitalen Signalverarbeitungsprozessor (DSP-Prozessor) vorzusehen oder die Funktionen des Signalverarbeitungsprozessors ebenso in den CMOS-Transceiver-Chip zu integrieren. Eine ähnliche Integration ist für Steuerungsfunktionen möglich.
-
Bei der Erkennung von Fußgängern werden Radarsensoren üblicherweise nur genutzt, um weiter zu analysierende Objekte zu detektieren: Die Klassifizierung als Fußgänger erfolgt vollständig im Rahmen einer Bildverarbeitung der Bilddaten optischer Umgebungssensoren. Optische Umgebungssensoren haben dabei jedoch einige Nachteile. Zunächst sind sie von äußeren Helligkeitsbedingungen abhängig, das bedeutet, sie funktionieren üblicherweise nur dann korrekt, wenn der erfasste Anteil der Umgebung hinreichend ausgeleuchtet ist. Ferner kann dann, wenn beispielsweise eine Kamera verschmutzt ist, keine zuverlässige Erfassung von Objekten, die Fußgänger sein könnten, gewährleistet werden.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein zur verbesserten, verlässlicheren Detektion von Fußgängern geeignetes Verfahren anzugeben.
-
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass mittels wenigstens eines einen den Radarsensor realisierenden Halbleiterchip, insbesondere CMOS-Chip, aufweisenden Radarsensors detektierte Objekte beschreibende Radardaten wenigstens eines Teils der Umgebung aufgenommen werden und unter Verwendung wenigstens eines auf die Radardaten anzuwendenden, die Radardaten zur Identifizierung eines Fußgängers auswertenden Klassifikators Fußgänger unter den Objekten identifiziert werden.
-
Die Erfindung schlägt mithin vor, die Detektion und die Klassifikation der Fußgänger alleine auf der Grundlage von Radardaten wenigstens eines Radarsensors des Kraftfahrzeugs als Umgebungssensor zu realisieren. Denn es wurde erkannt, dass durch die Möglichkeiten der Halbleitertechnologie, insbesondere der CMOS-Technologie, bevorzugt hochintegrierte Radarsensoren geschaffen werden können, die eine äußerst hohe Empfindlichkeit und Ortsauflösung aufweisen und damit auch Fußgänger als Objekte vermessen können. Gerade die verbesserte Signalqualität, die mit auf Halbleitertechnologie basierenden Radarsensoren erreicht werden kann, also die Reduzierung der Rauschamplituden, ist wesentlich, wenn Fußgänger detektiert und klassifiziert werden sollen. Denn 80% des menschlichen Körpers besteht aus Wasser, welches für Radarwellen eher absorbierend als reflektierend ist. Der Anteil der reflektierten Energie durch den menschlichen Körper, also einen Fußgänger, ist so niedrig, dass entsprechende Signale bei herkömmlichen Radarsensoren vom Rauschen nicht zu unterscheiden sind. Mithin stellt die Detektion und Klassifikation von Fußgängern strenge Anforderungen an die Empfangscharakteristik des Radarsensors.
-
Eine besonders bevorzugte Ausgestaltung der Erfindung in diesem Kontext sieht vor, dass durch den Halbleiterchip auch eine digitale Signalverarbeitungskomponente und/oder eine Steuereinheit des Radarsensors realisiert sind und/oder der Halbleiterchip und eine Antennenanordnung des Radarsensors als ein Package realisiert sind. Damit ist die angesprochene, bevorzugte hochintegrierte Ausgestaltung gegeben. Durch die Hochintegration aller analogen Radarmodule und digitalen Signalverarbeitungsmodule in einem einzigen Halbleiterchip, insbesondere einem Package, wird die Empfindlichkeit des Radarsensors stark gesteigert, da insbesondere Signalwege verkürzt sind. Das Signal-zu-Rausch-Verhältnis wird deutlich erhöht, sodass auch Reflektionen geringerer Intensität beziehungsweise entsprechende Peaks im Spektrum vom Rauschen unterschieden werden können. Dies ermöglicht es, auch schwach reflektierende Ziele, hier Fußgänger, durch einen entsprechend ausgestalteten Radarsensor verlässlich detektieren.
-
Die Klassifikation des Fußgängers setzt letztlich voraus, dass einzelne Reflektionszentren auf Objekten hinreichend gut räumlich aufgelöst unterschieden werden können, wobei sich bei der Verwendung von ausschließlich Radardaten besonders vorteilhaft weitere Klassifikatoren neben einem einfachen räumlichen Modellvergleich ermöglichen lassen, worauf im Folgenden noch genauer eingegangen werden wird. In diesem Kontext sieht eine bevorzugte Ausgestaltung der vorliegenden Erfindung vor, dass der Radarsensor in einem Frequenzbereich von 77 bis 81 GHz und mit einer Frequenzbandbreite von mehr als 1 GHz, insbesondere von 4 GHz, betrieben wird. Herkömmliche automobile Radarsensoren weisen meist eine maximale Frequenzbandbreite von 1 GHz auf, was eine maximale Ortsauflösung von etwa 0,5 m zur Folge hat. Insbesondere durch die vorab beschriebene Hochintegration wird es bei auf Halbleitertechnologie, insbesondere CMOS, basierenden Radarsensoren jedoch ermöglicht, Frequenzbandbreiten von deutlich mehr als 1 GHz, beispielsweise von mehr als 2 GHz, zu ermöglichen, sodass beispielsweise eine Frequenzbandbreite von 4 GHz verwendet werden kann. Dies ermöglicht eine Ortsauflösung von etwa 5 cm, in der Reflektionszentren unterschieden werden können. Somit ist eine Aussage über die Verteilung der Reflektionszentren an einem Objekt möglich, die durch den Klassifikator genutzt werden kann.
-
In diesem Kontext ist es ferner besonders vorteilhaft, wenn als der Radarsensor ein Radarsensor mit einer eine Winkelauflösung in zwei zueinander senkrechten Ebenen erlaubenden Antennenanordnung verwendet wird. Grundsätzlich sind derartige Ausgestaltungen von Antennenanordnungen bereits bekannt, sodass auch im Rahmen der vorliegenden Erfindung vorgesehen sein kann, insbesondere auch ein Antennenelement für eine Elevationsmessung vorzusehen, sodass die Verteilung der Reflektionszentren auch in der Vertikalen (entlang einer z-Richtung des Fußgängers bzw. Objekts) ermittelt werden kann.
-
Zusätzlich zu der räumlich hohen Auflösung und der grundsätzlichen Möglichkeit zur Detektion von schwachreflektierenden Zielen bietet der Radarsensor jedoch auch weitere vorteilhafte Informationen in den Radardaten, nämlich Abstände und Geschwindigkeiten, was zu einer insgesamt deutlich besser für eine Klassifizierung von Fußgängern geeigneten Abbildung von Objekten führt. Mit anderen Worten ist dann, wenn alle vorliegenden Informationen genutzt werden, eine deutlich verbesserte und verlässlichere Klassifikation von Objekten als Fußgänger möglich. Im Rahmen der vorliegenden Erfindung werden in einer konkreten Ausgestaltung letztlich drei in den Radardaten enthaltene Informationsgruppen zur Realisierung von insbesondere unabhängigen Klassifikatoren genutzt, welche ausschließlich durch Auswertung von Radardaten eine belastbare Klassifizierung von Objekten als Fußgänger erlauben.
-
Konkret sieht eine vorteilhafte Ausgestaltung der vorliegenden Erfindung also vor, dass der Klassifikator die Form des Objekts und/oder eine Geschwindigkeitsverteilung innerhalb des Objekts und/oder Reflektionseigenschaften des Objekt beurteilt. Mithin umfassen die erwähnten unterschiedlichen Informationsgruppen bevorzugt die insbesondere dreidimensional betrachtete Oberfläche/Kontur des zu klassifizierenden Objekts (also die Form), die Geschwindigkeitsverteilung innerhalb des Objekts (die Hinweise nicht starr bewegungsgekoppelte Anteile des Objekts gibt) und die Reflektionseigenschaften des Objekts, die Rückschlüsse auf das reflektierende Material erlauben.
-
So sieht eine erste, bevorzugte, konkrete Ausgestaltung der vorliegenden Erfindung vor, dass wenigstens ein Klassifikator eine durch die Reflektionszentren eines zu klassifizierenden Objekts bevorzugt dreidimensional beschriebene Form des Objekts als Forminformation mit wenigstens einer einen Fußgänger beschreibenden Referenzforminformation vergleicht, wobei bei einer einen ersten Schwellwert unterschreitenden Abweichung zwischen den Formen das Objekt als Fußgänger klassifiziert wird. Selbstverständlich kann die Bestimmung der erwähnten Abweichung (beispielsweise als Abweichungsmaß) auf unterschiedlichen Kriterien beruhen. Diese Herangehensweise ist letztlich verwandt zu den bekannten Techniken, die Formen durch Bildverarbeitungsalgorithmen beurteilen. Allerdings ermöglicht es die dreidimensionale Natur der Radardaten, vorliegend auch dreidimensionale Fußgängermodelle als Referenzforminformation einzusetzen. In diesem Zusammenhang können im Übrigen auch typische Haltungen von Fußgängern berücksichtigt werden und in die Referenzforminformation einfließen. Grundsätzlich können in diesem Kontext bereits aus der Bildverarbeitung bekannte Algorithmen, entsprechend modifiziert, weiter verwendet werden. Im Rahmen der Klassifizierung anhand der Form können besonders zweckmäßig strukturierte Analysen in Echtzeit durchgeführt werden.
-
In einer zweiten, bevorzugten, konkreten Ausgestaltung kann vorgesehen sein, dass im Rahmen wenigstens eines Klassifikators eine Geschwindigkeitsverteilung innerhalb eines zu klassifizierenden Objekts anhand der Radardaten ermittelt wird, wobei die insbesondere zeitaufgelöst über ein Zeitintervall und/oder ab der ersten Detektion des Objekts ermittelte Geschwindigkeitsverteilung und/oder wenigstens ein diese charakterisierender Bewegungsparameter mit wenigstens einer einen Fußgänger beschreibenden Referenzgeschwindigkeitsverteilung beziehungsweise einem einen Fußgänger beschreibenden Referenzbewegungsparameter verglichen wird, wobei bei einer einen zweiten Schwellwert unterschreitenden Abweichung zwischen den Geschwindigkeitsverteilungen das Objekt als Fußgänger klassifiziert wird. Hierbei wird ausgenutzt, dass die Radardaten ortsaufgelöst, also für die einzelnen Reflektionszentren, auch Geschwindigkeitsinformationen enthalten, beziehungsweise diese (gegebenenfalls unter Verwendung geeigneter Tracking-Algorithmen, insbesondere von Kalman-Filtern und/oder Partikel-Filtern) extrahiert werden können. Durch Radarsensoren werden Dopplerverschiebungen detektiert, die Geschwindigkeiten beschreiben. Es wurde nun erkannt, dass eine Besonderheit an einem Fußgänger ist, dass mehrere Geschwindigkeitskomponenten beziehungsweise Teilgeschwindigkeiten auftreten.
-
So sieht eine zweckmäßige Weiterbildung der vorliegenden Erfindung vor, dass eine Gesamtgeschwindigkeit des Objekts und potentiellen Extremitäten des Objekts zugeordnete Teilgeschwindigkeiten als Geschwindigkeitsverteilung ermittelt werden. Beurteilt werden können also insbesondere die Geschwindigkeit des Objekts (potentiellen Fußgängers) als Ganzes und zum anderen Teilgeschwindigkeiten, die Bewegungen von Extremitäten eines Fußgängers darstellen könnten, wobei besonders häufig periodische Bewegungen der Arme und Beine auftreten können, die mithin einen Beitrag zur Klassifikation als Fußgänger leisten können. Wird eine zeitliche Bewegung betrachtet, können beispielsweise sinusartige Referenzgeschwindigkeitsverteilungen beziehungsweise Referenzbewegungsparameter verwendet werden.
-
Eine dritte, konkrete und bevorzugte Ausgestaltung der Erfindung sieht vor, dass wenigstens ein Klassifikator einen die Reflektion eines zu untersuchenden Objekts beschreibenden Radarparameter, insbesondere den Radarquerschnitt, mit wenigstens einem erlaubte Werte des Radarparameters für Fußgänger beschreibenden Referenzparameterintervall vergleicht, wobei bei innerhalb des wenigstens einen Referenzparameterintervalls liegenden Radarparameter das Objekt als Fußgänger klassifiziert wird. Ein dritter Ansatz, der erfindungsgemäß zur Klassifikation von Fußgängern verfolgt werden kann, ist also die Tatsache, dass der menschliche Körper auf eine bestimmte, typische Art und Weise reflektiert, sodass auch hieraus Merkmale für die Bewertung eines Objekts abgeleitet werden können. Beispielsweise können Intervalle für Menschen typische Radarquerschnitt-Werte (RCS-Werte – „Radar Cross Section”) betrachtet werden und es kann beurteilt werden, ob der Radarquerschnitt des Objekts in diesem Intervall liegt. Selbstverständlich sind auch weitere, die Reflektion beschreibende Radarparameter, welche typische Referenzparameterintervalle für Fußgänger besitzen, einsetzbar.
-
Vorteilhaft ist es, wenn bei Verwendung mehrerer Klassifikatoren deren Ergebnisse gegen Entscheidungskriterium geprüft werden, um ein Objekt als Fußgänger zu identifizieren. Mehrere Klassifikatoren können also insbesondere zur gegenseitigen Plausibilisierung eingesetzt werden, sodass mithin Ausgestaltungen denkbar sind, in denen es nicht ausreicht, das ein einziger Klassifikator erfüllt ist, sondern beispielsweise wenigstens zwei Klassifikatoren einen Fußgänger anzeigen müssen und dergleichen. Klassifikatoren können neben einer üblichen Ja-Nein-Unterscheidung, also einem binären Ausgabewert, selbstverständlich auch eine Klassifikationsgüte ausgeben, die letztlich beschreibt, wie stark das Objekt von entsprechenden Referenzvergleichsobjekten, die einen Fußgänger beschreiben, abweicht, sodass auch derartige Klassifikationsgüten selbstverständlich im Rahmen des Entscheidungskriterium berücksichtigt werden können, um die abschließende Entscheidung zu treffen, die ein Objekt als Fußgänger identifiziert. Auch unterschiedliche Gewichtungen einzelner Klassifikatoren sind selbstverständlich möglich. In diesem Sinne bildet das Entscheidungskriterium einen übergeordneten Superklassifikator, der die Ergebnisse der einzelnen Klassifikatoren auswertet.
-
Eine zweckmäßige Weiterbildung der Erfindung sieht vor, das mehrere Radarsensoren verwendet werden, insbesondere acht Radarsensoren, die insbesondere die gesamte Umgebung des Kraftfahrzeugs in einem 360°-Winkelbereich abdecken. Dann können mithin Fußgänger um das gesamte Kraftfahrzeug herum detektiert und klassifiziert werden. Beispielsweise ist eine Ausgestaltung denkbar, in der jeweils drei an den vorderen und hinteren Stoßstangen der Kraftfahrzeugs vorgesehene Radarsensoren verwendet werden, die hauptsächlich das Vorfeld und den Bereich hinter den Kraftfahrzeug mit ihren Erfassungsbereichen abdecken, und zusätzlich zwei Radarsensoren vorgesehen sind, die seitlich, beispielsweise in den Türen, verbaut sind, welche die Seiten des Kraftfahrzeugs überwachen. Die Radarsensoren sind besonders bevorzugt in diesem Kontext Weitwinkel-Radarsensoren mit einem Öffnungswinkel, der größer als 140°, insbesondere größer als 160°, in der Horizontalen sein kann.
-
Neben dem Verfahren betrifft die Erfindung auch ein Kraftfahrzeug, aufweisend wenigstens einen einen den Radartransceiver realisierenden Halbleiterchip, insbesondere CMOS-Chip, aufweisenden Radarsensor und ein zur Durchführung des erfindungsgemäßen Verfahrens ausgebildetes Steuergerät. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Kraftfahrzeug übertragen, mit welchem mithin auch die bereits genannten Vorteile erhalten werden können.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
-
1 einen im erfindungsgemäßen Verfahren verwendbaren Radarsensor,
-
2 ein die Ermöglichung der Detektion von Fußgängern bei niedrigem Rauschniveau erläuternden Graphen,
-
3 eine Verteilung von Reflektionszentren auf einem Fußgänger,
-
4 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
-
5 unterschiedliche Bewegungskomponenten eines Fußgängers, und
-
6 ein erfindungsgemäßes Kraftfahrzeug.
-
1 zeigt einen Radarsensor 1, wie er im Rahmen des erfindungsgemäßen Verfahrens besonders bevorzugt eingesetzt wird. Er umfasst ein Gehäuse 2, in dem eine Leiterplatte 3 gehaltert ist. Auf der Leiterplatte 3 ist ein Package 4 vorgesehen, das einen Halbleiterchip 5 und eine Antennenanordnung 32 des Radarsensors 1 umfasst. Der Halbleiterchip 5 und das Package 4 sind in CMOS-Technologie realisiert. Die Antennenanordnung 32 weist Antennenelemente derart auf, dass eine Winkelauflösung in zwei zueinander senkrechten Ebenen gegeben ist, insbesondere neben einer horizontalen Winkelauflösung auch eine Winkelauflösung im Azimut. Hierzu kann beispielsweise wenigstens ein Antennenelement vorgesehen werden, dass in einer zu einer ersten Richtung, in der Antennenelemente aufeinander folgen, senkrechten zweiten Richtung an diese Antennenelemente der ersten Richtung anschließt.
-
Durch den Halbleiterchip 5 werden neben einem Radartransceiver 6 auch eine digitale Signalverarbeitungskomponente 7 und eine Steuereinheit 8 des Radarsensors 1 realisiert. Damit ist eine hochintegrierte Lösung mit kurzen Signallaufwegen gegeben, die es nicht nur erlaubt, ein besonders hohes Signal-zu-Rausch-Verhältnis zu realisieren, sondern auch, den Radarsensor 1 mit hohen Bandbreiten, beispielsweise mit einer Bandbreite von 4 Gigahertz in einem Frequenzbereich von 77 bis 81 Gigahertz, zu betreiben.
-
Die durch die verwendete CMOS-Technologie gegebene Hochintegration erlaubt es zum einen, auch schwach reflektierende Objekte wie Fußgänger mit dem Radarsensor 1 zu detektieren. Dies sei anhand der 2 näher erläutert, in der die reflektierte Leistung PR in die Frequenz aufgetragen ist, wobei der Peak 9 ein typisches Signal, wie es von einem menschlichen Körper reflektiert würde, symbolisiert. Ersichtlich kann beim Radarsensor 1 der Peak 9 deutlich von den Rauschanteilen 10 unterschieden werden, da das Rauschniveau 11 deutlich unterhalb der Amplitude des Peaks 9 liegt. Würde das Rauschniveau beispielsweise bei einem Wert 12 liegen, wie es bei herkömmlichen Radarsensoren, die die hochintegrierte Halbleitertechnologie nicht nutzen, der Fall ist, wäre der Peak 9 nicht vom Rauschen 10 unterscheidbar.
-
Die Wahl einer hohen Frequenzbandbreite, hier 4 GHz, und der Antennenanordnung 32 derart, dass eine Winkelauflösung in zwei zueinander senkrechten Ebenen ermöglicht wird, erlaubt zudem eine hohe Ortsauflösung, sodass von einem Objekt, insbesondere einem Fußgänger, verschiedene Reflektionen, mithin verschiedene Reflektionszentren, unterschieden werden können. Dies ist beispielhaft durch die Darstellung der 3 illustriert, die schematisch einen Fußgänger 13 zeigt. Ersichtlich können eine Vielzahl von Reflektionen an unterschiedlichen Reflektionszentren 14, die über den Fußgänger 13 verteilt sind, gemessen werden.
-
Dies stellt die Grundlage für das erfindungsgemäße Verfahren da, für das ein Ausführungsbeispiel im Hinblick auf 4 nun näher erläutert werden soll.
-
Das Verfahren dient der Detektion von Objekten und deren Klassifikation als Fußgänger in Kraftfahrzeugen. Mithin werden im Schritt S1 mit einem im Kraftfahrzeug verbauten Radarsensor 1, der auf einen Erfassungsbereich in dessen Umgebung gerichtet ist, Radardaten aufgenommen, die wie üblich neben Positionsangaben zu einem Reflektionszentrum 14 (Winkel, Entfernung) auch Geschwindigkeitsinformationen (Dopplerverschiebung, Tracking) und Radardaten zu den Reflektionseigenschaften, beispielweise einen Radarquerschnitt, enthalten.
-
Wie es im Stand der Technik grundsätzlich bekannt ist, werden die Radardaten im Schritt S2 verschiedenen im Umfeld des Kraftfahrzeug befindlichen Objekten zugeordnet, das bedeutet, es wird festgelegt, welche Reflektionszentren 14 zu welchem Objekt gehören. Aus diesen im Schritt S2 bestimmten Objekten können nun in einer optionalen Vorklassifikation Objekte ausgewählt werden, die daraufhin überprüft werden sollen, ob es sich um einen Fußgänger handelt; anderenfalls können auch alle Objekte der nun folgenden Klassifikation unterworfen werden. Es sei darauf hingewiesen, dass die im Schritt S3 beschriebene Fußgängerklassifikation selbstverständlich in eine allgemeine Objektklassifikation eingebunden werden kann, mithin auch hier nicht näher dargestellte und erläuterte Klassifikatoren für andere Kraftfahrzeuge und dergleichen enthalten sein können.
-
Im Schritt S3 werden die Radardaten eines zu untersuchenden und als Fußgänger oder Nicht-Fußgänger zu klassifizierenden Objekts zunächst durch drei Klassifikatoren 15, 16, 17 ausgewertet, die jeweils andere, in den Radardaten enthaltene Eigenschaften dahingehend auswerten, ob diese auf eine Identität des Objekts als Fußgänger 13 hinweisen.
-
Der erste Klassifikator 15 vergleicht dabei die Form des zu untersuchenden Objekt mit Referenzformen, wobei zunächst, wie bezüglich 3 dargelegt wurde, aus den verschiedenen Reflektionszentren 14 eine Forminformation des zu untersuchenden Objekts abgeleitet werden kann, bevorzugt dreidimensional. In einer Datenbank sind nun Referenzforminformationen, die Fußgänger 13 beschreiben, abgelegt, die beispielsweise auch typische Haltungen von Fußgängern 13 berücksichtigen können. Die Referenzforminformationen werden mit den Forminformationen des zu untersuchenden Objekts verglichen. Ist ein Abweichungsmaß kleiner als ein erster Schwellwert, ist die Übereinstimmung mit wenigstens einer der Referenzformen hoch genug, um einen Fußgänger annehmen zu können.
-
Der zweite Klassifikator 16 wertet die in den Radardaten enthaltene Geschwindigkeitsinformation aus, indem eine Geschwindigkeitsverteilung und ein Bewegungsparameter ermittelt werden, wie bezüglich der 5 näher erläutert werden soll. Dort ist erneut schematisch der Fußgänger 13 mit seinem Extremitäten 18, 19 und dem Torso 20 gezeigt. Die Extremitäten 18 entsprechen dabei den Armen, die Extremitäten 19 den Beinen. Während der Fußgänger 13 eine meist durch die Bewegung des Torsos 20 beschreibbare Gesamtgeschwindigkeit aufweist, die durch den Pfeil 21 angedeutet wird, können jedoch die Extremitäten 18, 19 wie bekannt, von der Gesamtgeschwindigkeit des Fußgängers 13 abweichende Geschwindigkeiten aufweisen. Meist führen die Extremitäten 18, 19 beim Gehen periodische Bewegungen aus, wie die durch die Pfeile 22 angedeutet wird.
-
Zur Auswertung der Radardaten im Klassifikator 16 werden mithin potentiellen Extremitäten des zu untersuchenden Objekts Teilgeschwindigkeiten zugeordnet, sodass sich eine Geschwindigkeitsverteilung ergibt, welche bevorzugt zeitaufgelöst erstellt wird. Typische Bewegungsabläufe und Teilgeschwindigkeiten beim Gehen eines Fußgängers sind jedoch bekannt, so dass auch hier Referenzgeschwindigkeitsverteilungen und Referenzbewegungsparameter in einer Datenbank vorgesehen werden, die den aus den Radardaten extrahierten Informationen entsprechen und ein Fußgänger 13 beschreiben. Auch hier kann mithin ein Abweichungsmaß gebildet werden. Unterschreitet dies für wenigstens eine Referenzgeschwindigkeitsverteilung mit zugeordnetem Referenzbewegungsparameter einen zweiten Schwellwert, wird davon ausgegangen, dass es sich gemäß dem zweiten Klassifikator 16 um einen Fußgänger 13 handelt.
-
Es sei an dieser Stelle noch darauf hingewiesen, dass in Analysen eines Klassifkators im erfindungsgemäßen Verfahren selbstverständlich auch Ausdehnungen und relative Positionen von Teilkomponenten des zu untersuchenden Objekts, die unterschiedlich bewegt werden, als Bewegungsparameter oder Bewegungsparametersatz ermittelt werden können, welche mit typischen Werten für Menschen, als Fußgänger 13, verglichen werden können.
-
Es ist schließlich noch ein dritter Klassifikator 17 vorgesehen, der Reflektionseigenschaften des zu untersuchenden Objekts beschreibende Radarparameter, hier den Radarquerschnitt, untersucht. Der Radarquerschnitt fällt beim Fußgänger 13 üblicherweise in ein bestimmtes Referenzradarquerschnittintervall, wobei bei innerhalb des wenigstens einen Referenzparameterintervalls liegendem Radarparameter das Objekt als Fußgänger 13 angesehen werden kann.
-
Neben der rein binären Entscheidung der Einzelklassifikatoren 15–17, also ob das Objekt vom Einzelklassifikator 15–17 als Fußgänger 13 erkannt wurde, geben die Klassifikatoren 15–17 auch eine Klassifikationsgüte aus, die in Abhängigkeit von den festgestellten Abweichungen ermittelt wird und letztlich einen Hinweis auf die Verlässlichkeit der Entscheidungsgrundlagen liefert. Die Ausgaben der Klassifikatoren 15–17 werden durch ein Entscheidungskriterium 23, dass als Superklassifikator wirkt, zusammengefasst, wobei sie gegeneinander plausibilisiert und/oder zusammengefasst werden können, gegebenenfalls auch gewichtet. Hieraus ergibt sich dann die endgültige Entscheidung, ob es sich bei dem zu untersuchenden Objekt um einen Fußgänger 13 handelt oder nicht.
-
In einem Schritt S4 wird diese so gewonnene Klassifikation bei der Ansteuerung wenigstens eines Fahrzeugsystems des Kraftfahrzeugs berücksichtigt, beispielsweise bei der Ansteuerung eines Fahrerassistenzsystems und/oder eines Sicherheitssystems.
-
6 zeigt eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 24, in welchem vorliegend acht Radarsensoren 1 verbaut sind, nämlich drei im vorderen Stoßfänger 25, drei im hinteren Stoßfänger 26 und zwei in seitlichen Türen 27. Ersichtlich überlappen die Erfassungsbereiche 28 teilweise, ergänzen sich jedoch in jedem Fall zu einer 360°-Winkelabdeckung der Umgebung des Kraftfahrzeugs 24.
-
Die Daten der Radarsensoren werden an ein Steuergerät 29 weitergeleitet, welches zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Beispielsweise kann es sich dabei um das Steuergerät 29 eines zentralen Fahrerassistenzsystems handeln, in dem die gesamte Umfeldwahrnehmung zusammengeführt und für verschiedene, diese nutzende Fahrzeugsysteme bereitgestellt wird. Beispielhaft sind als Fahrzeugsysteme, die beispielsweise die Identifikation eines Objekts als Fußgänger 13 nutzen können, hier ein Fahrerassistenzsystem 30 und ein Sicherheitssystem 31 gezeigt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Artikel von Jri Lee et al., „A Fully Integrated 77-GHz FMCW Radar Transceiver in 65-nm CMOS Technology”, IEEE Journal of Solid State Circuits 45 (2010), S. 2746–2755 [0005]