DE102019132716A1

DE102019132716A1 - Kamerasystem und Übertragungssystem für den Rennsport

Info

Publication number: DE102019132716A1
Application number: DE102019132716.4A
Authority: DE
Inventors: Olaf Hildebrand; Martin Pischinger; Frank Nysten; Patrick Glusk; Johannes Buchmann
Original assignee: FEV Group GmbH
Current assignee: FEV Group GmbH
Priority date: 2018-12-04
Filing date: 2019-12-02
Publication date: 2020-06-04

Abstract

Die Erfindung betrifft ein Kamerasystem und ein Übertragungssystem, sowie eine Anwendung des Kamerasystems und des Übertragungssystems im Rennsport.Das erfindungsgemäße Kamerasystem umfasst mindestens zwei zur Anbringung an einem Fahrzeug (8) vorgesehene Kameras (1a, 2a, 3a, 4a) zur kontinuierlichen Aufnahme von realen Kamerabildern (1, 2, 3, 4), eine Recheneinheit (5) und eine Datenverbindung, wobei die mindestens zwei Kameras (1a, 2a, 3a, 4a) und die Recheneinheit (5) zwecks Übertragung der Kamerabilder über die Datenverbindung miteinander verbunden sind, und die Recheneinheit (5) derart ausgebildet und eingerichtet ist, aus den Kamerabildern in Echtzeit ein imaginäres Kamerabild (6, 7) aus einer Drohnen-Perspektive zu erzeugen.

Description

Die Erfindung betrifft ein Kamerasystem und ein Übertragungssystem, sowie eine Anwendung des Kamerasystems und des Übertragungssystems im Rennsport.
Es ist bekannt, im Rennsport an den Rennfahrzeugen Kameras vorzusehen, die kontinuierlich Kamerabilder aufnehmen und an Sendestationen übertragen. Dies ermöglicht es den Zuschauern, in einer anderen Art und Weise an dem Rennen teilzunehmen. Die Perspektive, die übertragen wird, ist durch die Anordnung der Kameras vorgegeben. Typischerweise werden die Kameras am Cockpit des Fahrzeuges angebracht.
Das erfindungsgemäße Kamerasystem umfasst mindestens zwei zur Anbringung an einem Fahrzeug vorgesehene Kameras zur kontinuierlichen Aufnahme von realen Kamerabildern, eine Recheneinheit und eine Datenverbindung, wobei die mindestens zwei Kameras und die Recheneinheit zwecks Übertragung der Kamerabilder über die Datenverbindung miteinander verbunden sind, und die Recheneinheit derart ausgebildet und eingerichtet ist, aus den Kamerabildern in Echtzeit ein imaginäres Kamerabild aus einer Drohnen-Perspektive zu erzeugen.
Das erfindungsgemäße Kamerasystem ermöglicht es, in Echtzeit Bilder aus Perspektiven zu erzeugen, die durch Kameras nicht direkt oder nur schwierig aufgenommen werden können. Im Falle der Anwendung im Rennsport ermöglicht dies, Zuschauer in einer besonderen Form am Renngeschehen teilnehmen zu lassen. Des Weiteren können die so erzeugten Bilder und/oder Videofilme für Analysen verwendet werden, sowohl direkt während des Rennens als auch nach dem Rennen.
In einer bevorzugten Ausführungsform sind die mindestens zwei Kameras, vorzugsweise mindestens drei Kameras, derart ausgebildet, um, wenn an einem Fahrzeug angebracht, einen Surround-View aufzunehmen. Unter einer „Surround-View“ soll zumindest eine Abdeckung des vor dem Fahrzeug liegenden Sichtbereichs und der beiden seitlichen Bereiche des Fahrzeugs verstanden werden. Vorzugsweise ist auch der hinter dem Fahrzeug liegende Sichtbereich umfasst. Dies ermöglicht eine möglichst realitätsnahe Erzeugung eines imaginären Kamerabildes aus der Drohnenperspektive.
Zum selbigen Zweck umfassen vorzugsweise die mindestens zwei Kameras Weitwinkelobjektive mit einem horizontalen Blickwinkel von mindestens 60°, vorzugsweise von mindestens 120°. Des Weiteren haben vorzugsweise die mindestens zwei Kameras eine hohe Schärfentiefe. Dies ermöglicht es, Objekte über einen großen Bereich scharf abzubilden, insbesondere auch Objekte, die weit entfernt sind, beispielsweise in einer Entfernung von mindestens 30 oder 50 Metern. Vorzugsweise beträgt der Schärfentiefenbereich (Abstand zwischen Nahpunkt und Fernpunkt, siehe auch Din 19040) mindestens 50 Meter, besonders bevorzugt mindestens 100 Meter.
In einer weiteren bevorzugten Ausführungsform ist die Recheneinheit eingerichtet, in das imaginäre Kamerabild ein in einem Speicher der Recheneinheit hinterlegtes Bild einzufügen. Dies ermöglicht es, Bereiche, die durch die Kameras nicht oder nur schwierig erfassbar sind, beispielsweise das Heck des Fahrzeugs oder eine Aufsicht des Fahrzeugs, zur Vervollständigung des imaginären Bildes einzufügen. Des Weiteren kann auf diese Weise Rechenkapazität für die Bildverarbeitung reduziert werden, was insbesondere vorteilhaft für die Echtzeitfähigkeit ist.
Das erfindungsgemäße Übertragungssystem umfasst ein erfindungsgemäßes Kamerasystem und ein Fahrzeug, wobei die mindestens zwei Kameras am Fahrzeug montiert sind.
Gemäß einer erfindungsgemäßen Anwendung eines Kamerasystems oder eine Übertragungssystems im Rennsport sind die Kameras an einem Rennwagen angebracht, und es werden kontinuierlich in Echtzeit durch die Kameras reale Kamerabilder aufgenommen, durch die Recheneinheit zu einem imaginären Kamerabild verarbeitet und an einen Empfänger übertragen. Der Empfänger kann beispielsweise eine Sendestation oder ein Server sein, über den die von der Recheneinheit erzeugten Video-Streams per Live-Streaming an eine Vielzahl von Personen verteilt werden.
Die abhängigen Ansprüche beschreiben weitere vorteilhafte Ausführungsformen der Erfindung.
Bevorzugte Ausführungsbeispiele werden anhand der folgenden Figuren näher erläutert. Dabei zeigt

1 eine schematische Ansicht eines Übertragungssystems mit aus den Kamerabildern erzeugten Bildbereichen in einer Aufsicht,
2 eine schematische Darstellung der Erzeugung eines ersten imaginären Kamerabild,
3 eine schematische Darstellung der Erzeugung eines zweiten imaginären Kamerabild,
4 ein mittels des Übertragungssystems erzeugtes imaginäres Kamerabild aus einer Verfolgerperspektive, und
5 das in 4 gezeigte imaginäre Kamerabild, ergänzt um weitere Ansichten.

1 zeigt eine schematische Ansicht eines Übertragungssystems. Das Übertragungssystem umfasst ein Kamerasystem und ein Fahrzeug 8. Das Kamerasystem umfasst mindestens zwei zur Anbringung an einem Fahrzeug 8 vorgesehene Kameras zur kontinuierlichen Aufnahme von realen Kamerabildern, eine Recheneinheit 5 und eine Datenverbindung (nicht gezeigt). Die mindestens zwei Kameras und die Recheneinheit 5 sind zwecks Übertragung der Kamerabilder über die Datenverbindung miteinander verbunden. Die Recheneinheit 5 ist derart ausgebildet und eingerichtet, aus den Kamerabildern in Echtzeit ein imaginäres Kamerabild 6 aus einer Drohnen-Perspektive zu erzeugen, siehe 2.
In diesem Ausführungsbeispiel sind vier Kameras 1a, 2a, 3a, 4a zur Aufnahme von Kamerabildern vorgesehen und am Fahrzeug 8 montiert. Jeweils eine Kamera ist an der rechten und linken Seite sowie vorne und hinten am Fahrzeug angeordnet.
Dabei sind die Kameras 1a, 2a, 3a, 4a derart angeordnet und ausgerichtet, einen Surround-View des Fahrzeugs 8 aufzunehmen. Zu diesem Zweck umfassen die Kameras Weitwinkelobjektive mit einem horizontalen Bildwinkel von hier 140°. Des Weiteren überlappen sich die einzelnen Kamerabilder zumindest in ihren Randbereichen. Des Weiteren haben die Kameras 1a, 2a, 3a, 4a eine ausreichend hohe Schärfentiefe, so dass ein Bereich von vorzugsweise mindestens 100 Meter ausreichend scharf aufgenommen werden kann, was vorteilhaft für die Qualität des imaginären Kamerabildes 6 ist. Hier sind zudem die Kameras 1a, 2a, 3a, 4a auf unendlich fokussiert.
Die Recheneinheit ist eingerichtet, hier mittels einer Transferfunktion, aus den realen Kamerabildern imaginäre Bildbereiche 1, 2, 3 und 4 zu erzeugen. Solche Transferfunktionen sind in der Bildverarbeitung grundsätzlich bekannt, weswegen hierauf nicht weiter eingegangen werden soll. In diesem Ausführungsbeispiel wurden durch die Recheneinheit geeignete Ausschnitte der realen Kamerabilder auf eine Ebene projiziert. Weiterhin ist die Recheneinheit 5 eingerichtet, aus den imaginären Bildbereichen 1, 2, 3 und 4 mittels einer zweiten inversen Transferfunktion ein imaginäres Kamerabild 6 aus der Drohnen-Perspektive zu erzeugen. 2 zeigt das von der Recheneinheit 5 aus den Kamerabildern mittels der Transferfunktionen erzeugte imaginäre Kamerabild 6 aus der Drohnen-Perspektive, hier einer Verfolger-Perspektive. Das imaginäre Kamerabild 6 kann durch eine Kombination von direkten und inversen Transferfunktionen erzeugt werden. In einem weiteren Ausführungsbeispiel wird aus dem realen Kamerabild der Kamera 1a über eine direkte Transferfunktion ein imaginärer Bildbereich erzeugt, der als ein oberer Ausschnitt 7 in das imaginäre Kamerabild 6 eingefügt wird. Dies ermöglicht es vorteilhafterweise, dass der Ausschnitt 7 des imaginären Kamerabild 6, der den Bereich vor dem Fahrzeug zeigt, ohne Lücken darstellbar ist, insbesondere dass eine Darstellung des Horizontes und eines Himmels möglich ist.
Die Verwendung der direkten Transferfunktion kann nicht nur, wie hier gezeigt, für Kamera 1a angewendet werden, sondern für weitere oder alle verwendeten Kameras. Dies ist insbesondere vorteilhaft für die seitlichen Kameras 2a und 3a. In einer Variante würde der Bereich in Fahrtrichtung vor den Kameras 2a und 3a über eine direkte Transferfunktion abgebildet werden, der Bereich hinter den Kameras 2a und 3a über eine inverse Transferfunktion.
In einer weiteren Variante ist die Recheneinheit 5 eingerichtet, in das imaginäre Kamerabild 6 ein in einem Speicher der Recheneinheit 5 hinterlegtes Bild einzufügen. Das Bild ist in diesem Falle ein 2D-Bild. In einer Variante ist das Bild ein 3D-Modell. Letzteres ermöglicht eine größere Flexibilität, insbesondere beim Wechsel der Perspektiven.
In einem ersten Ausführungsbeispiel dieser Variante ist im Speicher ein Bild einer Heckansicht 9 des Fahrzeugs 8 hinterlegt. Dieses wird in das imaginäre Kamerabild 6 eingefügt, siehe 4. Des Weiteren ist die Recheneinheit 5 derart eingerichtet, dass diese zumindest einen Ausschnitt eines realen Kamerabildes spiegelverkehrt in das imaginäre Kamerabild eingefügt. Das Einfügen erfolgt mittels einer Überlagerung oder Einblendtechnik. In diesem Ausführungsbeispiel wird ein passender Ausschnitt des durch die nach hinten gerichtete Kamera 4a aufgenommen Kamerabildes 4 spiegelverkehrt in den Bereich der Heckscheibe 10 des Fahrzeuges 8 eingeblendet. Dies erhöht die Realitätsnähe des imaginären Kamerabildes 6. Des Weiteren ist es möglich, im Rahmen der Bildverarbeitung das imaginäre Kamerabild 6 durch Schatten und/oder Lichteffekte zu ergänzen oder Formen der Fahrzeugoberfläche zu berücksichtigen. Anstelle oder zusätzlich zur Heckscheibe werden in einer weiteren Variante geeignete Kameraausschnitte auf das Dach oder der gesamten dargestellten Fahrzeugoberfläche eingeblendet.
Des Weiteren ist die Recheneinheit 5 ausgebildet, äußere Lichtverhältnisse (wie Tag/Nacht) durch Verändern der Helligkeit des hinterlegten Bildes zu berücksichtigen.
5 zeigt ein weiteres Ausführungsbeispiel, in dem über dem in 4 gezeigten imaginären Kamerabild 6 weitere Ansichten, hier jeweils zwei rechte und zwei linke Seitenansichten, eingefügt sind. Die Ansichten 12 und 13 geben eine gespiegelte Ansicht nach hinten, entsprechend der Ansicht eines Seitenrückspiegels wieder. Die Ansichten 14 und 15 zeigen eine Ansicht nach vorne, die direkt aus der jeweiligen Kameraperspektive erzeugt wird und somit eine unverzerrte Darstellung ermöglicht. Die Ansichten wurden von der Recheneinheit 5 aus den realen Kamerabildern mittels direkter Transferfunktionen erzeugt.
In einem weiteren Ausführungsbeispiel ist die Recheneinheit 5 eingerichtet, ein imaginäres Kamerabild aus einer Vogelperspektive zu erzeugen. Entsprechend ist im Speicher ein Bild einer Aufsicht 11 des Fahrzeugs 8 hinterlegt. Dieses wird in das imaginäre Kamerabild 6 eingefügt (nicht gezeigt).
In einem weiteren Ausführungsbeispiel ist die Recheneinheit 5 eingerichtet, zwischen verschiedenen Perspektiven, hier der Verfolger- und der Vogelperspektive zu wechseln. Der Übergang kann schrittweise oder fließend erfolgen.
In einem weiteren Ausführungsbeispiel (nicht dargestellt) wird die Perspektive einer Drohne erzeugt, die vor dem Fahrzeug fliegt und auf das Fahrzeug zurückblickt. Für diesen Anwendungsfall ist im Speicher ein Bild einer Frontansicht des Fahrzeugs 8 hinterlegt.
In einem weiteren Ausführungsbeispiel (nicht dargestellt) sind drei Kameras 1a, 2a, 3a vorgesehen und am Fahrzeug montiert. Jeweils eine Kamera 1a, 2a, 3a ist an der rechten und linken Seite sowie vorne am Fahrzeug angeordnet zwecks Aufnahme von realen Kamerabildern eines Bereichs 1, 2, 3 rechts und links bzw. vor dem Fahrzeug 8.
Die Recheneinheit 5 ist in dem Fahrzeug 8 vorgesehen. Dies ermöglicht es, den Datenstrom, der von dem Fahrzeug 8 übertragen wird, zu begrenzen, was vorteilhaft ist, wenn die Datenübertragung limitiert ist. Das von der Recheneinheit 5 erzeugte imaginäre Bild kann wahlweise im Fahrzeug 8 angezeigt werden und/oder mittels einer drahtlosen Datenverbindung nach außen übertragen werden und von dort weiter übertragen oder an Bildschirmen angezeigt werden. Die Recheneinheit 5 kann über diese Datenverbindung angesteuert werden, um beispielsweise verschiedene Anzeigeoptionen oder Perspektiven anzuwählen.
In einem weiteren Ausführungsbeispiel (nicht gezeigt) ist die Recheneinheit 5 getrennt vom Fahrzeug 8, beispielsweise als stationäre Recheneinheit ausgebildet. In diesem Falle können die Rohdaten der Kameras über die drahtlose Datenverbindung nach außen an die Recheneinheit 5 übertragen werden und dort aufbereitet werden. Dies ermöglicht es, besonders leistungsstarke Recheneinheiten einzusetzen.
Ebenfalls ist es möglich, Untereinheiten der Recheneinheit im Fahrzeug 8 als auch getrennt vom Fahrzeug 8 vorzusehen.
Die Rohdaten der Kameras können optional in der Recheneinheit 5 als Videodatei gespeichert werden, um nachträglich verwendet zu werden, z.B. für eine Unfallanalyse (Blackbox).
Das beschriebene Übertragungssystem bzw. Kamerasystem eignet sich insbesondere für die Anwendung im Rennsport. In diesem Falle sind die Kameras am Rennwagen befestigt. Andere Anwendungen sollen damit nicht ausgeschlossen werden. Zudem bietet das System die Möglichkeit, weitere Funktionen zu integrieren, wie Fahrzeugerkennung, Rückspiegelfunktion, Signalerkennung oder die Einblendung zusätzlicher Informationen in das imaginäre Kamerabild, wie Fahrzeuginformationen.

Claims

Kamerasystem, umfassend mindestens zwei zur Anbringung an einem Fahrzeug (8) vorgesehene Kameras (1a, 2a, 3a, 4a) zur kontinuierlichen Aufnahme von realen Kamerabildern, eine Recheneinheit (5) und eine Datenverbindung, wobei die mindestens zwei Kameras (1a, 2a, 3a, 4a) und die Recheneinheit (5) zwecks Übertragung der Kamerabilder über die Datenverbindung miteinander verbunden sind, und die Recheneinheit (5) derart ausgebildet und eingerichtet ist, aus den Kamerabildern in Echtzeit ein imaginäres Kamerabild (6, 7) aus einer Drohnen-Perspektive zu erzeugen.
Kamerasystem nach Anspruch 1, wobei die Recheneinheit (5) eingerichtet ist, das imaginäre Kamerabild (6) aus den realen Kamerabildern mittels einer Transferfunktion zu erzeugen.
Kamerasystem nach Anspruch 2, wobei das imaginäre Kamerabild (6) aus einer Kombination von direkten und inversen Transferfunktionen erzeugt wird.
Kamerasystem nach einem der vorhergehenden Ansprüche, wobei die mindestens zwei Kameras (1a, 2a, 3a, 4a) derart ausgebildet sind, um, wenn an einem Fahrzeug (8) angebracht, einen Surround-View aufzunehmen.
Kamerasystem nach einem der vorhergehenden Ansprüche, wobei die mindestens zwei Kameras (1a, 2a, 3a, 4a) einen großen Schärfentiefenbereich haben.
Kamerasystem nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) eingerichtet ist, in das imaginäre Kamerabild (6) ein oder mehrere in einem Speicher der Recheneinheit (5) hinterlegte Bilder einzufügen.
Kamerasystem nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) derart eingerichtet ist, dass diese zumindest einen Ausschnitt eines realen Kamerabildes (4) spiegelverkehrt in das imaginäre Kamerabild eingefügt wird.
Kamerasystem nach Anspruch 5 oder 6, wobei die Drohnen-Perspektive eine Verfolger-Perspektive ist.
Kamerasystem nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit (5) derart eingerichtet ist, imaginäre Kamerabilder (6) unterschiedlicher Perspektiven zu erzeugen.
Übertragungssystem, umfassend ein Kamerasystem nach einem der vorhergehenden Ansprüche und ein Fahrzeug (8), wobei die mindestens zwei Kameras (1a, 2a, 3a, 4a) am Fahrzeug (8) montiert sind.
Übertragungssystem, nach Anspruch 10, wobei das Kamerasystem mindestens drei Kameras (1a, 2a, 3a) umfasst, wobei jeweils eine Kamera an der rechten und linken Seite sowie vorne am Fahrzeug angeordnet sind zwecks Aufnahme von realen Kamerabildern eines Bereichs rechts und links bzw. vor dem Fahrzeug.
Übertragungssystem nach Anspruch 10 oder 11, wobei die Recheneinheit (5) zumindest teilweise im Fahrzeug (8) vorgesehen ist.
Anwendung eines Kamerasystems oder eine Übertragungssystems nach einem vorhergehenden Ansprüche im Rennsport, wobei die Kameras (1a, 2a, 3a, 4a) an einem Rennwagen (8) angebracht sind, und kontinuierlich in Echtzeit durch die Kameras (1a, 2a, 3a, 4a) reale Kamerabilder aufgenommen, durch die Recheneinheit (5) zu einem imaginären Kamerabild (6) verarbeitet und an einen Empfänger übertragen werden.