[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE102009017135A1 - Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse - Google Patents

Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse Download PDF

Info

Publication number
DE102009017135A1
DE102009017135A1 DE102009017135A DE102009017135A DE102009017135A1 DE 102009017135 A1 DE102009017135 A1 DE 102009017135A1 DE 102009017135 A DE102009017135 A DE 102009017135A DE 102009017135 A DE102009017135 A DE 102009017135A DE 102009017135 A1 DE102009017135 A1 DE 102009017135A1
Authority
DE
Germany
Prior art keywords
image
images
background
pixels
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009017135A
Other languages
English (en)
Inventor
Ervin Dr. Kolenovic
Frank Dr. Elandaloussi
Elam Kolenovic
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Syperion & Co KG GmbH
Original Assignee
Syperion & Co KG GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Syperion & Co KG GmbH filed Critical Syperion & Co KG GmbH
Priority to DE102009017135A priority Critical patent/DE102009017135A1/de
Publication of DE102009017135A1 publication Critical patent/DE102009017135A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Videodatenanalyse, bei dem zunächst eine durch eine Kameraeigenbewegung 8 einer Kamera 2 bewirkte Hintergrundbildtransformation 26 für diskrete Bilder 16, 18, 20 einer von der Kamera 2 aufgenommenen Bildsequenz 14 bestimmt wird. Zur Kompensation der Kameraeigenbewegung 8 wird nachfolgend aus den diskreten Bildern 16, 18, 20 durch Kompensieren der für das jeweilige Bild 16, 18, 20 bestimmten Hintergrundbildtransformation 26 eine hintergrundstabilisierte Bildsequenz 30 erzeugt. Mit Hilfe der hintergrundstabilisierten Bildsequenz 30 werden ferner bewegten Objekten 22 zugeordnete Bildpunkte detektiert. Erfindungsgemäß werden nachfolgend im Wesentlichen ausschließlich für die detektierten, den bewegten Objekten 22 zugeordneten Bildpunkte in den Bildern 32, 34, 36 der hintergrundstabilisierten Bildsequenz 30 Flussvektoren 50 berechnet. Schließlich wird der optische Fluss 48 für die Bilder 32, 34 und 36 der hintergrundstabilisierten Bildsequenz 30 aus den für das jeweilige Bild 32, 34, 36 berechneten Flussvektoren 50 und als betragslos angenommenen Flussvektoren für nicht in dem jeweiligen Bild 32, 34, 36 detektierte, den bewegten Objekten 22 zugeordnete Bildpunkte bestimmt, so dass das Verfahren trotz der Kameraeigenbewegung 8 eine Bestimmung des optischen Flusses 48 mit nur geringem Rechenaufwand ermöglicht. Ferner betrifft die Erfindung eine Vorrichtung 51 zur Videodatenanalyse, die Module 56, 74, 80, 90 und 92 zur Durchführung des ...

Description

  • Die Erfindung betrifft ein Verfahren zur Videodatenanalyse gemäß dem Oberbegriff von Anspruch 1, eine Vorrichtung mit Mitteln zur Durchführung des Verfahrens gemäß dem Oberbegriff von Anspruch 13 und ein Computerprogramm, das zur Durchführung des Verfahrens geeignete Programmcodemittel umfasst.
  • Im Stand der Technik werden mittels Videodatenanalyse einer von einer Kamera aufgenommenen Bildsequenz mit diskreten Bildern bewegte Objekte detektiert. Ergebnisse der Videodatenanalyse können grafisch dargestellt werden und/oder zum Eingreifen in eine Steuerung von Maschinen, Fahrzeugen oder Flugzeugen bereitgestellt werden.
  • Bei einem bekannten Verfahren zur Videodatenanalyse wird der sog. optische Fluss für die Bilder der Bildsequenz bestimmt. Der optische Fluss ist ein Vektorfeld, das eine Vielzahl zweidimensionaler, in der Bildebene angeordneter Flussvektoren aufweist. Jedem Bildpunkt bzw. Pixel des diskreten Bildes ist in der Regel ein Flussvektor zugeordnet, der die Richtung in der Bildebene und den Betrag einer Verschiebung des Pixels zwischen zeitlich direkt aufeinander folgenden Bildern angibt.
  • Bei dem bekannten Verfahren zur Videodatenanalyse wird der optische Fluss der Bilder analysiert, so dass bewegte Objekte detektiert und von unbewegten Objekten bzw. einem unbewegten Hintergrund unterschieden werden.
  • Wenn jedoch die Kamera sich bei der Aufnahme bewegt, führt dies zu einer Hintergrundbildtransformation, so dass auch ein eigentlich unbewegter Hintergrund auf den aufgenommenen Bildern der Kamera bewegt erscheint, was dazu führt, dass die Flussvektoren von diesem unbewegten Hintergrund zugeordneten Bildpunkten einen Betrag nennenswert größer als Null aufweisen. Tatsächlich bewegte Objekte sind daher nur schwer vor dem Hintergrund zu detektieren. Insbesondere wird die durch die Kameraeigenbewegung der Kamera bewirkte Hintergrundbildtransformation bei dem bekannten Verfahren ausgehend von dem optischen Fluss ermittelt und herausgerechnet. Insgesamt erfordert das bekannte Verfahren einen hohen Rechenaufwand.
  • EP 0 534 996 B1 offenbart ein Verfahren zur Segmentierung bewegter Objekte durch Hintergrundadaption mit Kompensation einer Kamerabewegung. Zur Kompensation der Kamerabewegung wird ein bewegungskompensiertes Hintergrundbild berechnet. Ferner wird vorgeschlagen, durch Vergleich laufender Bilder mit diesen Hintergrundbildern bewegte Objekte in bekannter Weise zu detektieren und zu segmentieren.
  • Bei allen bekannten Verfahren ist das Detektieren von bewegten Objekten in Bildsequenzen einer bewegten Kamera mit hohem Rechenaufwand verbunden. Bei einer begrenzten Rechenkapazität können Objekte daher lediglich mit eingeschränkter Auflösung und somit weniger zuverlässig erkannt werden oder ein Erkennen erfordert mehr Zeit und ist ggf. nicht mehr in Echtzeit möglich. Insbesondere ein Bestimmen des optischen Flusses für die von der Kamera aufgenommene Bildsequenz ist bei den Verfahren nach dem Stand der Technik mit hohem Rechenaufwand verbunden.
  • Der Erfindung liegt deshalb das Problem zugrunde, eine Bewegungsrichtung und Geschwindigkeit von bewegten Objekten auch im Falle einer Eigenbewegung der Kamera zuverlässig bei geringem Rechenaufwand zu detektieren, insbesondere den optischen Fluss für die Bilder der Bildsequenz zuverlässig bei geringem Rechenaufwand zu bestimmen.
  • Die Erfindung löst dieses Problem mit dem Verfahren nach Anspruch 1, mit der Vorrichtung nach Anspruch 13 und mit dem Computerprogramm nach Anspruch 15.
  • Erfindungsgemäß wird erst eine durch eine Kameraeigenbewegung einer Kamera bewirkte Hintergrundbildtransformation für diskrete Bilder einer von der Kamera aufgenommenen Bildsequenz bestimmt. Weiter wird eine hintergrundstabilisierte Bildsequenz zur Kompensation der Kameraeigenbewegung aus den diskreten Bildern durch Kompensieren der für das jeweilige Bild bestimmten Hintergrundbildtransformation erzeugt. Die hintergrundstabilisierte Bildsequenz weist hiernach einen im Wesentlichen unbewegten Hintergrund auf. Eine Transformation des Hintergrunds aufgrund eines verglichen mit einem Wackeln der Kamera langsamen Schwenken kann optimal erhalten bleiben. Den unbewegten Objekten zugeordnete Bildpunkte verschieben sich somit in der Regel langsamer als Bildpunkte, welche zu detektierenden bewegten Objekten zugeordnet sind.
  • Bewegten Objekten zugeordnete Bildpunkte werden mit Hilfe der Bilder der hintergrundstabilisierten Bildsequenz detektiert. Das Detektieren kann hierbei auf einfache Weise mit geringem Rechenaufwand geschehen. Insbesondere braucht hierfür kein optischer Fluss berechnet zu werden.
  • Erst nachfolgend werden erfindungsgemäß Flussvektoren im Wesentlichen ausschließlich für die detektierten den bewegten Objekten zugeordneten Bildpunkte in den Bildern der hintergrundstabilisierten Bildsequenz berechnet. Für alle übrigen Bildpunkte wird kein Flussvektor gerechnet, sondern ein Flussvektor mit einem nicht signifikanten Betrag angenommen. Somit kann der Rechenaufwand für das erfindungsgemäße Verfahren gering gehalten werden. Selbstverständlich können bei ausreichend vorhandener Rechenkapazität auch Flussvektoren für weitere Bildpunkte berechnet werden, ohne dass hierdurch der von der Erfindung beanspruchte Raum verlassen wird. In jedem Fall werden nicht für alle Bildpunkte eines Bildes Flussvektoren berechnet.
  • Schließlich bestimmt die Erfindung den optischen Fluss für die Bilder der hintergrundstabilisierten Bildsequenz aus den für das jeweilige Bild berechneten Flussvektoren und den als betragslos angenommenen Flussvektoren für nicht in dem jeweiligen Bild detektierte, den bewegten Objekten zugeordnete Bildpunkte. Somit stellt die Erfindung mit geringem Rechenaufwand den optischen Fluss für die vollständigen Bilder bereit.
  • Der optische Fluss kann bspw. visuell dargestellt werden, wobei eine unterschiedliche Darstellung in Abhängigkeit vom Betrag der Flussvektoren zu einer leichten Unterscheidung zwischen bewegten Objekten und dem unbewegten Hintergrund führt. Die Bewegungsrichtung kann derart dargestellt werden, dass Bildpunkte, welche sich mit im Wesentlichen gleichem Betrag in im Wesentlichen gleiche Richtung bewegen, einem gemeinsamen Objekt zugeordnet werden. Auch ein automatisches Zuordnen ist möglich.
  • Eine ermittelte Objektbewegung kann mit einer erwarteten oder gewollten Objektbewegung verglichen werden, so dass in Erwiderung auf detektierte Unterschiede Steuerbefehle, bspw. an eine Stelleinrichtung oder einen Motor, gesendet werden können. Die Erfindung kann zur Verkehrsüberwachung oder Sicherheitsüberwachung eingesetzt werden, wobei die Kamera beispielsweise an einem hohen Mast angebracht ist, wo sie Windböen und einer davon hervorgerufenen Kamerabewegung ausgesetzt ist.
  • Bevorzugt wird die durch die Kamerabewegung hervorgerufene Hintergrundbildtransformation durch einen Vergleich zeitlich aufeinander folgender Bilder mittels Kreuzkorrelationsanalyse bestimmt. Mittels der Kreuzkorrelationsanalyse wird eine Bildbewegung zwischen den Bildern ermittelt, wobei versucht wird, die Bilder bzw. die Bildpunkte der Bilder durch eine geeignet angenommene Bildbewegung mit minimalem Fehler, z. B. minimaler quadratischer Abweichung oder einem anderen Fehlermaß, zur Deckung zu bringen. Mit Daten, welche die ermittelte Bildbewegung bzw. die Ergebnisse der Kreuzkorrelationsanalyse repräsentieren, wird nachfolgend die Hintergrundbildtransformation für die Bilder bestimmt. Auf diese Weise kann allein mittels der aufgenommenen Bildsequenz bzw. allein aus den Videodaten eine Scheinbewegung in den Bildern detektiert werden, die keiner Bewegung in der realen Welt entspricht, sondern durch die Eigenbewegung der Kamera hervorgerufen wird.
  • Mittels der Kreuzkorrelationsanalyse werden bevorzugt eine, mehrere oder alle der folgenden Bewegungen erfasst: Translation, Rotation und Skalierung. Zum Erfassen der Translation werden die Bilder direkt miteinander korreliert. Hierdurch kann bspw. ein Schwenken der Kamera erfasst werden. Zum Erfassen der Rotation werden die Bilder hingegen zunächst in Polarkoordinaten transformiert und erst hiernach miteinander korreliert. Hierdurch kann bspw. ein seitliches Wegkippen der Kamera erfasst werden. Schließlich werden die Bilder zum Erfassen einer Skalierung zunächst logarithmisch transformiert und hiernach miteinander korreliert. Hierdurch kann eine Bewegung der Kamera in der Aufnahmerichtung erfasst werden. Bspw. kann sich die Kamera vorne an einem Fahrzeug befinden und Bilder in Fahrtrichtung aufnehmen. In Randbereichen der Bilder kann es dabei zu einer stärkeren Verschiebung abgebildeter Objekte als im Zentrum der Bilder kommen, wodurch auch auf die Position der Objekte relativ zur Kamera geschlossen werden kann. Die Skalierung wird nach der logarithmischen Transformation mittels der Kreuzkorrelationsanalyse erfasst.
  • In einer weiteren Ausführungsform wird die Hintergrundbildtransformation bzw. die scheinbare Bewegung tatsächlich unbewegter Objekte in Folge der Kameraeigenbewegung alternativ oder zusätzlich mit Hilfe eines Sensiermittels bestimmt. Als Sensiermittel kann insbesondere ein Beschleunigungssensor und/oder Neigungsgeber vorgesehen sein. Das Sensiermittel sensiert die Kameraeigenbewegung und stellt die sensierte Kameraeigenbewegung repräsentierenden Signale und/oder Daten bereit. Mit Hilfe dieser Signale bzw. Daten bestimmt eine hierfür vorgesehene Einrichtung die Hintergrundbildtransformation. Hierdurch kann der Rechenaufwand bei der Durchführung der Kreuzkorrelationsanalyse verringert werden oder entfallen. Bspw. kann die Kameraeigenbewegung mit Hilfe des Sensiermittels grob abgeschätzt werden, so dass auch eine zu ermittelnde Translation, Rotation und/oder Skalierung vor deren Erfassen mittels der Kreuzanalyse abgeschätzt werden kann. Die Hintergrundbildtransformation kann somit mittels der Kreuzkorrelationsanalyse mit weniger Rechenaufwand bestimmt und/oder mit der mittels des Sensiermittels bestimmten Hintergrundbildtransformation abgeglichen werden, so dass mit größerer Zuverlässigkeit korrekte Ergebnisse erhalten werden.
  • Die hintergrundstabilisierte Bildsequenz wird durch Kompensieren der für das jeweilige Bild bestimmten Hintergrundbildtransformation erhalten. In einer Ausführungsform der Erfindung erfolgt die Kompensation direkt in den von der Kamera aufgenommenen diskreten Bildern mittels Interpolationsverfahren zur Bildverschiebung und/oder Bilddrehung und/oder Bildverzerrung. Insbesondere wird mittels der Bildverschiebung eine erfasste Translation kompensiert, mittels der Bilddrehung eine erfasste Rotation kompensiert und mittels der Bildverzerrung eine erfasste Skalierung kompensiert. Eine Bildbewegung wird somit direkt in den Bildern behoben.
  • In einer anderen Ausführungsform der Erfindung sind alternativ oder zusätzlich Mittel zum Kompensieren der für das jeweilige Bild bestimmten Hintergrundbildtransformation durch Bewegen eines Objektivs und/oder eines das Bild aufnehmenden Bildsensors der Kamera vorgesehen. Insbesondere können elektromechanische Stelleinrichtungen für Linsen vor dem Bildsensor oder der Bildsensor selbst angetrieben werden. Auch ein rein mechanisches Bewegen des Objektivs bzw. des Bildsensors selbsttätig in Erwiderung auf bspw. Erschütterungen zur Kompensation dieser Erschütterungen ist möglich. Zumindest in nachfolgend aufgenommenen Bildern wird einer Hintergrundbildtransformation in Folge einer Kameraeigenbewegung hierdurch weitgehend entgegengewirkt.
  • Besonders vorteilhaft ist das Kompensieren der Hintergrundbildtransformation durch eine Kombination dieser mechanischen Mittel mit den elektronischen Interpolationsverfahren in Verbindung mit der Kreuzkorrelationsanalyse. Das mechanische bzw. elektromechanische Bewegen des Objektivs bzw. des Bildsensors zum Kompensieren der Hintergrundbildtransformation bewirkt nämlich eine tatsächlich ermittelte geringere Hintergrundbildtransformation in nachfolgend aufgenommenen Bildern und daher ein vereinfachtes elektronisches Sensieren und Kompensieren der Hintergrundbildtransformation in diesen nachfolgend aufgenommenen Bildern.
  • Das Detektieren der bewegten Objekten zugeordneten Bildpunkte erfolgt bevorzugt durch Vergleichen der Bilder der hintergrundstabilisierten Bildsequenz mit einander. Insbesondere werden die Bilder subpixelgenau miteinander verglichen, wobei Unterbildpunkte eines Bildes mit an entsprechender Stelle angeordneten Unterbildpunkten eines benachbarten Bildes verglichen werden. Die Bilder der direkt aufgenommenen und noch nicht hintergrundstabilisierten Bildsequenz werden für dieses Vergleichen nicht benötigt.
  • In einer Ausführungsform der Erfindung werden bewegten Objekten zugeordnete Bildpunkte durch einen einfachen Vergleich zweier oder mehrerer aufeinander folgender Bilder der hintergrundstabilisierten Bildsequenz ermittelt. Hierfür wird zunächst ein Differenzbild durch Subtrahieren der Bildpunkte und/oder den zwischen den Bildpunkten angeordneten Unterbildpunkten dieser Bilder voneinander ermittelt. Nachfolgend erfolgt ein Vergleichen der Beträge der Bildpunkte bzw. Unterbildpunkte im Differenzbild mit einem Schwellenwert. Der Schwellenwert kann fest vorgegeben oder einstellbar sein oder automatisch ermittelt werden. Alle Bildpunkte bzw. Unterbildpunkte, die Beträge oberhalb des Schwellenwerts aufweisen, werden als detektierte, den bewegten Objekten zugeordnete Bildpunkte bzw. Unterbildpunkte bestimmt. Hierdurch können auf sehr einfache Weise bewegte Objekte bzw. Bildpunkte, die diesen Objekten zugeordnet sind, bestimmt werden. Objekte werden hierbei insbesondere über ihre Ränder erfasst, in denen in der Regel ein Kontrast zur Umgebung feststellbar ist, der sich mit den Objekten bewegt. Insbesondere Bildpunkte, die größeren homogenen Flächen von bewegten Objekten zugeordnet sind, können hierdurch zwar oftmals nicht erfasst werden. Jedoch ist dies für die nachfolgende Berechnung der Flussvektoren von Vorteil, da für diesen homogenen Flächen zugeordnete Bildpunkte leicht fehlerhafte Flussvektoren ermittelt werden könnten. Somit ist sichergestellt, dass die tatsächlich ermittelten Flussvektoren zuverlässig eine Objektbewegung repräsentieren.
  • In einer besonders bevorzugten Ausführungsform werden jedoch zwei Differenzbilder mit einer UND-Bedingung miteinander verknüpft und hierdurch die Genauigkeit bzw. Schärfe bei der Detektion der bewegten Objekte bzw. den diesen bewegten Objekten zugeordneten Bildpunkten erhöht.
  • Im Einzelnen wird ein erstes Differenzbild durch Subtrahieren der Bildpunkte und/oder zwischen den Bildpunkten angeordneter Unterbildpunkte eines Bildes und seines zeitlich unmittelbar vorhergehenden Vorgängerbildes der hintergrundstabilisierten Bildsequenz voneinander ermittelt. Analog wird ein zweites Differenzbild ermittelt, nämlich durch Subtrahieren der Bildpunkte und/oder zwischen den Bildpunkten angeordneter Unterbildpunkte des Bildes und seines zeitlich unmittelbar nachfolgenden Nachfolgerbildes der hintergrundstabilisierten Bildsequenz voneinander. Die Beträge der Bildpunkte bzw. Unterbildpunkte in beiden Differenzbildern werden mit einem Schwellenwert verglichen. Hiernach werden nur noch Bildpunkte bzw. Unterbildpunkte mit Beträgen oberhalb des Schwellenwerts betrachtet. Alle anderen Bildpunkte bzw. Unterbildpunkte erhalten den Wert Null oder werden verworfen. Nur die Bildpunkte bzw. Unterbildpunkte, die in beiden Differenzbildern Beträge oberhalb des Schwellenwerts aufweisen bzw. nicht den Wert Null erhalten haben bzw. nicht verworfen wurden, werden als detektierte den bewegten Objekten zugeordnete Bildpunkte bzw. Unterbildpunkte bestimmt. Hierdurch kann sich zwar die Anzahl der detektierten Bildpunkte bzw. Unterbildpunkte verringern. Jedoch sind die hiernach als detektierte den bewegten Objekten zugeordnete Bildpunkte bzw. Unterbildpunkte bestimmten Bildpunkte bzw. Unterbildpunkte tatsächlich dem bewegten Objekt zugeordnet, wohingegen bei jeder einfachen Differenzbildung auch leicht Bildpunkte erfasst werden können, die in einem der Differenzbildung zugrundeliegenden Bild der unbewegten Umgebung zugeordnet sind.
  • Bevorzugt werden die Flussvektoren für die detektierten, den bewegten Objekten zugeordneten Bildpunkte mittels eines Schätzverfahrens ermittelt bzw. berechnet. Bevorzugt wird hierbei das sog. Horn-Schunck-Verfahren oder das sog. Verfahren nach Lucas und Kanade oder das sog. Block-Matching-Verfahren verwendet. Diese Verfahren ermöglichen ein effizientes Berechnen der Flussvektoren. Es kann jedoch auch ein anderes geeignetes Verfahren zur Berechnung der Flussvektoren verwendet werden.
  • In einer bevorzugten Ausführungsform werden die diskreten Bilder der dem Verfahren zugrundeliegenden Bildsequenz direkt mittels einer Digitalkamera aufge nommen. Videodaten liegen somit direkt in einem im weiteren Verfahren nutzbaren Format vor.
  • In einer alternativen Ausführungsform können jedoch auch Analogbilder mittels einer Analogkamera aufgenommen werden. Die Bildsequenz mit den diskreten Bildern wird nachfolgend durch digitales Abtasten der Analogbilder erzeugt. Somit ist es möglich, bestehende Analogkameras weiter zu verwenden oder das Verfahren auf bereits vorliegendes analoges Filmmaterial anzuwenden.
  • In einer Ausführungsform der Erfindung wird die analoge oder digitale Bildsequenz auf einem Datenträger zwischengespeichert, so dass eine Analyse der Bildsequenz zu einem späteren Zeitpunkt als zur Aufnahme, insbesondere auch wiederholt, durchgeführt werden kann. Bspw. kann das Verfahren mit unterschiedlichen Schwellenwerten beim Bestimmen der detektierten den bewegten Objekten zugeordneten Bildpunkte angewendet werden. Auch ist es möglich, dass das Verfahren nur für einzelne Ausschnitte der Bildsequenz angewendet werden soll, wobei diese Ausschnitte gezielt ausgewählt werden können, wenn die Bildsequenz auf einem Datenträger zwischengespeichert ist. Des Weiteren kann der Datenträger mit der Bildsequenz an einen von der Kamera entfernten Ort verbracht werden, an dem die Mittel zur Durchführung des weiteren Verfahrens angeordnet sind.
  • Die erfindungsgemäße Vorrichtung zur Videodatenanalyse stellt alle Mittel zur Durchführung des beschriebenen Verfahrens bereit. Insbesondere weist die Vorrichtung Module auf, welche die Mittel zur Durchführung des Verfahrens bereitstellen. Die Module sind Hardwaremodule und/oder Softwaremodule. Ggf. weist die Vorrichtung auch die beschriebenen Sensiermittel und/oder Stellmittel zum Bewegen eines Objektivs und/oder eines Bildsensors der Kamera auf. Darüber hinaus kann die Vorrichtung Stellmittel aufweisen, die in Erwiderung auf bestimmten optischen Fluss für die Bilder in die Steuerung einer Maschine, eines Fahrzeugs oder eines anderen technischen Geräts eingreifen.
  • Das erfindungsgemäße Computerprogramm umfasst Computerprogrammcodemittel, die für die Ausführung von Schritten des Verfahrens geeignet sind. Insbe sondere alle Schritte der Erfindung, die eine Auswertung oder Manipulation von Videodaten betreffen werden mittels des Computerprogramms auf einem Computer ausgeführt.
  • Das Computerprogramm ist bevorzugt auf einem computerlesbaren Medium enthalten, so dass es von dem Computer eingelesen werden kann.
  • Alternativ können die eine Analyse bzw. Manipulation von Videodaten umfassenden Schritte der Erfindung jedoch auch als elektronischer Schaltkreis ausgebildet sein. Auch eine Kombination, bei der einzelne Schritte von dem elektronischen Schaltkreis und einzelne Schritte mittels des Computerprogramms umgesetzt werden, ist möglich.
  • Weitere Ausführungsformen ergeben sich aus den Ansprüchen sowie aus den anhand der Zeichnung näher erläuterten Ausführungsbeispielen. In der Zeichnung zeigen:
  • 1 eine Kamera;
  • 2 eine von der Kamera von 1 aufgenommene Bildsequenz;
  • 3 eine aus der Bildsequenz von 2 erzeugte hintergrundstabilisierte Bildsequenz;
  • 4 Differenzbilder der hintergrundstabilisierten Bildsequenz aus 3,
  • 5 eine grafische Darstellung zur Veranschaulichung des optischen Flusses für ein Bild der hintergrundstabilisierten Bildsequenz aus 3 und
  • 6 eine erfindungsgemäße Vorrichtung gemäß einem Ausführungsbeispiel.
  • 1 zeigt eine Kamera 2 mit einem Linsen aufweisenden Objektiv 4 in einer Draufsicht. Die Kamera 2 ist eine Digitalkamera, wobei durch deren Objektiv 4 einfallendes Licht auf einen Bildsensor 6 fällt, der in Erwiderung hierauf digitale Videosignale erzeugt. Die Kamera 2 kann bspw. an einem Mast befestigt sein, wobei angreifender Wind eine durch einen Pfeil symbolisierte Kameraeigenbewegung 8 bewirkt. Insbesondere ist die Kameraeigenbewegung 8 in diesem Beispiel ein Schwenken der Kamera um eine vertikale Achse.
  • Die Kamera 2 weist ferner ein Sensiermittel 10 zum Sensieren der Kameraeigenbewegung 8 auf. Das Sensiermittel 10 ist in diesem Fall ein Beschleunigungssensor, der ein Drehmoment der Kameraeigenbewegung 8 sensiert.
  • Des Weiteren weist die Kamera 2 Stellmittel 12 auf, welche als elektrische Antriebe ausgebildet sind und elektromechanisch den Bildsensor 6 bzw. das Objektiv 4, insbesondere Linsen des Objektivs 4, bewegen bzw. verstellen können.
  • 2 zeigt eine mittels der Kamera 2 von 1 aufgenommene Bildsequenz 14 mit drei diskreten Bildern 16, 18 und 20, die zeitlich unmittelbar aufeinanderfolgend aufgenommen wurden. Das Bild 16 ist das Vorgängerbild und das Bild 20 das Nachfolgerbild von dem Bild 18. Auf den Bildern 16, 18 und 20 ist ein bewegtes Objekt 22 vor einem unbewegten Hintergrund 24 abgebildet. Die Kameraeigenbewegung 8 bewirkt eine Scheinbewegung des unbewegten Hintergrunds 24. Diese Scheinbewegung ist eine durch einen Pfeil symbolisierte Hintergrundbildtransformation 26, nämlich in diesem Fall eine horizontale Längsverschiebung, die der Kameraeigenbewegung 8 entgegengerichtet ist.
  • Zeitlich unmittelbar aufeinanderfolgende Bilder werden mittels einer Kreuzkorrelationsanalyse 28, die in 2 durch Doppelpfeile symbolisiert dargestellt ist, miteinander verglichen. Das Bild 16 wird mit einem nicht dargestellten Vorgängerbild der Bildsequenz 14 korreliert. Entsprechend wird das Bild 18 mit dem Bild 16 und das Bild 20 mit dem Bild 18 korreliert. Mittels direkter Korrelation der Bilder 16, 18 und 20 mit ihrem jeweiligen Vorgängerbild wird eine Translation des Bildes, insbesondere im Wesentlichen des unbewegten Hintergrundes, erfasst. Ferner werden alle Bilder 16, 18, 20 der Bildsequenz 14 in Polarkoordinaten transformiert, so dass mittels einer nachfolgenden Korrelation der transformierten Bilder eine Rotation erfasst werden kann. Schließlich werden alle Bilder 16, 18, 20 der Bildsequenz 14 logarithmisch transformiert. Ein nachfolgendes Korrelieren erfasst eine Skalierung im Wesentlichen des unbewegten Hintergrunds. In dem gezeigten Ausführungsbeispiel wird lediglich eine Translation mittels der Kreuzkorrelationsanalyse 28 erfasst.
  • Als Ergebnis der Kreuzkorrelationsanalyse 28 werden Daten bereitgestellt, welche die ermittelte Bildbewegung repräsentieren. Mit Hilfe dieser Daten wird die Hintergrundbildtransformation 26 für die Bilder 16, 18 und 20 bestimmt.
  • Zusätzlich oder optional sensiert das Sensiermittel 10 an der Kamera 2 von 1 die Kameraeigenbewegung 8 und stellt einer Recheneinrichtung Messsignale bereit, die in deren Erwiderung auf die Kameraeigenbewegung 8 schließt, bzw. die Hintergrundbildtransformation 26, die aufgrund der Kameraeigenbewegung 8 zu erwarten ist, bestimmt. In diesem Ausführungsbeispiel wird die Hintergrundbildtransformation 26 sowohl mit Hilfe der mittels der Kreuzkorrelationsanalyse 28 gewonnenen Daten als auch mittels der Signale vom Sensiermittel 10 bestimmt.
  • Alternativ kann die Hintergrundbildtransformation 26 jedoch auch mittels einem dieser beiden Bestimmungsverfahren alleine bestimmt werden.
  • 3 zeigt eine hintergrundstabilisierte Bildsequenz 30 der Bildsequenz 14 von 2 mit hintergrundstabilisierten Bildern 32, 34 und 36. Die für die Bilder 16, 18 und 20 jeweils individuell bestimmte Hintergrundbildtransformation 26 ist in den hintergrundstabilisierten Bildern 32, 34 und 36 mittels Interpolationsverfahren zur Bildverschiebung, Bilddrehung und Bildverzerrung kompensiert. In dem gezeigten Ausführungsbeispiel ist lediglich eine Transformation erfasst worden, so dass lediglich das Interpolationsverfahren zur Bildverschiebung angewendet werden musste.
  • In Erwiderung auf die detektierte Hintergrundbildtransformation 26 steuert die Erfindung optional zusätzlich die Stellmittel 12 an, welche die Hintergrundbild transformation 26 elektromechanisch kompensieren. Insbesondere werden das Objektiv 4 und/oder der Bildsensor 6 der Kamera 2 derart bewegt, dass sich die Auswirkungen der Kamerabewegung 8 auf den vom Bildsensor 6 erfassten Bildbereich zumindest in nachfolgend aufgenommenen Bildern verringern bzw. diese Auswirkungen kompensiert werden. Dies führt dazu, dass trotz fortgesetzter Kameraeigenbewegung 8 bei der Aufnahme der Bilder 18 und 20 der abgebildete unbewegte Hintergrund 24 in dem Bild 20 nicht oder nur geringfügig von dem abgebildeten unbewegten Hintergrund 24 in dem Bild 18 gemäß 2 abweicht. Folglich muss nur noch eine geringe Bildtransformation 26 mittels der Kreuzkorrelationsanalyse 28 für das Bild 20 bestimmt und nachfolgend elektronisch kompensiert werden.
  • Die Erfindung kompensiert im Wesentlichen ungewollte Bewegungen der Kamera 2, bspw. aufgrund von Erschütterungen oder Wind. Mittlere Bewegungen der Kamera 2, die zu vergleichsweise geringeren Hintergrundbildtransformationen 26 führen, bleiben hingegen auch in der hintergrundstabilisierten Bildsequenz 30 erhalten. Diese Hintergrundbildtransformationen 26 sind verglichen mit einer Bewegung des bewegten Objekts 22 vergleichsweise klein, so dass das bewegte Objekt 22 leicht vom unbewegten Hintergrund 24 unterschieden werden kann.
  • 4 zeigt ein aus der hintergrundstabilisierten Bildsequenz 30 von 3 gewonnenes erstes Differenzbild 38 und zweites Differenzbild 40. Das Differenzbild 38 ist aus einem Subtrahieren des Bilds 34 und seines Vorgängerbilds 32 voneinander hervorgegangen. Entsprechend ergibt sich das zweite Differenzbild 40 aus einer Subtraktion des Bilds 34 und seines Nachfolgerbildes 36 voneinander. Die Richtung der Subtraktion ist hierbei unerheblich, da für das weitere Verfahren Beträge der Differenzbilder 38 und 40 verwendet werden. Beim Subtrahieren werden die Bilder 32 und 34 bzw. 34 und 36 subpixelgenau miteinander verglichen, so dass die Erfindung für jeden Bildpunkt und jeden Unterbildpunkt des Bilds 34 einen Differenzwert zu dem entsprechenden Bildpunkt bzw. Unterbildpunkt in dem Bild 32 bzw. 36 bildet.
  • Die Beträge der Bildpunkte bzw. Unterbildpunkte in beiden Differenzbildern 38 und 40 werden mit einem Schwellenwert verglichen. Kleinere Betragsänderun gen, die im Allgemeinen nicht auf eine Objektbewegung zurückzuführen sind, werden somit auf einen Wert von Null gesetzt. Bildpunkte bzw. Unterbildpunkte mit Beträgen oberhalb des Schwellenwertes werden hingegen als potentiell zum bewegten Objekt 22 gehörend erkannt. In den Differenzbildern 38 und 40 sind somit lediglich Bildpunkte bzw. Unterbildpunkte erkennbar, die potentiell dem Objekt 22 zugeordnet werden können.
  • Das bewegte Objekt 22 bewegt sich in der Bildsequenz 14 und in der hintergrundstabilisierten Bildsequenz 30 in dem gezeigten Ausführungsbeispiel relativ zum hintergrundstabilisierten Bild 32 bzw. 34 bzw. 36 nach unten. Bildpunkte werden daher in einem Hauptbereich 42 und in einem Vorgängerübergangsbereich 44 detektiert. In dem Hauptbereich 42 ist das Objekt 22 in dem Bild 34 präsent. In dem Vorgängerübergangsbereich 44 werden potentiell dem bewegten Objekt 22 zugeordnete Bildpunkte erkannt, welche tatsächlich im Bild 34 nicht mehr dem bewegten Objekt 22 zugeordnet sind. Das Differenzbild 38 alleine gibt die Position des bewegten Objekts 22 somit unscharf wider.
  • Für die Detektion von potentiell dem bewegten Objekt 22 zugeordneten Bildpunkten in einem Teilbereich des Hauptbereichs 42, der dem bewegten Objekt 22 in beiden Bildern 32 und 34 zugeordnet ist, muss das bewegte Objekt 22 ausreichend strukturiert sein. Dies ist jedoch im Allgemeinen für reale Objekte der Fall. Lediglich im theoretischen Fall, dass ein Objekt als eine homogene Oberfläche mit gleichen Farben und/oder Helligkeitswerten abgebildet wird, könnten in diesem Teilbereich des Hauptbereichs 42 keine als potentiell dem bewegten Objekt 22 zugeordnete Bildpunkte im Differenzbild 38 bzw. 40 erkannt werden.
  • Auch im zweiten Differenzbild 40 ist die Position des bewegten Objekts 22 verschmiert dargestellt, setzt sich nämlich wiederum aus dem Hauptbereich 42 zusammen, indem das Objekt 22 in dem hintergrundstabilisierten Bild 34 tatsächlich abgebildet wird, und einem Nachfolgerübergangsbereich 46, in den das Objekt 22 erst im Nachfolgerbild 36 eintritt.
  • Die Erfindung verknüpft die beiden Differenzbilder 38 und 40 mit einer UND-Bedingung, so dass nur Bildpunkte bzw. Unterbildpunkte als detektierte dem bewegten Objekt 22 zugeordnete Bildpunkte bzw. Unterbildpunkte bestimmt werden, die in beiden Differenzbildern 38 und 40 Beträge oberhalb des Schwellenwerts aufweisen. Bildpunkte werden somit nur dann als endgültig zum bewegten Objekt 22 gehörend bestimmt, wenn sie sowohl in dem ersten Differenzbild 38 als auch in dem zweiten Differenzbild 40 als potentiell zum bewegten Objekt 22 gehörend bestimmt worden sind. In dem gezeigten Ausführungsbeispiel werden folglich lediglich Bildpunkte bzw. Unterbildpunkte aus dem Hauptbereich 42, in dem das Objekt 22 im Bild 34 tatsächlich angeordnet ist, endgültig als zum bewegten Objekt 22 gehörend bestimmt. Der Vorgängerübergangsbereich 44 aus dem ersten Differenzbild 38 und der Nachfolgerübergangsbereich 46 aus dem zweiten Differenzbild 40 findet hingegen keine Entsprechung in dem jeweils anderen Differenzbild 40 bzw. 38, so dass als potentiell zum bewegten Objekt 22 gehörend bestimmte Bildpunkte aus diesen Bereichen 44, 46 verworfen werden. Das Objekt 22 wird somit scharf und präzise in seiner aktuellen Position in dem Bild 34 erkannt.
  • 5 zeigt eine grafische Darstellung zur Veranschaulichung des mittels der Erfindung bestimmten optischen Flusses 48 für das hintergrundstabilisierte Bild 34 aus 3.
  • Erfindungsgemäß werden lediglich für die detektierten den bewegten Objekten zugeordneten Bildpunkte bzw. Unterbildpunkte mit Hilfe eines üblichen Verfahrens, bspw. mittels des Horn-Schunck-Verfahrens, mittels des Verfahrens nach Lucas und Kanade oder mittels des Block-Matching-Verfahrens als Pfeile dargestellte Flussvektoren 50 berechnet. Die Richtung der Pfeile gibt hierbei die Richtung der Verschiebung der detektierten dem bewegten Objekt 22 zugeordneten Bildpunkte an. Die Länge der Pfeile ist ein Maß für den Betrag der Verschiebung. Nachfolgend wird der diese Flussvektoren 50 aufweisende optische Fluss 48 für die Bilder 32, 34 und 36 der hintergrundstabilisierten Bildsequenz 30 bestimmt, wobei der optische Fluss 48 für Bildpunkte, die nicht detektierte dem, bewegten Objekt 22 zugeordnete Bildpunkte sind, durch Punkte symbolisiert, als betragslos angenommen werden. Schließlich kann der optische Fluss 48 analysiert und insbesondere die Lage, Bewegungsrichtung und Geschwindigkeit des bewegten Objekts 22 weitgehend scharf und präzise bestimmt werden.
  • 6 zeigt eine erfindungsgemäße Vorrichtung 52 zur Durchführung des erfindungsgemäßen Verfahrens gemäß einem Ausführungsbeispiel der Erfindung.
  • Die Vorrichtung 52 weist die Kamera 2 aus 1 auf. Die Kamera 2 nimmt eine Bildsequenz 14 mit diskreten Bildern 16, 18, 20 auf und stellt diese Bildsequenz 14 in Form von Videodaten bereit. Die Vorrichtung 52 weist ferner Mittel 56 zum Bestimmen der durch die Kameraeigenbewegung 8 der Kamera 2 bewirkten Hintergrundbildtransformation 26 für die diskreten Bilder 16, 18 und 20 auf. Die Mittel 56 weisen Mittel 58 zum Vergleichen zeitlich aufeinander folgender Bilder 16, 18, 20 mittels Kreuzkorrelationsanalyse 28 zum Ermitteln einer Bildbewegung zwischen den Bildern 16, 18 und 20 auf. Die Mittel 58 umfassen dabei Mittel 60 zum direkten Korrelieren der Bilder 16, 18 und 20 zum Erfassen der Translation, Mittel 62 zum Transformieren der Bilder 16, 18 und 20 in Polarkoordinaten und Korrelieren der transformierten Bilder zum Erfassen der Rotation und Mittel 64 zum logarithmischen Transformieren der Bilder 16, 18 und 20 in Polarkoordinaten und Korrelieren der transformierten Bilder zum Erfassen der Skalierung.
  • Ergebnisse der Kreuzkorrelationsanalyse 28 werden durch Mittel 66 zum Bereitstellen von die ermittelte Bildbewegung repräsentierenden Daten bereitgestellt. Schließlich weisen die Mittel 56 Mittel 68 zum Bestimmen der Hintergrundbildtransformation 26 für die Bilder 16, 18 und 20 mit Hilfe dieser Daten auf.
  • Des Weiteren weisen die optionalen Mittel 56 noch die Sensiermittel 10 zum Sensieren der Kameraeigenbewegung 8 auf. Die sensierte Kameraeigenbewegung 8 repräsentierende Signale bzw. Daten werden von Mitteln 70 zum Bereitstellen dieser Signale bzw. Daten bereitgestellt.
  • Schließlich weisen die Mittel 56 noch Mittel 72 zum Bestimmen der Hintergrundbildtransformation 26 für die Bilder 16, 18 und 20 mit Hilfe dieser Signale bzw. Daten auf. Die Mittel 72 können dabei mit den Mitteln 68 zumindest teilweise identisch sein. Insbesondere kann eine gemeinsame Recheneinrichtung zur Durchführung wenigstens der von den Mitteln 68 und 72 durchzuführenden Verfahrensschritte vorgesehen sein.
  • Die Vorrichtung 52 weist ferner Mittel 74 zum Erzeugen der hintergrundstabilisierten Bildsequenz 30 zur Kompensation der Kameraeigenbewegung 8 aus den diskreten Bildern 16, 18 und 20 durch Kompensieren der für das jeweilige Bild 16, 18 bzw. 20 bestimmten Hintergrundbildtransformation 26 auf. Diese Mittel 74 weisen wiederum Mittel 76 und Mittel 78 jeweils zum Kompensieren der für das jeweilige Bild 16, 18 bzw. 20 bestimmten Hintergrundbildtransformation 26 auf. Mit den Mitteln 76 sind Interpolationsverfahren zur Bildverschiebung und/oder Bilddrehung und/oder Bildverzerrung durchführbar, wobei die Hintergrundbildtransformation 26 direkt in den von der Kamera 2 aufgenommenen diskreten Bildern 16, 18 und 20 durchgeführt wird. Die Mittel 78 sind optional und umfassen hingegen die Stellmittel 12 und ermöglichen somit ein Bewegen des Objektivs 4 bzw. des Bildsensors 6. Im Ergebnis wird von den Mitteln 76 und 78 die hintergrundstabilisierte Bildsequenz 30 erzeugt.
  • Des Weiteren weist die Vorrichtung 52 Mittel 80 zum Detektieren von den bewegten Objekten 22 zugeordneten Bildpunkten mit Hilfe der Bilder 32, 34 und 36 der hintergrundstabilisierten Bildsequenz 30 auf. Diese Mittel 80 umfassen Mittel 82 zum Ermitteln des ersten Differenzbildes 38 und Mittel 84 zum Ermitteln des zweiten Differenzbildes 40. Die Mittel 82 und 84 können identisch oder identisch ausgebildet sein. Das Ermitteln des jeweiligen Differenzbildes erfolgt durch Subtrahieren der Bildpunkte und/oder zwischen den Bildpunkten angeordneter Unterbildpunkte des hintergrundstabilisierten Bildes 34 und seines zeitlich unmittelbar vorhergehenden Vorgängerbildes 32 bzw. seines zeitlich unmittelbar nachfolgenden Nachfolgerbildes 36 der hintergrundstabilisierten Bildsequenz 30.
  • Die Mittel 80 umfassen ferner Mittel 86 zum Vergleichen der Beträge der Bildpunkte bzw. Unterbildpunkte in beiden Differenzbildern 38 und 40 mit jeweils einem Schwellenwert. Schließlich weisen die Mittel 80 noch Mittel 88 zum Bestimmen nur der in beiden Differenzbildern 38 und 40 Beträge oberhalb des Schwellenwertes aufweisenden Bildpunkte bzw. Unterbildpunkte als detektierte den bewegten Objekten 22 zugeordnete Bildpunkte bzw. Unterbildpunkte auf.
  • Die Vorrichtung 52 weist schließlich Mittel 90 zum Berechnen von Flussvektoren 50 und Mittel 92 zum Bestimmen des optischen Flusses 48 auf. Mit den Mitteln 90 zum Berechnen von Flussvektoren 50 sind im Wesentlichen ausschließlich für die detektierten den bewegten Objekten 22 zugeordneten Bildpunkte in den Bildern 32, 34 und 36 der hintergrundstabilisierten Bildsequenz 30 die Flussvektoren 50 berechenbar. Der optische Fluss 48 ist mit den Mitteln 92 für die Bilder der hintergrundstabilisierten Bildsequenz 30 aus den für das jeweilige Bild 32, 34, 36 berechneten Flussvektoren 50 und als betragslos angenommenen Flussvektoren für nicht in dem jeweiligen Bild 32, 34, 36 detektierte den bewegten Objekten 22 zugeordnete Bildpunkte bestimmbar. Auf diese Weise ist mittels der Vorrichtung 52 mit nur geringem Rechenaufwand der optische Fluss 48 derart bestimmbar, dass die bewegten Objekte 22 sich deutlich vom unbewegten Hintergrund 24 hervorheben.
  • Der derart bestimmte optische Fluss 48 wird einer Steuereinrichtung 94 zugeführt, wobei mittels der Steuereinrichtung 94 bspw. ein Antrieb, Motor oder Stellmittel ansteuerbar ist. Hierfür sind von der Steuereinrichtung 94 Steuerbefehle generierbar, so dass mittels der Erfindung bspw. ein bemanntes oder unbemanntes Fahrzeug oder Flugobjekt mit geringem Rechenaufwand derart automatisch gesteuert werden kann, dass es bspw. automatisch detektierten bewegten Objekten 22 ausweicht. Auch andere Anwendungen für verschiedene Fahrzeuge zu Lande, zu Wasser oder in der Luft sind denkbar. Des Weiteren können Roboter und andere Maschinen mittels der Erfindung zumindest unterstützend gesteuert werden.
  • Insgesamt ist eine Anwendung der Erfindung in allen Bereichen der Technik möglich, wo Ereignisse automatisch in Abhängigkeit von mittels einer Kamera visuell erfassbaren bewegten Objekten ausgelöst werden sollen. Ferner kann die Erfindung vorteilhaft zur Überwachung, bspw. Verkehrsüberwachung, eingesetzt werden, wobei eine bspw. durch Windböen verursachte Eigenbewegung kompensiert und der optische Fluss mit geringem Rechenaufwand bestimmt wird.
  • Alle in der vorgenannten Figurenbeschreibung, in den Ansprüchen und in der Beschreibungseinleitung genannten Merkmale sind somit einzeln als auch in beliebiger Kombination miteinander einsetzbar. Die Erfindung ist somit nicht auf die beschriebenen bzw. beanspruchten Merkmalskombinationen beschränkt. Vielmehr sind alle Merkmalskombinationen als offenbart zu betrachten.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - EP 0534996 B1 [0006]

Claims (16)

  1. Verfahren zur Videodatenanalyse mit den Schritten: a) Bestimmen einer durch eine Kameraeigenbewegung (8) einer Kamera (2) bewirkten Hintergrundbildtransformation (26) für diskrete Bilder (16, 18, 20) einer von der Kamera (2) aufgenommenen Bildsequenz (14), b) Erzeugen einer hintergrundstabilisierten Bildsequenz (30) mit hintergrundstabilisierten Bildern (32, 34, 36) zur Kompensation der Kameraeigenbewegung (8) aus den diskreten Bildern (16, 18, 20) durch Kompensieren der für das jeweilige Bild (16, 18, 20) bestimmten Hintergrundbildtransformation (26) und c) Detektieren von bewegten Objekten (22) zugeordneten Bildpunkten mit Hilfe der Bilder (32, 34, 36) der hintergrundstabilisierten Bildsequenz (30), gekennzeichnet durch die nachfolgenden Schritte: d) Berechnen von Flussvektoren (50) im Wesentlichen ausschließlich für die detektierten den bewegten Objekten (22) zugeordneten Bildpunkte in den Bildern (32, 34, 36) der hintergrundstabilisierten Bildsequenz (30) und e) Bestimmen des optischen Flusses (48) für die Bilder (32, 34, 36) der hintergrundstabilisierten Bildsequenz (30) aus den für das jeweilige Bild (32, 34, 36) berechneten Flussvektoren (50) und als betragslos angenommenen Flussvektoren für nicht in dem jeweiligen Bild (32, 34, 36) detektierte den bewegten Objekten (22) zugeordnete Bildpunkte.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt a) folgende Schritte aufweist: i) Vergleichen zeitlich aufeinander folgender Bilder (16, 18, 20) mittels Kreuzkorrelationsanalyse (28) zum Ermitteln einer Bildbewegung zwischen den Bildern (16, 18, 20), ii) Bereitstellen von die ermittelte Bildbewegung repräsentierenden Daten und iii) Bestimmen der Hintergrundbildtransformation (26) für die Bilder (16, 18, 20) mit Hilfe dieser Daten.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Schritt 2i) einen oder mehrere oder alle der folgenden Schritte aufweist: – direktes Korrelieren der Bilder (16, 18, 20) zum Erfassen einer Translation, – Transformieren der Bilder (16, 18, 20) in Polarkoordinaten und Korrelieren der transformierten Bilder zum Erfassen einer Rotation, – logarithmisches Transformieren der Bilder (16, 18, 20) und Korrelieren der transformierten Bilder zum Erfassen einer Skalierung.
  4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Schritt a) folgende Schritte aufweist: i) Sensieren der Kameraeigenbewegung (8) mittels eines Sensiermittels (10), insbesondere Beschleunigungssensors und/oder Neigungsgebers, ii) Bereitstellen von die sensierte Kameraeigenbewegung (8) repräsentierenden Signalen und/oder Daten und iii) Bestimmen der Hintergrundbildtransformation (26) für die Bilder (16, 18, 20) mit Hilfe dieser Signale bzw. Daten.
  5. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Schritt b) den folgenden Schritt aufweist: Kompensieren der für das jeweilige Bild (16, 18, 20) bestimmten Hintergrundbildtransformation (26) direkt in den von der Kamera (2) aufgenom menen diskreten Bildern (16, 18, 20) mittels Interpolationsverfahren zur Bildverschiebung und/oder Bilddrehung und/oder Bildverzerrung.
  6. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Schritt b) den folgenden Schritt aufweist: Kompensieren der für das jeweilige Bild (16, 18, 20) bestimmten Hintergrundbildtransformation (26), insbesondere zum Verringern der Hintergrundbildtransformation (26) in zeitlich folgenden Bildern (16, 18, 20), durch, insbesondere elektromechanisch angetriebenes, Bewegen eines Objektivs (4) und/oder eines das Bild (16, 18, 20) aufnehmenden Bildsensors (6) der Kamera (2).
  7. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Schritt c) folgende Schritte aufweist: i) Ermitteln eines Differenzbildes (38, 40) durch Subtrahieren der Bildpunkte und/oder zwischen den Bildpunkten angeordneter Unterbildpunkte zweier unmittelbar zeitlich aufeinanderfolgender Bilder (32, 34, 36) der hintergrundstabilisierten Bildsequenz (30) voneinander, ii) Vergleichen der Beträge der Bildpunkte bzw. Unterbildpunkte im Differenzbild 38, 40 mit einem Schwellenwert und iii) Bestimmen der Beträge oberhalb des Schwellenwerts aufweisenden Bildpunkte bzw. Unterbildpunkte als detektierte den bewegten Objekten 22 zugeordnete Bildpunkte bzw. Unterbildpunkte.
  8. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Schritt c) folgende Schritte aufweist: i) Ermitteln eines ersten Differenzbildes (38) durch Subtrahieren der Bildpunkte und/oder zwischen den Bildpunkten angeordneter Unterbildpunkte eines Bildes (34) und seines zeitlich unmittelbar vorhergehenden Vorgängerbildes (32) der hintergrundstabilisierten Bildsequenz (30) voneinander, ii) Ermitteln eines zweiten Differenzbildes (40) oder mehrerer Differenzbilder durch Subtrahieren der Bildpunkte und/oder zwischen den Bildpunkten angeordneter Unterbildpunkte des Bildes (34) und seines zeitlich unmittelbar nachfolgenden Nachfolgerbildes (36) der Hintergrund stabilisierten Bildsequenz (30) voneinander, iii) Vergleichen der Beträge der Bildpunkte bzw. Unterbildpunkte in beiden Differenzbildern (38, 40) mit einem Schwellenwert und iv) Bestimmen nur der in beiden Differenzbildern (38, 40) Beträge oberhalb des Schwellenwerts aufweisenden Bildpunkte bzw. Unterbildpunkte als detektierte den bewegten Objekten (22) zugeordnete Bildpunkte bzw. Unterbildpunkte.
  9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Schritt d) folgende Schritte aufweist: Berechnen der Flussvektoren (50) für die detektierten den bewegten Objekten (22) zugeordneten Bildpunkte mittels eines Verfahrens zur Berechnung der Flussvektoren wie bspw.: i) Horn-Schunck-Verfahren, ii) Verfahren nach Lucas und Kanade oder iii) Block-Matching-Verfahren.
  10. Verfahren nach einem der vorherigen Ansprüche, gekennzeichnet durch den Schritt: Aufnehmen der Bildsequenz (14) direkt als Folge von diskreten Bildern (16, 18, 20) mittels einer Digitalkamera (2).
  11. Verfahren nach einem der Ansprüche 1 bis 9, gekennzeichnet durch die Schritte: i) Aufnehmen der Bildsequenz als Folge von Analogbildern mittels einer Analogkamera und ii) Erzeugen der diskreten Bilder (16, 18, 20) der Bildsequenz (14) durch digitales Abtasten der Analogbilder.
  12. Verfahren nach Anspruch 10 oder 11, gekennzeichnet durch den Schritt: Zwischenspeichern der Bildsequenz (14) auf einem Datenträger.
  13. Vorrichtung zur Videodatenanalyse, aufweisend: a) einem Modul (56) zum Bestimmen einer durch eine Kameraeigenbewegung (8) einer Kamera (2) bewirkten Hintergrundbildtransformation (26) für diskrete Bilder (16, 18, 20) einer von der Kamera (2) aufgenommenen Bildsequenz (14), b) einem Modul (74) zum Erzeugen einer hintergrundstabilisierten Bildsequenz (30) mit hintergrundstabilisierten Bildern (32, 34, 36) zur Kompensation der Kameraeigenbewegung (8) aus den diskreten Bildern (16, 18, 20) durch Kompensieren der für das jeweilige Bild (16, 18, 20) bestimmten Hintergrundbildtransformation (26) und c) einem Modul (80) zum Detektieren von bewegten Objekten (22) zugeordneten Bildpunkten mit Hilfe der Bilder (32, 34, 36) der hintergrundstabilisierten Bildsequenz (30), gekennzeichnet durch d) ein Modul (90) zum Berechnen von Flussvektoren (50) im Wesentlichen ausschließlich für die detektierten den bewegten Objekten (22) zugeordneten Bildpunkte in den Bildern (32, 34, 36) der hintergrundstabilisierten Bildsequenz (30) und e) ein Modul (92) zum Bestimmen des optischen Flusses (48) für die Bilder (32, 34, 36) der hintergrundstabilisierten Bildsequenz (30) aus den für das jeweilige Bild (32, 34, 36) berechneten Flussvektoren (50) und als betragslos angenommenen Flussvektoren für nicht in dem jeweiligen Bild (32, 34, 36) detektierte den bewegten Objekten (22) zugeordnete Bildpunkte.
  14. Vorrichtung nach Anspruch 13, aufweisend Mittel zur Durchführung des bzw. der Schritte gemäß einem Verfahren nach einem der Ansprüche 1 bis 12.
  15. Computerprogramm, das Computerprogrammcodemittel umfasst, die für die Ausführung von Schritten nach einem der Ansprüche 1 bis 12, insbesondere aller Schritte aus Anspruch 1, geeignet sind, wenn das Programm auf einem Computer ausgeführt wird.
  16. Computerprogramm nach Anspruch 14, das auf einem computerlesbaren Medium enthalten ist.
DE102009017135A 2009-04-15 2009-04-15 Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse Withdrawn DE102009017135A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009017135A DE102009017135A1 (de) 2009-04-15 2009-04-15 Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009017135A DE102009017135A1 (de) 2009-04-15 2009-04-15 Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse

Publications (1)

Publication Number Publication Date
DE102009017135A1 true DE102009017135A1 (de) 2010-11-11

Family

ID=42932247

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009017135A Withdrawn DE102009017135A1 (de) 2009-04-15 2009-04-15 Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse

Country Status (1)

Country Link
DE (1) DE102009017135A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2590141A1 (de) * 2011-11-02 2013-05-08 EADS Deutschland GmbH Verfahren und Vorrichtung zur Detektion bewegter Objekte in einer Videobildsequenz
WO2016096446A1 (de) * 2014-12-15 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Vordergrund-hintergrund differenzierung im fahrzeug
DE102019116381A1 (de) * 2019-06-17 2020-12-17 Schölly Fiberoptic GmbH Verfahren zur Bestimmung der Bildposition eines Markierungspunktes in einem Bild einer Bildsequenz

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0534996B1 (de) 1990-06-22 1994-11-17 Siemens Aktiengesellschaft Verfahren zur segmentierung bewegter objekte durch hintergrundadaption mit kompensation der kamerabewegung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0534996B1 (de) 1990-06-22 1994-11-17 Siemens Aktiengesellschaft Verfahren zur segmentierung bewegter objekte durch hintergrundadaption mit kompensation der kamerabewegung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Li, Haibo, Forchheimer, Robert: "Two-View Facial Movement Estimation", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, Vol. 4, No. 3, pp. 276-287, JUNE 1994 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2590141A1 (de) * 2011-11-02 2013-05-08 EADS Deutschland GmbH Verfahren und Vorrichtung zur Detektion bewegter Objekte in einer Videobildsequenz
US9014426B2 (en) 2011-11-02 2015-04-21 Eads Deutschland Gmbh Method and device for the detection of moving objects in a video image sequence
RU2615063C2 (ru) * 2011-11-02 2017-04-03 Еадс Дойчланд Гмбх Способ и устройство для обнаружения движущихся объектов в последовательности видеоизображений
WO2016096446A1 (de) * 2014-12-15 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Vordergrund-hintergrund differenzierung im fahrzeug
US10430952B2 (en) 2014-12-15 2019-10-01 Bayerische Motoren Werke Aktiengesellschaft Foreground-background differentiation in a vehicle
DE102019116381A1 (de) * 2019-06-17 2020-12-17 Schölly Fiberoptic GmbH Verfahren zur Bestimmung der Bildposition eines Markierungspunktes in einem Bild einer Bildsequenz
US11367200B2 (en) 2019-06-17 2022-06-21 Scholly Fiberoptic Gmbh Method for determining the image position of a marker point in an image of an image sequence

Similar Documents

Publication Publication Date Title
EP2710794B1 (de) Verfahren zur erzeugung und auswertung eines bilds
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
DE102008034979B4 (de) Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
EP2433092B1 (de) Luftbildkamera-system und verfahren zum korrigieren von verzerrungen in einer luftbildaufnahme
DE102008027723A1 (de) Bildverarbeitungsvorrichtung zum Verringern von Effekten von Nebel bezüglich Abbildungen, die von einer in ein Fahrzeug eingebauten Kamera erzielt werden, und Fahrerunterstützungsvorrichtung, welche sich ergebende verarbeitete Abbildungen verwendet
DE102014209137A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
EP3151543B1 (de) Bildaufnahmeeinrichtung für ein kraftfahrzeug und verfahren zum betreiben einer derartigen bildaufnahmeeinrichtung
DE202016007867U1 (de) Steuerung des Sichtlinienwinkels einer Bildverarbeitungsplattform
DE102018123402A1 (de) Bildunschärfekorrekturvorrichtung und steuerverfahren
DE102009017135A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse
EP3677019B1 (de) Verfahren und vorrichtung zur vorhersehbaren belichtungssteuerung zumindest einer ersten fahrzeugkamera
DE102012211961A1 (de) Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
DE102015208442A1 (de) Verfahren und Vorrichtung zum Ermitteln zumindest eines Objektabbildes in einer Umgebung um einen änderunssensitiven optischen Bildsensor
DE102012024650A1 (de) Verfahren zur Reduktion einer HDR-Bewegungsunschärfe bei einem HDR-Bild, HDR-Kameraeinrichtung und Kraftfahrzeug
DE102017206247A1 (de) Verfahren zur prädiktiven Belichtungssteuerung einer Fahrzeugkamera
DE102017104957A1 (de) Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102010044112B4 (de) Fluchtpunktbestimmungsvorrichtung und Fluchtpunktbestimmungsprogramm
EP4118816A1 (de) Festlegen eines aktuellen fokusbereichs eines kamerabildes basierend auf der position der fahrzeugkamera an dem fahrzeug und einem aktuellen bewegungsparameter
WO2000008507A2 (de) Vorrichtung und verfahren zur automatischen fokussierung und belichtung von bildaufnahmesystemen
AT526018A2 (de) Verfahren zur Bildkorrektur von Bildunschärfe in einer digitalen Bildaufnahme
DE102012025463A1 (de) Verfahren zum Bestimmen eines Bewegungsparameters eines Kraftfahrzeugs durch Auffinden von invarianten Bildregionen in Bildern einer Kamera des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102022209356A1 (de) Verfahren zum Betreiben mindestens eines Bildsensors
EP4315275A1 (de) Verfahren und system zur bestimmung von informationen bezüglich der eigenbewegung eines fahrzeugs
DE102011056788A1 (de) Verfahren zur Erzeugung und Auswertung eines Bilds
DE102022211182A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Beleuchtungsparameters

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R006 Appeal filed
R008 Case pending at federal patent court
R011 All appeals rejected, refused or otherwise settled
R120 Application withdrawn or ip right abandoned
R120 Application withdrawn or ip right abandoned

Effective date: 20141008