DE102016013028A1 - Verfahren und Vorrichtung zur genauen Lagebestimmung von pfeilartigen Objekten relativ zu Oberflächen - Google Patents

Abstract

Der Erfindung liegt die Aufgabe zugrunde eine kostengünstige, schnelle und gleichzeitig genaue Lagebestimmung von pfeilartigen Objekten relativ zu Oberflächen mit geringem Aufwand zu ermöglichen. Insbesondere für ein System zur automatischen Darterkennung ist ein Messaufbau notwendig, der robust und, einfach zu bedienen ist und dezent im Hintergrund misst. Der Aufbau darf den Spieler weder ablenken, noch das Dartspiel verkomplizieren oder zur Anpassung der Spielweise an verfahrensbedingte Eigenheiten (Berechnungsverzögerung, rotierende Elemente, Lichtirritationen) zwingen. Nur mit der Erfassung der vollständigen Orientierungsparameter der Dartpfeile sind neben dem Eintreffpunkt auch präzise und komplexe Spielsituationen zu erfassen und im Sinne von Spieler- und Trainingsstatistiken auswertbar.
Erfindungsgemäß wird die Aufgabe durch ein Verfahren zur Lagebestimmung von pfeilartigen Objekten zu Oberflächen gelöst, indem zunächst die Lage des oder der pfeilartigen Objekte bestimmt wird. Diese ergibt sich als Schnittgerade der von mindestens zwei Kameras aufgespannten Detektionsebenen. Diese wiederum werden durch den jeweiligen Fokuspunkt der Kamera und der zugehörigen 2D-Linienprimitve des pfeilartigen Objektes gebildet.
Dieser Ansatz liefert unmittelbar eine dreidimensionale Parametrisierung des pfeilartigen Objektes. Dadurch ist es möglich - eine dreidimensionale Parametrisierung der Oberfläche vorausgesetzt - nicht nur den Auftreffpunkt des pfeilartigen Objektes auf der Oberfläche, sondern gleichzeitig die Orientierungsparameter zu bestimmen, d.h. man erhält zusätzliche Informationen, welchen Winkel das pfeilartige Objekt und die Oberfläche bilden

Description

• Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur genauen Lagebestimmung von pfeilartigen Objekten relativ zu Oberflächen, insbesondere zur automatischen Darterfassung.
• Im Folgenden wird auf den Stand der Technik von Verfahren zur Darterkennung in der klassischen Spielvariante mit Steeldarts auf Naturfaserboards eingegangen. Diesen Sport kennzeichnet ein typisches, einzigartiges Spielgefühl, welches geprägt ist von der Einfachheit und Direktheit des Spiels: ob im professionellen Bereich, oder in geselliger Runde im Hobbybereich, beim Werfen von Steeldarts auf das Dartboard kommt es nur auf die Konzentration und Fähigkeiten des Spielenden an. Jeder Eingriff in diesen spieltypischen einfachen Aufbau und das solide, hochwertige Sportequipment ändert das für den Liebhaber gewohnte Spielgefühl. Entscheidend ist dabei auch der hohe Anspruch an die Qualität des Dartboards, das optimale Steckeigenschaften für die Stahlspitzen besitzen muss (gegeben durch Sisal-Naturfasern) samt eines möglichst dünnen Trennelementenetzes (Spider), um eine große Trefferfläche zu gewähren.
• Trotz der Beliebtheit und weiten Verbreitung des Steeldarts-Sports, gibt es keine funktionierende und kostengünstige Lösung zur automatischen Darterkennung und Punkteerfassung, die im Hobby- oder auch Profibereich anerkannt ist. Üblicherweise werden geworfene Punkte manuell gezählt. Statistiken zu 3-Darts-Durchschnitten werden aufwändig händisch geführt. Präzise Analysen zur individuellen Treffergenauigkeit und gar gezieltes Verbessern der Wurftechnik und des Trefferbildes sind kaum möglich.
• Hier kann ein System zur automatischen Darterkennung einen deutlichen Mehrwert für die Steeldarts-Community generieren. Voraussetzung dafür ist eine robuste Funktionsweise der Erkennung, die über die bloße Ermittlung des beim Wurf getroffenen Punktesegments hinausgeht.
• Beim Electronic Darts werden Wurfgeschosse durch einen veränderten Aufbau des Dartboards erkannt. Dabei stellt jedes Segment des Dartboards, vereinfacht gesagt, einen großen Schalter dar, der durch den geworfenen Dartpfeil aktiviert wird. Soit sind Rückschlüsse auf das getroffene Segment und eine automatische Punkteerfassung mit rechnergesteuerter Spielführung möglich. Eine exakte Bestimmung der Orientierungsparameter des Dartpfeils ist bauartbedingt nicht möglich.
• Die notwendigen Anpassungen für Dartboard-Struktur und Dartpfeil (Kunststoff statt Stahlspitzen) sorgen für ein Steeldarts untypisches Spielgefühl. Zur Realisierung wird eine typische E-Darts-Oberfläche aus Kunststoff mit vielen kleinen Löchern verwendet, in welche die Darts beim Wurf eindringen. Dieser Aufbau verbietet die Verwendung von Sisal-Naturfaser-Dartboards. Zudem sind die Dartpfeile wesentlich leichter und aus Kunststoff, um die Dartboardsensoren nicht zu beschädigen.
• Bauartbedingt kommt es beim E-Darts häufig zu nicht erkannten Würfen bzw. Abprallern (Bouncern), wenn ein Dartpfeil nicht die Löcher im Plasikboard getroffen hat und abprallt. Dies führt zudem häufig zur Zerstörung der Spitzen des Dartpfeils. Damit ist das Spielgefühl sowohl durch leichtere Dartpfeile, als auch das aufbaubedingte Knallgeräusch beim Dartpfeilaufprall fundamental anders und dem Liebhaber von Steeldarts fremd und unangenehm.
• Das System WildBull von Merlin Darts bestimmt über ein Radar-Prinzip die Eintreffpunkte der Dartpfeile auf dem Dartboard. Dieses System hat einen hohen Bauraumbedarf und kann deshalb nur in Kombination mit einem Dart-Automaten verwendet werden. Daraus ergeben sich gerade für den Privatanwender entscheidende Nachteile, da dieses System durch das das Dartboard beinhaltende große Gehäuse sehr platzintensiv ist. Dieser komplizierte und massive Aufbau schlägt sich in - zumindest für Privatanwender - zu hohen Kosten von ca. US$2500 nieder. Zudem können keine vollständigen Orientierungsparameter der Dartpfeile bestimmt werden, sondern nur das Segment des Dart-Eintreffpunktes.
• Das System Unicorn E-Bristle Electronic Dartboard von Unicorn realisiert die Bestimmung des Dart-Eintreffpunktes über Induktionsspulen, die in das Netz der Trennelemente (Spider) des Sisal-Dartboards integriert sind. Der sonst metallische Spider ist aus Kunststoff und deutlich dicker als bei Standard-Bristle-Dartboards. Das System verändert das Dartboard und somit das Spielgefühlt deutlich, da kein handelsübliches Dartboard mehr verwendet werden kann und beim Spiel mehr Steeldarts am Spider abprallen (Bouncer). Im Ergebnis ist das Dartboard ein elektronisches Dartboard, bei dem die einzelnen Segmente zwar aus Sisal bestehen, aber sonst nicht viel vom Steeldarts Spielgefühl übrig bleibt. Darüber hinaus erlauben die Induktionselemente nur eine großflächige Zuordnung des Dart-Eintreffpunktes in den Dartboardsegmenten. Das System ermöglicht daher nur die Erkennung des getroffenen Segments und nicht die Bestimmung sämtlicher Orientierungsparameter des Dartpfeils.
• Die Patentanmeldung US20110031696A1 beschreibt einen allgemeinen Aufbau zur Lokalisation eines Dartpfeils mit einer oder mehreren Kameras, welche um das Dartboard in einem Winkel zwischen 0° und 90° angebracht sind. Die Anmeldung beschreibt weder die Art der Verarbeitung der Bilder noch die Zusammenführung der Ergebnisse mehrere Kameras.
• Die Patentanmeldung KR102010012984A beschreibt eine Vorrichtung mit einer oder mehreren Kameras zur automatischen Analyse des Eintreffens eines Dartpfeils sowie dessen Eintreffpunktes. Das System verwendet die Differenz zwischen zwei gespeicherten Aufnahmen zur Analyse. Die auf Basis der Bildpunkte gefundene Pfeilspitze bestimmt die Wurfpunkte und benötigt dafür zwingend das im Bild sichtbare Dartboard samt Punktesegmente. Die Erkennungsgenauigkeit eines Dart-Eintreffpunktes ist daher gerade mit einer Kamera gering. Prinzipbedingt können sich überdeckende Dartpfeile nicht ausgewertet werden. Eine Bestimmung der Dart-Orientierung ist nicht möglich.
• Das im Rahmen eines Studienprojektes beschriebene System „Pub Pro: The Optically Scored Dartboard“ ermöglicht eine bildbasierte Punkteerfassung mittels einer Kamera. Das Dartboard wird durch klassische Bildverarbeitung automatisch im Kamerabild erkannt und Punktebereiche segmentiert. Der Eintreffpunkt der Dartpfeile im Kamerabild wird durch Vergleich von Pixelfarben bestimmt. Dazu müssen die Dartspitzen jedoch blau eingefärbt sein um die Erkennung sicher zu gewährleisten. Dies verhindert, dass ein Spieler Standard-Dartpfeile verwenden kann und führt somit zu einem wahrnehmbaren Eingriff des Systems in die Gewohnheiten des Spielers. Insgesamt ist das System fehleranfällig gegenüber Verdeckungen von Dartpfeilen, besitzt keine hohe Genauigkeit der Punktebestimmung durch das verwendete Bestimmungsverfahren mittels Segmentierung der Pfeilspitze und den Vergleich mit dem aus dem Bild extrahierten Dartboardmuster. Zudem liefert es keine 3D-Informationen, wie die Orientierung des Dartpfeils im Raum.
• Die in diesem Abschnitt genannten Verfahren haben zudem die Nachteile, dass sie zu ungenau sind und keine Informationen liefern können, wie die Dartpfeile im Dartboard stecken.
• Die Patentanmeldung US20060066053A1 beschreibt den gesonderten Aufbau zum Erkennen von Dartpfeilen, welcher jedoch nicht für Standardboards geeignet ist. Es erfolgt die Projektion eines beliebigen Spielfeldes auf ein weißes Sisalboard durch einen exakt senkrecht zum Dartboard ausgerichteten Projektor. Auf Basis dieses Aufbaus wird ein Dartpfeil durch zwei seitlich angebrachte Kameras aufgenommen. Der Dartpfeil muss sich dazu farblich vom weißen Hintergrund abheben, was die Auswahl möglicher Dartpfeile einschränkt. Somit greift das System in das gewohnte freie Spielgefühl ein und zwingt den Spieler zur Anpassung an verfahrensbedingte Vorgaben, die mit dem eigentlichen gewohnten Dartspiel nichts zu tun haben.
• Die zwei orthogonal angeordneten Kameras nehmen waagerecht und senkrecht Bilder der Pfeilspitze eines Dartpfeils auf. Getrennt und unabhängig voneinander wird in beiden Bildern nach der Pfeilspitze gesucht, sodass das eine Kamerabild die x-Koordinate ergibt, und das andere die y-Koordinate des Eintreffpunktes. Dabei wird in einem Kamerabild eine Pfeilspitze bildpunktweise, Bildzeile für Bildzeile, untersucht und ein linearer Zusammenhang der zeilenweisen Pfeilspitzenmittelpunkte angenommen, der zur Berechnung der jeweiligen x- oder y-Koordinate des Dart-Eintreffpunktes ausgewertet wird. Diese koordinatenweise Analyse pro Bild liefert im Ergebnis einen 2D-Eintreffpunkt des Dartpfeils, ermöglicht aber keine Bestimmung der vollständigen Orientierungsparameter.
• Die Patentanmeldung WO1998031979A1 beschreibt ein System zur Bestimmung des Dart-Eintreffpunktes unter Verwendung einer aktiven Lichtquelle an der Seite des Dartboards. Ein der Lichtquelle gegenüberliegender Lichtsensor wird im Schattenbereich des Dartpfeils verdunkelt. Mit mindestens zwei Sensoren kann so der Eintreffpunkt des Dartpfeils über Triangulation bestimmt werden. Es erfolgt keine Analyse von aufgenommenen Bildern. Nachteile sind eine geringe Genauigkeit und ein für Steeldarts untypisches Spielgefühl durch die für den Spieler wahrnehmbaren und ablenkenden Belichtungsphasen. Es ist nur die ungefähre Bestimmung der Lage der Dartspitze auf der Ebene des Dartboards möglich, nicht aber die Orientierung im Raum.
• Das Patent US5988645A beschreibt ein System zur Erfassung bewegter Objekte. Der Aufbau enthält eine Reihe aktiver Lichtquellen auf einer Seite sowie gegenüberliegende Lichtsensoren, die eine Lichtschrankenlösung realisieren. Durchquert ein Objekt das Feld der Lichtschranken kann auf dessen Position zurückgeschlossen werden. Der Aufbau ist durch seine Vielzahl an benötigten Lichtquellen und -sensoren aufwendig, kompliziert in der Realisierung und nicht dezent in ein Dartboard integrierbar. Zudem ist auch bei diesem System keine Bestimmung der Orientierungsparameter möglich.
• Die Patentanmeldung DE4207497A1 beschreibt ein System, welches eine rotierende Lichtschranke zur Bestimmung des Eintreffpunktes verwendet. Die Lichtschrankeneinheit wird stetig um das Dartboard herum bewegt, was massiv das Spielgefühl beeinflusst, da der Spieler durch die Bewegung und Beleuchtung des Systems irritiert und abgelenkt wird. Weder DE4207497A1 , noch die zuvor beschriebene Patentanmeldung WO1998031979A1 bzw. das Patent US5988645A ermöglichen die Bestimmung der vollständigen Orientierungsparameter eines geworfenen Dartpfeils. Die Anmeldungen beschreiben lediglich Verfahren um den groben Eintreffpunkt eines Dartpfeils zu ermitteln.
• Das Patent CA2279060C realisiert die Darterkennung auf einem Dartboard mittels elektromagnetischer Induktion in Spulen, die in jedes Segment des Dartboards integriert sind. Jedes Segment des Dartboards wird mit einer Kupferspule umrandet und elektrisch (galvanisch) getrennt von den anderen Segmenten. Tritt ein Dartpfeil in ein Segment ein, so induziert er eine Spannung. Das Eintreten dieser Veränderung führt zur Detektion des Dartpfeils und der Erkennung der vom Dartspieler erzielten Punkte. Die Detektion ermöglicht somit allerdings nur Rückschluss auf das getroffene Segment. Somit ist weder eine genaue Bestimmung des Dart-Eintreffpunktes möglich, noch die Bestimmung der Orientierungsparameter. Darüber hinaus stellt die systembedingte Veränderung des Dartboards durch Integration der Spulen einen drastischen Eingriff in den gewohnten Dartboardaufbau dar, der zu wahrnehmbaren Designänderungen führt und zudem die Verwendung eines handelsüblichen Standardboards verhindert. Somit führt der nötige Aufbau zu erheblichen negativen Veränderung des vom Dartsspieler gewohnten und geliebten Spielgefühls.
• Auf Grundlage von Laufzeitunterschieden bei der Messung von Schallwellen werden Systeme zur Ortung von Projektilen beschrieben ( US20060050610A1 , US5447315A , US8234070B2 ). Die Verfahren beruhen auf der Berechnung des zeitlichen Versatzes der Detektion eines akustischen Signals (Schalllauflängenunterschied) ausgehend von einem Projektil oder anderem akustischen Ereignis. Dabei werden keine Kamerabilder analysiert und die Genauigkeit dieser Systeme ist abhängig von einer präzisen zeitlichen Synchronisation und Zeitauflösung. Diese Lösungen sind zudem sehr anfällig für impulsartige Störgeräusche der Umgebung. Im Kontext einer Darterkennung treten diese Störgeräusche spielbedingt häufig bei Dartpfeilkollisionen und Berührungen mit den Segmentmetallen (Spiderberührungen) auf. Zusätzlich ist im Umfeld von Dartspielen mit einem hohen Pegel von Umgebungsgeräuschen zu rechnen, welches die Messung von Schalllauflängenunterschiede unmöglich macht. Die beschriebene akustische Auswertung verhindert zudem den gleichzeitigen Betrieb mehrerer Systeme nebeneinander (Kneipen- und Turnierszenario), da diese sich auf Ebene des akustischen Signals gegenseitig beeinflussen und Dartwürfe an verschiedenen Dartboards zu Fehldetektionen führen. All diese Probleme existieren bei kamerabasierten Lösungen zur Darterkennung nicht.
• Die Patentanmeldung US20030134700A1 realisiert die Erkennung des Eintreffpunkts durch Platzierung einer Kamera hinter einer durchschießbaren Dartboardeinheit. Somit muss einerseits das Dartboard von der Wand entfernt platziert werden und zum anderen eine Durchschussvorrichtung (Pergamentpapier o.ä.) existieren. Dies ist weder mit dem typischen Aufbau eines Dartboards an der Wand vereinbar, noch bietet ein Dartboard aus Naturfaser eine Möglichkeit, Durchschüsse zuzulassen. Beide Anforderungen stellen somit im Umfeld einer Darterkennung eine erhebliche Änderung des für das Dartspiel gewohnt einfachen Aufbaus dar.
• Die in diesem Abschnitt genannten Verfahren haben zudem die Nachteile, dass sie aufwändig zu realisieren sind und mit der notwendigen Modifikation des Spielaufbaus einen unerwünschten Eingriff in das Spielgefühl zur Folge haben. Darüber hinaus sind sie zu ungenau und liefern keine Informationen, wie die Dartpfeile im Dartboard stecken.
• Neben dem bisher diskutierten Stand der Technik gibt es eine Vielzahl weiterer Verfahren, die Anwendungen im Bereich des Dartspiels unter Verwendung von Kameras beschreiben. Diese Verfahren fokussieren Aspekte des Dartspiels, die allerdings nicht in Verbindung mit einer genauen Orientierungsbestimmung von Dartfpeilen stehen. Beispiele dafür sind das vernetzte Dartspiel über das Internet mit Übertragung von Kameraufnahmen vom Dartboard ( DE10309676A1 , JP2007117689A ) und vom Spieler ( US8113930B1 ) samt automatischer Erkennung des Moments des Wurfs ( JP5201860B2 ). Weitere kamerabasierte Systeme können den regelgerechten Spielablauf kontrollieren ( DE202015000225U1 ), die Wurfbereitschaft erkennen ( EP2942088A1 ) und Spieleraufnahmen im Moment des Sieges aufzeichnen ( EP697579B1 ).
• Keine der hier im Stand der Technik beschriebenen Verfahren und Patente bietet eine funktionierende und gleichzeitig akzeptierte Lösung zur automatischen Darterkennung. Alle beschriebenen Ansätze zeigen dabei eine oder mehrere der im folgenden zusammengefassten Schwächen:
• • Der Ansatz zur Darterkennung bzw. die Technologie verändert das bekannte Spielgefühl und Spielequipment zu stark und entfremdet den Sport. Beispielsweise werden Änderungen am Dartboard bzw. am Trennelementenetz (Spider) vorgenommen, sodass kein handelsübliches Sisal-Dartboard verwendet werden kann. Auch eine besondere Präparation der Steeldarts für die Erkennung ist dabei inakzeptabel.
• • Der Ansatz zur Darterkennung bzw. die Technologie ist zu teuer und aufwändig. Sie passt nicht in das Preisgefüge des sonstigen Steeldart-Equipments.
• • Der Ansatz zur Darterkennung bzw. die Technologie erzielt keine ausreichende Erkennungsgenauigkeit, sodass der Spieler ständig das System überwachen und korrigieren muss.
• • Der Ansatz ist nicht in der Lage zu bestimmen, wie die Dartpfeile im Dartboard stecken.
• Der Erfindung liegt die Aufgabe zugrunde eine kostengünstige, schnelle und gleichzeitig genaue Lagebestimmung von pfeilartigen Objekten relativ zu Oberflächen mit geringem Aufwand zu ermöglichen.
• Insbesondere für ein System zur automatischen Darterkennung ist ein Messaufbau notwendig, der robust und einfach zu bedienen ist und dezent im Hintergrund misst. Der Aufbau darf den Spieler weder ablenken, noch das Dartspiel verkomplizieren oder zur Anpassung der Spielweise an verfahrensbedingte Eigenheiten (Berechnungsverzögerung, rotierende Elemente, Lichtirritationen) zwingen. Nur mit der Erfassung der vollständigen Orientierungsparameter der Dartpfeile sind neben dem Eintreffpunkt auch präzise und komplexe Spielsituationen zu erfassen und im Sinne von Spieler- und Trainingsstatistiken auswertbar.
• Erfindungsgemäß wird die Aufgabe durch ein Verfahren zur Lagebestimmung von pfeilartigen Objekten zu Oberflächen nach Anspruch 1 gelöst, indem zunächst die Lage des oder der pfeilartigen Objekte bestimmt wird. Diese ergibt sich als Schnittgerade der von mindestens zwei Kameras aufgespannten Detektionsebenen. Diese wiederum werden durch den jeweiligen Fokuspunkt der Kamera und der zugehörigen 2D-Linienprimitve des pfeilartigen Objektes gebildet.
• Dieser Ansatz liefert unmittelbar eine dreidimensionale Parametrisierung des pfeilartigen Objektes. Dadurch ist es möglich - eine dreidimensionale Parametrisierung der Oberfläche vorausgesetzt - nicht nur den Auftreffpunkt des pfeilartigen Objektes auf der Oberfläche, sondern gleichzeitig die Orientierungsparameter zu bestimmen, d.h. man erhält zusätzliche Informationen, welchen Winkel das pfeilartige Objekt und die Oberfläche bilden. Einige der damit verbundenen Vorteile sind in Kapitel 6 beschrieben.
• Die Erfindung soll nachstehend anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert werden. Dabei wird zunächst der Anschaulichkeit wegen konkret auf das Problem der Punkteerfassung beim Darts eingegangen. Anschließend werden weitere Einsatzmöglichkeiten der Erfindung aufgezeigt.
• Es zeigen:
• 1: Schematische Darstellung der Detektionsebenen 10 und der Schnittgeraden 5 beider Ebenen durch den Dartpfeil 35 im Raum
• 2: mögliche Kameraanordnung gemäß Beispiel 1 (zwei Kameras 30 stehen 90° zueinander und blicken mit 15° Neigungswinkel auf das Dartboard 40 und die Dartpfeile 35)
• 3: mögliche Kameraanordnung gemäß Beispiel 2 (drei Kameras 30 stehen jeweils 120° zueinander und parallel zur Dartboard-Ebene)
• 4: mögliche Kameraanordnung gemäß Beispiel 3 (vier Kameras 30 sind oberhalb des Dartboards 40 mit 30° zueinander angeordnet und blicken mit 25° auf das Dartboard 40)
• 5: mögliche Kameraanordnung gemäß Beispiel 4 (einer Kamera 30 blickt auf das Dartboard 40 und auf das Spiegelbild des Dartboards 40 im Spiegel 53 und erzeugt so ein virtuelle Kamera 31)
• 6: mögliche Kameraanordnung gemäß Beispiel 5 (eine Kamera 30 auf einem beweglichen Trägerelement 51 blickt auf das Dartboard 40 und erzeugt durch Bewegung eine virtuelle Kamera 31)
• 7: markante Punkte der Segmentierung wie z. B. Schnittpunkte der geraden Trennstäbe 65 mit dem äußeren Double Ring 70
• 8: auf das Dartboard 40 standardmäßig aufgedruckte Merkmale wie z. B. Schrift 80, Logos oder Farbunterschiede der einzelnen Segmente an definierten Punkten
• 9: eine beispielhafte Ausführungsmöglichkeit für eine Kalibrierungshilfe mit Kugeln 85 (Ansicht von schräg oben)
• 10: Erfassung von Eintreffunkten pfeilartiger Objekte auf anderen Ebenen (hier eines Pfeils 95 auf einer segmentierten Zielscheibe 100).
• Überblick des Aufbaus
• Das hier beschriebene System besteht aus den Komponenten eines Dartboards 40, der Anordnung mehrerer Kameras 30 um dieses und einer Auswertungseinheit, welche die Datenverarbeitung der Kameras 30 vornimmt. Zusätzlich kommen eine Anzeige- und Interaktionseinheit zum Einsatz (der Übersichtlichkeit halber in den Figuren nicht explizit dargestellt).
• Mit diesem Aufbau ist der Algorithmus - neben der bloßen Ermittlung des beim Wurf getroffenen Punktesegments - im Stande, die vollständigen Orientierungsparameter eines Dartpfeils 35 zu bestimmen. Die Orientierungsparameter umfassen den Dart-Eintreffpunkt auf dem Dartboard sowie die 3D-Ausrichtung des Dartpfeils 35 relativ zum Dartboard 40. Eine mögliche Darstellungsform der Parameter ist die Parameterform $\overrightarrow{r}={\overrightarrow{r}}_0+\lambda \cdot \overrightarrow{u}$

  

  der Geradengleichung $\overrightarrow{r}$

  

  der 3D-Linienprimitive bzw. Rotationsachse des Dartpfeils 35. Der Ortsvektor ${\overrightarrow{r}}_0$

  

  zeigt dabei ausgehend vom Weltkoordinatenursprung zum Eintreffpunkt des Dartpfeils 35 auf dem Dartboard 40. Der Richtungsvekor $\overrightarrow{u}$

  

  zeigt ausgehend vom Eintreffpunkt in Richtung der 3D-Linienprimitive des Dartpfeils 35.
• Die mehreren Kameras 30 sind dabei so um das Dartboard 40 angeordnet, dass eine technische Lösung der Bestimmung der Orientierungsparameter der Dartpfeile 35 möglich wird. Die Kamerabilder werden dazu von der Auswertungseinheit aufgezeichnet und verarbeitet. Dies ermöglicht die Ermittlung grundlegender Informationen, die für Spielmodi und Statistiken des Dartspiels verwendet werden können. Die so gewonnenen Informationen werden durch mögliche Anzeige- oder Interaktionseinheiten wiedergegeben und unterstützen den Spieler beim Spiel und der Spielanalyse.
• Überblick der Verarbeitung
• Mit dem beschriebenen System soll das technische Problem der präzisen und vollständigen Lokalisation von pfeilartigen Objekten auf einer Oberfläche gelöst werden - insbesondere von Dartpfeilen 35 auf einem handelsüblichen Dartboard 40. In die Kategorie der pfeilartigen Objekte, für dass das Systems geeignet ist, fallen insbesondere alle mit hinreichender Güte durch eine Gerade approximierbaren Objekte.
• Das zur Problemlösung entwickelte System muss zudem minimal-invasiv sein, d.h., es muss das bisherige Spielgefühl bewahren, wodurch signifikante Modifikationen von Dartboard 40, Dartpfeilen 35 und direkter Umgebung von vornherein ausgeschlossen sind. Das vorgestellte System genügt diesen Anforderungen durch die Verwendung von einem dezenten Kamerasystem, bestehend aus mehreren Kameras 30, da diese auf das Dartboard 40 gerichtet sind und somit keinen direkten Einfluss auf das Dartboard 40 und dessen Aufbau, den Spielablauf und den Wurf von Dartpfeilen 35 haben.
• Das hier vorgestellte Verfahren zur Darterkennung gliedert sich in zwei Funktionsblöcke:
1. 1. Installationsmodus, der im Voraus eines Spieles, nach Aufbau des Systems einmalig durchlaufen wird, und
2. 2. Spielmodus, der während jedes Spiels ausgeführt wird.
• Der Installationsmodus beinhaltet das Bestimmen der Lage der Kameras 30 zueinander und das Bestimmen der Lage des Dartboards 40 im Raum.
• Der Spielmodus beinhaltet sowohl die Analyse der Orientierungsparameter des Dartpfeils 35 als auch die Umwandlung dieser Information in ein spielrelevantes Ergebnis (etwa in Form von Zählen der Punkte, Ermitteln der Abweichung, etc.).
• Zunächst wird die technische Umsetzung des Spielmodus dargestellt, da sie den zentralen Bestandteil der Erfindung darstellt (Kapitel 3). Anschließend werden mögliche Umsetzungen für den initial auszuführenden Installationsmodus aufgezeigt, wodurch das Gesamtsystem vollständig beschrieben ist (Kapitel 4).
• Erfassung der Lage des Dartpfeils im Raum (Spielmodus)
• Für die hier beschriebene Umsetzung des Spielmodus wird davon ausgegangen, dass der Installationsmodus (Kapitel 4) bereits erfolgreich durchlaufen wurde. Somit ist die Lage des Dartboards 40 im Raum sowie die Lage der Kameras 30 zueinander und zum Dartboard 40 bereits eindeutig bestimmt. Im Spielmodus werden während des Ablaufs eines Dartspiels hochgenaue Orientierungsparameter der Dartpfeile 35 berechnet. Aus diesen Informationen lassen sich die für das jeweilige Spiel entscheidenden Daten bestimmen, wie etwa Punkte, Wurfgenauigkeit, Eintreffwinkel oder weitere abgeleitete Statistiken.
• Durch Kenntnis der Orientierungsparameter des Dartpfeils 35 können komplette Spielszenen und deren Komplexität in der Stellung der Dartpfeile erkannt und statistisch ausgewertet werden.
• Dieser Mehrwert an präzisen Spielinformationen ermöglicht ein noch einfacheres Spielgefühl samt der Möglichkeit eines individuellen Trainings, da das System anhand der Orientierungsparameter Fehlstellungen der Dartpfeile 35 erkennt. Diese Orientierungsparameter sind unverzichtbar für eine präzise Punktebestimmung und Analyse der Spielsituation. Dabei ermöglicht die Orientierungsinformation das Erkennen von blockierten Dartboardbereichen und systematischen Schwächen des Werfers aufgrund schräger Dartpfeile 35. Diese Informationen sind gerade im professionellen Steeldarts-Umfeld von größter Bedeutung, um gezieltes Training initiieren zu können. Aber auch im Hobbybereich können individuelle Treffer- und Wurfstatistiken für ein verbessertes Spiel und Stategieempfehlungen verwendet werden und generieren so einen unverzichtbaren Mehrwert für die gesamte Darts-Community.
• Um diese Dart-Informationen zu erhalten, werden nachfolgend Möglichkeiten zur Bestimmung aus geeigneten Aufbauten aufgezeigt. Insbesondere werden Realisierungen zur Detektion eines erfolgten Wurfs vorgestellt (Kapitel 3.1) sowie durch Ausführungen zur genauen Lokalisation des Dartpfeils 35 in einzelnen Bildern (Kapitel 3.2) und deren Fusion zur Bestimmung der finalen 3D-Orientierungsparameter (Kapitel 3.3) erweitert.
• Detektion vom geworfenen Dartpfeil
• Das Auslösen des Triggers zur Detektion eines auf dem Dartboard 40 eingetroffenen Dartpfeils 35 erfolgt nach einer deutlich wahrgenommenen Veränderung, zum Beispiel bei Überschreitung einer Anzahl detektierter Vordergrundpixel. Dazu werden kontinuierlich in jeder Kamera 30 unabhängig voneinander Bilder aufgenommen und ein Differenzbild zwischen je zwei zeitlich aufeinander folgenden Bildern berechnet. Entsprechend große Änderung zeigen einen durchgeführten Wurf an und führen in den folgenden Schritten zu einer genauen Lokalisation des Dartpfeils 35.
• Das Differenzbild ergibt sich aus der pixelweisen Abstandsberechnung auf Grauwert- oder Farbbildern. Als Abstandsmaß zwischen zwei Pixeln kann als betragsmäßige Grauwertdifferenz oder der Abstand zwischen zwei Farbpunkten über eine ΔE-Formel berechnet werden.
• Das Vordergrundbild ergibt sich durch Verarbeitung der Differenzbilder, etwa durch Binarisierung des Differenzbildes mittels Schwellwert t₁ (Vorder-/ Hintergrundsegmentierung). Das Auslösen des Triggers erfolgt bei signifikanter Veränderung, etwa bei Überschreiten eines Schwellwerts t₂ der Anzahl der Pixel der Vordergrundfläche. Als Trigger wird der Mechanismus bezeichnet, der die in den folgenden Kapiteln beschriebenen weiteren Schritte des Algorithmus einleitet.
• Alternativ könnte ein Dartpfeil 35 oder relevante Teile des Dartpfeils auch über typische Merkmale, wie z.B. über rechnergestützte Muster-/Referenzpunkteerkennung, direkt in den Bildern der Kameras 30 detektiert werden. Merkmalssätze die eine Erkennung des Dartpfeils 35 oder relevanter Teile des Dartpfeils in den Bildern ermöglichen sind u.a.:
• • Die Teile des Dartpfeils (Barrel, Shaft, Tip, Flight und Protector) weisen eine bestimmte Farbe auf, die sich von den Farben im Hintergrund und von der Farben des Dartboards 40 unterscheidet.
• • Der Dartpfeil 35 bestitzt mindestens zwei ring- oder punktförmige Markierungen mit bekannter Lage und/oder einen Protektor die sich einfach in den Bildern der Kameras 30 lokalisieren lassen.
• • Ein auf dem Dartpfeil 35 angebrachtes Muster mit bekannter Geometrie das Punkte enthält, die gut in den Kameraansichten lokalisiert und eindeutig zueinander zugeordnet werden können (z.B. Schachbrettmuster).
• Die aktuelle Kameraaufnahme nach der Dartdetektion wird im Folgenden als Bild vom aktuellen Dartboard bezeichnet und durch das Symbol I_A abgekürzt. I_A beinhaltet bei erfolgreicher Triggerung den neuen Dartpfeil 35.
• Neben dem Bild vom aktuellen Dartboard 40 wird ein Bild vom Dartboard 40 ohne den neuen Dartpfeil 35 benötigt. Dieses Bild vom letzten Dartboard 40 wird im Folgenden durch das Symbol I_L abgekürzt. I_L wird zu Beginn der Dartdetektion als aktuelle Kameraaufnahme initialisiert. Falls der Trigger nicht ausgelöst wurde, wird dieses Bild mit der aktuellen Kameraaufnahme in jedem Zyklus der Dartdetektion überschrieben.
• Lokalisation von Dartpfeilen in einzelnen Bildern
• Die erhaltenen Differenzbilder werden nach Vorverarbeitungsschritten für die Bestimmung der Orientierungsparameter des Dartpfeils 35 verwendet. Grundlegend ist dabei die Modellierung eines Dartpfeils 35 als 2D-Linienprimitive 25 innerhalb eines Bereiches des Binärbildes mit passender, länglicher Kontur. Wird in den Differenzbildern ein Dartpfeil 35 erkannt, werden im nächsten Schritt 2D-Linienprimitiven als Approximation der 2D-Abbildungen des Dartpfeils 35 bestimmt. Dies erfolgt über ein robustes Verfahren zum Linienfinden in allen Kameraansichten unabhängig voneinander (Kapitel 3.2.4).
• Eine geometrische Eigenschaft eines Dartpfeils 35 ohne den Flight ist, dass er rotationssymmetrisch um die Rotations- bzw. Symmetrieachse $\overrightarrow{r}$

  

  ist. Die Rotationsachse $\overrightarrow{r}$

  

  geht dabei mittig durch Barrel und Shaft. Ein vollständiger Dartpfeil 35 mit einem Standard-Flight hat hingegen eine Rotationssymmetrie von 4, da er nach Drehungen um die Rotationsachse $\overrightarrow{r}$

  

  um jeweils 90° wieder genau den gleichen Platz einnimmt, wie im Ausgangszustand (vgl.: ein Quadrat hat ebenso eine Rotationssymmetrie von 4). Die 2D-Abbildung des Dartpfeils 35 ohne den Flight ist achsensymmetrisch zur 2D-Abbildung von $\overrightarrow{r}$

  

  Die 2D-Abbildung des Dartpfeils 35 mit Flight wird im Verlauf einer vollständigen Drehung des Dartpfeils 35 um $\overrightarrow{r}$

  

  an 8 Positionen achsensymmetrisch und ist an allen anderen Positionen asymmetrisch.
• Zur Berechnung der gesuchten Orientierungsparameter des Dartpfeils 35 ist nur die Berechnung von $\overrightarrow{r}$

  

  erforderlich - die Drehung des Dartpfeils 35 um $\overrightarrow{r}$

  

  ist irrelevant. In diesem Zusammenhang bietet die 2D-Abbildung des Flight daher kaum nützliche Informationen und kann bei der Berechnung verworfen werden. Die berechnete 2D-Linienprimitive 25 als Approximation der 2D-Abbildung des Dartpfeils 35 sollte letztlich der 2D-Abbildung von $\overrightarrow{r}$

  

  entsprechen. Durch Berechnung der Symmetrieachse der 2D-Abbildung des Dartpfeils 35 unter Vernachlässigung der 2D-Abbildung des Flight resultiert beim Verfahren zum Linienfinden somit die gesuchte 2D-Linienprimitive 25. Die in den Kameraansichten gefundenen 2D-Orientierungsparameter der 2D-Linienprimitiven 25 werden schließlich zu den 3D-Orientierungsparametern fusioniert (siehe Kap. 3.3.).
• Wird das System zur Lokalisation von anderen pfeilartigen Objekten verwendet, sollte die berechnete 2D-Linienprimitive 25, ähnlich wie beim Dartpfeil 35, eine gute Approximation der 2D-Abbildung des pfeilartigen Objektes darstellen. Je weiter die Geometrie des pfeilartigen Objektes von einem rotationssymmetrischen Körper entfernt ist, desto schlechter wird die Güte der aus den 2D-Linienprimitiven und deren Fusion zu einer 3D-Linienprimitiven berechneten Orientierungsparameter. Für alle rotationssymmetrischen pfeilartigen Objekte liefert das System demnach die tatsächlichen Orientierungsparameter. Für alle näherungsweise rotationssymmetrischen pfeilartigen Objekte müssen gewisse Teile der 2D-Abbildung des Objektes verworfen werden.
• Die Vereinfachung des Dartpfeils 35 auf eine 2D-Linienprimitive 25 verringert den Berechnungsaufwand z.B. gegenüber einer vollständigen 3D-Rekonstruktion des Dartpfeils 35 aus einer Punktewolke. Zudem kann ein unveränderter Dartpfeil 35 erkannt werden, wodurch die in industriellen 3D-Messsystemen übliche Projektion von Referenzpunkten oder -streifen entfällt (Lidar, Streifenlichttopometrie usw.). Dies resultiert in einer zusätzlichen Kosten- und Aufwandsreduktion.
• Im Folgenden werden mögliche Realisierungen der einzelnen Verfahrensabschnitte näher ausgeführt.
• Berechnung des Binärbildes
• Die Dartlokalisation erfolgt für alle Kameras 30 getrennt nach dem Auslösen des Triggers (Dartdetektion) durch mindestens N Kameras 30 (1 < N < Anzahl Kameras 30). Der Lokalisationsalgorithmus ist bis zu Kapitel 3.3 für alle Kameras 30 gleich und wird daher nur aus Sicht einer Kamera 30 beschrieben.
• Zur Lokalisation wird zunächst das Binärbild I_LA zwischen I_L und I_A berechnet. Das dafür verwendete Verfahren ist analog zu dem Kapitel 3.1 beschriebenem Verfahren zur Vorder-/ Hintergrundsegmentierung. In einem Vorverarbeitungsschritt müssen die Bilder I_L und I_A dazu rektifiziert werden. D.h. radiale oder tangentiale Verzeichnungen müssen aus den Bildern entfernt werden, sodass die resultierenden Abbildungen durch das Lochkameramodell beschrieben werden können. Derartige Verzeichnungen treten durch das Linsensystem der Kamera auf und sind besonders stark bei Fischaugen- und Weitwinkelobjektiven ausgeprägt.
• Im nächsten Schritt werden die Konturen aller Vordergrundsegmente in I_LA berechnet und nach ihrer Länglichkeit und Fläche sortiert. Letztlich wird nur das länglichste und größte Vordergrundsegment zurückgegeben und alle anderen Konturen werden eliminiert. Das übrige Vordergrundsegment beinhaltet daraufhin den länglichen Teil des Dartpfeils 35 (Barrel + Shaft), der zur Berechnung der Ausrichtung wichtig ist.
• Schattenentfernung aus Binärbild
• Durch die im letzten Abschnitt beschriebene Binarisierung werden jegliche Veränderungen in I_A im Vergleich zu I_L erfasst. Ist das Dartboard selbst im Bild zu sehen, gehört neben dem eingetroffenen Dartpfeil 35 auch dessen Schatten dazu. Der nachfolgende Algorithmus dient der Schattenentfernung aus den Binärbildern.
• Zunächst werden die projektiven 2D-Transformationen zwischen der Ebene des Dartboards 40 im Raum und der Abbildung des Dartboards 40 in den Kameras 30 mit Hilfe der Kamerakalibrierung aus dem Installationsmodus berechnet.
• Nach einer Invertierung der projektiven Transformationen in den Bildern der Kameras 30 wird die als Ellipse abgebildete Ebene des Dartboards 40 kreisförmig. Die Ausrichtung (Rotation und Translation) der so erhaltenen kreisförmigen Abbildungen des Dartboards 40 ist in allen Ansichten gleich. Nach der Invertierung der projektiven Transformation in den Binärbildern befindet sich der als Vordergrund detektierte Schatten in allen Kameraansichten an der gleichen Stelle. Der als Vordergrund detektierte wahre Dartpfeil 35 befindet sich hingegen an unterschiedlichen Stellen. Alle Vordergrundsegmente mit gleicher Lage in den Binärbildern gehören somit zum Schatten und werden entfernt.
• Weitere Verbesserungen des Binärbildes
• Wenn der aktuell geworfene Dartpfeil 35 einen anderen Dartpfeil 35, der bereits im Dartboard 40 steckt, beim Eintreffen berührt oder allgemein zwei bis drei Dartpfeile 35 nahe beieinander auf dem Dartboard 40 eintreffen, müssen besondere Vorkehrungen bei der Berechnung der Binärbilder getroffen werden.
• Robuster Linienfit im Binärbild
• Nach den genannten Vorverarbeitungsschritten zur Eliminierung sonstiger Vordergrundsegmente, neben dem Dartvordergrund, besteht der nächste Schritt darin, die Ausrichtung des Dartpfeils 35 in den aktuellen Kameraansichten zu bestimmen.
• Dazu wird mittels linearer Regression eine Gerade durch die Punktewolke des Vordergrundsegments geschätzt. Das dabei minimierte Abstandsmaß muss robust gegenüber Ausreißern sein (z.B. Welsch Abstandsmaß).
• Die geschätzte Gerade durch das Vordergrundsegment wird nachfolgend zur Schätzung der Ausrichtung des Dartpfeils 35 im Raum verwendet. Die so gefundene Gerade ist eine Approximation der Abbildung des Dartpfeils 35 als 2D-Linienprimitive 25.
• Fusion der Orientierungsparameter von der Ebene zum Raum
• Alle in den einzelnen Kameraansichten gefundenen 2D-Linienprimitiven 25 korrespondieren zueinander, d.h. die 2D-Linienprimitive 25 stellen die Abbildungen desselben 3D-Objekts (3D-Linienprimitive bzw. Rotationsachse $\overrightarrow{r}$

  

  des Dartpfeils 35 im Raum) auf die Bildebene der Kameras 30 dar. In den Kameras 30 wird somit in Form von korrespondierenden 2D-Linienprimitiven 25 die gleiche räumliche Referenz des Dartpfeils 35 abgebildet.
• Durch Verwendung der Kamerakalibrierung aus dem Installationsmodus können die gefundenen 2D-Linienprimitiven 25 in einen 3D-Zusammenhang gesetzt und die Fusion aller Kameraansichten durchgeführt werden. Dazu spannen die 2D-Linienprimitiven 25 des Dartpfeils 35 mit dem Fokuspunkt der Kamera 15 jeweils eine Ebene im 3D-Raum auf (siehe 1). Diese Ebenen werden im Folgenden als Detektionsebenen 10 bezeichnet. Wurden derart mindestens zwei Detektionsebenen 10 aufgespannt, können diese miteinander geschnitten werden. Dabei stellt die Schnittgerade 5 den Dartpfeil 35 vereinfacht als 3D-Linienprimitive dar. Die 3D-Linienprimitive entspricht letztlich $\overrightarrow{r}$

  

  und liefert die gesuchten Orientierungsparameter des Dartpfeils 35.
• Durch Schnitt der Dartboard-Ebene mit der 3D-Linienprimitive des Dartpfeils 35 ist es möglich, den exakt getroffenen Punkt auf dem Dartboard 40 zu ermitteln und in entsprechende Spielpunkte oder getroffene Bereiche auf dem Dartboard 40 umzurechnen. Die Berechnung der Ausrichtung des Dartpfeils 35 im Raum erfolgt über die Triangulation von korrespondierenden Geraden in zwei Kameraansichten bzw. allg. der 3D-Rekonstruktion einer Geraden bei mehr als zwei Kameraansichten. D.h. die 2D-Geraden stellen die Abbildung derselben Gerade im Raum auf die Bildebene der Kameras 30 dar. Man betrachtet die zwei Detektionsebenen 10, die durch die Fokuspunkte der Kameras 15 und den 2D-Linienprimitiven 25 des Dartpfeils 35 in den Bildebenen 20 aufgespannt werden. In 1 sieht man hierzu eine schematische Darstellung der Detektionsebenen 10 und der Schnittgeraden 5 beider Ebenen durch den Dartpfeil 35 im Raum. Die Schnittgerade 5 der Detektionsebenen 10 entspricht daraufhin der gesuchten Ausrichtung des Dartpfeils 35. Die so gefundene Gerade 5 ist eine Approximation des Dartpfeils 35 als 3D-Linienprimitive.
• Da die dafür nötigen Transformationen vom Bildkoordinatensystem in das Kamerakoordinatensystem der Kameras 30 und vom Kamerakoordinatensystem in das Weltkoordinatensystem im Installationsmodus ermittelt wurden, kann die 3D-Ausrichtung des Dartpfeils 35 eindeutig rekonstruiert werden.
• Bei Verwendung von mehr als zwei Kameras 30 kann die Auswertung durch gemeinsame Betrachtung mehrerer Kameraansichten, zum Beispiel über alle sinnvollen Kamerapaare erfolgen. Die Auswahl der sinnvollen Kamerapaare erfolgt zum einen in Abhängigkeit des Winkels zwischen den optischen Achsen beider Kameras 30. Bei der Auswahl wird berücksichtigt, dass ein Kamerapaar, deren optische Achsen parallel oder antiparallel ausgerichtetet sind, eine deutlich schlechtere 3D-Rekonstruktion der 3D-Linienprimitive liefern als ein orthogonal ausgerichtetes Kamerapaar.
• Zum anderen werden nur jene Kameras 30 mit einer vorteilhaften Ansicht des aktuellen Dartpfeils 35 ausgewählt. Als vorteilhaft gelten Kameraansichten, in denen keine oder nur geringfügig partielle Verdeckung des aktuell geworfenen Dartpfeils 35 durch bereits im Dartboard 40 steckende Dartpfeile 35 auftritt.
• Nach der Auswahl der sinnvollen Kamerapaare erfolgt die Berechnung aller Schnittgeraden zwischen den Detektionsebenen 10 für jedes sinnvolle Kamerapaar einzeln. Die 3D-Linienprimitive des Dartpfeils 35 ergibt sich daraufhin aus einer robusten Schätzung über alle Schnittgeraden 5.
• Der Vorteil bei Verwendung von mehr als zwei Kameras besteht darin, dass bei zwei bis drei im Dartboard 40 steckenden Dartpfeile 35, die sich partiell gegenseitig verdecken, meist mindestens ein Kamerapaar freie Sicht auf jeden Dartpfeil 35 hat. Je mehr Kameras 30 verwendet werden, desto robuster wird daher das System gegenüber Verdeckung.
• Die FIGs. 2, 3 und 4 zeigen beispielhaft die resultierenden Detektionsebenen 10 für drei unterschiedliche Kameraanordnungen bei Verwendung von zwei, drei oder vier Kameras 30.
• 2 zeigt das erste Beispiel möglicher Kameraanordnungen. Die Kameras 30 stehen 90° zueinander und blicken mit 15° Neigungswinkel auf das Dartboard 40. Das heißt die Kameras 30 sehen das Dartboard 40 und eine Kalibrierung über boardeigene Merkmale ist möglich (vgl. Abschnitt 4.1).
• 3 zeigt das zweite Beispiel möglicher Kameraanordnungen. Drei Kameras 30 stehen jeweils 120° zueinander und parallel zur Dartboard-Ebene. Diese Anordnung ist aufgrund der flachen Bauart sehr dezent. Die Kameras 30 sehen aufgrund dieser Anordnung das Dartboard 40 jedoch nicht oder nur eingeschrängt. Eine Kalibrierung über boardeigene Merkmale ist deshalb nur schwer möglich. Die Integration der Kameras 30 in ein Dartboardsurround 45 verbessert den Schutz der Kameras 30 vor Fehlwürfen.
• 4 zeigt das dritte Beispiel möglicher Kameraanordnungen. Vier Kameras 30 sind oberhalb des Dartboards 40 mit 30° zueinander angeordnet und blicken mit 25° auf das Dartboard 40. Die Kameras 30 befinden sich auf einem gemeinsamen Trägerelement 50. In dieses Trägerelement 50 sind Beleuchtungselmenete 55 (z.B. LED) integriert. Die Integration der Kameras 30 in eine Leuchte oder Lampe ermöglicht eine unauffällige Positionierung der Kameras 30 um das Dartboard 40. Zusätzlich ist eine gute Ausleuchtung des Dartboards 40 gut für die Spieler aber auch hilfreich für die Bestimmung der Orientierungsparamenter.
• Zum Aufspannen der Detektionsebene 10 können auch virtuelle Kameras 31 verwendet werden. Virtuelle Kameras 31 lassen sich zum Beispiel durch die Verwendung von Spiegeln 53 oder das Bewegen von Kameras 30 im Raum erzeugen.
• Der Vorteil bei der Verwendung von virtuellen Kameras 31 besteht darin, dass mit einer „realen“ Kamera 30 eine Vielzahl an virtuellen Kameras 31 erzeugt werden kann. Dies bedeutet eine Kostenersparnis gegenüber den Kameraanordnungen, die mehrere „realen“ Kameras 30 benötigen. Außerdem lässt sich mit beweglichen Kameras 30 gut auf Verdeckung eines Dartpfeils 35 durch andere Dartpfeile 35 reagieren, da es eine Vielzahl an möglichen Kamerapositionen gibt und die zur Detektion des Dartpfeils 35 und der Bestimmung der Orientierungsparameter günstigste Position angefahren werden kann.
• Die FIGs. 5 und 6 zeigen beispielhaft Kameraanordnungen mit Kameras 30 und virtuellen Kameras 31 und die resultierenden Detektionsebenen 10 bei der Verwendung eines Spiegels 53 und einer sich bewegenden Kamera 30.
• 5 zeigt das vierte Beispiel möglicher Kameraanordnugen. Eine Kamera 30 sieht den Dartpfeil 35 und eine zweite Ansicht des Dartpfeils 35 im Spiegel 53. Der Ansicht im Spiegel 53 lässt sich eine virtuelle Kamera 31 zuordnen und so auch eine Detektionsebene 10 aufspannen.
• 6 zeigt das fünfte Beispiel möglicher Kameranordnungen. Eine Kamera 30 befindet sich auf einem beweglichen Trägerelement 51 und wird um das Dartboard 40 bewegt. Die Kamera 30 nimmt in der ersten Position eine Ansicht des Dartpfeils 35 auf wobei auch die zur Ansicht zugehörigen Positionen der Bildebene 20 und des Fokuspunktes 15 mit erfasst werden. Aus diesen Informationen lässt sich eine virtuelle Kamera 31 erzeugen und somit auch noch eine Detektionsebene 10 aufspannen, wenn die Kamera 30 sich zur zweiten Position weiter bewegt hat.
• Erfassung der Lage des Dartboards im Raum (Installationsmodus)
• Wie initial erwähnt, ist zur Realisierung der Lagebestimmung im Spielmodus ein vorher erfolgreich abgeschlossener Installationsmodus erforderlich. Die technische Umsetzung des Installationsmodus wird nachfolgend näher beschrieben.
• Im Installationsmodus wird die grundlegende Geometrie des Aufbaus (Lage der Kameras 30 relativ zum Dartboard 40) präzise bestimmt. Dieser gliedert sich in zwei Teilaspekte: die Bestimmung der instrinsichen Kameraparameter und der relativen Lage aller Kameras 30 zueinander sowie der Bestimmung der relativen Lage des Dartboards 40 zu den Kameras 30.
• Im ersten Schritt werden die intrinsischen Kameraparameter und die relative Lage aller Kameras 30 zueinander im Raum bestimmt und in Bezug zum gemeinsamen Weltkoordinatensystem gesetzt. Die Lage einer Kamera 30 im Raum umfasst dabei die 3D-Position des Fokuspunktes 15 und die 3D-Ausrichtung der optischen Achse. In Abhängigkeit der Anzahl und Positionen der Kameras 30 können verschiedenen Verfahren aus dem Stand der Technik zur Bestimmung der intrinsischen Kameraparameter und der Lage der Kameras 30 im Raum genutzt werden (siehe Kamerakalibrierung, Schätzung der Epipolargeometrie, des trifokalen/quadrifokalen Tensors usw.). In diesem Dokument wird daher nicht näher darauf eingegangen.
• Im zweiten Schritt des Installationsmodus wird die Lage des Dartboards 40 im Raum relativ zum eben definierten Weltkoordinatensystem bestimmt. Die Lage des Dartboards 40 im Raum umfasst die Ebenengleichung der Dartboard-Ebene und die Rotation des zylinderförmigen Dartboards 40 um seine Rotationsachse in Bezug zu einer eindeutig definierten Ausrichtung. Die Lage des Dartboard 40 kann also z.B. eindeutig über die Dartboard-Ebenengleichung in Normalenform $\left(\overrightarrow{x}-\overrightarrow{p}\right)\cdot \overrightarrow{n}=0$

  

  mit einem Stützvektor $\overrightarrow{p},$

  

  der in die Mitte des Bull's-Eye und damit in die Mitte des Dartboards 40 zeigt und einem Vektor $\overrightarrow{v},$

  

  der ausgehend von diesem Stützvektor $\overrightarrow{p}$

  

  das 6er-Segment halbiert und in Richtung Dartboardrand zeigt, angegeben werden. Zusätzlich zur Ebenengleichung und der Ausrichtung gehört die Skalierung bzw. der Radius des Dartboards 40 zum Parametersatz, der die Lage des Dartboards 40 im Raum charakterisiert.
• In Abhängigkeit der Gegebenheiten und möglicher Annahmen können dabei verschiedene Kalibrierverfahren vorteilhaft sein, etwa um der Freiheit der Kamerapositionierung Rechnung zu tragen. Nachfolgend werden drei mögliche Verfahren zur Realisierung vorgestellt, welche unterschiedliche Vorteile bieten.
• Eine grundlegende Annahme aller vorgestellten Verfahren ist eine definierte und bekannte Geometrie der Zielscheibe, welche im System hinterlegt ist. Für den Fall eines Dartboards 40 bedeutet das, dass z.B. die Dartboardaufteilung in Ringe und Segmente klar definiert und bekannt ist. Da moderne Fertigungsverfahren sehr geringe Fehlertoleranzen haben, ist die Annahme des theoretisch perfekten Dartboards 40 auch praktisch zulässig und führt nicht zu signifikanten Abweichungen. Zudem erlaubt diese Annahme eine Reduzierung des Bildverarbeitungs- und Rechenaufwands, da nicht jedes Segment des Dartboards 40 separat kalibriert werden muss. Somit wird insgesamt eine schnellere und robustere Ausführung des Installationsmodus ermöglicht.
• Um den Kameraansichten die Lage des Dartboards 40 bzw. des im System hinterlegten Musters zuzuweisen, werden auf den durch die Kameras 30 aufgenommenen Bildern vorgegebene Referenzgeometrien bzw. Kalibriermuster gefunden und einander zugeordnet. Referenzgeometrien bzw. Kalibriermuster können zum Beispiel eindeutig zuordenbare Punkte in allen Kameraansichten sein (Abschnitt 4.1 und 4.2) oder aber zueinander korrespondierende Linien (Abschnitt 4.3). Dies bedeutet, dass ein Referenzpunkt bzw. eine Referenzgerade im Bild der ersten Kamera 30 auch im Bild der zweiten, dritten, .. , N-ten Kamera 30 erkannt wird und diese eindeutig zueinander zuordenbar sind. D.h. die in den Kameraansichten gefundenen Punkte bzw. Geraden stellen die 2D-Abbildungen desselben Punktes bzw. derselben Geraden im Raum dar.
• Die Erkennung und Markierung der Referenzpunkte bzw. -geraden in den jeweiligen Kamerabildern kann sowohl manuell (z.B. durch Anklicken) oder automatisiert durch Verfahren der maschinellen Bildverarbeitung erfolgen. Um die Lage des Dartboards 40 im Raum eindeutig zu bestimmen, sind mindestens drei Referenzpunkte nötig, die nicht auf einer Linie liegen, wobei die genaue Lage von mindestens zwei der Referenzpunkte auf der Dartboard-Ebene bekannt sein muss. Je mehr Referenzpunkte genutzt werden, umso genauer wird die Lagebestimmung. Nach einer 3D-Rekonstruktion dieser Punkte, dem Legen der Dartboard-Ebenen durch die Referenzpunkte und des Vektors $\overrightarrow{v}$

  

  durch zwei der Referenzpunkte (z.B. durch Dreipunktform der Ebenengleichung), ist die Lage des Dartboards 40 im Raum bestimmt und der Installationsmodus abgeschlossen.
• Die Lage der Kameras 30 zueinander und die Lage des Dartboards 40 im Raum kann alternativ auch bereits vorgegeben sein, wodurch der Installationsmodus damit abgeschlossen ist. Wenn z.B. die Kameras 30 um das Dartboard 40 herum an einer bestimmten Position an der Wand in einem definierten Abstand zueinander und zum Dartboard 40 nach 3 befestigt wurden, die intrinsischen Parameter der Kameras 30 und der Abstand der Kameras 30 von der Wand bekannt sind, können die Rotationen und die Translationen zwischen den Koordinatensystemen der Kameras 30, des Dartboards 40 und dem Weltkoordinatensystem berechnet werden. Die Güte der so bestimmten Lage der Kameras 30 und des Dartboards 40 im 3D-Weltkoordinatensystem ist in diesem Fall von den Fehlertoleranzen bei der Fertigung der Kamerakonstruktion und der Messgenauigkeit der benötigten Abstände und Ausrichtungen der Kameras 30 und des Dartboards 40 abhängig.
• Im Nachfolgenden werden beispielhaft Möglichkeiten aufgezeigt, wie am Dartboard 40 vorhandene Merkmale als Referenz für die Kalibrierung verwendet werden können (Abschnitt 4.1). Außerdem werden Möglichkeiten beschrieben, wie Hilfsgeometrien und Hilfsmuster für die Kalibrierung genutzt werden können (Abschnitt 4.2). Abschließend wird die Verwendung von geworfenen Dartpfeilen 35 zur Kalibrierung mit korrespondierenden Geraden aufgezeigt (Abschnitt 4.3).
• Verwendung von boardeigenen Merkmalen zur Kalibrierung
• Die Kalibrierung kann über typische und markante Referenzpunkte eines handelsüblichen Dartboards 40 realisiert werden. Diese Referenzen können z.B. sein:
• • Markante Punkte der Segmentierung wie z.B. alle Schnittpunkte 60 der geraden Trennstäbe 65 mit dem äußeren Double Ring 70 auf dem Dartboard 40, da die realen Abmaße des Dartboards 40 (18° Winkel eines Segments, 17 cm Radius äußerer Double Ring) bekannt und standardisiert sind. Mithilfe dieser realen Abmaße und den 3D-rekonstruierten Punkten steht die Größe des Dartboards 40 eindeutig fest. 7 zeigt beispielhaft einen dieser Referenzpunkte.
• • Auf das Dartboard 40 standardmäßig aufgedruckte Merkmale, wie Schrift, Logos oder Farbunterschiede der einzelnen Segmente an definierten Stellen und mit definierten Abmaßen. 8 zeigt beispielhaft einen markanten Punkt 75 eines Schriftzugs 80 auf einem Dartboard 40.
• Verwendung von additiven Merkmalen zur Kalibrierung
• Um die Lagebestimmung des Dartboards 40 im Raum zu verbessern, besteht die Möglichkeit, Kalibrierungshilfen temporär (oder auch dauerhaft) am Dartboard 40 anzubringen. Solche Kalibrierungshilfen können etwa in Form von Hilfsmustern oder Hilfsgeometrien an definierten Stellen realisiert werden. Diese lassen sich speziell für die manuelle und automatische Auswertung in Form, Struktur und Farbe optimieren. Sind solche Hilfen über die Dartboard-Ebene erhaben, eigenen sie sich auch zur sicheren Kalibrierung bei flachen Kamerawinkeln.
• Im Folgenden ist beispielhaft eine Ausführungsmöglichkeit für eine Kalibrierungshilfe beschrieben.
• Es werden Kugeln 85 als Hilfsgeometrien an definierten Stellen temporär (oder dauerhaft) am Dartboard 40 befestigt (siehe 9). Die Kugeln 85 haben unterschiedliche Farben und lassen sich so eindeutig auf den Bildern der unterschiedlichen Kameras 30 in Korrespondenz bringen. Die Kugeln 85 besitzen einen Sockel 90, der sich, über einen Formschluss mit den Enden der geraden Trennstäbe 65, exakt am Dartboard 40 positionieren lässt.
• Eine Kugel 85 erscheint auf einem 2D-Bild stets als Kreis - unabhängig von Blickwinkel und Perspektive. Ein Kreis und sein Mittelpunkt stellen ein einfaches geometrisches Muster dar, das sich relativ leicht finden und auswerten lässt. Der Mittelpunkt des Kreises stellt immer den Mittelpunkt der Kugel 85 dar und ist somit ein eindeutiger Punkt im 3D-Raum, welcher zur Kalibrierung genutzt werden kann.
• Es ist ebenso möglich, zukünftig Dartboards 40 mit bereits integrierten Kalibrierungshilfen/-mustern herzustellen. Zum Beispiel könnten die oben beschrieben Kugeln 85 hier bereits mit montiert und positioniert oder spezielle Aufdrucke für die räumliche Erkennung standardmäßig auf den Dartboards 40 mit vorgesehen werden.
• Verwendung gelabelter Dartpfeile zur Kalibrierung
• Bei dieser Art der Kalibrierung werden Dartpfeile 35 als Hilfsgeometrie benutzt. Da die Dartpfeile 35 immer über die Dartboard-Ebene erhaben sind, eignet sich diese Art der Kalibrierung auch für Winkel nahe 90° zwischen den optischen Achsen der Kameras 30 und der Dartboard-Ebene 40 (siehe 3).
• Es werden zum Beispiel Dartpfeile 35 an vorgegebene Stellen unter verschiedenen Winkeln temporär ins Dartboard 40 gesteckt. Das System erfasst diese Positionen und über eine ausreichend große Anzahl an gesteckten Dartpfeilen 35 lässt sich die Lage des Dartboards 40 bestimmen. Geeignete Positionen sind beispielsweise die Ecken der einzelnen Segmente. Der Dartpfeil 35 hat hier jeweils zwei Anlageflächen und die Lage der Dartboard-Ebene ist so in zwei Richtungen begrenzt.
• Eine weitere Möglichkeit der Kalibrierung stellt eine Abwandlung der temporär zur Kalibrierung an definierten Stellen ins Dartboard 40 gesteckten Dartpfeile 35 dar. Hierfür werden die Orte an denen die Dartpfeile 35 zu platzieren sind nicht vorgegeben, sondern es wird einfach mit dem Spiel begonnen. Jedem geworfenen und im Dartboard 40 steckenden Dartpfeil 35 wird manuell das getroffene Segment eindeutig zugeordnet. Über eine ausreichend große Anzahl an geworfenen Dartpfeilen 35 lässt sich die Lage des Dartboards 40 iterativ bestimmen. Sobald die Lage durch das System ausreichend genau bestimmt wurde, ist der Kalibrierungsmodus abgeschlossen und eine manuelle Eingabe des getroffenen Segments nicht mehr erforderlich.
• Erfassung von Eintreffpunkten ausgedehnter Objekte auf anderen Ebenen
• Neben der Anwendung zur Beobachtung und automatischen Punkteerfassung beim Darts kann die Erfindung auch universell überall dort eingesetzt werden, wo ausgedehnte, pfeilartige Objekte auf eine Ebene oder Oberfläche treffen. Diese Objekte können z.B. Pfeile jeglicher Art, Speere oder Raketen sein. Über die Orientierungsparameter lassen sich diesen Objekten Eintreffpunkt und -winkel sowie ggf. eine Lagebewertung zuordnen. Zum Beispiel kann das System beim Bogenschießen 10 angewendet werden. Der Pfeil 95 steckt hier nicht in einem Dartboard 40, sondern in einer dem Bogenschießen entsprechend segmentierten Zielscheibe 100.
• Verwendung der Positionsdaten
• Die exakte Erfassung der Lage des Dartpfeils 35 im Raum liefert dem Spieler einen deutlichen Mehrwert im Vergleich zu bisherigen Lösungen der Punkte- und Statistikerfassung beim Darts. Aus der räumlichen Lage des Dartpfeils 35 lässt sich zum einen vollautomatisch der exakte Eintreffpunkt des Dartpfeils 35 auf dem Dartboard 40 bestimmen, statt wie beim E-Dart nur nur das getroffene Segment. Darüber hinaus lässt sich der Winkel, unter welchem der Dartpfeil 35 im Dartboard 40 steckt, bestimmen. Diese Daten werden genutzt, um eine Fülle an Zusatzinformationen zu generieren, die den Spieler unterstützen und ihm helfen, sein Spiel zu analysieren und zu verbessern.
• Aus dem Winkel, mit dem der Dartpfeil 35 im Dartboard 40 steckt, können unter anderem Rückschlüsse über die Wiederholgenauigkeit der Würfe gezogen werden. Stecken die Dartpfeile 35 immer mit der gleichen räumlichen Ausrichtung im Dartboard 40, ist dies ein Beleg dafür, dass der Werfer seine Wurfbewegung und den Wurf exakt wiederholen kann. Dies ist Voraussetzung für ein sicheres und wiederholtes Treffen des anvisierten Ziels. Schwanken die Winkel, mit denen die Dartpfeile 35 im Dartboard 40 stecken, ist dies ein eindeutiger Hinweis auf Würfe mit unterschiedlichem Ablauf, was unweigerlich zu einer hohen Streuung im Trefferbild führt.
• Die ermittelte exakte räumliche Ausrichtung des Dartpfeils 35 als Maß für die Wiederholungsgenauigkeit des Wurfs ermöglicht es zudem, Defizite zu erkennen und bewusst am Wurfstil und Wurfablauf zu arbeiten, um ein Höchstmaß an Wiederholungsgenauigkeit bzw. Präzison bei den Würfen zu erzielen.
• Des Weiteren ist es möglich, aus der bekannten räumlichen Lage eines im Dartboard 40 steckenden Dartpfeile 35 Rückschlüsse auf Felder zu ziehen, welche durch diesen Dartpfeil 35 in Flugrichtung verdeckt werden. Diese Felder sollten nicht mehr als Ziel anvisiert werden, da ein Ablenken oder Abprallen des nächsten geworfenen Dartpfeils 35 am bereits steckenden Dartpfeil 35 wahrscheinlich ist. Das System kann den Spieler unterstützten, solche Situationen zu erkennen und entsprechend zu reagieren. Beispielsweise können Hinweise zur Änderung der Abwurfposition vorgeschlagen (etwa „Spieler, gehe 1 m weiter nach rechts!“) oder alternative, nicht verdeckte Ziele angezeigt werden.
• Aus dem exakten Trefferbild kann außerdem die Standardabweichung bezüglich des anvisierten Ziels ermittelt werden. Auftretende Fehlertendenzen (wie z.B. „trifft immer rechts oben am Ziel vorbei“) können dadurch erkannt und diesen bewusst gegengesteuert werden.
• Des Weiteren sind personalisierte Checkout-Wege auf Basis der Segmenttrefferstatistiken möglich, wodurch die Erfolgschance erhöht wird. Im Gegensatz zu universellen Checkout-Wegen können die ermittelten Informationen zu Präzision, Wurftendenz, etc. verwendet werden, um eine spieleroptimale Taktik zum Erreichen des Checkouts vorzuschlagen.
• Für Mehrspielermodi ist zudem der Einbau eines Handicaps auf Grundlage der personalisierten Standardabweichungen einfach möglich, wodurch sich deutlich im Leistungsniveau unterscheidende Spieler individuell bewertet werden können.
• Durch die detaillierten erhobenen Statistiken lässt sich zudem das Leistungsniveau der einzelnen Spieler gut vergleichen. Dies hilft unter anderem bei der Einordnung des eigenen Spielvermögens sowie dem automatischen, neutralen Erstellen von Rankings nach definierten Zielwerten (Punktzahl, Treffergenauigkeit, Präzision, etc.).
• Bezugszeichenliste

5 -

Schnittgerade

10 -

Detektionsebene

15 -

Fokuspunkt der Kamera

20 -

Bildebene

25 -

2D-Linienprimitive

30 -

Kamera

31 -

virtuelle Kamera

35 -

Dartpfeil

40 -

Dartboard

45 -

Dartboardsurround

50 -

Trägerelement

51 -

bewegliches Trägerelement

53 -

Spiegel

55 -

Beleuchtungselement

60 -

Schnittpunkt

65 -

Trennstab

70 -

äußerer Double Ring

75 -

markanter Punkt

80 -

Schriftzug

85 -

Kugel

90 -

Sockel

95 -

Pfeil

100 -

Zielscheibe

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 20110031696 A1 [0010]
• KR 102010012984 A [0011]
• US 20060066053 A1 [0014]
• WO 1998031979 A1 [0016, 0018]
• US 5988645 A [0017, 0018]
• DE 4207497 A1 [0018]
• CA 2279060 C [0019]
• US 20060050610 A1 [0020]
• US 5447315 A [0020]
• US 8234070 B2 [0020]
• US 20030134700 A1 [0021]
• DE 10309676 A1 [0023]
• JP 2007117689 A [0023]
• US 8113930 B1 [0023]
• JP 5201860 B2 [0023]
• DE 202015000225 U1 [0023]
• EP 2942088 A1 [0023]
• EP 697579 B1 [0023]

Claims (5)

1. Verfahren zur relativen Lagebestimmung von pfeilartigen Objekten (35, 95) zu Oberflächen (40, 100) durch a) Bestimmung der Lage des pfeilartigen Objektes (35, 95) im Raum b) Bestimmung der Lage der Oberfläche (40, 100) im Raum c) anschließender Bestimmung der Orientierungsparameter, dadurch gekennzeichnet, dass die Lage des pfeilartigen Objektes (35, 95) im Raum als Schnittgerade (5) der von mindestens zwei Kameras (30, 31) aufgespannten Detektionsebenen (10), die durch den jeweiligen Fokuspunkt der Kamera (15) und die zugehörige 2D-Linienprimitive (25) des pfeilartigen Objektes (35, 95) aufgespannt werden, gebildet wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bestimmung der Lage der Oberfläche (40, 100) im Raum durch eine Kalibrierung unter Verwendung von Referenzpunkten der Oberfläche (40, 100) selbst und/oder mittels zusätzlicher Kalibrierungshilfen erfolgt oder die Lage der Oberfläche bereits vorgegeben ist.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die zusätzlichen Kalibrierungshilfen temporär und/oder dauerhaft in Form von Hilfsmustern oder Hilfsgeometrien an definierten Stellen an der Oberfläche (40, 100) angebracht sind.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die zusätzlichen Kalibrierungshilfen in Form von Kugeln (85) oder pfeilartiger Objekte (35, 95) selbst verwirklicht sind.
5. Vorrichtung zur Durchführung des Verfahrens zur Lagebestimmung von pfeilartigen Objekten (35,95) zu Oberflächen (40, 100) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Kameras (30, 31) so zur Oberfläche (40, 100) positioniert werden, dass die 2D-Linienprimitiven (25) auf den jeweiligen Abbildungen eindeutig zugeordnet werden können.

Images