DE112018006164B4

DE112018006164B4 - Sichtlinienrichtungskalibrierungsvorrichtung, sichtlinienrichtungskalibrierungsverfahren und sichtlinienrichtungskalibrierungsprogramm

Info

Publication number: DE112018006164B4
Application number: DE112018006164.7T
Authority: DE
Inventors: Takahisa Hirata
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-01-05
Filing date: 2018-01-05
Publication date: 2021-05-12
Anticipated expiration: 2038-01-06
Also published as: DE112018006164T5; JP6479272B1; WO2019135281A1; CN111527374A; US20200327324A1; JPWO2019135281A1; US10977488B2; CN111527374B

Abstract

Sichtlinienrichtungskalibrierungsvorrichtung (100), die Folgendes umfasst:eine Kalibrierungsinformationenerfassungseinheit (101) zum Erfassen dreidimensionaler Koordinaten für mindestens ein Blickziel für eine Kalibrierung, wobei die dreidimensionalen Koordinaten eine Position jedes Blickziels für die Kalibrierung angeben und auf einem vorbestimmten Koordinatensystem basieren;eine Abtastungserfassungseinheit (102) zum Erfassen mehrerer Abtastungen, die eine Sichtlinienrichtung eines Benutzers angeben, wobei die mehreren Abtastungen auf einem unbekannten Koordinatensystem basieren, das keine Korrespondenzbeziehung mit dem vorbestimmten Koordinatensystem aufweist;eine Kalibrierungsmodellerzeugungseinheit (103) zum Erzeugen mehrerer Kalibrierungsmodelle, die dreidimensionale Koordinaten angeben, die Kandidaten für eine Position des Benutzers sind, auf Basis der durch die Kalibrierungsinformationenerfassungseinheit (101) erfassten dreidimensionalen Koordinaten, der durch die Abtastungserfassungseinheit (102) erfassten Abtastungen, die die Sichtlinienrichtung des Benutzers angeben, der zu jedem der Blickziele für die Kalibrierung blickt, einem unbekannten Parameter, der die Korrespondenzbeziehung zwischen dem vorbestimmten Koordinatensystem und dem unbekannten Koordinatensystem angibt; undeine Kalibrierungsparameterberechnungseinheit (104) zum Berechnen, als einen Kalibrierungsparameter, des unbekannten Parameters und der Position des Benutzers auf Basis der durch die Kalibrierungsmodellerzeugungseinheit (103) erzeugten Kalibrierungsmodelle.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft Technologie zum Kalibrieren einer gemessenen Sichtlinienrichtung einer Person.
STAND DER TECHNIK
Seit einiger Zeit wird erwartet, in verschiedenen Gebieten eine gemessene Sichtlinienrichtung einer Person zu nutzen. Beispielsweise beinhaltet die Nutzung bei der Fahrassistenz für Fahrer von Fahrzeugen das Bestimmen des Wahrnehmungszustands eines Fahrers hinsichtlich der Umgebung, wie etwa den Aufmerksamkeitsgrad gegenüber Fußgängern oder dergleichen oder das unaufmerksame Fahren auf Basis einer gemessenen Sichtlinienrichtung des Fahrers oder das Anzeigen von Unterstützungsinformationen in der Sichtlinienrichtung.
Allgemein beinhaltet die gemessene Sichtlinienrichtung einen Messfehler. In einem Fall, bei dem eine gemessene Sichtlinienrichtung verwendet wird, wird daher auch eine Technologie zum Kalibrieren eines in der gemessenen Sichtlinienrichtung enthaltenen Messfehlers in Kombination damit verwendet.
Die Patentliteratur 1 beschreibt eine Sichtlinienrichtungsmessvorrichtung, die ein Hornhautreflexionsbild von jedem Auge des Fahrers aus durch zwei Kameras aufgenommenen Bildern extrahiert, die Augapfelpositionen detektiert, wobei die Mitte zwischen den Augäpfeln am Schnittpunkt zweier Geraden liegt, die Koordinaten der beiden Hornhautreflexionsbilder und die Brennpunkte der entsprechenden Kameras verbinden, um die Rotationswinkel der Augäpfel bezüglich der Bildgebungsrichtung der Kameras zu detektieren, und die Sichtlinienrichtung auf Basis der detektierten Augapfelpositionen und des Rotationswinkels der Augäpfel berechnet. Die in der Patentliteratur 1 beschriebene Sichtlinienrichtungsmessvorrichtung startet einen Kalibrierungsvorgang, wenn eine spezifische Vorrichtung wie etwa eine Navigationsvorrichtung durch einen Insassen betrieben wird, und berechnet einen Korrekturkoeffizienten, der die wie oben beschrieben berechnete Sichtlinienrichtung des Fahrers mit einer Geraden, die durch das Zentrum des Augapfels läuft, und einer spezifischen Vorrichtung abgleicht.
REFERENZLISTE
PATENTLITERATUR
Patentliteratur 1: JP H09-238905 A
KURZFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
In der Sichtlinienrichtungsmessvorrichtung in der oben beschriebenen Patentliteratur 1 wird jedoch nur ein Korrekturkoeffizient für eine Sichtlinienrichtung, die bezüglich einer zu der spezifischen Vorrichtung gerichteten Sichtlinie gemessen wird, als ein Kalibrierungsbetrag für die Kalibrierung eines Messfehlers berechnet. Daher besteht ein Problem darin, dass der Kalibrierungsbetrag nicht für eine zu einem beliebigen anderen Punkt außer der spezifischen Vorrichtung gerichteten Sichtlinie berechnet werden kann.
Die vorliegende Erfindung wurde getätigt, um das oben beschriebene Problem zu lösen, und ein Ziel der Erfindung besteht darin, einen Kalibrierungsbetrag für die Kalibrierung eines Messfehlers zu berechnen, der in einer Sichtlinienrichtung enthalten ist, die für eine zu einem beliebigen Punkt gerichtete Sichtlinie gemessen wird.
LÖSUNG DES PROBLEMS
Eine Sichtlinienrichtungskalibrierungsvorrichtung gemäß der vorliegenden Erfindung beinhaltet Folgendes: eine Kalibrierungsinformationenerfassungseinheit zum Erfassen dreidimensionaler Koordinaten für mindestens ein Blickziel für eine Kalibrierung, wobei die dreidimensionalen Koordinaten eine Position jedes Blickziels für die Kalibrierung angeben und auf einem vorbestimmten Koordinatensystem basieren; eine Abtastungserfassungseinheit zum Erfassen mehrerer Abtastungen, die eine Sichtlinienrichtung eines Benutzers angeben, wobei die mehreren Abtastungen auf einem unbekannten Koordinatensystem basieren, das keine Korrespondenzbeziehung mit dem vorbestimmten Koordinatensystem aufweist; eine Kalibrierungsmodellerzeugungseinheit zum Erzeugen mehrerer Kalibrierungsmodelle, die dreidimensionale Koordinaten angeben, die Kandidaten für eine Position des Benutzers sind, auf Basis der durch die Kalibrierungsinformationenerfassungseinheit erfassten dreidimensionalen Koordinaten, der durch die Abtastungserfassungseinheit erfassten Abtastungen, die die Sichtlinienrichtung des Benutzers angeben, der zu jedem der Blickziele für die Kalibrierung blickt, einem unbekannten Parameter, der die Korrespondenzbeziehung zwischen dem vorbestimmten Koordinatensystem und dem unbekannten Koordinatensystem angibt; und eine Kalibrierungsparameterberechnungseinheit zum Berechnen, als einen Kalibrierungsparameter, des unbekannten Parameters und der Position des Benutzers auf Basis der durch die Kalibrierungsmodellerzeugungseinheit erzeugten Kalibrierungsmodelle.
VORTEILHAFTE EFFEKTE DER ERFINDUNG
Gemäß der vorliegenden Erfindung ist es möglich, einen Kalibrierungsbetrag zum Kalibrieren eines Messfehlers zu berechnen, der in einer Sichtlinienrichtung enthalten ist, die für eine zu einem beliebigen Punkt gerichtete Sichtlinie gemessen wird.
Figurenliste

1 ist ein Blockdiagramm, das eine Konfiguration einer Sichtlinienrichtungskalibrierungsvorrichtung gemäß einer ersten Ausführungsform veranschaulicht.
2A und 2B sind Diagramme, die jeweils eine beispielhafte Hardwarekonfiguration der Sichtlinienrichtungskalibrierungsvorrichtung gemäß der ersten Ausführungsform veranschaulichen.
3 ist ein Diagramm, das dreidimensionale Koordinaten veranschaulicht, die in der Sichtlinienrichtungskalibrierungsvorrichtung gemäß der ersten Ausführungsform verwendet werden.
4 ist ein erläuterndes Diagramm, das einen Prozess durch eine Kalibrierungsmodellerzeugungseinheit der Sichtlinienrichtungskalibrierungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht.
5 ist ein erläuterndes Diagramm, das einen Prozess durch eine Kalibrierungsmodellerzeugungseinheit der Sichtlinienrichtungskalibrierungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht.
6 ist ein erläuterndes Diagramm, das ein Berechnungsbeispiel einer Kalibrierter-Wert-Berechnungseinheit der Sichtlinienrichtungskalibrierungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht.
7 ist ein Flussdiagramm, das einen Arbeitsablauf eines Kalibrierungsparameterberechnungsprozesses der Sichtlinienrichtungskalibrierungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht.
8 ist ein Flussdiagramm, das einen Arbeitsablauf eines Sichtlinienrichtungskalibrierungsprozesses und eines Sichtlinienrichtungbestimmungsprozesses der Sichtlinienrichtungskalibrierungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht.
9 ist ein Diagramm, das ein Ergebnis eines Kalibrierungsprozesses der Sichtlinienrichtungskalibrierungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Um die vorliegende Erfindung weiter ausführlich zu beschreiben, wird eine Ausführungsform zum Ausführen der vorliegenden Erfindung im Folgenden mit Bezug auf die begleitenden Zeichnungen beschrieben.
Erste Ausführungsform
1 ist ein Blockdiagramm, das eine Konfiguration einer Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß einer ersten Ausführungsform veranschaulicht.
Die Sichtlinienrichtungskalibrierungsvorrichtung 100 beinhaltet eine Kalibrierungsinformationenerfassungseinheit 101, eine Abtastungserfassungseinheit 102, eine Kalibrierungsmodellerzeugungseinheit 103, eine Kalibrierungsparameterberechnungseinheit 104, eine Kalibrierter-Wert-Berechnungseinheit 105, eine Kalibrierungsparameterspeichereinheit 106a, eine Sichtlinienrichtungsspeichereinheit 106b und eine Sichtlinienrichtungsbestimmungseinheit 107.
Die Sichtlinienrichtungskalibrierungsvorrichtung 100 ist außerdem mit einer Sichtlinienmessvorrichtung 201 und einer Eingabevorrichtung 202 verbunden.
Die Sichtlinienrichtungskalibrierungsvorrichtung 100 kann weitläufig bei Fällen angewendet werden, bei denen eine relative Position zwischen einem Blickziel für die Kalibrierung und einem Benutzer als fest angenommen wird, wie etwa eine Kalibrierung einer gemessenen Sichtlinienrichtung eines Insassen in einem Fahrzeug oder eine Kalibrierung einer Sichtlinienrichtung, die für einen Benutzer gemessen wird, der einen Bildschirm auf einem Schreibtisch oder einen am Kopf des Benutzers angebrachten Bildschirm visuell erkennt.
Die Kalibrierungsinformationenerfassungseinheit 101 erfasst dreidimensionale Koordinaten eines voreingestellten Blickziels, zu dem ein Benutzer blicken soll (nachfolgend als ein Blickziel für die Kalibrierung bezeichnet), zur Erzeugung eines später beschriebenen Kalibrierungsmodells. Hier ist ein Benutzer eine Person, deren Sichtlinie gemessen werden soll. Die Kalibrierungsinformationenerfassungseinheit 101 erfasst die dreidimensionalen Koordinaten des Blickziels für die Kalibrierung von einer internen Speicherungsvorrichtung. Alternativ erfasst die Kalibrierungsinformationenerfassungseinheit 101 die dreidimensionalen Koordinaten, die die Position des Blickziels für die Kalibrierung angeben, über die Eingabevorrichtung von einem externen Programm.
Was die Anzahl von Blickzielen für die Kalibrierung angeht, kann eine beliebige Anzahl von Objekten festgelegt werden, die zumindest den Freiheitsgrad der Kalibrierung erfüllen kann. Man nehme beispielsweise an, dass die Sichtlinienrichtungskalibrierungsvorrichtung 100 in einem Fahrzeug verwendet wird und dass in einem Fall, bei dem die Sichtlinienrichtung eines Fahrers des Fahrzeugs kalibriert wird, ein Rotationsparameter (p in der später beschriebenen Gleichung (1)), der angibt, dass ein Winkel, der durch eine Referenzrichtung zur Messung der Sichtlinienrichtung und eine Kalibrierungsreferenzrichtung gebildet wird, im Voraus bekannt ist, fest und im Voraus bekannt ist, und dass die Position des Fahrersitzes in der Links-Rechts-Richtung (eine x-Komponente von x_Ziel in Gleichung (1)) fest und im Voraus bekannt ist. In diesem Fall beinhaltet der Freiheitsgrad der Kalibrierung zwei Freiheitsgrade in der Vorderseite-Rückseite-Richtung und in der Aufwärts-AbwärtsRichtung der Benutzerposition (y- und z-Komponente von x_Ziel in Gleichung (1)). Weiterhin unter der Annahme, dass die Sichtlinienmessvorrichtung 201 die Gierrichtung und die Nickrichtung einer Sichtlinie bereitstellt, kann ein Messwert mit zwei Freiheitsgraden erhalten werden, und somit genügt es, mindestens ein Blickziel für die Kalibrierung festzulegen. In der folgenden Beschreibung wird ein Fall als ein Beispiel beschrieben, bei dem der Rotationsparameter (p) unbekannt ist und es mehrere Blickziele für die Kalibrierung gibt. Es ist zu beachten, dass sich die Genauigkeit von berechneten Kalibrierungsparametern im Allgemeinen verbessert, wenn die Anzahl von Blickzielen für die Kalibrierung zunimmt.
Während die Sichtlinienrichtungskalibrierungsvorrichtung 100 Kalibrierungsparameter berechnet, erfasst die Abtastungserfassungseinheit 102 mehrere Abtastungen, die Sichtlinienrichtungen des Benutzers angeben, der zu jedem Blickziel für die Kalibrierung blickt. Die Abtastungserfassungseinheit 102 erfasst mehrere Sichtlinienrichtungen für einen Benutzer, der zu einem Blickziel für die Kalibrierung blickt. Die Abtastungserfassungseinheit 102 erfasst außerdem eine Sichtlinienrichtung für den Benutzer, der zu jedem von mehreren Blickzielen für die Kalibrierung blickt.
Es ist zu beachten, dass es wünschenswert ist, dass am einfachsten die Referenz einer Sichtlinienrichtung, das heißt die wahre Sichtlinienrichtung am Nullpunkt der Sichtlinienmessvorrichtung 201, parallel zu der Vorwärtsrichtung des Benutzers ist. In einem Fall, bei dem die Referenz der Sichtlinienrichtung in Kalibrierungszielen enthalten ist, kann die Referenz der Sichtlinienrichtung jedoch unbekannt sein. In diesem Fall wird eine kalibrierte Sichtlinienrichtung auf Basis eines wünschenswerterweise gekennzeichneten Azimuts, zum Beispiel einer später beschriebenen Y-Achse, durch einen später beschriebenen Kalibrierungsprozess berechnet. Die Abtastungserfassungseinheit 102 gibt die erfassten Abtastungen zu der Kalibrierungsmodellerzeugungseinheit 103 aus.
Unterdessen, während die Scihtlinienrichtungskalibrierungsvorrichtung 100 einen Sichtlinienrichtungskalibrierungspropzess und einen Sichtlinienrichtungsbestimmungsprozess unter Verwendung der Kalibrierungsparameter durchführt, erfasst die Abtastungserfassungseinheit 102 eine Abtastung, die die aktuelle Sichtlinienrichtung des Benutzers angibt. Die Abtastungserfassungseinheit 102 gibt die erfasste Abtastung zu der Kalibrierter-Wert-Berechnungseinheit 105 aus.
Die Kalibrierungsmodellerzeugungseinheit 103 erzeugt mehrere Kalibrierungsmodelle, die dreidimensionale Koordinaten angeben, die Kandidaten für die Benutzerposition sind, durch Assoziieren der dreidimensionalen Koordinaten des Blickziels für die Kalibrierung, die durch die Kalibrierungsinformationenerfassungseinheit 101 erfasst werden, mit den Abtastungen, die durch die Abtastungserfassungseinheit 102 erfasst werden. Es ist anzumerken, dass die Kalibrierungsmodellerzeugungseinheit 103 mehrere Abtastungen erfassen kann, die in Assoziation mit Informationen, die das Blickziel für die Kalibrierung angeben, in Zusammenarbeit mit einem externen Programm gespeichert sind. Die Benutzerposition entspricht zum Beispiel der Mittelposition des Kopfes des Benutzers, der Mittelposition der Augäpfel oder der Mittelposition zwischen den Augenbrauen. Die Kalibrierungsmodellerzeugungseinheit 103 gibt das erzeugte Kalibrierungsmodell zu der Kalibrierungsparameterberechnungseinheit 104 aus. Es ist anzumerken, dass ausführliche Inhalte des Prozesses der Kalibrierungsmodellerzeugungseinheit 103 später beschrieben werden.
Die Kalibrierungsparameterberechnungseinheit 104 berechnet Kalibrierungsparameter auf Basis des durch die Kalibrierungsmodellerzeugungseinheit 103 erzeugten Kalibrierungsmodells. Die Kalibrierungsparameterberechnungseinheit 104 speichert Kalibrierungsparameter in der Kalibrierungsparameterspeichereinheit 106a. Es ist anzumerken, dass ausführliche Inhalte des Prozesses der Kalibrierungsparameterberechnungseinheit 104 später beschrieben werden.
Die Kalibrierter-Wert-Berechnungseinheit 105 berechnet eine kalibrierte Sichtlinienrichtung auf Basis der durch die Kalibrierungsparameterberechnungseinheit 104 berechneten Kalibrierungsparameter. Beispielsweise akzeptiert die Kalibrierter-Wert-Berechnungseinheit 105 über die Eingabevorrichtung 202 eine Anforderung von einem externen Programm, um zu bestimmen, ob der Benutzer ein gewünschtes Blickziel visuell erkennt oder nicht (nachfolgend als ein Blickbestimmungsziel bezeichnet). Nach dem Empfangen der Anforderung erfasst die Kalibrierter-Wert-Berechnungseinheit 105 eine Abtastung, die die aktuelle Sichtlinienrichtung angibt, von der Abtastungserfassungseinheit 102. Die Kalibrierter-Wert-Berechnungseinheit 105 kalibriert die Sichtlinienrichtung unter Verwendung der in der Kalibrierungsparameterspeichereinheit 106a gespeicherten Kalibrierungsparameter. Die Kalibrierter-Wert-Berechnungseinheit 105 gibt die kalibrierte Sichtlinienrichtung zu der Sichtlinienrichtungsbestimmungseinheit 107 aus.
Die Kalibrierter-Wert-Berechnungseinheit 105 kann ferner die kalibrierten Sichtlinienrichtungen jederzeit in der Sichtlinienrichtungsspeichereinheit 106b speichern. In diesem Fall gibt die Sichtlinienrichtungskalibrierungsvorrichtung 100 Werte, die durch Umwandeln der dreidimensionalen Koordinaten des Blickbestimmungsziels in eine kalibrierte Sichtlinienrichtung erhalten werden, beispielsweise θ_Ziel in einem später beschriebenen Bestimmungsprozess, zu einem externen Programm zurück, das bestimmen will, ob der Benutzer das Blickbestimmungsziel visuell erkennt oder nicht. Das externe Programm führt unabhängig einen Bestimmungsprozess durch Bezugnahme auf die Sichtlinienrichtungsspeichereinheit 106b wie erforderlich und Vergleichen von dieser mit der kalibrierten Sichtlinienrichtung durch. Es ist anzumerken, dass die Kombination aus kalibrierten Werten, die in der Sichtlinienrichtungsspeichereinheit 106b gespeichert sind, und aus den Kalibrierungsparametern, die dem externen Programm bereitgestellt werden, ein Beispiel ist und wie erforderlich in Abhängigkeit vom Bestimmungsprozess modifiziert werden kann.
Die Sichtlinienrichtungsbestimmungseinheit 107 bestimmt, ob der Benutzer das Blickbestimmungsziel visuell erkennt oder nicht, auf Basis der in der Kalibrierungsparameterspeichereinheit 106a gespeicherten Kalibrierungsparameter und der durch die Kalibrierter-Wert-Berechnungseinheit 105 kalibrierten Sichtlinienrichtung.
Die Sichtlinienrichtungsbestimmungseinheit 107 bestimmt, dass der Benutzer das Blickbestimmungsziel visuell erkennt, beispielsweise wenn die kalibrierte Sichtlinienrichtung der Richtung des Blickbestimmungsziels ähnelt. Die Sichtlinienrichtungsbestimmungseinheit 107 legt auf Basis eines voreingestellten Schwellenwerts fest, ob die kalibrierte Sichtlinienrichtung und die Richtung des Blickbestimmungsziels ähnlich sind. Der Schwellenwert wird auf Basis der aktuellen Sichtlinienrichtung des Benutzers und Informationen, die die Umgebungssituation angeben, eingestellt. Beispielsweise wird der Schwellenwert auf einen großen Wert eingestellt, wenn bestimmt wird, dass ein Ziel, das visuell von einem Benutzer erkannt wird, in der Nähe des Benutzers positioniert ist, und wird auf einen kleinen Wert eingestellt, wenn bestimmt wird, dass ein Ziel, das visuell von dem Benutzer erkannt wird, weit weg vom Benutzer positioniert ist.
Als Nächstes wird ein Hardwarekonfigurationsbeispiel der Sichtlinienrichtungskalibrierungsvorrichtung 100 beschrieben.
Die 2A und 2B sind Diagramme, die jeweils eine beispielhafte Hardwarekonfiguration der Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform veranschaulichen.
Die Kalibrierungsparameterspeichereinheit 106a und die Sichtlinienrichtungsspeichereinheit 106b in der Sichtlinienrichtungskalibrierungsvorrichtung 100 werden durch einen Speicher 100a implementiert. Jede der Funktionen der Kalibrierungsinformationenerfassungseinheit 101, der Abtastungserfassungseinheit 102, der Kalibrierungsmodellerzeugungseinheit 103, der Kalibrierungsparameterberechnungseinheit 104, der Kalibrierter-Wert-Berechnungseinheit 105 und der Sichtlinienrichtungsbestimmungseinheit 107 in der Sichtlinienrichtungskalibrierungsvorrichtung 100 werden durch eine Verarbeitungsschaltung implementiert. Das heißt, die Sichtlinienrichtungskalibrierungsvorrichtung 100 beinhaltet eine Verarbeitungsschaltung zum Implementieren der obigen Funktionen. Die Verarbeitungsschaltung kann eine Verarbeitungsschaltung 100b sein, die dedizierte Hardware ist, wie in 2A veranschaulicht, oder kann ein Prozessor 100c zum Ausführen von in einem Speicher 100d gespeicherten Programmen sein, wie in 2B veranschaulicht.
In dem Fall, bei dem die Kalibrierungsinformationenerfassungseinheit 101, die Abtastungserfassungseinheit 102, die Kalibrierungsmodellerzeugungseinheit 103, die Kalibrierungsparameterberechnungseinheit 104, die Kalibrierter-Wert-Berechnungseinheit 105 und die Sichtlinienrichtungsbestimmungseinheit 107 durch dedizierte Hardware implementiert werden, wie in 2A veranschaulicht, entspricht die Verarbeitungsschaltung 100b zum Beispiel einer einzelnen Schaltung, einer zusammengesetzten Schaltung, einem programmierten Prozessor, einem parallelprogrammierten Prozessor, einer anwendungsspezifischen integrierten Schaltung (ASIC), einem feldprogrammierbaren Gate-Array (FPGA) oder einer Kombination davon. Die Funktionen der Kalibrierungsinformationenerfassungseinheit 101, der Abtastungserfassungseinheit 102, der Kalibrierungsmodellerzeugungseinheit 103, der Kalibrierungsparameterberechnungseinheit 104, der Kalibrierter-Wert-Berechnungseinheit 105 und der Sichtlinienrichtungsbestimmungseinheit 107 können separat durch Verarbeitungsschaltungen implementiert werden oder können kollektiv durch eine einzelne Verarbeitungsschaltung implementiert werden.
In dem Fall, bei dem die Kalibrierungsinformationenerfassungseinheit 101, die Abtastungserfassungseinheit 102, die Kalibrierungsmodellerzeugungseinheit 103, die Kalibrierungsparameterberechnungseinheit 104, die Kalibrierter-Wert-Berechnungseinheit 105 und die Sichtlinienrichtungsbestimmungseinheit 107 dem Prozessor 100c entsprechen, wie in 2B veranschaulicht, wird die Funktion jeder Einheit durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software oder die Firmware wird als ein Programm beschrieben und ist im Speicher 100d gespeichert. Der Prozessor 100c liest und führt das im Speicher 100d gespeicherte Programm aus und implementiert dadurch die Funktionen der Kalibrierungsinformationenerfassungseinheit 101, der Abtastungserfassungseinheit 102, der Kalibrierungsmodellerzeugungseinheit 103, der Kalibrierungsparameterberechnungseinheit 104, der Kalibrierter-Wert-Berechnungseinheit 105 und der Sichtlinienrichtungsbestimmungseinheit 107. Das heißt, die Kalibrierungsinformationenerfassungseinheit 101, die Abtastungserfassungseinheit 102, die Kalibrierungsmodellerzeugungseinheit 103, die Kalibrierungsparameterberechnungseinheit 104, die Kalibrierter-Wert-Berechnungseinheit 105 und die Sichtlinienrichtungsbestimmungseinheit 107 beinhalten den Speicher 100d zum Speichern eines Programms, das durch den Prozessor 100c ausgeführt wird, was zur Ausführung der Schritte führt, die in den später beschriebenen 7 und 8 veranschaulicht sind. Es kann auch gesagt werden, dass diese Programme veranlassen, dass ein Computer Vorgehensweisen oder Verfahren der Kalibrierungsinformationenerfassungseinheit 101, der Abtastungserfassungseinheit 102, der Kalibrierungsmodellerzeugungseinheit 103, der Kalibrierungsparameterberechnungseinheit 104, der Kalibrierter-Wert-Berechnungseinheit 105 und der Sichtlinienrichtungsbestimmungseinheit 107 ausführt.
Hier kann der Prozessor 100c zum Beispiel eine Zentralverarbeitungseinheit (CPU), eine Verarbeitungsvorrichtung, eine arithmetische Vorrichtung, ein Prozessor, ein Mikroprozessor, ein Mikrocomputer, ein Digitalsignalprozessor (DSP) oder dergleichen sein.
Der Speicher 100d kann ein nichtflüchtiger oder flüchtiger Halbleiterspeicher, wie etwa ein Direktzugriffsspeicher (RAM), ein Nurlesespeicher (ROM), ein Flash-Speicher, ein löschbarer programmierbarer ROM (EPROM), ein elektrischer EPROM (EEPROM), eine Magnetplatte wie etwa eine Festplatte oder eine flexible Platte oder eine optische Platte wie etwa eine MiniDisc, eine Compact Disc (CD) oder eine Digital Versatile Disc (DVD) sein.
Es ist anzumerken, dass einige der Funktionen der Kalibrierungsinformationenerfassungseinheit 101, der Abtastungserfassungseinheit 102, der Kalibrierungsmodellerzeugungseinheit 103, der Kalibrierungsparameterberechnungseinheit 104, der Kalibrierter-Wert-Berechnungseinheit 105 und der Sichtlinienrichtungsbestimmungseinheit 107 durch dedizierte Hardware implementiert werden können und ein anderer Teil davon durch Software oder Firmware implementiert wird. Auf diese Weise kann die Verarbeitungsschaltung in der Sichtlinienrichtungskalibrierungsvorrichtung 100 die obigen Funktionen durch Hardware, Software, Firmware oder eine Kombination davon implementieren.
Als Nächstes werden Einzelheiten der Kalibrierungsmodellerzeugungseinheit 103 und der Kalibrierungsparameterberechnungseinheit 104 beschrieben. Zunächst wird ein Koordinatensystem dreidimensionaler Koordinaten beschrieben, das als eine Referenz für die in der Sichtlinienrichtungskalibrierungsvorrichtung 100 verwendeten Kalibrierung verwendet wird.
3 ist ein Diagramm, das dreidimensionale Koordinaten veranschaulicht, die in der Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform verwendet werden. In 3 wird ein Fall als ein Beispiel beschrieben, in dem die Sichtlinienrichtungskalibrierungsvorrichtung 100 die Sichtlinienrichtung eines Fahrers des Fahrzeugs kalibriert.
Die Koordinatenachsen sind die X-Achse in der Breitenrichtung eines Fahrzeugs 300, die Y-Achse in der Fahrtrichtung des Fahrzeugs 300 und die Z-Achse ist eine Richtung senkrecht zu einer Straßenoberfläche, auf der das Fahrzeug 300 fährt. Die X-Achse ist in einer Richtung zu der rechten Seite der Fahrtrichtung des Fahrzeugs hin positiv und die Y-Achse ist in einer Richtung zu der Fahrtrichtung des Fahrzeugs hin positiv. Die Z-Achse ist in einer Richtung von der Straßenoberfläche aufwärts positiv. Der Ursprung O der dreidimensionalen Koordinaten ist die Mittelposition der Sichtlinienmessvorrichtung 201, die am Fahrzeug 300 montiert ist. In 3 wird eine Referenzrichtung einer Messung in der Sichtlinienmessvorrichtung 201, wenn auf die X-Y-Ebene projiziert, durch die R-Achse auf der X-Y-Ebene angegeben. Es ist anzumerken, dass, da der Rotationsparameter (p) hier unbekannt ist, wie oben beschrieben, die Referenzrichtung der Sichtlinienmessvorrichtung 201 auch unbekannt ist.
Es ist anzumerken, dass die Einstellung der in 3 veranschaulichten Koordinatenachsen ein Beispiel ist und somit die Einstellung des Ursprungs der Koordinatenachsen, die Richtungen der Koordinatenachsen usw. wie erforderlich modifiziert werden können.
Ein Fahrer 302 sitzt auf einem Fahrersitz 301 des Fahrzeugs 300. Ein rechter Außenspiegel 303, ein linker Außenspiegel 304 und ein Rückspiegel 305 des Fahrzeugs 300 sind die Blickziele für die Kalibrierung. Wenn beispielsweise eine Blickanweisung wie etwa „Bitte schauen Sie zu dem linken Außenspiegel“ durch eine Steuereinheit (nicht veranschaulicht) der Sichtlinienrichtungskalibrierungsvorrichtung 100 vor dem Fahrstart gegeben wird, blickt der Fahrer 302 zu dem linken Außenspiegel 304. Ein Zustand, in dem die Sichtlinienrichtung des Fahrers 302 nach der Blickanweisung bei einem konstanten Wert bleibt, wird als ein Zustand betrachtet, in dem der Fahrer 302 zu dem Blickziel für die Kalibrierung blickt. Zu dieser Zeit ist es wünschenswert, um die Assoziation zwischen einer Sichtlinienrichtung und einem Blickziel für die Kalibrierung zu erleichtern, die Präsentationsreihenfolge von Blickzielen auszuwählen, sodass sich die Sichtlinie vertikal und horizontal stark bewegt. Dies erleichtert die Detektion eines Abschnitts, in dem sich die Sichtlinie stark bewegt, als ein Abschnitt, in dem sich die Sichtlinienrichtung zwischen Blickzielen für die Kalibrierung bewegt hat. Beispielsweise erleichtert das Präsentieren des rechten Außenspiegels 303, des linken Außenspiegels 304 und des Rückspiegels 305 in der erwähnten Reihenfolge eine Unterscheidung bei der Blickbestimmung von Blickzielen für die Kalibrierung, im Gegensatz zum Präsentieren von diesen in der Reihenfolge des rechten Außenspiegels 303, des Rückspiegels 305 und des linken Außenspiegels 304.
Als ein anderer Ansatz kann der Fahrer 302 als sich in einem Zustand befindlich angesehen werden, bei dem er zu einem Blickziel für die Kalibrierung blickt, indem ein Zustand des Blickens zu dem linken Außenspiegel 304 oder dergleichen geschätzt wird, wenn der Fahrer 302 diesem häufig zur Sicherheitsbestätigung oder dergleichen Aufmerksamkeit schenkt, wenn das Fahrzeug 300 fährt.
Als Nächstes werden Prozesse der Kalibrierungsmodellerzeugungseinheit 103 und der Kalibrierungsparameterberechnungseinheit 104 in den in 3 veranschaulichten dreidimensionalen Koordinaten mit Bezug auf die 4 und 5 beschrieben.
Die 4 und 5 sind erläuternde Diagramme, die einen Prozess durch die Kalibrierungsmodellerzeugungseinheit 103 der Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform veranschaulichen.
Die Kalibrierungsinformationenerfassungseinheit 101 erfasst dreidimensionale Koordinaten (R_X, R_Y, R_Z) des Mittelpunkts des rechten Außenspiegels 303, dreidimensionale Koordinaten (L_X, L_Y, L_Z) des Mittelpunkts des linken Außenspiegels 304 und dreidimensionale Koordinaten (F_X, F_Y, F_Z) des Mittelpunkts des Rückspiegels 305, die die Blickziele für die Kalibrierung sind, und gibt die Koordinaten zu der Kalibrierungsmodellerzeugungseinheit 103 aus.
In den 4 und 5 werden die Erzeugung eines Kalibrierungsmodells und die Berechnung von Kalibrierungsparametern durch das Betrachten eines beispielhaften Zustands beschrieben, in dem der Fahrer 302 zu dem linken Außenspiegel 304 blickt.
4 ist ein Diagramm, das den Prozess der Kalibrierungsmodellerzeugungseinheit 103 veranschaulicht, wenn der Fahrer 302 zu dem linken Außenspiegel 304 blickt. In dem Beispiel von 4 wird eine Beschreibung unter der Annahme gegeben, dass die Kalibrierungsmodellerzeugungseinheit 103 ein Kalibrierungsmodell erzeugt, das dreidimensionale Koordinaten, die ein Kandidat für die Mittelposition des linken Augapfels eines Benutzers sind, als eine Benutzerposition angibt.
Die Kalibrierungsmodellerzeugungseinheit 103 erzeugt ein Kalibrierungsmodell, das dreidimensionale Koordinaten angibt, die ein Kandidat für die Benutzerposition sind, wenn der Fahrer 302 zu dem linken Außenspiegel 304 blickt, auf Basis der folgenden Gleichungen (1) und (2). ${\tilde{x}}_{K o p f} (s, ρ) = x_{Z i e l} + s v_{p o v}$
$v_{p o v} = [1_{tan (θ_{N i c k e n} - ρ_{N i c k e n})}^{tan (θ_{G i e r e n} - ρ_{G i e r e n})}]$
Der Ausdruck x̃_Kopf in Gleichung (1) ist ein Kalibrierungsmodell und repräsentiert eine Position in einem dreidimensionalen Koordinatenraum, die ein Kandidat für die Benutzerposition ist, und genauer gesagt repräsentiert es einen Punkt auf einer Geraden, die in dem dreidimensionalen Raum virtuell existiert. Der Wert x_Ziel ist ein Positionsvektor, der die Position eines Blickziels für die Kalibrierung im dreidimensionalen Raum repräsentiert. In 4 ist x_Ziel ein Positionsvektor, der die Mittelposition des linken Außenspiegels 304 im dreidimensionalen Raum repräsentiert. Der Wert s ist ein Positionsparameter und ist eine reale Zahl. Der Wert v_pov ist ein Richtungsvektor, der eine Sichtlinienrichtung angibt (nachfolgend als ein Sichtlinienrichtungsvektor bezeichnet), wenn der Fahrer 302 zu dem linken Außenspiegel 304 blickt.
Gleichung (2) repräsentiert Komponenten eines Sichtlinienrichtungsvektors v_pov in Gleichung (1). Der Winkel θ in Gleichung (2) repräsentiert einen Winkel, der von der Sichtlinienmessvorrichtung 201 ausgegeben wird, und gibt einen Messwert in der Sichtlinienrichtung an. Der Winkel θ_Gieren ist ein Messwert in der Sichtlinienrichtung in der X-Y-Ebenenrichtung. Der Winkel θ_Nicken ist ein Winkel, der einen Messwert in der Sichtlinienrichtung in der Y-Z-Ebene angibt.
Zusätzlich ist ρ in Gleichung (2) ein Rotationsparameter und ist ein Winkel, der durch eine Referenzrichtung einer Messung durch die Sichtlinienmessvorrichtung 201 und eine Referenzrichtung (hier die Y-Achse) einer kalibrierten Sichtlinie gebildet wird. Der Winkel ρ_Gieren repräsentiert einen Winkel, der durch die Referenzrichtung einer Messung in der Sichtlinienmessvorrichtung 201 und die Y-Achse gebildet wird und gibt den Rotationswinkel um die Z-Achse an. Der Winkel ρ_Nicken repräsentiert einen Winkel, der durch die Referenzrichtung einer Messung in der Sichtlinienmessvorrichtung 201 bei Projektion auf die Y-Z-Ebene und die Y-Achse gebildet wird.
In dem Beispiel von 4 sind θ_Gieren und ρ_Gieren veranschaulicht.
Es ist anzumerken, dass die oben beschriebene Formulierung der Gleichung (1) des Kalibrierungsprozesses ein Beispiel für Erläuterungszwecke ist.
5 ist ein Diagramm, das die x-Komponente des Sichtlinienrichtungsvektors v_pov veranschaulicht. In 5 wird θ_Gieren so bestimmt, dass eine Richtung im Uhrzeigersinn, am Ursprung O zentriert, mit der R-Achse als ein Startpunkt, einen positiven Wert aufweist. Daher gilt θ_Gieren < 0 für θ_Gieren in 5. Ferner wird ρ_Gieren so bestimmt, dass eine Richtung im Uhrzeigersinn, am Ursprung O zentriert, mit der R-Achse als ein Startpunkt, einen positiven Wert aufweist. Daher gilt ρ_Gieren > 0 für ρ_Gieren in 5. Falls die Vorzeichen von θ_Gieren und ρ_Gieren wie oben beschrieben bestimmt werden und die y-Komponente des Sichtlinienrichtungsvektors v_pov als „1“ bestimmt wird, wird die x-Komponente durch tan(θ_Gieren - ρ_Gieren) repräsentiert, wie in 5 veranschaulicht. Es ist anzumerken, dass die obige Definition ungeachtet dessen angewendet werden kann, ob die Benutzerposition bezüglich der Sichtlinienmessvorrichtung 201 links, rechts oder in der Mitte ist.
Obwohl nicht veranschaulicht, wird die z-Komponente des Sichtlinienrichtungsvektors v_pov ähnlich unter Verwendung von θ_Nicken und ρ_Nicken repräsentiert.
Die Kalibrierungsmodellerzeugungseinheit 103 führt den oben beschriebenen Prozess mehrere Male aus, während der Fahrer 302 zu dem linken Außenspiegel 304 blickt, um mehrere Kalibrierungsmodelle x̃_Kopf zu erzeugen, die dreidimensionale Koordinaten angeben, die Kandidaten für die Benutzerposition sind. Dann weist die Sichtlinienrichtungskalibrierungsvorrichtung 100 den Fahrer 302 an, zu dem rechten Außenspiegel 303 zu blicken, und die Kalibrierungsmodellerzeugungseinheit 103 erzeugt mehrere Kalibrierungsmodelle x̃_Kopf, die dreidimensionale Koordinaten angeben, die Kandidaten für die Benutzerposition sind, während der Fahrer 302 zu dem rechten Außenspiegel 303 blickt. Anschließend weist die Sichtlinienrichtungskalibrierungsvorrichtung 100 den Fahrer 302 an, zu dem Rückspiegel 305 zu blicken, und die Kalibrierungsmodellerzeugungseinheit 103 erzeugt mehrere Kalibrierungsmodelle x̃_Kopf, die dreidimensionale Koordinaten angeben, die Kandidaten für die Benutzerposition sind, während der Fahrer 302 zu dem Rückspiegel 305 blickt.
Wenn die Kalibrierungsmodellerzeugungseinheit 103 die mehreren Kalibrierungsmodelle x̃_Kopf für das einzelne Blickziel für die Kalibrierung erzeugt, berechnet die Kalibrierungsparameterberechnungseinheit 104 die wahrscheinlichste Benutzerposition auf Basis eines später beschriebenen Prozesses. Die Kalibrierungsmodellerzeugungseinheit 103 gibt Folgendes zu der Kalibrierungsparameterberechnungseinheit 104 aus: die mehreren Kalibrierungsmodelle x̃_Kopf für den Zustand, in dem der Fahrer 302 zu dem rechten Außenspiegel 303 blickt, die mehreren Kalibrierungsmodelle x̃_Kopf für den Zustand, in dem der Fahrer 302 zu dem linken Außenspiegel 304 blickt, und die mehreren Kalibrierungsmodelle x̃_Kopf für den Zustand, in dem der Fahrer 302 zu dem Rückspiegel 305 blickt.
Die Kalibrierungsparameterberechnungseinheit 104 schätzt die wahrscheinlichste Benutzerposition aus dem folgenden Ausdruck (3) unter Verwendung der mehreren darin eingegebenen Kalibrierungsmodelle x̃_Kopf. ${min}_{s, ρ, \tilde{x}} {({\tilde{x}}_{K o p f, i} (s_{i}, ρ) - \tilde{x})}^{2}$
Im Ausdruck (3) repräsentiert x̃_Kopf,i einen Kandidaten für die Benutzerposition, der aus einem i-ten Kalibrierungsmodell x̃_Kopf geschätzt wird, und x̃ repräsentiert die Maximale-Wahrscheinlichkeits-Schätzung der Benutzerposition.
Der Ausdruck (3) präsentiert ein Optimierungsproblem zur Berechnung, als die Benutzerposition, eines Punktes mit der höchsten Wahrscheinlichkeit in zwei Normen aus den Kandidaten für die Benutzerposition, die durch die aus den Gleichungen (1) und (2) erzeugten Kalibrierungsmodelle angegeben wird. Das Optimierungsproblem ist bezüglich des Positionsparameters s und der Benutzerposition x̃ linear, aber ist bezüglich des Rotationsparameters p nichtlinear. Daher ist es möglich, das Problem effizient zum Beispiel durch Suchen des Minimalwerts für ρ durch dichotomische Suche und Berechnen von s und x̃ für jeden ρ durch die Least-Squares-Methode zu lösen.
Aus dem obigen Prozess schätzt die Kalibrierungsparameterberechnungseinheit 104 die wahrscheinlichste Benutzerposition des Fahrers 302, bei der auch Schwankungen der Sichtlinie des Fahrers 302 berücksichtigt werden. Die Kalibrierungsparameterberechnungseinheit 104 berechnet als Kalibrierungsparameter den Rotationsparameter ρ und die Maximale-Wahrscheinlichkeits-Schätzung x̃ der Benutzerposition, die durch Lösen des Optimierungsproblems spezifiziert werden. Die Kalibrierungsparameterberechnungseinheit 104 speichert entweder die berechneten Kalibrierungsparameter in der Kalibrierungsparameterspeichereinheit 106a oder gibt sie direkt zu der Kalibrierter-Wert-Berechnungseinheit 105 aus.
Mit den obigen Prozessen kann die Sichtlinienrichtungskalibrierungsvorrichtung 100 Parameter, die für die Kalibrierung der Sichtlinienrichtung notwendig sind, aus den dreidimensionalen Koordinaten jedes der Blickziele für die Kalibrierung und der Sichtlinienrichtung, wenn der Fahrer 302 zu jedem der Blickziele für die Kalibrierung blickt, erfassen.
6 ist ein erläuterndes Diagramm, das beispielhafte Prozesse der Kalibrierter-Wert-Berechnungseinheit 105 und der Sichtlinienrichtungsbestimmungseinheit 107 der Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform veranschaulicht.
Die Kalibrierter-Wert-Berechnungseinheit 105 berechnet eine kalibrierte Sichtlinienrichtung θ' = (θ - ρ) bezüglich der von der Abtastungserfassungseinheit 102 eingegebenen Sichtlinienrichtung 0. Die Kalibrierter-Wert-Berechnungseinheit 105 speichert die berechnete kalibrierte Sichtlinienrichtung θ' in der Sichtlinienrichtungsspeichereinheit 106 oder gibt sie zu der Sichtlinienrichtungsbestimmungseinheit 107 aus.
Die Sichtlinienrichtungsbestimmungseinheit 107 leitet einen Sichtlinienrichtungsvektor v_pov aus der obigen Gleichung (1) auf Basis dreidimensionaler Koordinaten (Px, Py, Pz) eines über die Eingabevorrichtung 202 eingegebenen Blickbestimmungsziels P und den in der Kalibrierungsparameterspeichereinheit 106a gespeicherten Benutzerpositionen x̃ ab. Die Sichtlinienrichtungsbestimmungseinheit 107 berechnet die Richtung des Blickbestimmungsziels P, θ_Ziel = arctan (v_pov), in einem Gieren-Nicken-Raum aus dem erhalten Sichtlinienrichtungsvektor v_pov. Die Sichtlinienrichtungsbestimmungseinheit 107 bestimmt, dass der Benutzer das Blickbestimmungsziel P angesehen hat, wenn die Winkeldifferenz zwischen der von der Kalibrierter-Wert-Berechnungseinheit 105 eingegebenen kalibrierten Sichtlinienrichtung θ' und der Richtung θ_Ziel des Blickbestimmungsziels P im Gieren-Nicken-Raum geringer als ein Schwellenwert ist. des
Die Kalibrierter-Wert-Berechnungseinheit 105 und die Sichtlinienrichtungsbestimmungseinheit 107 können den folgenden Prozess durchführen.
Die Kalibrierter-Wert-Berechnungseinheit 105 leitet den Sichtlinienrichtungsvektor v_pov aus der obigen Gleichung (2) auf Basis der von der Abtastungserfassungseinheit 102 eingegebenen Sichtlinienrichtung θ und der in der Kalibrierungsparameterspeichereinheit 106a gespeicherten Rotationsparameter ρ ab. Die Kalibrierter-Wert-Berechnungseinheit 105 ersetzt den abgeleiteten Sichtlinienrichtungsvektor v_pov und die Benutzerposition x̃ in der obigen Gleichung (1) und ordnet die Gleichung nach der Ersetzung um, um die folgende Gleichung (1a) zu erhalten. $X_{Ziel} = X_{Kopf} - {SV}_{pov}$
Dieses x_Ziel repräsentiert eine Gerade, die die kalibrierte Sichtlinienrichtung basierend auf der gemessenen Sichtlinienrichtung θ und den Kalibrierurierungsparametern angibt. Die Kalibrierter-Wert-Berechnungseinheit 105 gibt die erfasste Gerade x_Ziel zu der Sichtlinienrichtungsbestimmungseinheit 107 aus.
Die Sichtlinienrichtungsbestimmungseinheit 107 berechnet den Abstand von dreidimensionalen Koordinaten (Px, Py, Pz) eines Blickbestimmungsziels P zu der Geraden x_Ziel. In einem Fall, bei dem der berechnete Abstand innerhalb eines Schwellenwerts liegt, bestimmt die Sichtlinienrichtungsbestimmungseinheit 107, dass der Benutzer zu dem Blickbestimmungsziel P geschaut hat.
Es ist anzumerken, dass der Schwellenwert für die Sichtlinienrichtungsbestimmungseinheit 107 zum Bestimmen, ob der Benutzer das Blickbestimmungsziel P visuell erkennt oder nicht, auf Basis des Abstands zwischen dem Blickbestimmungsziel P und dem Fahrer 302 eingestellt werden kann. Beispielsweise wird der Schwellenwert kontinuierlich eingestellt, sodass sich der Schwellenwert erhöht, während der Abstand zwischen dem Blickbestimmungsziel P und dem Fahrer 302 abnimmt, und der Schwellenwert abnimmt, während sich der Abstand zwischen dem Blickbestimmungsziel P und dem Fahrer 302 erhöht. Ferner ist es nicht erforderlich, dass der Schwellenwert kontinuierlich in Abhängigkeit vom Abstand zwischen dem Blickbestimmungsziel P und dem Fahrer 302 variiert, und der Schwellenwert kann in einem Fall klein eingestellt werden, bei dem der Abstand zwischen dem Blickbestimmungsziel P und dem Fahrer 302 innerhalb eines voreingestellten Abstands liegt, und in einem Fall, bei dem der Abstand zwischen dem Blickbestimmungsziel P und dem Fahrer 302 länger als der voreingestellte Abstand ist, kann der Schwellenwert groß eingestellt werden.
Auf diese Weise, durch das Einstellen des Schwellenwerts in Abhängigkeit vom Abstand zwischen dem Blickbestimmungsziel P und dem Fahrer 302, kann die Sichtlinienrichtungsbestimmungseinheit 107 die Sichtlinienrichtung unter Berücksichtigung einer Verschiebung der Sichtlinienrichtung, wenn der Fahrer 302 einen Punkt in der Nähe des Fahrers 302 visuell erkennt, und einer Verschiebung der Sichtlinienrichtung, wenn der Fahrer 302 einen Punkt entfernt vom Fahrer 302 visuell erkennt, bestimmen.
Es ist anzumerken, dass, obwohl ein Beispiel beschrieben wurde, bei dem der Schwellenwert zum Bestimmen, ob der Benutzer das Blickbestimmungsziel visuell erkennt oder nicht, auf Basis des Abstands zwischen dem Blickbestimmungsziel P und dem Fahrer 302 eingestellt wird, der Schwellenwert auf Basis anderer Bedingungen eingestellt werden kann.
Als Nächstes wird der Betrieb der Sichtlinienrichtungskalibrierungsvorrichtung 100 beschrieben.
Nachfolgend wird der Betrieb der Sichtlinienrichtungskalibrierungsvorrichtung 100 separat als ein Arbeitsablauf des Durchführens eines Kalibrierungsparameterberechnungsprozesses und ein Arbeitsablauf des Durchführens eines Sichtlinienrichtungskalibrierungsprozesses und eines Sichtlinienrichtungsbestimmungsprozesses beschrieben.
Zunächst wird der Kalibrierungsparameterberechnungsprozesses unter Bezugnahme auf das Flussdiagramm von 7 beschrieben.
7 ist ein Flussdiagramm, das den Arbeitsablauf des Kalibrierungsparameterberechnungsprozesses durch die Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform veranschaulicht.
Die Kalibrierungsinformationenerfassungseinheit 101 erfasst dreidimensionale Koordinaten eines Blickziels für die Kalibrierung (Schritt ST1). Die Kalibrierungsinformationenerfassungseinheit 101 gibt die erfassten dreidimensionalen Koordinaten des Blickziels für die Kalibrierung zu der Kalibrierungsmodellerzeugungseinheit 103 aus. Hier werden Informationen zum Anweisen des Benutzers, zu welchem Blickziel für die Kalibrierung er blicken soll, von einem Lautsprecher (nicht veranschaulicht), einem Bildschirm (nicht veranschaulicht) oder dergleichen ausgegeben. Wenn der Benutzer zu dem spezifizierten Blickziel für die Kalibrierung blickt, erfasst die Abtastungserfassunsgeinheit 102 eine Abtastung, die die Sichtlinienrichtung des zu dem Blickziel für die Kalibrierung blickenden Benutzers angibt, von der Sichtlinienmessvorrichtung 201 und gibt die Abtastung zu der Kalibrierungsmodellerzeugungseinheit 103 aus (Schritt ST2).
Die Kalibrierungsmodellerzeugungseinheit 103 assoziiert und erfasst die in Schritt ST1 erfassten dreidimensionalen Koordinaten des Blickziels für die Kalibrierung und das Blickziel für die Kalibrierung, das der durch die Abtastungserfassungseinheit 102 erfassten Abtastung entspricht (Schritt ST3). Die Kalibrierungsmodellerzeugungseinheit 103 erzeugt mehrere Kalibrierungsmodelle, die dreidimensionale Koordinaten angeben, die ein Kandidat für die Benutzerposition sind, aus den in Schritt ST3 erhaltenen dreidimensionalen Koordinaten des Blickziels für die Kalibrierung und der in Schritt ST2 erfassten Abtastung auf Basis der obigen Gleichungen (1) und (2) (Schritt ST4). Die Kalibrierungsmodellerzeugungseinheit 103 gibt das in Schritt ST4 erzeugte Kalibrierungsmodell zu der Kalibrierungsparameterberechnungseinheit 104 aus.
Die Kalibrierungsparameterberechnungseinheit 104 berechnet, als Kalibrierungsparameter, den Rotationsparameter ρ und die Maximale-Wahrscheinlichkeits-Schätzung x̃ der Benutzerposition auf Basis der in Schritt ST4 erzeugten Kalibrierungsmodelle (Schritt ST5). Die Kalibrierungsparameterberechnungseinheit 104 speichert die berechneten Kalibrierungsparameter in der Kalibrierungsparameterspeichereinheit 106a (Schritt ST6) und beendet den Prozess.
Als Nächstes werden der Sichtlinienrichtungskalibrierungsprozess und der Sichtlinienrichtungsbestimmungsprozess unter Bezugnahme auf das Flussdiagramm in 8 beschrieben.
8 ist ein Flussdiagramm, das den Arbeitsablauf des Sichtlinienrichtungskalibrierungsprozesses und des Sichtlinienrichtungsbestimmungsprozesses der Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform veranschaulicht.
Wenn eine Bestimmungsanforderung, ob zu einem Blickbestimmungsziel geblickt wird, über die Eingabevorrichtung 202 eingegeben wird (Schritt ST21), berechnet die Kalibrierter-Wert-Berechnungseinheit 105 eine kalibrierte Sichtlinienrichtung bezüglich der durch die Abtastungserfassungseinheit 102 erfassten abgetasteten Sichtlinienrichtung (Schritt ST22). Die Kalibrierter-Wert-Berechnungseinheit 105 gibt die berechnete kalibrierte Sichtlinienrichtung zu der Sichtlinienrichtungsbestimmungseinheit 107 aus. Die Sichtlinienrichtungsbestimmungseinheit 107 berechnet die Richtung des Blickbestimmungsziels (Schritt ST23). Die Sichtlinienrichtungsbestimmungseinheit 107 bestimmt, ob der Benutzer das Blickbestimmungsziel visuell erkennt oder nicht, auf Basis der in Schritt ST22 berechneten kalibrierten Sichtlinienrichtung und des in Schritt ST23 berechneten Blickbestimmungsziels (Schritt ST24).
Falls der Benutzer das Blickbestimmungsziel visuell erkennt (Schritt ST24: JA), gibt die Sichtlinienrichtungsbestimmungseinheit 107 ein Ergebnis aus, das angibt, dass der Benutzer das Blickbestimmungsziel visuell erkennt (Schritt ST25), und beendet den Prozess.
Andererseits gibt, falls der Benutzer das Blickbestimmungsziel nicht visuell erkennt (Schritt ST24: NEIN), die Sichtlinienrichtungsbestimmungseinheit 107 ein Bestimmungsergebnis aus, das angibt, dass der Benutzer das Blickbestimmungsziel nicht visuell erkennt (Schritt ST26), und beendet den Prozess.
9 ist ein Diagramm, das ein Ergebnis des Kalibrierungsprozesses der Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform veranschaulicht.
In 9 wird ein Ergebnis des Durchführens des oben beschriebenen Sichtlinienrichtungskalibrierungsprozesses unter Verwendung von Zubehör im Fahrzeug als Blickziele für die Kalibrierung veranschaulicht. Als Zubehör des Fahrzeugs ist in 9 ein Fall veranschaulicht, bei dem die Sichtlinienmessvorrichtung 201, der Rückspiegel 305, der rechte Außenspiegel 303 und der linke Außenspiegel 304 Blickziele sind.
In 9 gibt die horizontale Achse die Position in der Sichtlinienrichtung in der Fahrzeugbreitenrichtung an, und die vertikale Achse gibt die Position in der Sichtlinienrichtung senkrecht zu einer Straßenoberfläche an, auf der das Fahrzeug fährt. Ein rechteckiger Bereich 401 gibt eine Vorne-Position des Benutzers an. Rechteckige Bereiche 402 bis 405 geben Positionen in der kalibrierten Sichtlinienrichtung in einem Fall an, bei dem jedes Zubehör des Fahrzeugs als ein Blickziel für die Kalibrierung verwendet wird. Ergebnisse 412 bis 415 geben die Position der Sichtlinienrichtung des Benutzers an, wenn zu jedem Zubehör des Fahrzeugs als ein Blickziel für die Kalibrierung geblickt wird. Es wird in 9 veranschaulicht, dass die rechteckigen Bereiche, die die Positionen kalibrierter Sichtlinienrichtungen repräsentieren, zu einem Ergebnis konvergieren, das dem des Kalibrierungsprozesses durch die Sichtlinienrichtungskalibrierungsvorrichtung 100 entspricht.
Es ist anzumerken, dass in 9 ein Ergebnis 412 grafische Darstellungen von Sichtlinienvektoren des Benutzers veranschaulicht, wenn der Benutzer zu der Sichtlinienmessvorrichtung 201 blickt. Gleichermaßen veranschaulichen ein Ergebnis 413, ein Ergebnis 414 und ein Ergebnis 415 Schaubilder von Sichtlinienvektoren des Benutzers, wenn der Benutzer zu dem Rückspiegel 305, dem rechten Außenspiegel 303 bzw. dem linken Außenspiegel 304 blickt.
Ein Fahrer erkennt visuell häufig Fahrzeugzubehör, wie etwa einen Rückspiegel oder einen Außenspiegel, während das Fahrzeug fährt. Daher wird es durch das Festlegen von Fahrzeugzubehör als Blickziele für die Kalibrierung möglich, den Sichtlinienrichtungskalibrierungsprozess durch ein unbewusstes Verhalten, wie etwa des Betrachtens des Fahrzeugzubehörs durch den Fahrer, während das Fahrzeug fährt, oder ein unvermeidbares Verhalten durchzuführen.
Technologie zum Festlegen einer Referenz in der Sichtlinienrichtung und Kalibrieren der Detektion der Sichtlinienrichtung durch das Verhalten eines Fahrers, dass er das Fahrzeugzubehör anschaut, während das Fahrzeug fährt, ist beispielsweise in der folgenden Referenzliteratur 1 offenbart.
Referenzliteratur 1
JP 2010-30361 A
Wie oben beschrieben, beinhaltet die Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform Folgendes: die Kalibrierungsinformationenerfassungseinheit 101 zum Erfassen dreidimensionaler Koordinaten, die die Position jedes Blickziels für die Kalibrierung für mindestens ein Blickziel für die Kalibrierung angeben; die Abtastungserfassungseinheit 102 zum Erfassen mehrerer Abtastungen, die eine Sichtlinienrichtung eines Benutzers angeben; die Kalibrierungsmodellerzeugungseinheit 103 zum Erzeugen mehrerer Kalibrierungsmodelle, die dreidimensionale Koordinaten angeben, die Kandidaten für eine Position des Benutzers sind, auf Basis der erfassten dreidimensionalen Koordinaten und der erfassten Abtastungen, die die Sichtlinienrichtung des Benutzers angeben, der zu jedem der Blickziele für die Kalibrierung blickt; und die Kalibrierungsparameterberechnungseinheit 104 zum Berechnen von Kalibrierungsparametern auf Basis der erzeugten Kalibrierungsmodelle.
Dies ermöglicht eine Kalibrierung eines Messfehlers, der in der Sichtlinienrichtung enthalten ist, die für die zu einem beliebigen Punkt gerichtete Sichtlinie gemessen wird. Es wird auch ermöglicht, die Kalibrierungsparameter nur aus der Sichtlinienrichtung und Informationen des Blickziels für die Kalibrierung zu berechnen. Aus diesem Grund können die Kalibrierungsparameter beispielsweise berechnet werden, selbst wenn nur ein Sichtlinienrichtungsmesswert basierend auf einem Bildgebungsmittel verwendet wird, und somit wird die Konfiguration vereinfacht, und die Kosten können im Vergleich zu der Technologie des Verwendens eines Abstandsmessers zum Ermitteln der Benutzerposition oder der Technologie des Verwendens mehrerer Bildgebungsmittel reduziert werden.
Zusätzlich beinhaltet die Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform Folgendes: die Kalibrierter-Wert-Berechnungseinheit 105 zum Kalibrieren der durch die Abtastungserfassungseinheit 102 erfassten Sichtlinienrichtung des Benutzers auf Basis der durch die Kalibrierungsparameterberechnungseinheit 104 berechneten Kalibrierungsparameter und zum Berechnen einer kalibrierten Sichtlinienrichtung; und die Sichtlinienrichtungsbestimmungseinheit 107 zum Bestimmen, ob der Benutzer das Blickbestimmungsziel visuell erkennt oder nicht, auf Basis der berechneten kalibrierten Sichtlinienrichtung und der durch die Kalibrierungsparameterberechnungseinheit 104 berechneten Kalibrierungsparameter.
Dies ermöglicht es, die Sichtlinienrichtung des Benutzers zu bestimmen, die zu einem beliebigen Punkt gerichtet ist.
Es ist anzumerken, dass in einem Fall, bei dem die Messcharakteristiken der Sichtlinienmessvorrichtung 201 auch in der oben beschriebenen Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform kalibriert werden sollen, es ausreicht, die obige Gleichung (2) in die folgende Gleichung (2a) zu transformieren. $v_{p o v} = [\begin{matrix} tan (f (α, θ_{G i e r e n}) - ρ_{G i e r e n}) \\ tan (f (α, θ_{N i c k e n}) - ρ_{N i c k e n}) \end{matrix}]$
In Gleichung (2a) wird der Winkel θ in Gleichung (2) mit f(a, θ) ersetzt. In Gleichung (2a) können die Messcharakteristiken der Sichtlinienmessvorrichtung 201 durch Optimieren der Variable α in der Funktion f zu einem Kalibrierungsziel gemacht werden.
In einem Fall, bei dem sich die Empfindlichkeit der Abtastungserfassungseinheit 102 in die X-, Y- und Z-Richtung in den dreidimensionalen Koordinaten aufgrund individueller Unterschiede zwischen Benutzern oder individueller Unterschiede von Sichtlinienmessvorrichtungen 201 ändert, wird f(α, θ) in Gleichung (2a) mit αθ ersetzt. Infolgedessen kann die Empfindlichkeit der Messcharakteristiken der Sichtlinienmessvorrichtung 201 gleichzeitig kalibriert werden. Es ist anzumerken, dass α in Gleichung (2a) separat für α_Gieren und α_Nicken gesetzt werden kannn.
In der oben beschriebenen Sichtlinienrichtungskalibrierungsvorrichtung 100 gemäß der ersten Ausführungsform berechnet die Kalibrierungsparameterberechnungseinheit 104 die wahrscheinlichste Benutzerposition als die Kalibrierungsparameter aus dem Ausdruck (3) unter Verwendung der mehreren darin eingegebenen Kalibrierungsmodelle x̃_Kopf,i. Bei diesem Prozess kann die wahrscheinlichste Benutzerposition durch Hinzufügen von Gewichtungen zu den mehreren Kalibrierungsmodellen x̃_Kopf,i, die bei der Kalibrierung verwendet werden, in Abhängigkeit von der Zuverlässigkeit oder dergleichen der Werte der Kalibrierungsmodelle x̃_Kopf,i berechnet werden. In einem Fall, bei dem Gewichtungen zu den Kalibrierungsmodellen x̃_Kopf,i hinzugefügt werden, werden die Kalibrierungsmodelle x̃_Kopf,i mit w_i x̃_Kopf,i ersetzt.
Beispielsweise in einem Fall, bei dem Messcharakteristiken der Sichtlinienmessvorrichtung 201 eine hohe Messgenauigkeit im mittleren Teil des Messbereichs und eine niedrige Messgenauigkeit in den peripheren Bereichen aufweisen, werden Gewichtungen von Kalibrierungsmodellen x̃_Kopf,i eines sich in oder in der Nähe der Mitte des Messbereichs befindlichen Blickziels groß eingestellt, während Gewichtungen von Kalibrierungsmodellen x̃_Kopf,i eines sich in den peripheren Bereichen des Messbereichs befindlichen Blickziels klein eingestellt werden. Dies ermöglicht es der Kalibrierungsparameterberechnungseinheit 104 in der Sichtlinienrichtungskalibrierungsvorrichtung 100, Fehler zu unterdrücken, wenn die wahrscheinlichste Benutzerposition berechnet wird.
Als ein anderes Beispiel für Messcharakteristiken der Sichtlinienmessvorrichtung 201, wird in einem Fall, bei dem ein Blickziel für die Kalibrierung näher an der Benutzerposition liegt, der Sichtwinkel im Vergleich zu einem Fall, bei dem sich das Blickziel für die Kalibrierung mit gleicher Größe an einer fernen Position befindet, größer und somit wird angenommen, dass Messwerte in die Sichtlinienrichtung stark variieren, da eine Abweichung von den Mittenkoordinaten des Blickziels für die Kalibrierung groß wird. Falls Messwerte in der Sichtlinienrichtung stark variieren, gibt es hinsichtlich dessen einen Nachteil, dass es wahrscheinlicher ist, dass das Kalibrierungsmodell die Benutzerposition nicht sachgemäß widerspiegelt, wodurch die Schätzgenauigkeit der Kalibrierungsparameter verschlechtert wird. Daher ist es wünschenswert, einen Gewichtungsfaktor zu reduzieren, wenn sich Variationen in der Sichtlinienrichtung erhöhen, beispielsweise durch Hinzufügen eines Gewichtungsfaktors, der durch w = exp (-σ) erhalten wird, wobei σ die Standardabweichung in der Sichtlinienrichtung ist, wenn zu dem gleichen Blickziel für die Kalibrierung geblickt wird.
Als ein anderes Beispiel gibt es Fälle, bei denen ein Blickziel aufgrund einer Sakkade oder aus anderen Gründen temporär vom Sichtfeld abweicht, selbst wenn der Benutzer weiterhin zu dem gleichen Blickziel blickt, während die Sichtlinienrichtungskalibrierungsvorrichtung 100 einen Kalibrierungsprozess durchführt. Zur Bestimmung, ob der Benutzer zu einem Blickziel blickt, wird typischerweise zwischen Bewegung und Beibehaltung einer Sichtlinie unterschieden und dadurch die Beibehaltung als ein Blickzustand bestimmt. Das Einstellen strikter Bedingungen zur Bestimmung der Beibehaltung einer Sichtlinie führt jedoch einen Kompromiss zwischen Verbesserung der Auswahlgenauigkeit von bei der Kalibrierung verwendeten Kalibrierungsmodellen x̃_Kopf,i und der Verschlechterung der Zuverlässigkeit des Kalibrierungsergebnisses aufgrund der reduzierten Anzahl von bei der Kalibrierung verwendeten Kalibrierungsmodellen x̃_Kopf,i herbei. In einer derartigen Situation werden Sichtlinienrichtungsvektoren für dasselbe Blickziel statistisch geprüft und Gewichtungen für Kalibrierungsmodelle x̃_Kopf,i werden in Abhängigkeit vom Abweichungsgrad von der Verteilung der Sichtlinienrichtungsvektoren reduziert. Dies kann die Genauigkeit und die Zuverlässigkeit des Kalibrierungsergebnisses gewährleisten.
Es ist anzumerken, dass, obwohl ein Fall in der obigen Beschreibung beschrieben wurde, bei dem Gewichtung kontinuierlich unter Verwendung der Standardabweichung σ in die Sichtlinienrichtung als eine Referenz durchgeführt wird, ein Kalibrierungsmodell diskontinuierlich gewichtet werden kann, wie in dem Fall einer weichen Grenze in einer Support Vector Machine (SVM).
Es ist anzumerken, dass ein Fall in der obigen Beschreibung beschrieben wurde, bei dem die Sichtlinienrichtungskalibrierungsvorrichtung 100 die kalibrierte Sichtlinienrichtung für einen beliebigen Punkt in einem dreidimensionalen Raum berechnet. Die Sichtlinienrichtungskalibrierungsvorrichtung 100 kann jedoch eine kalibrierte Sichtlinienrichtung für einen beliebigen Punkt in einem zweidimensionalen Raum berechnen, der ein spezieller Fall eines dreidimensionalen Raums ist.
Es ist anzumerken, dass die vorliegende Erfindung Modifikationen einer beliebigen Komponente jeder Ausführungsform oder eine Auslassung einer beliebigen Komponente jeder Ausführungsform innerhalb des Schutzumfangs der vorliegenden Erfindung beinhalten kann.
INDUSTRIELLE ANWENDBARKEIT
Eine Sichtlinienrichtungskalibrierungsvorrichtung gemäß der vorliegenden Erfindung ist bei einem System oder dergleichen anwendbar, das eine Sichtlinienrichtung eines Benutzers genau bestimmen und ein Ziel, das visuell von dem Benutzer in einer Vorrichtung einschließlich eines Bildschirms wie etwa einer fahrzeuginternen Vorrichtung und eines Fernsehers erkannt wird, ermitteln soll.
Bezugszeichenliste

100:: Sichtlinienrichtungskalibrierungsvorrichtung,
101:: Kalibrierungsinformationenerfassungseinheit,
102:: Abtastungserfassungseinheit,
103:: Kalibrierungsmodellerzeugungseinheit,
104:: Kalibrierungsparameterberechnungseinheit,
105:: Kalibrierter-Wert-Berechnungseinheit,
106a:: Kalibrierungsparameterspeichereinheit,
106b:: Sichtlinienrichtungsspeichereinheit,
107:: Sichtlinienrichtungsbestimmungseinheit,

Claims

Sichtlinienrichtungskalibrierungsvorrichtung (100), die Folgendes umfasst: eine Kalibrierungsinformationenerfassungseinheit (101) zum Erfassen dreidimensionaler Koordinaten für mindestens ein Blickziel für eine Kalibrierung, wobei die dreidimensionalen Koordinaten eine Position jedes Blickziels für die Kalibrierung angeben und auf einem vorbestimmten Koordinatensystem basieren; eine Abtastungserfassungseinheit (102) zum Erfassen mehrerer Abtastungen, die eine Sichtlinienrichtung eines Benutzers angeben, wobei die mehreren Abtastungen auf einem unbekannten Koordinatensystem basieren, das keine Korrespondenzbeziehung mit dem vorbestimmten Koordinatensystem aufweist; eine Kalibrierungsmodellerzeugungseinheit (103) zum Erzeugen mehrerer Kalibrierungsmodelle, die dreidimensionale Koordinaten angeben, die Kandidaten für eine Position des Benutzers sind, auf Basis der durch die Kalibrierungsinformationenerfassungseinheit (101) erfassten dreidimensionalen Koordinaten, der durch die Abtastungserfassungseinheit (102) erfassten Abtastungen, die die Sichtlinienrichtung des Benutzers angeben, der zu jedem der Blickziele für die Kalibrierung blickt, einem unbekannten Parameter, der die Korrespondenzbeziehung zwischen dem vorbestimmten Koordinatensystem und dem unbekannten Koordinatensystem angibt; und eine Kalibrierungsparameterberechnungseinheit (104) zum Berechnen, als einen Kalibrierungsparameter, des unbekannten Parameters und der Position des Benutzers auf Basis der durch die Kalibrierungsmodellerzeugungseinheit (103) erzeugten Kalibrierungsmodelle.
Sichtlinienrichtungskalibrierungsvorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Kalibrierter-Wert-Berechnungseinheit (105) zum Kalibrieren der durch die Abtastungserfassungseinheit (102) erhaltenen Sichtlinienrichtung des Benutzers auf Basis der durch die Kalibrierungsparameterberechnungseinheit (104) berechneten Kalibrierungsparameter und zum Berechnen einer kalibrierten Sichtlinienrichtung; und eine Sichtlinienrichtungsbestimmungseinheit (107) zum Bestimmen, ob der Benutzer ein Blickbestimmungsziel visuell erkennt oder nicht, auf Basis der durch die Kalibrierter-Wert-Berechnungseinheit (105) berechneten kalibrierten Sichtlinienrichtung und des durch die Kalibrierungsparameterberechnungseinheit (104) berechneten Kalibrierungsparameters.
Sichtlinienrichtungskalibrierungsvorrichtung nach Anspruch 2, wobei ein Schwellenwert zum Veranlassen, dass die Sichtlinienrichtungsbestimmungseinheit (107) bestimmt, dass der Benutzer das Blickbestimmungsziel visuell erkennt, auf Basis eines Abstands zwischen dem Benutzer und dem Blickbestimmungsziel eingestellt wird.
Sichtlinienrichtungskalibrierungsvorrichtung nach Anspruch 1, wobei die Kalibrierungsmodellerzeugungseinheit (103) eine Messcharakteristik der Sichtlinienmessvorrichtung (201) zum Messen der Sichtlinienrichtung des Benutzers als ein Kalibrierungsziel einstellt.
Sichtlinienrichtungskalibrierungsvorrichtung nach Anspruch 1, wobei die Kalibrierungsparameterberechnungseinheit (104) ein Gewicht zu den Kalibrierungsmodellen in Abhängigkeit von einer Position in einem Messbereich einer Messvorrichtung, die die Sichtlinienrichtung des Benutzers misst, hinzufügt.
Sichtlinienrichtungskalibrierungsvorrichtung nach Anspruch 1, wobei die Kalibrierungsparameterberechnungseinheit (104) ein Gewicht zu den Kalibrierungsmodellen in Abhängigkeit von einem Variationsgrad der Sichtlinienrichtung des Benutzers für jedes der Blickziele für die Kalibrierung hinzufügt.
Sichtlinienrichtungskalibrierungsvorrichtung nach Anspruch 1, wobei die Kalibrierungsparameterberechnungseinheit (104) für jede Sichtlinienrichtung des Benutzers ein Gewicht zu den Kalibrierungsmodellen in Abhängigkeit von einem Abweichungsgrad der Sichtlinienrichtung des Benutzers von einer Verteilung der Sichtlinienrichtung des Benutzers in dem Blickziel für die Kalibrierung hinzufügt, zu der die Sichtlinienrichtung des Benutzers gehört.
Sichtlinienrichtungskalibrierungsverfahren, das die folgenden Schritte umfasst: Erfassen, durch eine Kalibrierungsinformationenerfassungseinheit (101), dreidimensionaler Koordinaten für mindestens ein Blickziel für eine Kalibrierung, wobei die dreidimensionalen Koordinaten eine Position jedes Blickziels für die Kalibrierung angeben und auf einem vorbestimmten Koordinatensystem basieren; Erfassen, durch eine Abtastungserfassungseinheit (102), mehrerer Abtastungen, die eine Sichtlinienrichtung eines Benutzers angeben, wobei die mehreren Abtastungen auf einem unbekannten Koordinatensystem basieren, das keine Korrespondenzbeziehung mit dem vorbestimmten Koordinatensystem aufweist; Erzeugen, durch eine Kalibrierungsmodellerzeugungseinheit (103), mehrerer Kalibrierungsmodelle, die dreidimensionale Koordinaten angeben, die Kandidaten für eine Position des Benutzers sind, auf Basis der dreidimensionalen Koordinaten, die die Position jedes der Blickziele für die Kalibrierung angeben, der Abtastungen, die die Sichtlinienrichtung des Benutzers angeben, der zu jedem der Blickziele für die Kalibrierung blickt, einem unbekannten Parameter, der die Korrespondenzbeziehung zwischen dem vorbestimmten Koordinatensystem und dem unbekannten Koordinatensystem angibt; und Berechnen, durch eine Kalibrierungsparameterberechnungseinheit (104), als einen Kalibrierungsparameter, des unbekannten Parameters und der Position des Benutzers auf Basis der erzeugten Kalibrierungsmodelle.
Sichtlinienrichtungskalibrierungsprogramm zum Veranlassen, dass ein Computer Folgendes ausführt: eine Prozedur zum Erfassen dreidimensionaler Koordinaten für mindestens ein Blickziel für eine Kalibrierung, wobei die dreidimensionalen Koordinaten eine Position jedes Blickziels für die Kalibrierung angeben und auf einem vorbestimmten Koordinatensystem basieren; eine Prozedur zum Erfassen mehrerer Abtastungen, die eine Sichtlinienrichtung eines Benutzers angeben, wobei die mehreren Abtastungen auf einem unbekannten Koordinatensystem basieren, das keine Korrespondenzbeziehung mit dem vorbestimmten Koordinatensystem aufweist; eine Prozedur zum Erzeugen mehrerer Kalibrierungsmodelle, die dreidimensionale Koordinaten angeben, die Kandidaten für eine Position des Benutzers sind, auf Basis der dreidimensionalen Koordinaten, die die Position jedes der Blickziele für die Kalibrierung angeben, der Abtastungen, die die Sichtlinienrichtung des Benutzers angeben, der zu jedem der Blickziele für die Kalibrierung blickt, einem unbekannten Parameter, der die Korrespondenzbeziehung zwischen dem vorbestimmten Koordinatensystem und dem unbekannten Koordinatensystem angibt; und eine Prozedur zum Berechnen, als einen Kalibrierungsparameter, des unbekannten Parameters und der Position des Benutzers auf Basis der erzeugten Kalibrierungsmodelle.