DE4215523C2 - Blickpunkterfassungseinrichtung für eine Kamera - Google Patents

Description

Die Erfindung betrifft eine Blickpunkterfassungseinrichtung für eine Kamera, mit Mitteln zum kontinuierlichen Erfassen der Blickrichtung und einer Bestimmungseinrichtung, die einen Blickpunkt in einer Blickebene auf der Basis der erfaßten Blickrichtung als aktuellen Blickpunkt bestimmt.

Aus der Druckschrift DE 40 34 958 A1 ist eine derartige Blickrichtungsdetektoreinrichtung mit einer Einrichtung zur Erfassung des Blickpunkts des Auges eines Benutzers bekannt. Zur Erfassung des Blickpunkts blickt der Benutzer auf in einem Sucher festgelegte Brennpunktdetektorzonen, die von entsprechenden jeweiligen Entscheidungszonen umgeben sind. Solange die Blickrichtung des Benutzers innerhalb einer dieser Entscheidungszonen verbleibt, wird die zugehörige Brennpunktdetektorzone als maßgeblich relevant für die automatische Scharfeinstellung und die Belichtungseinstellung ausgewählt. Hierzu wird die Blickrichtung des Benutzers auf bekannte Weise mittels geometrischer Berechnungen anhand des von der Pupille auf einen CCD-Sensor reflektierten Purkinje- Bildes ermittelt und in Sucher-Positionskoordinaten umgeformt, anhand derer ein Kamera-Mikroprozessor die Lage der Blickrichtung innerhalb oder außerhalb einer Entscheidungszone feststellt. Soll ein unwillentliches Löschen der getroffenen Auswahl des optischen Brennpunktdetektorsystems vermieden werden, so ist es erforderlich, dass der Benutzer der Vorrichtung ständig in das Zentrum der auszuwählenden Brennpunktdetektorzone blickt.

Ferner offenbart die Druckschrift WO 87/01571 A1 eine Vorrichtung sowie ein Verfahren zum Ermitteln der Blickrichtung des Auges eines Benutzers, die auf der Erfassung des Pupillenmittelpunkts und des Mittelpunkts eines zugehörigen Reflexionsbilds beruht. Im wesentlichen betrifft dieser Stand der Technik die Verarbeitung der aus dem Auge erhaltenen Reflex-Information zur Ermittlung entsprechender Parameter, wobei das Auge eines Benutzers beleuchtet und der Rand der Pupille erfaßt wird durch Vergleichen von ermittelten Helligkeitsdifferenzen mit vorbestimmten Werten.

Eine weitere nachstehend beschriebene Einrichtung zur Erfassung der Blickrichtung des Auges eines Benutzers zur Steuerung der Funktionen beispielsweise einer Kamera, insbesondere mit einer automatischen Nachführung der Sehachse, ist aus der JP-63-94232 bekannt.

Fig. 8 zeigt eine Blockdarstellung einer Einrichtung nach dem Stand der Technik. Bei dieser bekannten Einrichtung wird die Bewegung des Auges des ein Aufnahmebild durch einen Sucher oder über einen Monitor betrachtenden Fotografen überwacht, und die automatische Scharfeinstellung sowie die automatische Belichtung erfolgen für einen Bereich, der denjenigen Teilbereich des Bildfelds (Blickebene) enthält, welcher von dem Fotografen angesehen wird. Mit 30 ist ein Detektor für die Augenbewegung bezeichnet. Dieser Detektor 30, dessen Einzelheiten nachstehend beschrieben werden, erfasst die Bewegung eines Auges 32 des Fotografen und gibt an eine Schaltsteuereinheit 34 ein Lagesignal für die horizontale und vertikale Lage des Augenblickpunkts ein, welches die Stelle in dem Bildfeld angibt. Die Schaltsteuereinheit 34 vergleicht ein Horizontalsynchronisiersignal Hsync und ein Vertikalsynchronisiersignal Vsync aus einem Taktgenerator 28 mit dem Lagesignal aus dem Detektor 30 der Augenbewegung und steuert ein Schaltglied 14 derart, dass dieses nur das Bildsignal für einen entsprechenden Bereich des Bildfelds durchlässt.

Zum Erfassen einer Augenbewegung gibt es verschiedene Verfahren, von denen hier als Beispiel das von Nippon Hoso Kyokai vorgeschlagene NHK-System beschrieben wird (siehe Television Society Journal, Band Nr. 2 (1986), Seite 41 usw.) Der optische Teil des Systems des NHK-Systems ist in Fig. 9 gezeigt, und Fig. 10 zeigt einen Schaltungsaufbau, in dem der Augenbewegungs-Detektor 30 gemäß dem Beispiel nach Fig. 8 zusammen mit der Schaltsteuereinheit 34 verwendet ist. Gemäß Fig. 9 wird von einer Infrarot-Lichtquelle 40 (40X, 40Y), die nahe an dem Auge angeordnet ist, infrarotes Licht abgegeben und das vom Auge reflektierte Licht wird durch fotoelektrische Wandlerelemente 42 (42R, 42L; 42U, 42D) aufgenommen, durch die die Rechts- und Linksbewegung bzw. die Aufwärts- und Abwärtsbewegung der Iris erfasst wird. Die Wandlerelemente 42R und 42L zum Erfassen der Rechts- und Linksbewegung der Iris sind derart angeordnet, dass sie jeweils das Reflexionslicht von der rechten bzw. linken Seite der Iris bei einem Geradeausblick erfassen, und die Ausgangssignale dieser Wandlerelemente werden durch einen Subtrahierverstärker 44 unter Subtraktion verstärkt. Ferner sind die beiden Wandlerelemente 42U und 42D zum Erfassen der Aufwärts- und Abwärtsbewegung der Iris derart angeordnet, dass sie das Reflexionslicht von dem schrägen unteren Teil der Iris bei dem Geradeausblick aufnehmen, und ihre Ausgangssignale werden durch einen Addierverstärker 46 unter Addition verstärkt.

Das Ausgangssignal des Subtrahierverstärkers 44 entspricht der in Fig. 11A gezeigten Kennlinie für die Rechts- und Linksbewegung der Iris, während das Ausgangssignal des Addierverstärkers 46 der in Fig. 11B gezeigten Kennlinie für die Aufwärts- und Abwärtsbewegung der Iris entspricht. Somit zeigt das Ausgangssignal des Subtrahierverstärkers 44 die Richtung der Iris in einer horizontalen Ebene, bzw. deren horizontale Lage auf dem von dem Betrachter beobachteten Bildfeld, während das Ausgangssignal des Addierverstärkers 46 die Richtung anzeigt, in der die Iris in der vertikalen Ebene gerichtet ist, d. h. die vertikale Lage in dem Betrachtungsbildfeld.

Tatsächlich zeigen jedoch die Ausgangssignale des Subtrahierverstärkers 44 und des Addierverstärkers 46 eine mehr oder weniger starke Nichtlinearität, so dass es daher vorteilhaft ist, zum Verbessern der Erfassungsgenauigkeit Linearisierschaltungen 48 und 50 einzusetzen. Infolgedessen gibt das Ausgangssignal der Linearisierschaltung 48 nach Fig. 10 eine horizontale Lage X in dem Bildfeld an, während das Ausgangssignal der Linearisierschaltung 50 eine vertikale Lage Y im Bildfeld angibt.

Ferner wurden zum Erfassen der Sehachse (Blickpunkt) Einrichtungen in der US-PS 5 036 347 vorgeschlagen.

Bei den vorstehend beschriebenen Beispielen des Standes der Technik kann zwar die Sehachse des Fotografen erfasst werden, jedoch wird die Sehachse als versetzt erfasst, wenn der Fotograf momentan beispielsweise aus dem Rahmen des erwünschten Aufnahmebildfelds herausblickt, und es wird entsprechend der Sehachse eine Änderung des Bereichs zur automatischen Scharfeinstellung oder dergleichen vorgenommen, wodurch sich eine Beeinträchtigung der Sehachsenerfassung ergibt.

Der Erfindung liegt demgegenüber die Aufgabe zugrunde, eine Blickpunkterfassungseinrichtung der eingangs genannten Art derart auszugestalten, dass in genauer und verläßlicher Weise der Blickpunkt des Auges einer Person innerhalb einer Blickebene erfaßt werden kann, auch wenn das Auge eine physiologisch bedingte schnelle und/oder kurze Bewegung durchführt.

Erfindungsgemäß wird diese Aufgabe gemäß Patentanspruch 1 in der Weise gelöst, dass die Bestimmungseinrichtung eine erste Position in der Blickebene entsprechend einer ersten erfaßten Blickrichtung und eine zweite Position in der Blickebene entsprechend einer zweiten erfaßten Blickrichtung bestimmt zur Bestimmung der ersten Position als den aktuellen Blickpunkt, wenn ein Änderungsbetrag von der ersten Position zur zweiten Position einen vorbestimmten Grenzwert überschreitet.

Erfindungsgemäß wird alternativ diese Aufgabe gemäß Patentanspruch 3 in der Weise gelöst, dass bei Überschreiten eines vorbestimmten ersten Grenzwerts durch einen Änderungsbetrag von einer ersten, aus einer ersten erfaßten Blickrichtung erhaltenen Position in der Blickebene zu einer zweiten, aus einer zweiten erfaßten Blickrichtung erhaltenen Position, die Bestimmungseinrichtung die zweite Position als den aktuellen Blickpunkt bestimmt, sofern nicht ein Abstand zwischen der zweiten Position und einer Position, die innerhalb einer vorbestimmten Zeitdauer nach Erhalten der zweiten Position aus einer erfaßten Blickrichtung erhalten wurde, einen zweiten vorbestimmten Grenzwert übersteigt.

Erfindungsgemäß wird ferner alternativ diese Aufgabe gemäß Patentanspruch 5 in der Weise gelöst, dass die Bestimmungseinrichtung eine erste Position der Blickebene entsprechend einer ersten erfaßten Blickrichtung, und eine zweite Position in der Blickebene entsprechend einer zweiten erfaßten Blickrichtung bestimmt zur Bestimmung der ersten Position als den aktuellen Blickpunkt, sofern nicht ein Änderungsbetrag von der ersten Position zur zweiten Position einen vorbestimmten Grenzwert übersteigt.

Somit werden entsprechend den erfindungsgemäßen Lösungen zwei Blickpunktinformationen bewertet, wobei in Abhängigkeit von einem durch Augenbewegungen bedingten Abweichungsgrad der beiden Blickpunktinformationen eine dieser Blickpunktinformationen als effektive Blickpunktinformation bestimmt wird. Im einzelnen wird bei der Augensteuerung der Funktionen einer Kamera oder allgemein einer optischen Vorrichtung eine vom Benutzer gewünschte und damit willkürliche Augenbewegung, die von der Blickpunkterfassungseinrichtung erfaßt wird, von einer unwillkürlichen (saccadischen) Augenbewegung unterschieden, die ebenfalls von der Blickpunkterfassungseinrichtung erfaßt wird, wobei jedoch der zur unwillkürlichen Augenbewegung gehörige ermittelte Blickpunkt nicht als gewünschter Blickpunkt bewertet werden soll.

Gemäß vorgegebener Kriterien kann erfindungsgemäß bewertet werden, ob die erfaßte Position in der Blickebene aus einer physiologischen (unwillkürlichen) Bewegung resultiert oder auf der Basis einer gewünschten (willkürlichen) Bewegung des Auges bestimmt wurde. Hierbei werden Vergleiche bezüglich der ermittelten Positionen in der Blickebene durchgeführt zur Bewertung der einzelnen, aus einer erfaßten Blickrichtung bestimmten Positionen. Im Ergebnis werden die erfaßten Positionen in der Blickebene in der Weise bewertet, dass die als physiologische Augenbewegungen erkannten Augenbewegungen nicht berücksichtigt werden, während beispielsweise im Falle des Verfolgens eines beweglichen Objekts in der Blickebene durch das Auge des Benutzers entsprechend den vorgegebenen Kriterien eine jeweils ermittelte Position als Blickpunkt bewertet wird.

Mittels der vorliegenden Erfindung wird vermieden, dass eine erfaßte Position aufgrund der Blickrichtungserfassung des Auges innerhalb der Blickebene als Blickpunkt bestimmt wird, obwohl es sich hierbei nicht um die gewünschte Position beispielsweise während des Verfolgens eines Objekts innerhalb der Blickebene durch das Auge des Kamerabenutzers handelt.

In den Unteransprüchen sind vorteilhafte Ausgestaltungen der Erfindung angegeben.

Die Erfindung wird nachstehend anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnung näher erläutert.

Fig. 1 ist eine Blockdarstellung eines ersten Ausführungsbeispiels.

Fig. 2 ist ein Ablaufdiagramm der Funktion bei dem ersten Ausführungsbeispiel.

Fig. 3A und 3B zeigen jeweils einen Bereich für die automatische Scharfeinstellung bzw. einen Bereich für die automatische Belichtung.

Fig. 4 ist ein Ablaufdiagramm der Funktion für die Bereichsbestimmung bei dem ersten Ausführungsbeispiel.

Fig. 5 ist eine Blockdarstellung eines zweiten Ausführungsbeispiels.

Fig. 6 ist ein Ablaufdiagramm der Funktion des zweiten Ausführungsbeispiels.

Fig. 7 ist ein Ablaufdiagramm einer Funktion zur Bereichsbestimmung bei dem zweiten Ausführungsbeispiel.

Fig. 8 zeigt einen Aufbau gemäß dem Stand der Technik.

Fig. 9 veranschaulicht das Verfahren gemäß dem Stand der Technik.

Fig. 10 ist ein Schaltbild gemäß dem Stand der Technik.

Fig. 11A und 11B veranschaulichen Kennlinien gemäß dem Stand der Technik.

Fig. 12 bis 15 sind Ablaufdiagramme der erfindungsgemäßen Blickpunkterfassung.

Die Fig. 1, die eine Blockdarstellung eines ersten Ausführungsbeispiels ist, zeigt einen Mikroprozessor (MPU) 1, einen Speicher 2, eine Schnittstellenschaltung 3 mit Analog/Digital-Wandlerfunktion, eine Sensoreinheit 4 mit einem Bildsensor zum Beobachten des Auges des Fotografen und mit einer Ansteuerungsschaltung hierfür und eine Infrarot- Leuchtdiode 7 zum Beleuchten des Auges des Betrachters. Ferner zeigt die Figur eine Beleuchtungssteuerschaltung 5, einen Lagesensor 6 zum Erfassen der vertikalen und horizontalen Lage einer Kamera, einen Scharfeinstellungsautomatik-Sensor 10 zum Erfassen des Scharfeinstellungszustands eines Aufnahmeobjektivs, eine Objektiveinstelleinheit 11, einen Lichtmesssensor 12 und eine Blendeneinstelleinheit 13.

Bei diesem Ausführungsbeispiel wird eine Berechnung an einem Bildsignal aus einem Bildsensor derart vorgenommen, dass dadurch die Blickrichtung des Fotografen gemäß dem folgenden Verfahren ermittelt wird: Wenn durch die Leuchtdiode 7 auf das Auge des Fotografen paralleles (oder divergierendes) Licht gerichtet wird, wird dieses Licht durch die Vorderfläche der Hornhaut reflektiert und es entsteht ein virtuelles Bild der Leuchtdiode. Dieses virtuelle Bild wird als Purkinje-Bild bezeichnet und die Stelle, an der dieses Bild erzeugt wird, stimmt mit der Mitte der Pupille überein, wenn der Schwenkwinkel des Auges "0" ist. Sobald sich das Auge dreht, erweitert sich der Abstand zwischen dem Purkinje- Bild und der Mitte der Pupille im wesentlichen proportional zu dem Sinus des Schwenkwinkels. Infolgedessen werden aus dem Bildsignal des Bildsensors die Lage des Purkinje-Bilds, die Lage der Mitte der Pupille und weiterhin der Abstand zwischen diesen berechnet, so dass im weiteren der Blickpunkt des Fotografen ermittelt werden kann (wobei durch die optischen Eigenschaften des Suchers der Kamera auch dann, wenn sich der Kopf in Bezug auf die Kamera bewegt, der Blickpunkt auf einer Mattscheibe unverändert bleibt, falls der Schwenkwinkel des Auges der gleiche ist).

Die Funktion bei diesem Ausführungsbeispiel, bei dem das vorstehend beschriebene Verfahren angewandt wird, wird nun unter Bezugnahme auf das Ablaufdiagramm in Fig. 2 beschrieben.

Wenn ein (nicht gezeigter) Hauptschalter der Kamera eingeschaltet wird und die Blickrichtungserfassung bzw. Blickrichtungserfassung eingeleitet wird, schaltet der Mikroprozessor 1 auf die Blickrichtungserfassungsroutine um (Schritt 10).

Zu Beginn der Blickrichtungserfassungsroutine wird zuerst eine Anfangseinstellung ausgeführt, bei der alle die Blickrichtungserfassung betreffenden Variablen auf Null zurückgesetzt werden (Schritt 11). Aus dem Lagesensor 6 wird die Information über die dann bestehende (vertikale oder horizontale) Lage der Kamera aufgenommen und die Beleuchtungssteuerschaltung 5 bewirkt das Einstellen von Gruppen von Infrarot-Leuchtdioden für die Lichtabgabe. Zugleich gibt der Mikroprozessor 1 über die Schnittstellenschaltung 3 ein Integrationssignal an die Bildsensor-Treiberschaltung der Sensoreinheit 4 sowie ein mit dem Integrationssignal synchronisiertes Beleuchtungssteuersignal an die Beleuchtungssteuerschaltung 5 ab. Dadurch wird synchron mit dem Sammeln durch den Bildsensor die Infrarot-Leuchtdiode zur Lichtabgabe eingeschaltet, welche der gerade bestehenden Lage der Kamera entspricht (Schritt 12). Dann wird über die Schnittstellenschaltung 3 das Bild des Vorderteils des Auges eingelesen, in welchem das auf dem Bildsensor der Sensoreinheit 4 abgebildete Purkinje-Bild erzeugt wurde (Schritt 13). Durch das Aufbereiten dieses Bilds werden als Lage P des Purkinje-Bilds Stellen D1, D2 und D3 von mindestens drei Pupillenrändern ermittelt (Schritt 14) Aus den auf diese Weise erfassten Größen werden Schwenkwinkel θH und θV des Auges in horizontaler und vertikaler Richtung berechnet. Wenn die Schwenkwinkel des Auges berechnet sind, erfolgt eine Individual- Differenzkorrektur wie eine Blickrichtungskorrektur, um dadurch den Blickpunkt des Fotografen auf der Mattscheibe (Blickebene) zu ermitteln, und der Blickpunkt wird aus der Verweilzeit desselben oder dergleichen festgestellt (Schritt 15). Im weiteren werden aus diesem Blickpunkt ein Bereich für die Scharfeinstellung bei durchzuführender automatischer Scharfeinstellung (der sog. AF-Bereich) und ein AE-Bereich für die automatische Belichtungssteuerung bestimmt (Schritt 16).

Im allgemeinen sind nun in einer Kamera mit Silbersalzfilm dann, wenn die Anzahl der Punkte für die automatische Scharfeinstellung erhöht ist, Entfernungsmesseinheiten in der gleichen Anzahl wie die Scharfeinstellungspunkte erforderlich. Daher ist infolge der Nachteile hinsichtlich der Kosten und des Raumbedarfs die Anzahl der Scharfeinstellungspunkte begrenzt. Somit besteht die Möglichkeit, dass kein dem erfassten Blickpunkt auf der Mattscheibe entsprechender Punkt zur automatischen Scharfeinstellung vorhanden ist. Daher wird eine Korrektur auf folgende Weise vorgenommen:
Ein erstes Verfahren besteht darin, dass dann, wenn kein dem Blickpunkt auf der Mattscheibe entsprechender AF-Bereich vorliegt, der zu dem Blickpunkt auf der Mattscheibe am nächsten liegende Scharfeinstellungspunkt als AF-Punkt für diesen Blickpunkt bestimmt wird. Wenn beispielsweise der AF- Punkt gemäß Fig. 3A eingestellt ist, werden die Koordinaten (x, y) des Blickpunktortes nach der nachstehenden Gleichung als Abstand Δ zu den Mittelkoordinaten (xA, yA), (xB, yB), (xC, yC), (xD, yD), (xE, yE), (xF, yF) und (xG, yG) für sieben AF-Punkte A bis 6 ermittelt und als AF-Punkt für diesen Blickpunktort wird derjenige Punkt festgelegt, für den der Wert dieses Abstandes minimal ist.

A = √(x - xA)² + (y - yA)²

(Für den AF-Punkt A)

Ein zweites Verfahren besteht darin, dass ein AF-Punkt und ein Bereich voreingestellt werden, welcher diesen AF-Punkt wählt. Beispielsweise werden die AF-Punkte A bis 6 und die Bereiche für deren Wahl gemäß der Darstellung in Fig. 3B eingestellt.

Dies gilt auch für den Bereich zur automatischen Belichtung bzw. AE-Bereich, jedoch ist der verwendete Lichtmesssensor häufig ein solcher mit unterteilter Fläche, so dass daher hauptsächlich das zweite Verfahren angewandt wird. D. h., es wird eine Lichtmesseinrichtung verwendet, die auf aufgeteilte Weise derart misst, dass es den sieben Bereichen in Fig. 3B entspricht.

In der Praxis ist jedoch der Blickpunkt des Fotografen nicht immer auf ein aufzunehmendes Objekt gerichtet, sondern wandert in einem gewissen Ausmaß innerhalb der Blickebene oder der Fotograf richtet seinen Blick auf eine Anzeige außerhalb des Bildfelds in der Blickebene. Wenn der Blickpunkt außerhalb des Bildfelds liegt, wird es daher erforderlich, durch ein bekanntes Verfahren den Blickpunkt als Objekt mit der nachfolgenden Funktion auszuscheiden oder den Blickpunkt des Fotografen herauszugreifen. Ferner wird bei diesem Ausführungsbeispiel zum wirkungsvollen Nachführen keine Bewegung des AF- und AE-Bereichs ausgeführt, wenn das Ausmaß der Bewegung des Blickpunkts einen vorbestimmten Wert übersteigt. Der Ablauf dieses Vorgangs ist in Fig. 4 gezeigt. Wenn von der Blickfixierlage ausgehend die AF- und AE- Bereichbestimmungsroutine begonnen wird, wird zuerst die in dem Speicher gespeicherte Information über den AF-Bereich und den AE-Bereich bei der letzten Blickfixierlage ausgelesen (Schritt 21). Falls die Information ein Anfangseinstellungswert ist und der Ablauf der erste Bereichbestimmungsvorgang ist (Schritt 22), wird entsprechend der gerade bestehenden Lage des Blickpunkts die vorangehend beschriebene Korrektur ausgeführt, um dadurch den Bereich zu bestimmen (Schritt 25), und die Information darüber in den Speicher eingespeichert (Schritt 26). Im Falle des zweiten oder folgenden Bereichbestimmungsvorgangs wird mit der letzten Information über den AF-Bereich und den AE-Bereich verglichen und ermittelt, ob eine große Bewegung aufgetreten ist. Wenn als Information über den AF- und AE-Bereich die während dessen Bestimmung verwendeten Koordinaten x und y des Blickpunktortes gespeichert sind, wird der Abstand Δ1 (= √) zwischen den zu diesem Zeitpunkt ermittelten Blickpunktortskoordinaten (x_i, y_i) und den letzten Blickpunktortskoordinaten (x_i-1, y_i-1) ermittelt (Schritt 23); falls dieser Wert gleich einem oder kleiner als ein vorbestimmter Wert 1CONST ist (Schritt 24), wird im weiteren unter Anwendung der zu diesem Zeitpunkt ermittelten Koordinaten für den Blickpunkt die vorstehend beschriebene Korrektur ausgeführt, um dadurch den Bereich eines neuen Blickfixierpunktes zu bestimmen, und die Information darüber wird in den Speicher eingespeichert. Falls dagegen Δ1 den Wert 1CONST übersteigt, wird die beim letzten Ablauf ermittelte Bereichsinformation nicht erneuert, sondern unverändert verwendet.

Der Zweck des Ausführens eines solchen Ablaufs ist es, einen Erfassungsfehler auf ein Mindestmaß herabzusetzen, der auf die Eigenheiten der Bewegung des menschlichen Auges zurückzuführen ist, und damit eine störende Funktion, wie eine durch das Wechseln des AF- und AE-Bereichs verursachte unnötige Objektivverstellung, zu vermeiden.

Die hier als Ermittlungsobjekt angesetzte Eigenheit der Augenbewegung ist eine ruckartige unbewusste Bewegung. Diese unbewusste Bewegung ist eine Augenbewegung, die während des Lesens oder dann auftritt, wenn man den Bildinhalt anschaut, und die Bewegungsdauer beträgt 1/20 bis 1/100 s bei einer maximalen Geschwindigkeit bis zu 300°/s. Die Periode ihres Auftretens ist jedoch nicht eine kurze Zeitspanne von 0,2 s oder dergleichen und weiterhin ist bei dem Bewegungszustand von 50 ms vor dem Auftreten der Bewegung bis zum Beenden der Bewegung die Erscheinung festzustellen, dass eine Sehfunktion außerordentlich verringert ist, was als "saccadische Unterdrückung" bezeichnet wird.

Bezüglich einer fehlerhaften Funktion, die durch das Erfassen eines Punktes bei dem Ablauf der Bewegung bis zu dem Bewegungsendpunkt bei dem Auftreten der saccadischen Bewegung verursacht ist, insbesondere der saccadischen Bewegung, die bei dem Betrachten der Anzeige außerhalb des Sucherbildfelds auftritt, ist das Auftreten einer großen Störung zu erwarten, wenn der Blickpunkt im Ablauf der Bewegung erfaßt wird. Daher wird die Konstante 1CONST entsprechend der Nachführbewegung, die eine langsame und gleichmäßige Augenbewegung bei dem Verfolgen eines sich langsam bewegenden Objekts ist und für ein sich bewegendes Objekt mit 30 bis 35°/s oder weniger in Erscheinung tritt, und entsprechend dem Blickrichtungserfassungsintervall festgelegt. Somit wird die Konstante 1CONST als Produkt des Ausmaßes der durch die Nachführbewegung verursachten Bewegung des Blickpunkts auf der Mattscheibe der Kamera und dem Blickrichtungnerfassungsinterwall (Tsample) festgelegt.

Wenn ein Lichtmeßschalter SW1 eingeschaltet wird (Schritt 17), werden die automatische Scharfeinstellung und die Lichtmessung ausgeführt (Schritte 18 und 19). Bei der automatischen Scharfeinstellung wird von dem Mikroprozessor zuerst ein Unschärfesignal aus dem AF-Sensor in dem dem Blickpunkt entsprechenden Bereich eingelesen und dieses Signal zum Ermitteln des Ausmaßes der Objektivverstellung ausgewertet. Danach steuert der Mikroprozessor die Objektiveinstelleinheit und führt damit die Scharfeinstellung aus. Ferner wird von dem Mikroprozessor der dem Blickpunkt entsprechende Bereich gewichtet und der Lichtmeßwert aus den Signalen der Teil-Fotosensoren für alle Bereiche ermittelt, wonach entsprechend einer gewählten Aufnahmebetriebsart die Belichtungskonstanten (Verschlußzeit, Blendenwert usw.) bestimmt werden.

Wenn der Auslöseknopf bis zum zweiten Anschlag (Betätigungsstufe) betätigt und damit das Auslösen eingeleitet wird (Schritt 20), wird eine Reihe von Betriebsvorgängen zum Auslösen wie das Einstellen der Blende auf den berechneten Blendenwert, das Ausschwenken des Spiegels, das Öffnen und Schließen des Verschlusses und der Filmtransport ausgeführt.

Gemäß der vorstehenden Beschreibung werden die Vorgänge zur automatischen Scharfeinstellung (Signaleinlesen, Berechnung, Objektivverstellung) und die Lichtmessung im wesentlichen gleichzeitig ausgeführt, jedoch werden sie tatsächlich ent­ sprechend einer an der Kamera eingestellten Betriebsart ausgeführt. D. h., gemäß der an der Kamera eingestellten Betriebsart kann die Lichtmessung unmittelbar vor dem Auslösen ausgeführt werden und der Belichtungswert entsprechend diesem Lichtmeßwert bestimmt werden. Ferner kann von den Betriebsvorgängen für die automatische Scharfeinstellung allein die Objektivverstellung nach dem Einleiten des Auslösens ausgeführt werden.

Gemäß der vorstehenden Beschreibung wird bei diesem Ausführungsbeispiel die sog. automatische Objektnachführung ausgeführt, bei der die Bewegung der Sehachse bzw. Blickrichtung des Fotografen erfaßt wird und die Scharfeinstellung und Belichtung automatisch für einen Bereich ausgeführt werden, in welchem die Blickrichtung liegt.

Fig. 5 ist eine Blockdarstellung eines zweiten Ausführungsbeispiels.

Die Figur zeigt einen Mikroprozessor 1, einen Speicher 2, eine Schnittstellenschaltung 3, eine Infrarot-Leuchtdiode 7, eine Objektiveinstelleinheit 9, eine Blendeneinstelleinheit 11, ein Bildaufnahmeelement 15 zum Fotografieren, ein Aufnahmeobjektiv 16, eine Blendeneinheit 17 und ein Schaltglied 14.

Das erste Ausführungsbeispiel ist ein System für eine Stehbildkamera mit einem Silbersalzfilm, wogegen das zweite Ausführungsbeispiel ein System ist, das für eine Videobandaufnahme-Kamera (einen Camcorder) oder dergleichen geeignet ist. Bei dem zweiten Ausführungsbeispiel wird bei dem Verfahren zur Blickrichtungserfassung wie bei dem ersten Ausführungsbeispiel ein Purkinje-Bild verwendet und die Mitte der Pupille ermittelt. Der Funktionsablauf bei diesem zweiten Ausführungsbeispiel ist in Fig. 6 dargestellt.

Wenn an der Kamera ein Schalter SW3 zum Einleiten der Blickrichtungserfassung, beispielsweise zur automatischen Objektnachführung eingeschaltet wird, um damit die Blickrichtungserfassung einzuleiten, wird die Steuerung des Mikroprozessors 1 auf die Blickrichtungserfassungsroutine umgeschaltet.

Wenn diese Routine begonnen wird, wird zuerst eine Anfangseinstellung vorgenommen, bei der alle die Blickrichtungserfassung betreffenden Variablen auf "0" eingestellt werden (Schritt 31) Danach gibt der Mikroprozessor 1 über die Schnittstellenschaltung 3 jeweils an die Bildsensor-Steuerschaltung 4 und die Beleuchtungssteuerschaltung 5 ein Integrationssignal und ein hiermit synchronisiertes Beleuchtungssteuersignal ab. Dadurch wird synchron mit dem Sammeln in dem Bildsensor 4 die Infrarot-Leuchtdiode 7 eingeschaltet (Schritt 32). Dann wird über die Schnittstellenschaltung 3 das an dem Bildsensor 4 ausgebildete Bild des Vorderteils des Auges gelesen, in welchem ein Purkinje-Bild erzeugt ist (Schritt 33). Durch Verarbeiten dieses Bilds werden die Schwenkwinkel des Auges in horizontaler und vertikaler Richtung ermittelt und es wird ferner unter Korrektur von individuellen Differenzen der Blickpunkt des Fotografen auf dem Bildfeld ermittelt (Schritt 35). Gemäß diesem Blickpunkt wird der Bereich bestimmt, in welchem die automatische Scharfeinstellung und die automatische Belichtung auszuführen sind und der ungefähr demjenigen nach Fig. 3B entspricht (Schritt 36), wonach die automatische Scharfeinstellung, die automatische Belichtung usw. entsprechend der Information über diesen Bereich ausgeführt werden (Schritt 37). Die Betriebsvorgänge der Schritte 32 bis 37 werden wiederholt, solange fortgesetzt die Blickrichtungserfassung angefordert ist (Schritt 38). Wenn der Blickpunkt außerhalb des Bildfelds liegt, wird es auch in diesem Fall aus dem gleichen Grund wie bei dem ersten Ausführungsbeispiel erforderlich, nach einem bekannten Verfahren (beispielsweise mittels der Verweilzeit) den Blickpunkt auf das Objekt des Nachführvorgangs zu bringen oder den Blickpunkt des Fotografen herauszugreifen oder auszuscheiden.

Zum wirkungsvollen Ausführen des Nachführvorgangs ist auch dieses Ausführungsbeispiel derart ausgelegt, dass wie bei dem ersten Ausführungsbeispiel der AF- und AE-Bereich nicht geändert wird, wenn das Ausmaß der Bewegung des Blickpunkts ein vorbestimmtes Ausmaß übersteigt. Der Betriebsablauf hierfür ist in Fig. 7 dargestellt. Wenn von der Blickpunktlage ausgehend die Routine zur Bestimmung des AF- und AE-Bereichs begonnen wird, wird die in dem Speicher gespeicherte, für die letzte AF- und AE-Bereichsbestimmung verwendete Blickpunktlageinformation eingelesen (Schritt 40). Falls diese Information ein Anfangswert ist (Schritt 41), wird in den Speicher der dann bestehende Blickpunktort als Blickpunktort (x₀, y₀) für die Bereichsbestimmung eingespeichert, wonach das Programm zu der Bereichseinstellroutine fortschreitet (Schritt 44). Im Falle der zweiten oder einer nachfolgenden Bereichsbestimmung wird der vorgenannte Blickpunktort mit dem Blickpunktort für die letzte Bereichsbestimmung verglichen. D. h., es wird der Abstand Δ1 (= √) zwischen dem gegenwärtigen Blickpunktort (x_i, y_i) und dem letzten Blickpunktort (x_i-1, y_i-1) ermittelt (Schritt 42). Falls dieser Wert gleich einem oder kleiner als ein vorbestimmter Wert 1CONST ist, wird der gegenwärtige Blickpunktort (x_i, y_i) als Blickpunktort (x₀, y₀) für die Bereichsbestimmung in den Speicher eingespeichert, wonach das Programm zu der nächsten Routine fortschreitet. Falls dagegen Δ1 größer als 1CONST ist, wird der Blickpunktort (x₀, y₀) für die Bereichsbestimmung nicht erneuert, sondern zur nächsten Routine fortgeschritten (Schritt 43).

Unter Ansetzen des Blickpunktorts (x₀, y₀) für die Bereichsbestimmung erfolgt das Bestimmen des AF- und AE- Bereichs auf folgende Weise: Zuerst wird aus der Brennweite und dem Blendenwert des Aufnahmeobjektivs die Schärfentiefe ermittelt (Schritt 45) und entsprechend dem Wert derselben die Größe des Bereichs eingestellt (Schritt 46). Diese Bereichsgröße wird derart eingestellt, dass sie bei geringer Schärfentiefe klein ist und bei großer Schärfentiefe groß ist. Um den bei dem vorangehenden Schritt ermittelten Blickpunktort (x₀, y₀) für die Bereichsbestimmung herum wird ein Bereich mit einer der Schärfentiefe entsprechenden Größe bestimmt und dieser Bereich als AF-AE-Bereich festgelegt.

Solange der Nachführvorgang ausgeführt wird, wird auf die vorstehend beschriebene Weise der AF- und AE-Bereich bestimmt und entsprechend der Bewegung des Objekts, d. h. der Bewegung des Blickpunkts des Fotografen in dem Bildfeld versetzt, wobei der Mikroprozessor 1 während des Nachführvorgangs die auf die vorstehend beschriebene Weise ermittelte AF- und AE- Bereichsinformation an das Schaltglied 14 abgibt. Dadurch wird der Abschnitt des von dem Schaltglied 14 an die Schnittstellenschaltung 3 mit der Analog/Digital- Wandlerfunktion abgegebenen Bildsignals und damit der Bereich eingestellt, in welchem die automatische Scharfeinstellung und die automatische Belichtung ausgeführt werden. Durch die Schnittstellenschaltung 3 wird das über das Schaltglied 14 abgegebene Signal für den Bereich des Bildaufnahmeelements 15 in ein digitales Signal umgesetzt, welches danach in den Mikroprozessor 1 eingelesen wird. Unter Anwendung dieses Signals führt der Mikroprozessor 1 die Berechnungen für die automatische Scharfeinstellung und die automatische Belichtung aus, um dadurch das Ausmaß der Objektivverstellung und das Ausmaß der Blendenverstellung zu berechnen, wobei die Werte hierfür jeweils an die Objektiveinstelleinheit 9 bzw. die Blendeneinstelleinheit 11 abgegeben werden. Durch die beiden Einstelleinheiten werden das Objektiv und die Blende diesen Werten entsprechend verstellt. Danach wird wieder die Blickrichtungserfassungsroutine begonnen und es wird unter Berücksichtigung des berechneten Blickpunkts des Fotografen auf dem Bildfeld und der Schärfentiefe ein neuer AF- und AE- Bereich eingestellt, wobei unter Verwendung des Signals aus diesem Bereich die automatische Scharfeinstellung, die automatische Belichtung usw. ausgeführt werden.

Die vorstehend beschriebenen Betriebsvorgänge werden wiederholt, wodurch die automatische Nachführung erreicht wird.

In dem Video-Kamerarecorder erfolgen die Berechnungen für die automatische Scharfeinstellung und die automatische Belichtung unter Anwendung eines von dem Bildaufnahmeelement abgegebenen Bildsignals, so dass daher grundlegend in jeglichem Bereich des ganzen Bildfelds die Entfernungsmessung und die Lichtmessung möglich sind und in der Regel eine Korrektur des Scharfeinstellungspunkts und des Belichtungseinstellpunkts wie bei der Silbersalzfilm-Kamera unnötig ist.

Die Ausführungsbeispiele der Erfindung sind derart ausgelegt, dass dann, wenn die Bewegung der Blickrichtung des Fotografen ein vorbestimmtes Ausmaß übersteigt, die Bewegung des ermittelten Blickpunkts nicht bewertet wird, wodurch die Störung bzw. der Fehler durch Einwirkung einer saccadischen bzw. unbewussten sporadischen Bewegung oder dergleichen vermieden ist.

Ferner ist bei den Ausführungsbeispielen eine Blickrichtungserfassungseinrichtung vorgesehen, bei der das Prinzip zur Erfassung unter Auswertung eines Purkinje-Bildes und der Pupillenmitte angewandt ist, wodurch auf richtige Weise die Blickrichtung des Fotografen erfasst werden kann, der in den Sucher blickt, in welchem wie in einer Kamera die Kopfbewegung des Fotografen und die Schwenkbewegung des Auges des Fotografen auf zusammengesetzte Weise auftreten. Dadurch ist es ermöglicht, aus der Bewegung der Blickrichtung in Bezug auf ein bewegtes Objekt das Hauptobjekt zu ermitteln und die automatische Nachführung durchzuführen.

Ferner kann bei den Ausführungsbeispielen die Nachführung, d. h. die Versetzung des AF- und AE-Bereichs auch in folgenden Fällen vorgenommen werden, bei denen die Nachführung mit einem Nachführautomatiksystem zum Ändern des AF- und AE- Bereichs durch Bildverarbeitung nicht gut ausgeführt werden kann: Falls im Hintergrund ein Objekt mit höchster Helligkeit vorliegt, falls die Szene allgemein dunkel ist, falls sich eine Vielzahl von Objekten gleicher Helligkeit unregelmäßig bewegt, falls der Kontrast des Objekts gering ist und falls sich ein Nachführungsobjekt in einem ähnlichen oder gleichen Abstand mit einem anderen Objekt überschneidet (wobei die Helligkeit des anderen Objekts höher ist).

Es wird nun ein Ausführungsbeispiel beschrieben, das weiter verbessert ist. Wenn bei den vorangehend beschriebenen Ausführungsbeispielen die Strecke, auf der sich der Blickpunkt gemäß der Erfassung von dem ersten Punkt zu dem zweiten Punkt in der Blickebene verschiebt, eine vorbestimmte Strecke übersteigt, wird von der Erfassungseinrichtung als Blickpunkt ein Punkt auf dem Weg der verhältnismäßig schnellen saccadischen bzw. sporadischen Bewegung des Auges erfasst oder es wird dies dahingehend bewertet, dass der Fotograf auf einen Punkt außerhalb des Aufnahmebildfelds blickt, und zunächst keine Änderung des Blickpunkts auf den zweiten Punkt herbeiführt. Im folgenden wird ein Ausführungsbeispiel beschrieben, bei dem eine Zeitmesseinrichtung vorgesehen ist und dann, wenn der Fotograf für eine vorbestimmte Zeit oder länger auf den zweiten Punkt in einem vorbestimmten Abstand blickt, dieser Punkt als Blickpunkt bewertet wird und als neuer Blickpunkt behandelt wird.

Die Funktion dieses Ausführungsbeispiels ist in Fig. 12 dargestellt, obgleich eine gewisse Überlappung mit der vorangehenden Beschreibung besteht. Wenn von dem Blickpunktort ausgehend die AF-und AE- Bereichbestimmungsroutine begonnen wird, wird zuerst die in dem Speicher gespeicherte Information über den AF- und AE- Bereich bei dem letzten Blickpunktort eingelesen (Schritt 121). Falls die Information ein Anfangseinstellungswert ist, wenn der Ablauf der erste Bereichbestimmungsvorgang ist (Schritt 122), wird der vorangehend beschriebene Ablauf gemäß dem bestehenden Blickpunktort ausgeführt, um dadurch den Bereich zu bestimmen (Schritt 132), und die Information darüber wird in den Speicher eingespeichert (Schritt 133). Im Falle des zweiten oder eines nachfolgenden Vorgangs wird mit der Information über den dem letzten Blickpunktort entsprechenden AF-Bereich und den AE-Bereich verglichen (Schritt 123) und ermittelt, ob eine große Bewegung aufgetreten ist. Wenn als Information über den AF- und AE- Bereich die Koordinaten x und y des zur Bereichsbestimmung herangezogenen Blickpunktortes gespeichert sind, wird der Abstand Δ1 (= √) zwischen den zu diesem Zeitpunkt ermittelten Blickpunktortskoordinaten (x_i, y_i) und den letzten Blickpunktortskoordinaten (x_i-1, y_i-1) ermittelt (Schritt 123). Falls dieser Wert gleich einem oder kleiner als ein vorbestimmter Wert 1CONST ist (Schritt 124), werden die zu diesem Zeitpunkt ermittelten Blickpunktortskoordinaten eingesetzt und es wird im weiteren der vorstehend beschriebene Korrekturablauf ausgeführt, um dadurch den Bereich eines neuen Blickpunktorts zu bestimmen, wobei die Information über diesen in den Speicher eingespeichert wird. Falls dagegen Δ1 den Wert 1CONST übersteigt, wird ermittelt, ob die Blickrichtung nach der Bewegung über eine vorbestimmte Zeit T CONST in einer Stellung verbleibt. Falls Δ1 < 1CONST ermittelt wird (Schritt 124), wird zuerst der zu diesem Zeitpunkt berechnete Blickpunktort als (x', y') in den Speicher eingespeichert (Schritt 125) und ferner der Wert des Zählers für die Zeitmessung auf Null rückgesetzt (t = 0) (Schritt 126). Danach zählt der Zähler hoch (Schritt 127) und es wird der Blickpunkt des Fotografen bei dem nächsten Blickrichtungserfassungszeitpunkt berechnet, wobei die Koordinaten dieses Punktes zu (x_i, y_i) bestimmt werden (Schritt 128). Die Berechnung dieses Blickpunkts erfolgt auf die vorangehend beschriebene Weise dadurch, dass synchron mit der Integration in dem Bildsensor die Infrarot-Leuchtdiode eingeschaltet wird, das Bild des vorderen Augenteils eingelesen wird, in welchem ein Purkinje-Bild erzeugt ist, die Mitte der Purkinje-Bild-Pupille erfasst wird und danach eine Berechnung wie die Korrektur der individuellen Differenz ausgeführt wird. Dann wird eine Differenz Δ1' (= √) zwischen den Ortskoordinaten (x_i, y_i) für den auf diese Weise berechneten Blickpunkt und den unmittelbar nach der Bewegung in den Speicher eingespeicherten Blickpunktortskoordinaten (x', y') berechnet (Schritt 129). Falls dieser Wert größer als ein konstanter Wert 1'CONST ist, welcher unter Berücksichtigung der sehr kleinen Bewegung für die Blickfixierung bestimmt ist, wird der AF- und AE-Bereich nicht verändert, sondern der Ablauf dieser Routine abgeschlossen (Schritt 130). Falls t ≧ T CONST ermittelt wird (Schritt 131), ist die Blickrichtung nach der Bewegung für die vorbestimmte Zeit T CONST oder länger in der gleichen Stellung verblieben, so dass die zu diesem Zeitpunkt ermittelten Ortskoordinaten (x', y') für den Blickpunkt eingesetzt werden und im weiteren der vorangehend beschriebene Korrekturablauf ausgeführt wird, um dadurch den Bereich zu bestimmen (Schritt 132), wobei die Information über den Bereich in den Speicher eingespeichert wird (Schritt 133). Wenn dagegen t < T CONST ermittelt wird, wird der Zähler hochgezählt(Schritt 127), wonach der gleiche Ablauf wiederholt wird und dann, wenn Δ1' ≦ 1'CONST ermittelt wird, der Inhalt des Zählers mit T CONST verglichen wird. Der gleiche Ablauf wird danach während des Hochzählens des Zählers wiederholt ausgeführt. D. h., falls nach der Bewegung der Blickrichtung diese über die Zeit T CONST oder länger innerhalb eines Radius Δ1' um den Ort (x', y') verbleibt, wird diese Blickrichtung als effektive Blickrichtung angesehen und unter Einsetzen der Ortskoordinaten (x', y') des Blickpunkts nach der Bewegung der Korrekturablauf oder dergleichen zum Bestimmen und Ändern des Bereichs ausgeführt.

Gemäß der vorangehenden Beschreibung ist die saccadische Bewegung eine Augenbewegung, die während des Lesens auftritt oder dann, wenn man auf die Darstellung eines Bilds schaut, wobei die Bewegungszeit 1/20 bis 1/100 s beträgt und die maximale Bewegungsgeschwindigkeit bis zu 300°/s ist. Die Periodik des Auftretens der Bewegung wird jedoch nicht zu einer kurzen Zeitspanne von weniger als 0,2 s, und es ist ferner bei dem Bewegungszustand von 50 ms vor dem Auftreten der Bewegung bis zur Beendigung der Bewegung die Erscheinung festzustellen, dass die als saccadische Unterdrückung bezeichnete Sehfunktion außerordentlich herabgesetzt ist.

Infolgedessen ist hinsichtlich einer Fehlfunktion, die durch Erfassen eines Punktes auf dem Weg bis zu dem Bewegungsendpunkt verursacht wird, wenn die saccadische Bewegung aufgetreten ist, insbesondere die saccadische Bewegung, die zum Betrachten der Anzeige außerhalb des Sucherbildfelds aufgetreten ist, eine starke Störung bzw. ein großer Fehler zu erwarten, falls der Punkt auf dem Bewegungsweg erfasst wird. Infolgedessen wird die Konstante 1CONST durch die Nachführbewegung, die eine langsame und gleichmäßige Augenbewegung ist, welche auftritt, wenn man ein bewegtes Objekt verfolgt, und die für ein bewegtes Objekt mit einer Geschwindigkeit von 30 bis 35°/s oder weniger abläuft, und durch den Zeitabstand der Blickrichtungserfassungen bestimmt. Daher wird die Konstante 1CONST in Form des Produkts aus einem Ausmaß 1 smooth der durch die Nachführbewegung verursachten Bewegung des Blickpunkts auf der Mattscheibe der Kamera und dem Intervall Tsample der Blickrichtungserfassungen bestimmt. Ferner wird die Konstante 1'CONST derart angesetzt, dass der Bewegungsbereich bei der sehr kleinen Bewegung für das Fixieren abgedeckt ist (welche eine unregelmäßige, sehr kleine Bewegung ist, die unwillkürlich zum Einfangen und Festhalten des Objektbilds in dem mittigen Rand bzw. Sehzellenbereich des Auges auftritt und die die Rolle spielt, den Lichtstimulus auf die Sehzelle des mittigen Bereichs ständig zu verändern und nicht die Signalerzeugungswirksamkeit zu verringern). Die Zeit T CONST ist durch die Periodik des Auftretens der saccadischen Bewegung bestimmt.

Wenn gemäß Fig. 2 der Lichtmessschalter SW1 eingeschaltet wird (Schritt 17), werden die automatische Scharfeinstellung und die Lichtmessung ausgeführt (Schritte 18 und 19). Bei der automatischen Scharfeinstellung wird von dem Mikroprozessor 1 zuerst das Signal für einen dem Scharfeinstellungsbereich auf der von dem Sensor weg festgelegten Blickrichtung entsprechenden Teil eingelesen und aus diesem Signal das Ausmaß der Objektivverstellung berechnet. Danach wird von dem Mikroprozessor 1 die Objektiveinstelleinheit gesteuert und damit die Scharfeinstellung vorgenommen. Ferner werden von dem Mikroprozessor 1 gemäß einer gewählten Aufnahmebetriebsart aus einem Signal aus dem Lichtmesssensor die Belichtungskonstanten (die Verschlusszeit, der Blendenwert usw.) ermittelt.

Wenn eine Aufnahme erwünscht ist, wird eine Reihe von Vorgängen zum Auslösen wie das Einstellen der Blende auf den berechneten Blendenwert, das Öffnen und Schließen des Verschlusses, die Spiegelbetätigung und der Filmtransport ausgeführt.

Vorstehend wurde beschrieben, dass die automatische Scharfeinstellung (Signalaufnahme, Berechnung, Objektiveinstellung) und die Lichtmessung im wesentlichen gleichzeitig ausgeführt werden, jedoch werden in der Kamera die automatische Scharfeinstellung und die Lichtmessung entsprechend einer in der Kamera eingestellten Betriebsart ausgeführt. D. h., auf das Einstellen der Betriebsart der Kamera hin kann die Lichtmessung unmittelbar vor dem Auslösen ausgeführt werden und der Belichtungswert entsprechend dem Lichtmesswert festgelegt werden.

Es wird nun ein Ausführungsbeispiel beschrieben, bei dem die erfindungsgemäße Blickpunkterfassungseinrichtung gemäß Fig. 5 und 6 in der Videokamera verwendet wird. Der Funktionsablauf bei diesem Ausführungsbeispiel ist in Fig. 13 dargestellt. Wenn die Routine für das Bestimmen des AF- und AE-Bereichs aus dem Blickpunktort begonnen wird, wird zuerst die in dem Speicher gespeicherte Information über den letzten AF- und AE-Bereich eingelesen (Schritt 150). Falls die Information ein Anfangseinstellungswert ist (Schritt 151), wird der gerade bestehende Blickpunktort als ein Blickpunktort (x₀, y₀) für die Bereichsbestimmung in den Speicher eingespeichert (Schritt 161), wonach das Programm zu der Bereichseinstellroutine fortschreitet. Im Falle des zweiten oder eines nachfolgenden Vorgangs wird mit dem letzten Blickpunktort für die Bereichsbestimmung verglichen. D. h., es wird der Abstand Δ1 (= √) zwischen dem gegenwärtigen Blickpunktort (x_i, y_i) und dem letzten Blickpunktort (x_i-1, y_i-1) ermittelt (Schritt 152). Falls dieser Abstandswert gleich einem oder kleiner als ein vorbestimmter Wert 1CONST ist (Schritt 153), wird in den Speicher der gegenwärtige Blickpunktort (x_i, y_i) als Blickpunktort (x₀, y₀) für die Bereichsbestimmung eingespeichert (Schritt 161), wonach das Programm zu der Bereichseinstellroutine fortschreitet. Falls dagegen Δ1 größer als 1CONST ist, wird ermittelt, ob die Blickrichtung nach der Bewegung über eine vorbestimmte Zeit T CONST in der gleichen Stellung verbleibt. Zuerst wird der Blickpunktort nach der Bewegung als (x', y') gespeichert (Schritt 154), wonach der Zähler rückgesetzt wird und die Zeitzählung begonnen wird (Schritte 155 und 156). Wenn das Ausmaß Δ1' (= √) eines neu berechneten Blickpunktorts (x_i, y_i) (Schritt 157) von dem Ort (x', y') weg gleich oder kleiner als ein konstanter Wert 1'CONST ist (Schritte 158 und 159), der durch die Eigenheiten der sehr kleinen Blickfixierbewegung bestimmt ist, zählt der Zähler weiter (Schritt 156). Falls der Zählwert t des Zählers gleich oder größer als T CONST wird (Schritt 160), wird in den Speicher ein Blickpunktort (x₀, y₀) für die Bereichsbestimmung eingespeichert (Schritt 161), wonach das Programm zu der Bereichseinstellroutine fortschreitet. Falls dagegen eine den Wert 1'CONST übersteigende Bewegung auftritt, bevor der Zählwert t des Zählers den Wert T CONST erreicht, wird der Blickpunktort (x₀, y₀) für die Bereichsbestimmung nicht erneuert, sondern zu der nächsten Routine fortgeschritten.

Die Bestimmung des AF- und AE-Bereichs aus dem Blickpunktort (x₀, y₀) für die Bereichsbestimmung wird folgendermaßen durchgeführt: Zuerst wird aus der bestehenden Brennweite und dem Blendenwert des Aufnahmeobjektivs die Schärfentiefe ermittelt und entsprechend dem Wert derselben die Größe des Bereichs bestimmt. Diese Größe wird klein angesetzt, wenn die Schärfentiefe gering ist, und groß, wenn die Schärfentiefe groß ist. Dann wird um den Blickpunktort (x₀, y₀) für die Bereichsbestimmung herum ein Bereich mit der bei dem vorangehenden Schritt (Schritt 163) ermittelten, der Schärfentiefe entsprechenden Größe festgelegt und dieser Bereich als AF- und AE-Bereich bestimmt (Schritt 164).

Solange der Nachführvorgang auf die vorstehend beschriebene Weise ausgeführt wird, wird der AF- und AE-Bereich bestimmt und entsprechend der Objektbewegung, d. h. der Bewegung des Blickpunkts des Fotografen auf dem Bildfeld versetzt. Während des Nachführvorgangs gibt der Mikroprozessor 1 an das Schaltglied 14 die Information über den AF- und AE-Bereich ab, der dem auf die vorstehend beschriebene Weise bestimmten Blickpunktort entspricht. Dadurch wird der Abschnitt des von dem Schaltglied 14 an die Schnittstellenschaltung 3 mit der A/D-Wandlerfunktion abgegebenen Bildsignals eingestellt (der Bereich, in dem die automatische Scharfeinstellung und die automatische Belichtung ausgeführt werden).

Das durch das Schaltglied abgegebene Signal für den Bereich des Bildaufnahmeelements 15 wird durch die Schnittstellenschaltung 3 in ein digitales Signal umgesetzt, welches danach in den Mikroprozessor 1 eingelesen wird. Gemäß diesem Signal werden von dem Mikroprozessor 1 die AF- Berechnung und die AE-Berechnung für das Berechnen der Objektivstellgröße und der Blendenstellgröße ausgeführt und die Werte derselben jeweils an die Objektiveinstelleinheit 11 bzw. die Blendeneinstelleinheit 13 ausgegeben. In den beiden Einstelleinheiten werden das Objektiv und die Blende entsprechend diesen Werten eingestellt. Danach wird wieder die Blickrichtungserfassungsroutine begonnen und unter Berücksichtigung des berechneten Blickpunkts des Fotografen auf dem Bildfeld und der Schärfentiefe ein neuer AF- und AE- Bereich eingestellt, wonach unter Einsetzen eines Signals aus diesem Bereich die automatische Scharfeinstellung und die automatische Belichtung ausgeführt werden. Durch Wiederholung der vorstehend beschriebenen Vorgänge wird das Nachführen erzielt.

In dem Videokamerarecorder werden die Berechnungen für die automatische Scharfeinstellung und die automatische Belichtung unter Berücksichtigung eines Bildsignals aus dem Bildaufnahmeelement vorgenommen, so dass daher grundlegend in jedem Bereich des ganzen Bildfelds die Entfernungsmessung und die Lichtmessung möglich sind und in der Regel nicht wie bei der Silbersalzfilm-Kamera eine Korrektur für die Punkte zur automatischen Scharfeinstellung und Belichtung erforderlich ist.

Die vorstehenden Ausführungsbeispiele wurden hauptsächlich in Bezug auf eine Einrichtung beschrieben, in welcher der durch die saccadische Augenbewegung verursachte Erfassungsfehler verringert bzw. ausgeschaltet ist. Im folgenden wird ein Ausführungsbeispiel beschrieben, bei dem der durch die sehr kleine Bewegung des Auges für die Blickfixierung verursachte Erfassungsfehler unterdrückt ist. Die sehr kleine Blickfixierbewegung, die nachfolgend ausführlich erläutert wird, ist eine Bewegung, bei der sich selbst bei einem Anschauen der Blickpunkt zwangsweise ständig schnell bewegt. Nachstehend wird ein Ausführungsbeispiel beschrieben, bei dem ein Schwanken des Messbereichs während einer jeden derartigen kleinsten Bewegung verhindert ist.

Dieses Ausführungsbeispiel ist derart gestaltet, dass zum wirkungsvollen Ausführen des Nachführvorgangs der AF- und AE- Bereich nicht versetzt werden, wenn das Ausmaß der Bewegung des Blickpunkts kleiner als ein vorbestimmtes Ausmaß ist. Der Betriebsablauf hierfür ist in Fig. 14 gezeigt. Wenn von dem Blickpunkt ausgehend die Routine für das Bestimmen des AF- und AE-Bereichs begonnen wird, wird zuerst die in dem Speicher gespeicherte Information über diesen Bereich bei dem letzten Blickpunkt ausgelesen (Schritt 221). Falls die Information ein Anfangseinstellungswert ist, d. h., falls der Vorgang der erste Bereichbestimmungsvorgang ist (Schritt 222), wird der vorangehend beschriebene Korrekturablauf gemäß dem dann ermittelten Ort des Blickpunkts ausgeführt, um dadurch den Bereich zu bestimmen (Schritt 225), wonach die Information über diesen Bereich in den Speicher eingespeichert wird (Schritt 226). Im Falle des zweiten oder eines nachfolgenden Vorgangs wird mit der Information über den letzten AF- und AE-Bereich verglichen und ermittelt, ob zwischen dem gegenwärtigen und dem letzten Bereich ein ausreichender Abstand besteht. Wenn als Information über den AF- und AE-Bereich die Koordinaten des für die Bestimmung des Bereichs herangezogenen Blickpunkts gespeichert sind, wird der Abstand Δ1 (= √) zwischen den Koordinaten (x_i, y_i) des zu diesem Zeitpunkt erfassten Blickpunkts und den Koordinaten (x_i-1, y_i-1) für den letzten Blickpunktort ermittelt (Schritt 223). Wenn dieser Wert gleich einem vorbestimmten Wert 1CONST oder größer ist (Schritt 224), werden für das weitere Ausführen des vorangehend beschriebenen Korrekturablaufs zum Bestimmen des Bereichs eines neuen Blickpunkts die Koordinaten (x_i, y_i) des zu diesem Zeitpunkt erfassten Blickpunkts eingesetzt und es wird in den Speicher die Information hierüber eingespeichert. Wenn dagegen Δ1 kleiner als 1CONST ist, wird die zuletzt ermittelte Bereichsinformation nicht erneuert, sondern unverändert eingesetzt.

Der Zweck eines solchen Ablaufs ist es, einen Erfassungsfehler auf ein Mindestmaß herabzusetzen, der den Eigenheiten der menschlichen Augenbewegung zuzuschreiben ist, und eine fehlerhafte Funktion oder eine durch ein lästiges Umschalten des AF- und AE-Bereichs verursachte Störung zu vermeiden (z. B. dass gerade dann, wenn sich der Blickpunkt geringfügig zwischen zwei AF-Bereichen bewegt, das Objektiv zwischen den beiden Bereichen hin und her verstellt wird, wenn einer der beiden Bereiche ein Hauptobjekt enthält und der andere der Hintergrund ist).

Die hier als Kriterium herangezogene Eigenheit der Augenbewegung ist die sehr kleine Bildfixierbewegung. Die kleine Bildfixierbewegung ist eine unregelmäßige kleinste Bewegung, die unwillkürlich für das Einfangen und Festhalten des Objektbilds im mittigen Rand bzw. Sehzellenbereich des Auges auftritt. Diese kleinste Bewegung dient dazu, den Lichtstimulus auf die Sehzellen in dem mittigen Bereich ständig zu verändern und dadurch den Signalerzeugungswirkungsgrad nicht zu verringern.

Infolgedessen tritt diese kleinste Bildfixierbewegung dann auf, wenn der Fotograf ein bestimmtes Objekt anschaut. Die Konstante 1CONST wird derart eingestellt, dass der Bereich der kleinen Bildfixierbewegung (von etwa 0,5 mm oder weniger auf der Mattscheibe) abgedeckt ist, so dass durch die kleine Bildfixierbewegung bei deren Auftreten der AF- und AE-Bereich nicht verändert wird.

Es folgt dann die Rückkehr der Routine zu dem in Fig. 2 gezeigten Schritt 17, dessen Beschreibung hier weggelassen ist.

Das vorangehend beschriebene Ausführungsbeispiel ist ein System, das für eine Silbersalzfilm-Stehbildkamera geeignet ist, wogegen ein in Fig. 15 veranschaulichtes nächstes Ausführungsbeispiel ein System ist, das gemäß Fig. 5 für einen Videokamera-Recorder (Camcorder) oder dergleichen geeignet ist. Gleichermaßen wie bei dem vorangehend beschriebenen Ausführungsbeispiel wird bei der Blickrichtungserfassung ein Purkinje-Bild und die Pupillenmitte benutzt.

Der grundlegende Funktionsablauf bei diesem Ausführungsbeispiel ist der gleiche wie der in Fig. 6 gezeigte.

Zum wirkungsvollen Ausführen des Nachführvorgangs ist auch dieses Ausführungsbeispiel derart ausgelegt, dass wie bei dem vorangehenden Ausführungsbeispiel der AF- and AE-Bereich nicht versetzt wird, wenn das Ausmaß der Bewegung des Blickpunkts kleiner als ein vorbestimmtes Ausmaß ist. Der Betriebsablauf hierfür ist in Fig. 15 dargestellt. Wenn von dem Blickpunktort ausgehend die Routine zum Bestimmen des AF- und AE-Bereichs beginnt, wird die im Speicher gespeicherte Blickpunktortsinformation eingelesen, die bei der letzten Bereichsbestimmung eingesetzt wurde (Schritt 240). Falls die Information ein Anfangswert ist (Schritt 241), wird in den Speicher der gerade ermittelte Blickpunktort als Blickpunktort (x₀, y₀) zur Bereichsbestimmung eingespeichert, wonach das Programm zu der Bereicheinstellroutine fortschreitet (Schritt 244). Im Falle des zweiten oder eines nachfolgenden Vorgangs erfolgt ein Vergleich mit dem letzten Blickpunktort zur Bereichsbestimmung und es wird der Blickpunkt-Zwischenabstand Δ1 (= √) zwischen dem gegenwärtigen Blickpunktort (x_i, y_i) und dem letzten Blickpunktort (x_i-1, y_i-1) ermittelt (Schritt 242). Falls dieser Abstandswert gleich einem vorbestimmten Wert 1CONST oder größer ist, wird in den Speicher als Blickpunktort (x₀, y₀) für die Bereichsbestimmung der gegenwärtige Blickpunktort (x_i, y_i) eingespeichert, wonach das Programm zu der nächsten Routine fortschreitet (Schritt 243).

Unter Einsetzen des Blickpunktorts (x₀, y₀) zur Bereichsbestimmung wird der AF- und AE-Bereich folgendermaßen bestimmt: Aus der gegenwärtigen Brennweite und dem gegenwärtigen Blendenwert des Aufnahmeobjektivs wird die Schärfentiefe ermittelt (Schritt 245) und dem Wert derselben entsprechend die Größe des Bereichs festgelegt (Schritt 246). Die Größe des Bereichs wird klein angenommen, wenn die Schärfentiefe gering ist, und groß, wenn die Schärfentiefe groß ist. Dann wird um den Blickpunktort (x₀, y₀) für die Bereichsbestimmung herum ein Bereich mit der bei dem vorangehenden Schritt ermittelten, der Schärfentiefe entsprechenden Größe festgelegt und dieser Bereich als AF- und AE-Bereich bestimmt (Schritt 247).

Solange der Nachführvorgang gemäß der vorstehenden Beschreibung ausgeführt wird, wird der AF- und AE-Bereich bestimmt und entsprechend der Bewegung des Objekts versetzt (entsprechend der Bewegung des Blickpunkts des Fotografen auf dem Bildfeld). Während des Nachführvorgangs gibt der Mikroprozessor 1 an das Schaltglied 14 die Information über den auf die vorstehend beschriebene Weise bestimmten AF- und AE-Bereich ab. Dadurch wird der Abschnitt des von dem Schaltglied 14 an die Schnittstellenschaltung 3 mit der A/D- Wandlerfunktion abgegebenen Bildsignals und damit derjenige Bereich eingestellt, in welchem die automatische Scharfeinstellung und die automatische Belichtung ausgeführt werden.

Das vorstehend beschriebene Ausführungsbeispiel ist derart ausgelegt, dass im Falle eines kleinen Ausmaßes der Bewegung der Blickrichtung wie bei der sehr kleinen Bildfixierbewegung der Bereich nicht verändert wird, jedoch kann eine gleichartige Wirkung auch dann erzielt werden, wenn keine Änderung des Bereichs vorgenommen wird, wenn der Blick des Fotografen aus dem Sucherbildfeld herausschwenkt. In diesem Fall kann dies dadurch bewerkstelligt werden, dass nach dem Schritt 223 nach Fig. 14 und dem Schritt 243 nach Fig. 15 ein Schritt "Δ1 ≦ 1max" eingefügt wird und "1max" auf einen großen Wert eingestellt wird.

Erfindungsgemäß ist die Gestaltung derart vorgesehen, dass dann, wenn das Ausmaß der Bewegung der Blickrichtung (des Blickpunkts) des Fotografen kleiner als ein vorbestimmtes Ausmaß ist, die Bewegung des Blickpunkts nicht ausgewertet wird, wodurch die Störungen bzw. Fehler wie die Einwirkung der sehr kleinen Blickfixierbewegung oder dergleichen ausgeschaltet werden.

Ferner wird bei den Ausführungsbeispielen der Bereich zum Erhalten der Informationen zur automatischen Scharfeinstellung, zur automatischen Belichtung usw. von dem Ausgangssignal der Blickrichtungserfassungseinrichtung (für das Erfassen des Blickpunkts des Fotografen auf dem Bildfeld) ausgehend bestimmt und dieser Bereich entsprechend dem Ausgangssignal der Blickrichtungserfassungseinrichtung versetzt, wodurch der Nachführvorgang mit höherer Genauigkeit ermöglicht ist, so dass die dem Stand der Technik anhaftenden Mängel ausgeschaltet sind.

Zum Erfassen des Blickpunkts eines Betrachters wird eine Einrichtung beschrieben, in welcher ein durch eine verhältnismäßig schnelle (saccadische) Bewegung oder eine sehr kleine Blickfixierbewegung des Auges verursachter Fehler bei der Blickpunkterfassung vermindert bzw. ausgeschaltet ist. Im einzelnen sind Ausführungsbeispiele beschrieben, bei denen dann, wenn der von dem Betrachter fixierte Punkt sich von einem ersten zu einem zweiten Punkt bewegt und der Abstand zwischen diesen Punkten ein vorbestimmter Abstand oder größer ist, keine Änderung des Blickpunkts vorgenommen wird, während dann, wenn der Abstand zwischen den beiden Punkten der vorbestimmte Abstand oder größer ist und eine vom physiologischen Standpunkt ausgehend vorbestimmte Zeitspanne oder eine längere Zeitspanne abgelaufen ist, der zweite Punkt als Blickpunkt oder Blickbereich behandelt wird.

Claims (6)

1. Blickpunkterfassungseinrichtung für eine Kamera, mit
Mitteln zum kontinuierlichen Erfassen der Blickrichtung, und
einer Bestimmungseinrichtung, die einen Blickpunkt in einer Blickebene auf der Basis der erfassten Blickrichtung als aktuellen Blickpunkt bestimmt,
dadurch gekennzeichnet, dass
die Bestimmungseinrichtung eine erste Position in der Blickebene entsprechend einer ersten erfassten Blickrichtung und eine zweite Position in der Blickebene entsprechend einer zweiten erfassten Blickrichtung bestimmt zur Bestimmung der ersten Position als den aktuellen Blickpunkt, wenn ein Änderungsbetrag von der ersten Position zur zweiten Position einen vorbestimmten Grenzwert überschreitet.

2. Einrichtung nach Anspruch 1, gekennzeichnet durch eine Scharfeinstelleinrichtung (8, 9) zur Scharfstellung eines Aufnahmeobjektivs gemäß der ersten Position.

3. Blickpunkterfassungseinrichtung für eine Kamera, mit
Mitteln zur kontinuierlichen Erfassung der Blickrichtung, und
einer Bestimmungseinrichtung, die einen Blickpunkt in einer Blickebene auf der Basis der erfassten Blickrichtung als aktuellen Blickpunkt bestimmt,
dadurch gekennzeichnet, dass
bei Überschreiten eines vorbestimmten ersten Grenzwerts durch einen Änderungsbetrag von einer ersten, aus einer ersten erfassten Blickrichtung erhaltenen Position in der Blickebene zu einer zweiten, aus einer zweiten erfassten Blickrichtung erhaltenen Position, die Bestimmungseinrichtung die zweite Position als den aktuellen Blickpunkt bestimmt, sofern nicht ein Abstand zwischen der zweiten Position und einer Position, die innerhalb einer vorbestimmten Zeitdauer nach Erhalten der zweiten Position aus einer erfassten Blickrichtung erhalten wurde, einen zweiten vorbestimmten Grenzwert übersteigt.

4. Einrichtung nach Anspruch 3, gekennzeichnet durch eine Scharfeinstelleinrichtung (8, 9) zur Scharfstellung eines Aufnahmeobjektivs gemäß der zweiten Position.

5. Blickpunkterfassungseinrichtung für eine Kamera, mit
Mitteln zum kontinuierlichen Erfassen der Blickrichtung, und
einer Bestimmungseinrichtung, die einen Blickpunkt in einer Blickebene auf der Basis der erfassten Blickrichtung als aktuellen Blickpunkt bestimmt,
dadurch gekennzeichnet, dass
die Bestimmungseinrichtung eine erste Position der Blickebene entsprechend eine ersten erfassten Blickrichtung, und eine zweite Position in der Blickebene entsprechend einer zweiten erfassten Blickrichtung bestimmt zur Bestimmung der ersten Position als den aktuellen Blickpunkt, sofern nicht ein Änderungsbetrag von der ersten Position zur zweiten Position einen vorbestimmten Grenzwert übersteigt.

6. Einrichtung nach Anspruch 5, gekennzeichnet durch eine Scharfeinstelleinrichtung (8, 9) zur Scharfstellung eines Aufnahmeobjektivs gemäß der ersten Position.