DE102009032637B4

DE102009032637B4 - Bildvergrößerungssystem für eine Computerschnittstelle

Info

Publication number: DE102009032637B4
Application number: DE102009032637.5A
Authority: DE
Inventors: H. Keith Nishihara; Shi-Ping Hsu; Adrian Kaehler; Eric Gradman; Kjerstin Williams
Original assignee: Northrop Grumman Systems Corp
Current assignee: Northrop Grumman Systems Corp
Priority date: 2008-07-31
Filing date: 2009-07-10
Publication date: 2014-05-15
Anticipated expiration: 2029-07-11
Also published as: GB2462171A; GB2462171B; GB0912243D0; DE102009032637A1; US20100026723A1; US9658765B2

Abstract

Ein Schnittstellensystem für einen Computer, das umfasst: einen Bildschirm für eine Benutzerschnittstelle, der für das Anzeigen von visuellem Inhalt ausgebildet ist, ein Eingabesystem, das zur Erkennung des Vorhandenseins eines Eingabeobjekts unterhalb eines Grenzabstands auf einer Normalachse des Benutzerschnittstellenbildschirms mit Hilfe entweder einer Stereokamerabaugruppe, eines Laserstrahlunterbrechungssystems, eines kapazitiven Erkennungssystems, eines akustischen Erkennungssystems, eines elektromagnetischen Erkennungssystems oder eines Funkfrequenz-Erkennungssystems ausgebildet ist, wobei das Eingabeobjekt den Bildschirm nicht berührt, eine Anzeige-Engine für den visuellen Inhalt, die zur Vergrößerung des Teils des visuellen Inhalts durch Überlagern eines Ausschnitts einer skalierten Kopie des visuellen Inhalts über den visuellen Inhalt ausgelegt ist, und einen Grafikkontroller, der ausgebildet ist: zur Vergrößerung eines Teils des visuellen Inhalts, der sich in der näheren Umgebung des Fußpunkts der Normalachse auf dem Benutzerschnittstellenbildschirm befindet, eine fixierte Position der skalierten Kopie des visuellen Inhalts relativ zum visuellen Inhalt auf eine Bewegung des Eingabeobjekts unterhalb des Grenzabstandes hin festzulegen, so dass der überlagerte Ausschnitt der skalierten Kopie des visuellen Inhalts entlang der skalierten Kopie des visuellen Inhalts um eine erste Strecke aufgrund einer unterhalb des Grenzabstandes erfolgenden Bewegung des Eingabeobjekts entlang dem Benutzerschnittstellenbildschirm um eine zweite Strecke bewegt wird, wobei die erste Strecke und die zweite Strecke bezüglich der festen Position etwa gleich groß sind, und zusammenhängende Ausschnitte der skalierten Kopie des visuellen Inhalts aufgrund einer unterhalb des Grenzabstandes erfolgenden ununterbrochenen Bewegung des Eingabeobjekts entlang dem Benutzerschnittstellenbildschirm auf den visuellen Inhalt zu überlagern, wobei der überlagerte Ausschnitt auf dem visuellen Inhalt verbleibt, während sich das Eingabeobjekt über den visuellen Inhalt bewegt, selbst nachdem das Eingabeobjekt sich nicht mehr oberhalb des überlagerten Ausschnitts befindet.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich allgemein auf Schnittstellensysteme und insbesondere auf ein Bildvergrößerungssystem für eine Computerschnittstelle.
Hintergrund
Mit zunehmendem Ausmaß der mit einem Computer ausgeführten Tätigkeiten werden häufig neue und innovative Wege zur Schaffung einer Schnittstelle mit dem Computer entwickelt, um die Veränderungen in der Computerfunktionalität und der Zusammenschaltung zu ergänzen. So können es berührungsempfindliche Bildschirme dem Benutzer zum Beispiel ermöglichen, Computereingaben ohne Maus und/oder Tastatur vorzunehmen, so dass eine eigene Arbeitsplatzfläche zur Bedienung des Computers nicht erforderlich ist. Beispiele von berührungsempfindlichen Bildschirmen umfassen druckempfindliche Folien, Strahlunterbrechungstechniken mit am Umfang angeordneten Lichtquellen und Sensoren sowie akustische Erfassungstechniken. Hinzukommt, dass auf Computermonitoren und Anzeigegeräten visuelle Inhalte aufgrund der Fortschritte in der Anzeigetechnik in sehr viel höherer Auflösung wiedergegeben werden können. Folglich können Anwendungen geschaffen werden, die Möglichkeiten für das Zusammenwirken mit viel höher auflösenden Anzeigegeräten für den visuellen Inhalt schaffen und den Umfang des Einsatzes von Computern erweitern.
US 6,466,203 B2 offenbart ein tragbares Gerät mit Auto-Zoom zur graphischen Darstellung einer Webseite. Wird ein auf einem Touch-Screen dargestelltes Symbol oder Icon, welches nur eine bestimmte, relativ in Bezug auf den Touch-Screen geringe Größe aufweist, berührt bzw. drückt der Benutzer auf dieses Symbol oder Icon, so wird dieses vergrößert. Damit wird es ermöglicht, dass zum Beispiel der gesamte Inhalt einer Webseite auf dem Touch-Screen dargestellt wird, und bei der Auswahl des Tastatursymbols oder -Icons dieses vergrößert wird, so dass dem Benutzer zum Betätigen von einzelnen Buchstaben der Tastatur ausreichend große Zeichen dargestellt werden, damit er z. B. in ein Suchfeld einer Webseite einen Begriff eingeben kann. US 6,466,203 B2 bietet damit eine Vergrößerung von Inhalten eines Bereiches, die auf einem Touch-Screen dargestellt werden, so dass eine erleichterte Eingabe möglich ist. Dies geschieht bei Berührung des Touch-Screens, wobei der Vergrößerungsgrad einstellbar ist, aber nicht variabel während der Benutzung erfolgen kann.
In dem Artikel „Teksoft FingerTouch Pro released!”, Teksoft, 07-01-2008, S. 1–4, http://pdaphonehome.com/forums/mall/113076-teksoft-fingertouch-proreleased.html wird eine Anzeige für mobile Geräte, wie Mobiltelefone mit Touch-Screen, offenbart. Die darin gezeigten Systeme ermöglichen, einen Bereich, der z. B. einem Buchstaben einer auf dem Touch-Screen dargestellten Tastatur entspricht, zur Kontrolle durch den Benutzer zu vergrößern, d. h. dass dem Benutzer der durch ihn ausgewählte Buchstabe oder auch das ausgewählte Zeichen vergrößert dargestellt wird. Der Benutzer kann dann wiederum den Bereich, der den vergrößerten Buchstaben darstellt, berühren, um diesen auszuwählen. Wie bei US 6,466,203 B2 ist die Vergrößerung nicht variabel während der Benutzung und erfolgt durch einen direkten Kontakt, z. B. von einem Finger des Benutzers, zu dem Touch-Screen.
In dem Artikel „Give your computer the finger: Touch-screen tech comes of age”, G. Anthes, Computerworld Hardware, 01-02-2008, S. 1–5 werden eine Vielzahl von Entwicklungen im Bereich von Touch-Screens beschrieben. Weiterhin werden darin mögliche Entwicklungsrichtungen und aktuelle Probleme dargestellt. Eine Schwierigkeit bei solchen Systemen betrifft zum Beispiel das „fat finger problem”, welche es vor allem bei Geräten mit kleinen Displays zu beheben gilt. Konkrete Lösungsvorschläge werden in diesem Artikel jedoch nicht aufgezeigt.
DE 10 2006 047 653 A1 offenbart eine Bedieneinheit mit einer Anzeigeeinheit zur Darstellung einer Bedienfläche mit mehreren in der Anzeigeeinheit dargestellten Bedienfeldern und mit einer Erfassungseinheit zur Erfassung einer Annäherung eines Bedienelements und zur örtlichen Zuordnung der Annäherung zu einem der Bedienfelder. Dasjenige Bedienfeld, das der Annäherung zugeordnet wird, wird vergrößert dargestellt.
US 2006/0132460 A1 offenbart eine Benutzerschnittstelle, die es einem Benutzer erlaubt, mit seinem Finger auf einer berührungsempfindlichen Anzeige eine Mausbewegung zu simulieren. Wenn ein Finger oder anderer Stift die berührungsempfindliche Anzeige neben einem Cursor berührt, erscheint ein Steuerelement, womit der Benutzer den Cursor über die Anzeige verschieben kann.
US 2005/0057524 A1 offenbart ein Verfahren zur Erkennung, das eine Vielzahl von Elementen in der näheren Umgebung einer Berührungsoberfläche erkennt, um zu ermitteln, ob die Vielzahl der Elemente eine bekannte Geste durchführen.
Zusammenfassung
Eine Ausführungsform der Erfindung umfasst ein Schnittstellensystem beziehungsweise eine Schnittstellenvorrichtung für einen Computer gemäß Hauptanspruch 1.
Eine andere Ausführungsform der Erfindung umfasst ein Verfahren zur Bereitstellung von Eingaben an ein Computersystem gemäß nebengeordnetem Anspruch 10.
Kurze Beschreibung der Zeichnungen
1 zeigt ein Beispiel eines Schaubilds für einen Computer gemäß einem Aspekt der Erfindung.
2 zeigt ein Beispiel eines Schaubilds, das die Vergrößerung von visuellem Inhalt gemäß einem Aspekt der vorliegenden Offenbarung darstellt.
3 zeigt ein weiteres Beispiel eines Schaubilds, das die Vergrößerung von visuellem Inhalt gemäß einem Aspekt der vorliegenden Offenbarung darstellt.
4 zeigt noch ein weiteres Beispiel eines Schaubilds, das die Vergrößerung von visuellem Inhalt gemäß einem Aspekt der vorliegenden Offenbarung darstellt.
5 zeigt ein anderes Beispiel eines Computerschnittstellensystems gemäß einem Aspekt der vorliegenden Offenbarung.
6 zeigt ein Beispiel einer Benutzerschnittstelle.
7 zeigt ein anderes Beispiel einer Benutzerschnittstelle.
8 und 9 zeigen ein Beispiel eines Schaubilds, das die Überlagerung und Bewegung von skaliertem visuellem Inhalt auf visuellen Inhalt gemäß einem Aspekt der vorliegenden Offenbarung verdeutlicht.
10 und 11 zeigen ein weiteres Beispiel eines Objekts, das die Überlagerung und Bewegung von skaliertem visuellem Inhalt auf visuellem Inhalt gemäß einem Aspekt der vorliegenden Offenbarung darstellt.
12 zeigt ein anderes Beispiel eines Schaubilds, das die Überlagerung und Bewegung skalierten visuellen Inhalts auf visuellem Inhalt gemäß einem Aspekt der vorliegenden Offenbarung verdeutlicht.
13 ein Beispiel eines Schaubilds, das Überlagerung von skaliertem visuellen Inhalt auf visuellem Inhalt gemäß einem Aspekt der vorliegenden Offenbarung darstellt.
14 ein Beispiel eines Schaubilds, das die Bewegung skalierten visuellen Inhalts relativ zu visuellem Inhalt gemäß einem Aspekt der vorliegenden Offenbarung verdeutlicht.
15 ein Beispiel eines Verfahrens zur Erzeugung von Eingaben in einen Computer.
Ausführliche Beschreibung
Die vorliegende Erfindung bezieht sich ganz allgemein auf Schnittstellensysteme und insbesondere auf ein Bildvergrößerungssystem für eine Computerschnittstelle. Bei einem Schnittstellensystem für einen Computer kann ein Benutzerschnittstellensystem so ausgestaltet sein, dass es sowohl visuellen Inhalt anzeigen als auch von einem Benutzer gemachte Eingaben, wie beispielsweise unter Verwendung eines berührungsempfindlichen Bildschirms als Anzeigegerät und/oder eines Stereokamerasystems empfängt. Der Benutzer kann die Eingaben über ein Eingabeobjekt machen, wie z. B. einen Schreibstift, einen Stab oder einen seiner Finger. Wenn das Eingabeobjekt innerhalb eines Grenzabstandes von dem zugeordneten Anzeigegerät bewegt wird, kann das Eingabesystem das Vorhandensein des Eingabeobjekts erkennen, bevor es in Kontakt mit dem Anzeigegerät kommt. Als Beispiel sei genannt, dass das Eingabesystem ein Strahlunterbrechungssystem, akustische, kapazitive oder elektromagnetische Felderkennungs-(EMF)Techniken, eine Frequenzerkennungsabtasttechnik (RFID) oder ein Stereokamerasystem zum Erkennen der Abstandes das Eingabeobjekts von einer Normalachse, die von der Oberfläche des Anzeigegerät ausgeht, einsetzen kann.
Wenn die Nähe des Eingabeobjekts bestimmt wird, kann das Eingabesystem einen Befehl an einen zugeordneten Grafikkontroller geben, um einen Teil des visuellen Inhalts an einem Ort auf dem Anzeigegerät zu vergrößern, an dem der Abstand des Eingabeobjekts erkannt wird. Die Vergrößerung kann derart sein, dass die umgebenden Bereiche des visuellen Inhalts abgedeckt sind, oder es kann diese so sein, dass die umgebenden Bereiche des visuellen Inhalts verzerrt sind, so dass die umgebenden Bereiche sichtbar bleiben. Der Grafikkontroller kann Daten behalten bzw. speichern, die visuellen Inhalt enthalten und auch solche, die eine skalierte Kopie des visuellen Inhalts enthalten, so dass die skalierte Kopie des visuellen Inhalts einen Skalierungsfaktor gegenüber dem visuellen Inhalt hat, der größer als 1 ist. Auf diese Weise kann der Grafikkontroller Daten an ein Anzeigegerät für den visuellen Inhalt liefern und kann den visuellen Inhalt durch Überlagerung eines Ausschnitts der skalierte Kopie des visuellen Inhalts über den korrespondierenden Teil des visuellen Inhalts vergrößern. Folglich kann der Benutzer aufgrund der Vergrößerung des Teils des visuellen Inhalts eine Geräteeingabe durch Wechselwirkung bzw. durch wechselseitiges Zusammenspiel des vergrößerten Teils des visuellen Inhalts machen, wie z. B. durch Berührung des vergrößerten Teils des visuellen Inhalts mit dem Eingabeobjekt. Somit kann ein Benutzer Eingaben auf kleinen Eingabeflächenausschnitten eines hoch auflösenden Displays vornehmen.
1 zeigt ein Beispiel eines Computerschnittstellensystems 10 gemäß einem Aspekt der vorliegenden Offenbarung. Als ein Beispiel kann das Computerschnittstellensystem 10 in einen persönlichen Computer (PC) eingebaut sein, in ein tragbares elektronisches Gerät, wie beispielsweise einen persönlichen digitalen Assistenten (PDA), oder ein Handy bzw. Mobilfunkgerät oder in einem Präsentations- oder Industriecomputer. Das Computerschnittstellensystem 10 umfasst eine Computerschnittstelle 12 mit der ein Benutzer die Eingabe von Daten machen kann, und kann Ausgangsdaten von einem verbundenen Rechner empfangen. Die Benutzerschnittstelle 12 umfasst ein Anzeigegerät 14, das als ein beliebiges Ausgabegerät, das visuellen Inhalt anzeigt, ausgebildet sein. So kann das Anzeigegerät 14 z. B. als ein Computermonitor, als ein Ausgabebildschirm eines in der Hand zu haltenden Computergeräts oder als Projektionsbildschirm ausgebildet sein.
Die Benutzerschnittstelle 12 weist ein Eingabesystem 16 auf. Wie mit weiteren Einzelheiten an späterer Stelle beschrieben, kann das Eingabesystem 16 mit dem Anzeigegerät 14 verbunden sein oder diesem auf andere Weise zugeordnet sein oder es kann getrennt von dem Anzeigegerät 14 ausgebildet sein. Das Eingabesystem 16 enthält einen Nähe- oder Abstandsdetektor 18 und einen Eingabedetektor 20. Der Abstandsdetektor 18 kann als ein beliebiges Erkennungsgerät ausgebildet sein oder als ein System, dass das Vorhandensein eines Eingabeobjekts erkennt und das von einem Benutzer benutzt wird, um Eingaben in das Computerschnittstellensystem 10 zu machen. Der Eingabedetektor 20 kann zum Empfang von Geräteeingaben aufgrund eines wechselseitigen Zusammenwirkens des Eingabeobjekts mit der Benutzerschnittstelle 12 ausgebildet sein.
Das Anzeigegerät 14 kann z. B. als ein berührungsempfindlicher Bildschirm ausgestaltet sein. Daher kann ein Benutzer seine oder ihre Finger als ein Eingabeobjekt vorsehen, um Geräteeingaben aufgrund des Berührens ausgewählter Bereiche des visuellen Inhalts zu machen, der auf dem Anzeigegerät 14 angezeigt wird. Der Eingabedetektor 20 kann folglich so ausgestaltet sein, wie das Merkmal eines berührungsempfindlichen Bildschirms des Anzeigegeräts 14. Folglich kann der Abstandsdetektor 18 als ein Sensorsystem ausgestaltet sein, das erkennt, dass sich der Finger des Benutzers in der Nähe des Anzeigegeräts 14 befindet, dieses aber nicht berührt. Der Abstandsdetektor 18 kann beispielsweise als ein Strahlunterbrechungssystem ausgebildet sein oder kann so verwirklicht sein, dass es kapazitiv, akustisch, optisch oder elektromagnetisch das Eingabeobjekt erkennt. Als Beispiel sei genannt, dass der Finger des Benutzers unbedeckt bzw. nackt sein kann, sodass der Abstandsdetektor einzig in der Benutzerschnittstelle 12 verkörpert ist. Als ein anderes Beispiel sei genannt, dass der Finger des Benutzers mit einem Handschuh bedeckt sein kann und der Handschuh einen Sender oder eine passive RFID-Marke hat, die durch den Abstandsdetektor 18 erkannt werden kann.
Das Eingabeobjekt kann ferner eine Einrichtung aufweisen, die in der Hand gehalten wird, mit der der Benutzer Eingaben in das Computerschnittstellensystem 10 machen kann. Zum Beispiel könnte das Eingabeobjekt ein Schreibstift bzw. Stylus sein, wie er z. B. für PDAs verwendet wird. Der Schreibstift kann passiv sein oder könnte einen Sender oder eine passive RFID-Marke aufweisen, wie es zuvor für den Handschuh eines Benutzers beschrieben worden ist. Zusätzlich können der Abstandsdetektor 18 und der Eingabedetektor 20 als ein einziges Gerät ausgebildet sein. Das Eingabesystem 16 kann z. B. auch als ein Stereokamerasystem ausgestaltet sein, das so gestaltet ist, dass es schnell Bilder des Eingabeobjekts aus verschiedenen physikalischen Perspektiven aufnimmt und eine dreidimensionale physikalische Lage des Eingabeobjekts auf der Grundlage eines Parallaxenabstandes des Eingabeobjekts relativ zu jeder der unterschiedlichen physikalischen Perspektiven errechenbar ist. Auf diese Weise könnte das Eingabesystem 16 den Abstand bzw. die Nähe des Eingabeobjekts von dem Eingabegerät 14 bestimmen und ob das Eingabeobjekt das Anzeigegerät 14 berührt. Ferner könnte der Eingabedetektor 20 die Geräteeingaben auf andere Weise als durch Berührung mit dem Anzeigegerät 14 empfanempfangen. Der Benutzer kann z. B. auch eine Geste mit seiner oder ihrer Hand machen, die einer Geräteeingabe entspricht, sodass eine Berührung mit dem Anzeigegerät 14 zur Ausführung einer Geräteeingabe nicht gemacht werden muss.
Der Zweck des Abstandsdetektors 18, wie er später mit weiteren Einzelheiten und auch im folgenden beschrieben wird, besteht darin, es einem Benutzer zu ermöglichen, einen Teil des visuellen Inhalts zu vergrößern, der auf dem Anzeigegerät 14 angezeigt wird. Auf diese Weise können Teile des sichtbaren Inhalts, die sehr klein sind und eine sehr hohe Auflösung haben, durch den Benutzer dadurch erkannt werden, dass sich das Eingabeobjekt innerhalb einer vorgegebenen Grenzabstandsnähe von dem Anzeigegerät 14 befindet. Als Folge hiervon kann der Benutzer mit dem vergrößerten Ausschnitt des visuellen Inhalts zusammen- bzw. wechselwirken. So kann z. B. aus einer kleinen Gruppierung von Objekten mit feiner Auflösung in dem visuellen Inhalt, die auf dem Anzeigegerät 14 angezeigt wird, individuell unter Verwendung eines groben bzw. stumpfen Eingabeobjekts, wie z. B. dem Finger des Benutzers, nach Vergrößerung der Gruppierung der Objekte mit feiner Auflösung, ausgewählt werden. Folglich kann der Benutzer oder die Benutzerin seinen oder ihren Finger oder ein anderes Eingabeobjekt nahe auf das Anzeigegerät 14 hin bewegen, um den visuellen Inhalt zu vergrößern, und kann dann mit dem (z. B. berührungsempfindlichen) Ausschnitt des vergrößerten visuellen Inhalts mit dem Finger oder einem anderen Eingabeobjekt zusammenwirken, um die geeignete Geräteeingabe entsprechend dem hochauflösenden Objekt darin zu machen.
Zur Einrichtung der Vergrößerung des visuellen Inhalts ist der Abstandsdetektor 18 zum Kommunizieren der Abstandsinformation an einen Grafikkontroller 22 nach Erkennung des Vorhandenseins des Eingabeobjekts innerhalb des Grenzabstands von der Oberfläche des Anzeigegeräts ausgelegt. Zum Beispiel kann die Abstandsinformation eine Lageinformation relativ zum Anzeigegerät sein, die mit der Lage des Eingabeobjekts, das sich innerhalb des Grenzabstandes befindet, korrespondiert. Der Grafikkontroller 22 kann als eine Grafikkarte ausgelegt sein, wie sie in einem PC vorgesehen ist, und einen Speicher 24 und ein Anzeigegerät 26 für visuellen Inhalt aufweisen.
Der Speicher 24 ist so ausgestaltet, dass er Daten 28 von visuellem Inhalt und Daten 30 von skaliertem visuellem Inhalt speichert. Die Daten 30 des skaliertem visuellen Inhalts können im wesentlichen identisch mit den Daten 28 des visuellen Inhalts sein mit der Ausnahme, dass sie um einen Skalierungsfaktor von größer als 1 skaliert sind. Die Daten 28 des visuellen Inhalts und die Daten 30 des skaliertem visuellen Inhalts entsprechen jeweils dem visuellen Inhalt der auf dem Anzeigegerät 14 angezeigt wird. Daher ist der Speicher 24 zur Pufferung sowohl der Daten 28 des visuellen Inhalts als auch der Daten 30 des skalierten visuellen Inhalts eingerichtet, wie z. B. auf der Grundlage von Befehlen von einem Prozessor 32. Auf den Speicher 24 ist über ein Anzeigegerät 26 für visuellen Inhalt zugreifbar, um die Daten 28 des visuellen Inhalts oder eine Kombination der Daten 28 des visuellen Inhalts und der Daten 30 des skalierten visuellen Inhalts an das Anzeigegerät 14 zu leiten.
Als ein Beispiel des Abstandsdetektors 18 zur Erzeugung der Information bezüglich des Vorhandenseins des Eingabeobjekts an den Grafikkontroller 22 ist das Anzeigegerät 26 für den visuellen Inhalt zur Überlagerung der Daten 30 für einen Ausschnitt des skalierten visuellen Inhalts auf den entsprechenden korrespondierenden Ort der Daten 28 des visuellen Inhalts ausgelegt. Die Kombination der Daten 28 des visuellen Inhalts und des überlagerten Ausschnitts der Daten 30 des skalierten visuellen Inhalts wird dem Anzeigegerät 14 zugeführt. Als Ergebnis hiervon erzeugt das Anzeigegerät 14 den visuellen Inhalt, der den überlagerten Ausschnitt der Daten 30 des skalierten visuellen Inhalts über die Daten 28 des visuellen Inhalts zum Vergrößern des entsprechenden korrespondierenden Teils des visuellen Inhalts, wie er vom Benutzer erkannt wird, aufweist.
So kann z. B. das Anzeigegerät 26 für visuellen Inhalt die Daten 30 des Ausschnitts des skalierten visuellen Inhalts über die Daten 28 des visuellen Inhalts statisch überlagern. Daher kann der überlagerte Ausschnitt der Daten 30 des vergrößerten visuellen Inhalts an einem Ort über den Daten 28 des visuellen Inhalts solange fixiert bleiben, wie das Eingabeobjekt innerhalb des Grenzabstandes des Anzeigegerät 14 und oberhalb des vergrößerten Teils des visuellen Inhalts verbleibt. Das Anzeigegerät 26 für visuellen Inhalt kann gemäß einem anderen Beispiel den Ausschnitt der Daten 30 des skalierten visuellen Inhalts auf die Daten 28 des visuellen Inhalts dynamisch überlagern. Dafür kann der überlagerte Ausschnitt der Daten 30 des skalierten visuellen Inhalt über die Daten 28 des visuellen Inhalts bewegt werden und folglich über den visuellen Inhalt auf dem Anzeigegerät 14, während sich das Eingabeobjekt über den visuellen Inhalts auf dem Anzeigegerät 14 unterhalb des Grenzabstands bewegt. Die Art und Weise mit der die Daten 30 des skalierten visuellen Inhalts auf die Daten 28 des visuellen Inhalts überlagert werden, wird mit weiteren Einzelheiten unter Bezugnahme auf die Beispiele der 2 bis 4 beschrieben.
Aufgrund der Vergrößerung des Teils des visuellen Inhalts, der auf dem Anzeigegerät 14 angezeigt wird, kann der Benutzer mit dem vergrößertem Teil des visuellen Inhalts wechselseitig zusammenzuwirken. Der Benutzer kann z. B. Geräteeingaben auf dem vergrößerten Teil des visuellen Inhalts erzeugen, wie beispielsweise durch Berühren des Anzeigegeräts 14 mit dem Eingabeobjekt an einer geeigneten Stelle des vergrößerten Ausschnitts des visuellen Inhalts. Die Geräteeingabe kann folglich dem Prozessor 32 zugeführt werden. Daher kann der Prozessor 32 die Daten 28 des visuellen Inhalts aktualisieren und die Daten 30 des skalierten visuellen Inhalts aufgrund der Geräteeingabe aktualisieren oder er kann jeden Status des zugehörigen Computersystems aktualisieren, Information speichern oder eine von vielen Computerfunktionen aufgrund der Geräteeingabe auslösen.
Es versteht sich, dass das Computerschnittstellensystem 10 nicht auf das Ausführungsbeispiel nach 1 beschränkt sein soll. Als ein Beispiel wurden die Benutzerschnittstelle 12 und der Grafikkontroller 22 in dem Ausführungsbeispiel nach 1 vereinfacht dargestellt, in dem jede von vielen zusätzlichen Komponenten in jeder der Benutzerschnittstellen 12 und dem Grafikkontroller 22 vorgesehen sein können. Hinzu kommt, dass das Computerschnittstellensystem 10 nur einen Ausschnitt aus einem größeren Computersystem darstellen kann, derart, dass die Benutzerschnittstelle 12, der Grafikkontroller 22 und der Prozessor 32 mit zusätzlicher Computerarchitektur versehen oder verbunden sein können. Darüber hinaus versteht es sich, dass das Eingabesystem 16 nicht auf Eingaben beschränkt ist, die von einem Eingabeobjekt erzeugt werden. Das Eingabesystem 16 kann z. B. auch eine Tastatur, eine Maus oder eines von vielen zusätzlichen Eingabegeräten zusätzlich zu denen, die sich unmittelbar auf das Anzeigegerät beziehen, aufweisen. Folglich kann das Computerschnittstellensystem 10 auf eine von vielen Weisen ausgestaltet sein.
2 stellt ein Beispiel eines Schaubilds 40 dar, das die Vergrößerung des visuellen Inhalts gemäß einem Aspekt der vorliegenden Offenbarung zeigt. Das Schaubild 40 zeigt ein Anzeigegerät 42, das im wesentlichen gleich dem Anzeigegerät 14 des Ausführungsbeispiels nach 1 ausgebildet sein kann. Folglich wird auf das Ausführungsbeispiel nach 1 in der folgenden Beschreibung des Ausführungsbeispiels der 2 Bezug genommen.
Das Anzeigegerät 42 kann z. B. ein berührungsempfindlicher Bildschirm sein. Bei dem Ausführungsbeispiel nach 2 ist ein Anzeigegerät 42 dargestellt, das visuellen Inhalt 44 darstellt. Der visuelle Inhalt 44 ist im besonderen einen virtuelles Tastenwahlblock mit Standard ASCII Zeichen. Dafür ist das Anzeigegerät 42 als ein Tastfeld (Touchpad) ausgebildet, das die Tasten anzeigt, die zur Erzeugung von Geräteeingaben gepresst werden können, um Geräteingaben zu machen, die an den Prozessor 32 in dem Ausführungsbeispiel von 1 geleitet werden können. Das Schaubild 40 zeigt ferner die Hand 46 eines Benutzers, die mit dem Anzeigegerät 42 wechselseitig zusammenwirkt. Bei dem Ausführungsbeispiel der 2 ist der Zeigefinger 48 der Hand 46 des Benutzers gestreckt, so dass der Finger 48 so positioniert werden kann, dass er auf eine der Tasten des visuellen Inhalts 44 drücken kann. Daher wird der Finger 48 als ein Eingabeobjekt benutzt.
Ähnlich wie bei dem beschriebenen Ausführungsbeispiel nach 1 wird, wenn sich der Finger 48 dem Grenzabstand des Anzeigegeräts 42 nähert, ein Teil 50 des visuellen Inhalts 44 vergrößert. Bei dem Ausführungsbeispiel nach 2 ist der Teil 50 des visuellen Inhalts 44, der vergrößert wird, die Taste ”0” und das etwas umgebende Detail. Die Stelle des Teils 50 des visuellen Inhalts 44, die vergrößert ist, befindet sich im wesentlichen unterhalb des Fingers 48 (d. h. des Eingabeobjekts) oder im wesentlichen nahe einer Normalachse, die sich von dem Bildschirm des Anzeigegerät 42, von dem aus der Grenzabstand definiert ist, erstreckt. Wie dies bei dem Beispiel nach 2 gezeigt ist, wird der vergrößerte Teil 50 als etwas oberhalb des Fingers 48 gezeigt. Folglich versteht sich, dass sich der Mittelpunkt des vergrößerten Teils 50 des visuellen Inhalts 44 nicht direkt unterhalb des Eingabeobjekts befinden muss, sondern etwas außermittig von dem Eingabeobjekt sein kann, um seine Sichtbarkeit zu gewährleisten.
Wie im Ausführungsbeispiel nach 2 dargestellt, ist die Spitze des Fingers 48 im wesentlichen stumpf, so dass die Berührung mit einer der nicht vergrößerten Tasten des visuellen Inhalts 44 schwierig sein könnte, was zu unbeabsichtigten Tastenanschlägen führen kann. Folglich kann der Benutzer durch Vergrößern des Teils 50 des visuellen Inhalts 44 die beabsichtigte ”0” ohne gleichzeitige unbeabsichtigte Berührung einer der umgebenden Tasten berühren, weil der Eingabedetektor 20 jeden Kontakt mit einem Teil der vergrößerten Taste ”0” als einen entsprechenden Tastenanschlag der ”0” interpretieren kann. Der vergrößerte Teil 50 kann z. B. in der Position der Taste ”0” fixiert sein und die Taste ”0” solange vergrößern, wie der Finger 48 über den vergrößerten Teil 50 und innerhalb des Grenzabstandes verbleibt. Nach einem anderen Beispiel kann der vergrößerte Teil 50 auf dem Anzeigegerät 42 über den visuellen Inhalt 44 bewegt werden, während sich der Finger über den visuellen Inhalt 44 auf dem Anzeigegerät 42 unterhalb des Grenzabstands bewegt.
Wie es ebenfalls im Beispiel nach 2 dargestellt ist, ist der vergrößerte Abschnitt 50 als die umgebenden Abschnitte des visuellen Inhalts 44 verdeckend gezeigt. Der vergrößerte Abschnitt 50 deckt eine Gruppe von umgebenden Tasten im wurden Beispiel 2 Ausführungsbeispiel, derart ab, dass sie nicht sichtbar sind und können aufgrund der gerade vorliegenden Stelle des vergrößerten Teils 50 unerreichbar sein. Eine Abdeckung ist nur eine von vielen Möglichkeiten, nachdem der vergrößerte Teil 50 gegenüber dem Rest des visuellen Inhalts 44 dargestellt werden kann, und folglich ist das Anzeigegerät 26 (display engine) für den visuellen Inhalt nach dem Ausführungsbeispiel von 1 nicht auf das Abdecken des umgebenden visuellen Inhalts 44 beschränkt, wie dies in den folgenden Beispielen nach den 3 und 4 an späterer Stelle dargestellt wird.
3 zeigt ein anderes Beispiel eines Schaubilds 60, das die Vergrößerung des visuellen Inhalts gemäß einem Aspekt der vorliegenden Offenbarung darstellt. Die Ansicht 60 stellt virtuelle Konturen einer ersten Fläche 62 von visuellem Inhalt dar. Die erste Fläche 62 des visuellen Inhalts ist als im wesentlichen flach dargestellt, so wie es ein das Anzeigegerät 42 betrachtender Benutzer des Computerschnittstellensystem 10 nach dem Ausführungsbeispiel von 1 wahrnimmt.
Das Schaubild 60 zeigt ebenfalls virtuelle Konturen einer zweiten Fläche 64 des visuellen Inhalts. In dem Beispiel nach 3 ist die zweite Fläche 64 als eine virtuelle Folie dargestellt, wie sie beispielsweise auf einem Strukturabbild (texture mapping) in einem dreidimensionalen Renderingsystem beruht. Die zweite Fläche 64 zeigt somit einen Ausschnitt 66 des skalierten visuellen Inhalts der von dem ansonsten flachen visuellen Inhalts 68 hervorsteht. Folglich kann das Anzeigegerät 26 für visuellen Inhalt zur Überlagerung des Ausschnitts 66 des skalierten visuellen Inhalts auch den visuellen Inhalt 68 durch Verformen der virtuellen Membrane zum Transformieren der ersten Fläche 62 in die zweite Fläche 64 ausgestaltet sein. Als Folge hiervon werden die Teile des visuellen Inhalts 68, die den Ausschnitt 66 des vergrößerten visuellen Inhalts umgeben, von dem Benutzer als im wesentlichen verzerrt wahrgenommen. Anders als bei dem anhand von 2 beschriebenen Ausführungsbeispiel wird der umgebende visuelle Inhalt 68 nicht abgedeckt, so dass er immer noch durch den Benutzer des Computerschnittstellensystems 10 betrachtet werden kann. Der Benutzer kann folglich den Ort bzw. die Stelle des vergrößerten Teils des visuellen Inhalts adjustieren, wenn es sich als nötig erweist, Geräteeingaben von umgebenden Teilen des visuellen Inhalts nach deren Betrachtung zu erzeugen.
4 zeigt ein weiteres Beispiel eines Schaubilds 80, das die Vergrößerung des visuellen Inhalts gemäß einem Aspekt der vorliegenden Offenbarung darstellt. Das Schaubild 80 stellt ein Anzeigegerät 82 dar, welches im wesentlichen ebenso wie das Anzeigegerät 14 nach dem Ausführungsbeispiel der 1 ausgestaltet sein kann. Folglich werden Bezugnahmen auf das Ausführungsbeispiel nach 1 in der folgenden Beschreibung des Ausführungsbeispiels nach 4 gemacht.
Das Anzeigegerät 82 kann z. B. ein berührungsempfindlicher Bildschirm sein, ähnlich dem zuvor im Zusammenhang mit dem Anzeigegerät von 2 beschriebenen. Das Anzeigegerät 82 ist als visuellen Inhalt 84 anzeigend gezeigt, wobei das Anzeigegerät 82 als ein Touchpad ausgestaltet ist, das die Tasten, die zur Erzeugung von Geräteeingaben gepresst werden können, zeigt. Das Schaubild 80 stellt die Hand 86 eines Benutzers dar, der mit dem visuellen Inhalt 84 wechselseitig zusammenwirkt. Bei dem Beispiel nach 4 ist der Zeigefinger 88 der Hand 86 des Benutzers so gestreckt, dass der Finger sich in einer Lage befindet, in der er eine der Tasten des visuellen Inhalts 84 pressen kann.
Während sich der Finger 88 unterhalb des Grenzabstandes des Anzeigegerät 82 einem Teil 90 des visuellen Inhalts 84 nähert, wird dieser vergrößert. Nach dem Beispiel gemäß 4 ist der Teil 90 des visuellen Inhalts 84, der vergrößert wird, die Taste ”2” und etwas des umgebenden Details. Der Ort des Teils 90 des visuellen Inhalts 84, der vergrößert wird, befindet sich im wesentlichen unterhalb des Fingers 88 (d. h. des Eingabeobjekts), oder im wesentlichen nahe einer Normalachse, die sich von dem Bildschirm des Anzeigegeräts 82 erstreckt, von dem aus der Grenzabstand definiert ist. Der vergrößerte Teil 90 kann z. B. in seiner Stellung fixiert bleiben, in der die Taste ”2” vergrößert ist, solange der Finger 88 über dem vergrößerten Teil 90 und innerhalb des Grenzabstandes verbleibt. Nach einem anderen Beispiel kann sich der vergrößerte Teil 90 über den visuellen Inhalt 84 auf dem Anzeigegerät 82 bewegen, während sich der Finger 88 über den visuellen Inhalts 84 auf dem Anzeigegerät 82 unterhalb des Grenzabstandes bewegt.
Wie es im Beispiel nach 4 dargestellt ist, ist der vergrößerte Teil 90 als den visuellen Inhalt 84 umgebenden Teile verzerrend angezeigt. Ähnlich wie es zuvor für das Ausführungsbeispiel nach 3 beschreiben wurde, kann der vergrößerte Teil 90 von der Transformation bzw. dem Rendering des überlagerten Ausschnitts des skalierten visuellen Inhalts über den visuellen Inhalts als Deformation der virtuellen Membrane beziehungsweise Folie hervorgegangen sein. Die umgebenden Abschnitte des visuellen Inhalts 84 sind folglich verzerrt, aber dem Benutzer noch sichtbar. Als Folge hiervon kann der Benutzer in der Lage sein, den vergrößerten Teil 90 zu bewegen, um mit den anderen Tasten nach deren Betrachtung zusammenwirken zu können. Der Benutzer kann somit z. B. den vergrößerten Teil 90 etwas nach links für ein Zusammenwirken mit der Taste ”1” oder nach rechts für ein Zusammenwirken mit der Taste ”3” oder etwas nach oben für ein Zusammenwirken mit der Taste ”U” bewegen.
5 zeigt ein anderes Beispiel eines Computerschnittstellensystems 100 gemäß der vorliegenden Offenbarung. Das Computerschnittstellensystem 100 umfasst eine erste Kamera 102, eine zweite Kamera 104, eine erste Infrarot-Lichtquelle 106 und eine zweite Infrarot-Lichtquelle 108, die jeweils oberhalb einer vertikalen Anzeigefläche 110 befestigt sind. Die vertikale Anzeigefläche 110 kann z. B. eine Projektionswand sein. Die erste Kamera 102 und die zweite Kamera 104 können jeweils einen IR-Filter aufweisen, so dass die entsprechende Kamera nur Infrarot-Licht zu empfangen in der Lage ist. Die erste Infrarot-Lichtquelle 106 und die zweite Infrarot-Lichtquelle 108 beleuchten jeweils eine Gestenerkennungsumgebung 112, die als ein dreidimensionaler physikalischer Raum im Vordergrund der vertikalen Anzeigefläche 110, die für die ersten und zweiten Kameras 102 und 104 sichtbar sind, definiert ist.
Das Beispiel nach 5 ist das Eingabeobjekt 114 als die Hand eines Benutzers dargestellt, und zwar derart, dass die simulierten Eingaben durch Gesten mit der Hand erzeugt werden können. Es versteht sich, dass die Benutzung einer Hand zur Erzeugung simulierter Eingaben über Handgesten nur ein Beispiel der Verwirklichung eines Computerschnittstellensystems 100 ist. Beispiele anderer Arten von Eingabeobjekten können einen Schreibstift, einen Stab, einen Zeigestock oder eines einer Vielzahl anderer Geräte umfassen, die zur Erzeugung von Gesten für simulierte Eingaben verwendet werden können. Es versteht sich ferner, dass das Eingabeobjekt 114 nicht speziell gestaltet oder für das Computerschnittstellensystem 100 geeignet sein muss. Die nackte Hand eines Benutzers kann z. B. als Eingabeobjekt 114 verwendet werden und folglich muss ein Benutzer keinen Handschuh tragen, der einen reflektierenden Stoff oder einen oder mehrere Lagesensoren zur Erzeugung von Gesteneingaben an das Computerschnittstellensystem 100 gemäß einem Aspekt der Erfindung aufweist.
Bei dem Ausführungsbeispiel nach 5 empfangen die erste Kamera 102 und die zweite Kamera 104 jeweils getrennte Bilder des Eingabeobjekts 114, wobei jedes der durch die erste Kamera 102 und die zweite Kamera 104 empfangenen einzelnen Bilder einen zusammengehörigen Satz (d. h. ein passendes Paar) bilden. Beide Kameras, die erste Kamera 102 und die zweite Kamera 104, können zum Beispiel schnell fotografische Standbilder mit, zum Beispiel, sechzig Aufnahmen pro Sekunde aufnehmen, so dass jedes fotografische Standbild, das von der ersten Kamera 102 aufgenommen wird, passend zu einem fotografischen Standbild ist, das zu praktisch der gleichen Zeit von der zweiten Kamera 104 aufgenommen wurde. Das Eingabeobjekt 114 kann an verschiedenen Orten in jedem Bild des zusammengehörigen Satzes erscheinen, das von der ersten Kamera 102 und der zweiten Kamera 104 jeweils aufgenommen wurde, und zwar aufgrund einer Parallaxenverschiebung, die durch die unterschiedlichen Befestigungsorte der beiden Kameras, der ersten Kamera 102 und der zweiten Kamera 104, verursacht ist. Daher sind die erste und die zweite Kamera 102 und 104 als eine Stereokamerabaugruppe zur Ortsbestimmung des Eingabeobjekts 114 ausgebildet. Bei dem Ausführungsbeispiel nach 5 können die erste und die zweite Kamera 102 und 104 jeweils unter einem Winkel auf den Mittelpunkt der vertikalen Anzeigefläche 110 ausgerichtet sein, derart, dass eine genauere Orts. bzw. Lagebestimmung des Eingabeobjekts 114 erfolgen kann.
Die jeweils von der ersten und der zweiten Kamera 102 und 104 aufgenommenen Bilder können auf dem Infrarotlicht beruhen, das von dem Eingabeobjekt relativ zu praktisch nicht-reflektiertem Licht in der Gestenerkennungsumgebung 112 reflektiert wird. Ein Objekt wird vor allem mit einer relativen Helligkeitsintensität von 1/D² beleuchtet, worin D der Abstand von der Lichtquelle ist. Auf diese Weise erscheint ein Objekt, das zweimal so weit entfernt ist, viermal dunkler. Obwohl etwas von dem Infrarotlicht, das von der ersten und der zweiten Infrarot-Lichtquelle 106 und 108 vom Boden 118 unterhalb der vertikalen Anzeigefläche 110 reflektiert wird, kann die Intensität des reflektierten Lichtes signifikant geringer als das von dem Eingabeobjekt 114 reflektierte Licht sein.
Die erste Kamera 102 und die zweite Kamera 104 können ihre einander entsprechenden, getrennten Bilder von dem Eingabeobjekt 114 an einen Kontroller bzw. eine Steuervorrichtung 116 weiterleiten. Der Kontroller 116 kann zum Beispiel in einem nicht dargestellten Computer vorgesehen sein, für den der Computerschnittstellensystem 100 ausgelegt ist, um eine Schnittstelle für eine Gestenerkennung zu bilden. Es versteht sich jedoch, dass das Unterbringen eines Kontrollers nicht auf einen alleinstehenden Computer beschränkt ist, sondern dass er in eingebetteten Prozessoren enthalten sein kann. Der Kontroller 116 kann die zu dem Eingabeobjekt 114 gehörenden Bilder zur Erzeugung von dreidimensionalen, zum Eingabeobjekt 114 gehörigen Ortsdaten verarbeiten. Der Kontroller 116 kann somit eine Funktionalität haben, die praktisch gleich mit der des Eingabesystems 16, des Grafikkontrollers 22 und/oder des Prozessors 32 im Ausführungsbeispiel nach 1 ist.
Es können zum Beispiel beide Kameras, die erste Kamera 102 und die zweite Kamera 104, jeweils unter einem vorbestimmten Winkel gegenüber dem Boden 118 unterhalb der vertikalen Anzeigefläche 110 montiert sein. Für ein gegebenes zusammengehöriges Paar von Bildern des Eingabeobjekts 114, wenn die vorgegebenen Winkel der beiden Kameras 102 und 104 gleich sind, hat jeder Punkt des Eingabeobjekts 114 im zweidimensionalen Raum in einem gegebenen Bild von der Kamera 102 den gleichen Abstand von einem korrespondierenden Punkt des Eingabeobjekts 114 in dem entsprechenden zugehörigen Bild der Kamera 104. Als solches kann der Kontroller 114 dreidimensional den physikalischen Ort des Eingabeobjekts 114 aufgrund der relativen Parallaxenverschiebung des zusammengehörigen Satzes von Bildern des Eingabeobjekts 114 zu einer gegebenen Zeit bestimmen. Hinzukommt, dass der Kontroller 116 bei Verwendung eines Computeralgorithmusses dreidimensional physikalische Orte von Merkmalen, die zu Teilen des Eingabeobjekts 114 gehören, wie zum Beispiel Finger oder Fingerspitzen, bestimmen kann.
Das Computerschnittstellensystem 100 kann ferner einen Projektor 120 enthalten. Der Projektor 120 kann visuellen Inhalt erzeugen, mit welchem der Benutzer wechselseitiges Zusammenwirken und Eingaben erzeugen kann. In dem Ausführungsbeispiel nach 5 kann der Projektor 120 visuellen Inhalt auf die vertikale Anzeigefläche 110 projizieren. Da die IR-Lichtquellen 106 und 108 nicht mit sichtbarem Licht beleuchten, wird die IR Beleuchtung nicht mit dem vom Projektor 120 projizierten visuellen Inhalt kollidieren. Der Benutzer wird folglich das Eingabeobjekt 114 in dem Gestenerkennungsumfeld 112 zum Simulieren von Eingaben in interaktiver Weise mit dem visuellen Inhalt einsetzen können. Weil der Kontroller 116 zur Bestimmung des dreidimensionalen physikalischen Orts des Eingabeobjekts 114 ausgelegt ist, kommt hinzu, dass der Kontroller 114 den visuellen Inhalt abändern kann, der auf die vertikale Anzeigefläche 110 projiziert wird, derart, dass ein Teil des visuellen Inhalts vergrößert wird, wenn das Eingabeobjekt 114 unterhalb des Grenzabstandes, der in den Kontroller 116 einprogrammiert ist, bewegt wird. Als Ergebnis hiervon kann das Eingabeobjekt 114 mit dem vergrößerten Teil des visuellen Inhalts zusammenwirken und Geräteeingaben durch Berührung der vertikalen Anzeigefläche 110 erzeugen, und zwar aufgrund dessen, dass der Kontroller 116 den Ort des Eingabeobjekts 114 im dreidimensionalen Raum als in Berührung mit der vertikalen Anzeigeflächen 111 identifiziert.
Dass das Computerschnittstellensystem 100 in dem Ausführungsbeispiel nach 5 nur ein Ausführungsbeispiel für einen Computerschnittstellensystem darstellen soll, versteht sich. Das Computerschnittstellensystem 100 kann zum Beispiel mehr als zwei Kameras aufweisen, an vielen Orten oberhalb und/oder unterhalb der vertikalen Anzeigefläche 110, so dass jede Kamera entsprechende Bilder des Eingabeobjekts 114 an den Kontrolle 116 liefert. Als Beispiel kann ein Dreiwegestereo-(d. h. mit drei Okularen)Kamerasystem eingesetzt werden oder es können mehrere Kameras zur Erhöhung der visuellen Abdeckung einer großen vertikalen Anzeigefläche 110 oder in Situationen, in denen der Freiraum oberhalb der vertikalen Anzeigefläche 110 unzureichend ist, eingesetzt werden. In einem anderen Beispiel kann der Kontroller 116 zum Einstellen von mehr als einem vorbestimmten Grenzwert ausgebildet sein, so dass ein Teil des visuellen Inhalts um einen ersten Betrag bei einem ersten Grenzabstand vergrößert wird und um einen zweiten Betrag an einem zweiten Grenzabstand vergrößert wird, der näher an der vertikalen Anzeigefläche 110 liegt. Ferner könnte in einem weiteren Beispiel der Projektor 120 visuellen Inhalt von hinten auf die vertikale Anzeigefläche 110 projizieren oder könnte die vertikale Anzeigefläche 110 eine Flüssigkristallanzeige (LCD) oder ein Plasmamonitor anstelle eines Projektionsbildschirms sein. Nach einem weiteren Beispiel könnten die IR Lichtquellen 106 und 108 nicht im IR Spektrum beleuchten, sondern könnten stattdessen in einem anderen bzw. unterschiedlichen Spektrum beleuchten, wie zum Beispiel in schmalen Frequenzbändern des sichtbaren Lichts, wobei jede der entsprechenden Kameras 102 und 104 einen entsprechenden Spektralfilter hat. Folglich kann das Computerschnittstellensystem 100 auf verschiedene Weise ausgestaltet sein.
6 zeigt ein Beispiel einer Benutzerschnittstelle 130. Die Benutzerschnittstelle 130 umfasst ein Eingabesystem 132, das im wesentlichen wie das Eingabesystem 60 nach dem Ausführungsbeispiel nach 1 ausgebildet ist. Das Eingabesystem 132 enthält vor allem einen Abstandsdetektor 134 und einen Eingabedetektor 136. Die Benutzerschnittstelle 130 weist ferner einen berührungsempfindlichen Bildschirm 138 auf, wie er zum Beispiel von 6 in einer Seitenansicht dargestellt ist. Der berührungsempfindliche Bildschirm 138 kann somit einem Anzeigegerät entsprechen, wie z. B. dem Anzeigegerät 14 nach dem Ausführungsbeispiel der 1.
Die Benutzerschnittstelle 130 kann auch ein Strahlunterbrechungssystem aufweisen, das einen Sender 140 und einen Empfänger 142 hat. Bei dem Beispiel nach 6 ist der Sender 140 am oberen Ende des berührungsempfindlichen Bildschirms 138 dargestellt und ist der Empfänger 132 am unteren Ende des berührungsempfindlichen Bildschirms 138 gezeigt. Es versteht sich jedoch, dass der Sender 140 auch an einer Seite des berührungsempfindlichen Bildschirms 138 vorgesehen sein kann und dass der Empfänger 142 auch an einer anderen Seite des berührungsempfindlichen Bildschirms 138, gegenüber dem Sender 114, angeordnet sein kann. Der Sender 140 ist zur Ausstrahlung von Lichtstrahlen 144, wie zum Beispiel Infrarotlicht (IR), ausgelegt sein. Die Lichtstrahlen 144 können über die Vorderseite des berührungsempfindlichen Bildschirms 138 in sowohl der X- als auch der Y-Richtung, wie sie vom Benutzer vor dem berührungsempfindlichen Bildschirm 138 wahrgenommen wird, ausgestrahlt werden. Der Empfänger 142 ist folglich so ausgelegt, dass er die Lichtstrahlen 144 empfängt. Somit kann ein dazwischen eingebrachtes Objekt die Lichtstrahlen 144 unterbrechen und dadurch verhindern, dass sie zum Empfänger 142 gelangen. Wenn der Empfänger keinen Teil der Lichtstrahlen 144 empfängt, kann der Empfänger 142 folglich in X- und Y-Richtung den Ort des Objekts relativ zur Oberfläche des berührungsempfindlichen Bildschirms 138 identifizieren.
Ein Eingabeobjekt 146, dargestellt als der Finger eines Benutzers, wird auf den berührungsempfindlichen Bildschirm 138 bei dem Ausführungsbeispiel nach 6 zu bewegt. Bevor der Finger 146 den berührungsempfindlichen Bildschirm 138 berührt, um eine Geräteeingabe über den Eingabedetektor 136 zu erzeugen, unterbricht der Finger 146 die Lichtstrahlen 144 an einer bestimmten Stelle in X-/Y-Richtung vor dem berührungsempfindlichen Bildschirm 138. Als Ergebnis hiervor liefert der Empfänger 132 Ortsinformationen an den Abstandsdetektor 134. Folglich kann der Abstandsdetektor 134 so ausgelegt sein, dass er Ortsinformationen an einen nicht dargestellten Grafikkontroller liefert, wie den Grafikkontroller 22 in dem Ausführungsbeispiel nach 1. Somit kann der Grafikkontroller den auf dem berührungsempfindlichen Bildschirm 138 dargestellten visuellen Inhalt etwa an einer Stelle unterhalb des Fingers 146 aufgrund der vom Empfänger 142 ermittelten Ortsinformation vergrößern. Der Benutzer kann somit eine Geräteeingabe durch wechselseitiges Zusammenwirken mit dem vergrößerten Ausschnitt des visuellen Inhalts auslösen, wie zum Beispiel durch Berühren des berührungsempfindlichen Bildschirms 138 in einem vergrößerten Ausschnitt des visuellen Inhalts.
Es soll verstanden werden, dass die Benutzerschnittstelle 130 nicht auf das Ausführungsbeispiel nach 6 beschränkt ist. Beispielhaft ist der Sender 140 in dem Ausführungsbeispiel nach 6 als zwei Schichten von Lichtstrahlen 144 aussendend gezeigt. Der Empfänger 142 kann somit zur Überwachung beider Schichten der Lichtstrahlen 144 ausgebildet sein. Aufgrund dessen kann der zugehörige Grafikkontroller 22 so ausgelegt werden, dass er den visuellen Inhalt um einen ersten Betrag aufgrund der Unterbrechung der ersten Schicht der Lichtstrahlen 144 vergrößert und diesen um einen zweiten Betrag aufgrund der Unterbrechung der zweiten Schicht der Lichtstrahlen 144 vergrößert. Hinzukommt, dass zu verstehen ist, dass der Sender 140 und der Empfänger 142 nicht auf das im Beispiel nach 6 gezeigte Strahlunterbrechungssysteme beschränkt sind. Der Sender 140 kann zum Beispiel zur Erzeugung eines oder mehrerer Strahlen, die am Umfang des berührungsempfindlichen Bildschirms 138 gespiegelt werden und/oder die sich über die Oberfläche des berührungsempfindlichen Bildschirms 138 bewegen, ausgelegt sein. Folglich kann die Benutzerschnittstelle 130 auf verschiedene Weisen ausgebildet sein.
7 zeigt ein anderes Beispiel einer Benutzerschnittstelle 160. Die Benutzerschnittstelle 160 kann in einem Computersystem oder einem tragbaren elektronischen Gerät, wie beispielsweise einem Handy und/oder einem PDA vorgesehen sein. Die Benutzerschnittstelle 160 weist ein Anzeigegerät 162 auf, über das ein Benutzer Eingabedaten eingeben oder von dem der Benutzer Ausgabedaten empfangen kann. Als ein Beispiel kann ein Anzeigegerät 162 zur Anzeige von visuellem Inhalt und zum Empfang von Berührungseingaben von einem Eingabeobjekt 164 ausgestaltet sein, das seinerseits zum Beispiel als Schreibstift, Stab oder Handschuh ausgebildet ist. Die Benutzerschnittstelle 160 kann auch ein Eingabesystem 166 aufweisen. Ähnlich wie es oben anhand des Beispiels nach 1 beschrieben ist, weist das Eingabesystem 166 einen Abstandsdetektor 168 und einen Eingabedetektor 170 auf. Der Eingabedetektor 170 kann zum Empfangen von Geräteeingaben aufgrund einer Wechselwirkung des Eingabeobjekts 164 mit dem Anzeigegerät 162, wie Berühren von Teilen des visuellen Inhalts mit dem Eingabeobjekt 164, ausgebildet sein.
Bei dem Ausführungsbeispiel nach 7 weist das Eingabeobjekt 164 einen Sender 172 und der Abstandsdetektor 168 einen Empfänger 174 auf. Der Sender 172 ist somit zum übertragen eines Signals, das von dem Empfänger 174 erkannt wird, ausgebildet. Als ein Beispiel kann der Sender 172 ein Funksignal, ein optisches Signal, ein akustisches Signal oder ein elektromagnetisches Signal erzeugen. Daher kann der Abstandsdetektor 168 zum Bestimmen eines Ortes des Eingabeobjekts 164 gegenüber dem Anzeigegerät 162 ausgebildet sein und zum Festlegen eines Grenzabstandes aufgrund der Eigenschaften des Signals, das von dem Sender 172 ausgestrahlt wird, geeignet sein. Folglich kann ein zugehöriger nicht dargestellter Grafikkontroller den visuellen Inhalt auf dem Anzeigegerät 162 an dem bestimmten Ort aufgrund eines Erkennens durch den Abstandsdetektor 168, dass das Eingabeobjekt innerhalb des Grenzabstandes bewegt worden ist, infolge des von dem Sender 172 an den Empfänger 174 übermittelten Signals vergrößern.
Es ist zu verstehen, dass die Benutzerschnittstelle 160 nicht auf das Ausführungsbeispiel nach 7 beschränkt ist. Die Benutzerschnittstelle 160 ist zum Beispiel in 7 vereinfacht beispielhaft dargestellt, weshalb verschiedene zusätzliche Komponenten in der Benutzerschnittstelle 160 vorgesehen sein können. Die Benutzerschnittstelle 160 kann zusätzlich nur einen Teil eines vollständigen Computerschnittstellensystems wiedergeben, derart, dass die Benutzerschnittstelle 160 eingeschlossen ist in oder verknüpft ist mit einer zusätzlichen Computerarchitektur. Fernerhin ist zu verstehen, dass das Eingabesystem 166 nicht auf Eingaben begrenzt ist, die von dem Eingabeobjekt 164 erzeugt werden. Das Eingabesystem 166 kann zum Beispiel eine Tastatur, eine Maus oder irgendein weiteres Eingabegerät zusätzlich zu denen, die sich direkt auf das Anzeigegerät 164 beziehen, aufweisen. Die Benutzerschnittstelle 160 kann folglich in einer von vielen Arten ausgestaltet sein.
Die 8 und 9 zeigen jeweils ein Ausführungsbeispiel eines Schaubilds 200, das die Überlagerung und Bewegung eines vergrößerten visuellen Inhalts 202 auf den visuellen Inhalt 204 gemäß einem Aspekt der vorliegenden Offenbarung darstellt. Insbesondere 8 zeigt die Überlagerung eines Ausschnitts 206 des skalierten visuellen Inhalts 202 auf den visuellen Inhalt 204 und 9 stellt die Bewegung eines überlagerten Ausschnitts 206 des skalierten visuellen Inhalts 202 auf den visuellen Inhalt 204 dar. In den Ausführungsbeispielen nach den 8 und 9 sind der visuelle Inhalt 204 und der skalierte visuelle Inhalt 202 jeweils als ebene Flächen dargestellt. Es versteht sich jedoch, dass der visuelle Inhalt 204 so gezeigt ist, um das Erscheinungsbild auf einem zugehörigen, nicht dargestellten Anzeigegerät zu simulieren. Als solches ist ein Eingabeobjekt 208, das in den Beispielen der 8 und 9 als der Finger eines Benutzers gezeigt ist, als mit dem visuellen Inhalt 204 wechselweise zusammenwirkend so dargestellt, als wäre es auf einem zugehörigen Anzeigegerät wiedergegeben.
Bei dem Beispiel nach 8 ist der vergrößerte visuelle Inhalt 202 mit der dreifachen Größe des visuellen Inhalts 204 wiedergegeben. Daher hat der skalierte visuelle Inhalt 202 einen Skalierungsfaktor von 3 gegenüber dem visuellen Inhalt 204. Das Beispiel nach 8 zeigt das Eingabeobjekt 208 als sich unterhalb es Grenzabstands des visuellen Inhalts 204 bewegend, wie es auf einem zugehörigen, nicht dargestellten Anzeigegerät dargestellt wird. Daher vergrößert ein nicht dargestellter Grafikkontroller einen Teil des visuellen Inhalts durch Überlagern des Ausschnitts 206 des skalierten visuellen Inhalts 202 auf den visuellen Inhalt 204. Der Ausschnitt 206 ist hier ein im wesentlichen kreisrunder Ausschnitt des skalierten visuellen Inhalts 202, der über den visuellen Inhalt 204 überlagert ist, so dass der Ausschnitt 206 etwa gleich der Größe ist, die in dem Ausführungsbeispiel nach 8 mit dem Durchmesser ”X” dargestellt ist, und zwar sowohl in dem visuellen Inhalt 204 als auch in dem skalierten visuellen Inhalt 202. Daher ist der Ausschnitt 206 etwa identisch mit sowohl dem visuellen Inhalt 204 als auch dem skalierten visuellen Inhalt 202.
Der Ausschnitt 206 kann auf dem visuellen Inhalt 240 so erscheinen, dass die umgebenden Teile des visuellen Inhalts 204 entweder abgedeckt oder verzerrt sind, so wie es oben für das Beispiel nach den 2 bis 4 beschrieben ist. Der Ort des Ausschnitts 206 auf dem visuellen Inhalt 204 kann mit einem etwa gleichen, skalierten Ort von dem skalierten visuellen Inhalt 202 korrespondieren. Mit anderen Worten, der Ausschnitt 206 kann ein Ausschnitt aus dem vergrößerten visuellen Inhalt 202 sein, der mit dem skalierten Ort auf dem visuellen Inhalt 204 korrespondiert, was somit in einer Vergrößerung von praktisch dem gleichen visuellen Inhalt, der vom Benutzer wahrgenommen wird, resultiert.
Bei dem Beispiel nach 9 wird das Eingabeobjekt 208 über den visuellen Inhalt 204 (d. h. über der Oberfläche des Anzeigegeräts) um eine Strecke ”Y” bewegt. Folglich kann der zugehörige Grafikkontroller die Überlagerung des Ausschnitts 206 des skalierten visuellen Inhalts 202 auf den visuellen Inhalt 204 während der ganzen Bewegung des Eingabeobjekts 208 unterhalb des Grenzabstandes beibehalten. Die Bewegung des Ausschnitts 206 über den skalierten visuellen Inhalt 202 kann jedoch ebenso um den gleichen Skalierungsfaktor vergrößert werden. In dem Ausführungsbeispiel nach 9 ist daher der Ausschnitt 206 als über den skalierten visuellen Inhalt 202 um die Strecke ”3Y” bewegt dargestellt, und damit dreimal so groß wie sich die Strecke des Ausschnitts 206 über den visuellen Inhalt 204 bewegt. Der Skalierungsfaktor der Bewegung ist somit etwa gleich dem Skalierungsfaktor des skalierten visuellen Inhalts 202 gegenüber dem visuellen Inhalt 204. Aufgrund dessen bleibt der skalierte visuelle Inhalt 202 vergrößert und gegenüber dem visuellen Inhalt 204 während der Überlagerung des Ausschnittes 206 des skalierten visuellen Inhalts 202 auf den visuellen Inhalt 204 zentriert. Mit anderen Worten, wenn der Benutzer das Eingabeobjekt 208 unterhalb des Grenzabstandes bewegt, kann der Benutzer jeden Teil des visuellen Inhalts 204 durch Bewegen des Eingabeobjekts 208 über den visuellen Inhalt 204 vergrößern, sofern er über die ganze Bewegung unterhalb des Grenzabstandes verbleibt.
Das Beispiel nach den 8 und 9 zeigt daher ein Beispiel der Bewegung des skalierten visuellen Inhalts 202 gegenüber dem visuellen Inhalt 204 nach Überlagerung des Ausschnitts 206 des skalierten visuellen Inhalts 202 auf den visuellen Inhalt 204. Insbesondere zeigt das Beispiel nach den 8 und 9 wie die Gesamtheit des vergrößerten visuellen Inhalts 202 durch Bewegen des Eingabeobjekts 208 über den visuellen Inhalt 204 durch den Benutzer abschnittsweise betrachtet werden kann. Da die Bewegung des Ausschnitts 206 um den gleichen Skalierungsfaktor vergrößert ist wie der skalierte visuelle Inhalts 202 gegenüber dem visuellen Inhalt 204, kann es für den Benutzer schwierig sein, sich zu speziellen Orten auf dem visuellen Inhalt 204 zum Zusammenwirken mit jenen speziellen Orten zu bewegen, da der überlagerte Ausschnitt 206 selbst auf eine kleine Bewegungen des Eingabeobjekts 208 hin schnell aktualisiert wird.
Die 10 und 11 stellen jeweils ein anderes Beispiel einer Ansicht 220 dar, die die Überlagerung und die Bewegung des skalierten visuellen Inhalts 222 auf den visuellen Inhalt 224 gemäß einem Aspekt der vorliegenden Offenbarung zeigt. Insbesondere 10 stellt die Überlagerung eines Ausschnitts 226 des skalierten visuellen Inhalts 222 auf den visuellen Inhalt 224 dar und 11 stellt die Bewegung des überlagerten Ausschnitts 226 des skalierten visuellen Inhalts 222 über den visuellen Inhalt 224 dar. In dem Beispiel nach den 10 und 11 ist der visuelle Inhalt 224 und der skalierte visuelle Inhalt 222 jeweils als ebene Flächen gezeigt. Ähnlich wie es für das Beispiel nach den 8 und 9 beschrieben ist, versteht es sich daher, dass der visuelle Inhalt 224 so gezeigt ist, dass er das Erscheinungsbild auf einem zugehörigen, nicht dargestellten Anzeigegerät simuliert, und dass ein Eingabeobjekt 228, das als der Finger eines Benutzers in dem Beispiel nach den 10 und 11 dargestellt ist, als mit dem visuellen Inhalt 224 wechselseitig zusammenwirkend gezeigt ist, als wenn er auf einem zugehörigen Anzeigegerät wiedergegeben wäre.
Das Beispiel nach 10 stellt das Eingabeobjekt 228 solange es sich unterhalb des Grenzabstandes des visuellen Inhalts 224 bewegt dar, während es auf einem zugehörigen Anzeigegerät wiedergegeben wird. Ein zugehöriger, nicht dargestellter Grafikkontroller vergrößert deshalb einen Teil des visuellen Inhalts durch Überlagerung des Ausschnitts 226 des skalierten visuellen Inhalts 222 auf den visuellen Inhalt 224. Der Ausschnitt 226 ist hier im Wesentlichen ein kreisförmiger Ausschnitt des skalierten visuellen Inhalts 222, der dem visuellen Inhalt 224 überlagert ist, so dass der Ausschnitt 226 etwa von gleicher Größe ist, wie er bei dem Beispiel nach 7 mit einem Durchmesser ”X” sowohl für den visuellen Inhalt 224 als auch für den skalierten visuellen Inhalt 222 dargestellt ist. Daher ist der Ausschnitt 226 etwa identisch mit sowohl dem visuellen Inhalt 224 als auch dem skalierten visuellen Inhalt 222. Der Ausschnitt 226 ist auf den visuellen Inhalt 224 an einem Bezugspunkt 227 überlagert, was mit weiteren Einzelheiten an späterer Stelle beschrieben wird, und ist fixiert, solange sich das Eingabeobjekt 228 unterhalb des Grenzabstandes des visuellen Inhalts 224 befindet.
Der Ausschnitt 226 kann als visueller Inhalt 224 so erscheinen, dass umgebende Teile des visuellen Inhalts 224 entweder abgedeckt oder verzerrt sind, so wie es zuvor für das Beispiele nach den 2 bis 4 beschrieben wurde. Ebenso wie es weiter oben für das Beispiel nach den 8 und 9 beschrieben ist, kann der Ort des Ausschnitts 226 des visuellen Inhalts 224 mit einem etwa gleichen, skalierten Ort des skalierten visuellen Inhalts 222 korrespondieren. Mit anderen Worten, der Ausschnitt 226 kann ein Ausschnitt des vergrößerten visuellen Inhalts 222 sein, der dem skalierten Ort auf dem visuellen Inhalt 224 entspricht, und somit in einer Vergrößerung des im wesentlichen gleichen visuellen Inhalts, wie er vom Benutzer wahrgenommen wird, resultiert.
Bei dem Beispiel nach 11 wird das Eingabeobjekt 228 über dem visuellen Inhalt 224 bewegt (d. h. über der Oberfläche des Anzeigegeräts) um eine Strecke ”Y” vom Bezugspunkt 227 aus. Daher kann der zugehörige Grafikkontroller während der Bewegung des Eingabeobjekts 228 unterhalb des Grenzabstandes die Überlagerung des Ausschnitts 226 des skalierten visuellen Inhalts 222 auf den visuellen Inhalt 224 beibehalten. Die Bewegung des Ausschnitts 226 über den skalierten visuellen Inhalt 222 kann jedoch über die gleiche Strecke erfolgen wie die Bewegung des Ausschnitts 226 über den skalierten visuellen Inhalt 224 gegenüber dem Bezugspunkt 227. Mit anderen Worten, bei dem Beispiel nach 11 wird die Bewegung des Ausschnitts 226 über den skalierten visuellen Inhalt 222 nicht skaliert. Bei dem Beispiel nach 11 ist folglich der Ausschnitt 226 als über den skalierten visuellen Inhalt 222 um die Strecke ”Y” bewegt dargestellt und ist somit gleich der Strecke, die sich der Ausschnitt 226 über den visuellen Inhalt 224 bewegt.
Während der Benutzer das Eingabeobjekt 228 unterhalb des Grenzabstands des Anzeigegeräts bewegt, kann der Grafikkontroller den Ort des visuellen Inhalts 224 an dem Bezugspunkt 227 fixieren, an dem der Ausschnitt 226 gegenüber dem skalierten visuellen Inhalt 222 überlagert ist. Solange das Eingabeobjekt 228 unterhalb des Grenzabstands verbleibt, kann folglich nur ein Ausschnitt 230 des skalierten visuellen Inhalts 222 durch den Benutzer auf die Bewegung des Eingabeobjekts 228 über den visuellen Inhalt 224 hin betrachtet werden, weil der skalierten visuelle Inhalt 222 sich nicht gegenüber dem visuellen Inhalt 224 bewegt. Die übrigen Teile 232 des skalierten visuellen Inhalts 222 sind daher für den Benutzer unzugänglich, es sei denn, der Benutzer bewegt das Eingabeobjekt 228 aus dem Grenzabstand heraus zu einem anderen Ort, an dem der Benutzer das Eingabeobjekt 228 für den visuellen Inhalts 224 wieder unterhalb den Grenzabstand bewegen könnte. Somit kann ein anderer Ausschnitt des visuellen Inhalts vergrößert werden und kann ein entsprechender anderer Ausschnitt 230 des skalierten visuellen Inhalts 222 zugänglich werden.
Das Beispiel nach den 10 und 11 stellt daher ein anderes Beispiel der Bewegung des skalierten visuellen Inhalts 222 gegenüber dem visuellen Inhalt 224 nach Überlagerung des Ausschnitts 226 des skalierten visuellen Inhalts 222 auf den visuellen Inhalt 224 dar. Das Beispiel nach den 11 und 12 stellt insbesondere dar, dass nur ein begrenzter Ausschnitt des skalierten visuellen Inhalts 222 durch den Benutzer aufgrund des Bewegens des Eingabeobjekts 228 über dem visuellen Inhalt 224 betrachtet werden kann. Da die Bewegung des Ausschnitts 226 nicht skaliert wird, kann es für einen Benutzer leichter sein, sich zu einem speziellen Ort auf dem visuellen Inhalt 224 für ein Zusammenwirken mit jenen speziellen Orten hin zu bewegen, weil der überlagerte Ausschnitt 226 bei einer geringen Bewegung des Eingabeobjekts 228 nicht schnell aktualisiert wird, anders, als dies oben am Ausführungsbeispiel nach den 8 und 9 beschrieben wurde.
12 stellt ein anderes Beispiel eines Schaubilds 240 dar, das die Überlagerung und Bewegung des skalierten visuellen Inhalts 242 auf den visuellen Inhalt 244 gemäß einem Aspekt der vorliegenden Offenbarung zeigt. Bei dem Beispiel nach 12 wird ein Eingabeobjekt 246 unterhalb eines Grenzabstandes des Anzeigegeräts bewegt. Als Ergebnis hiervon überlagert der nicht dargestellte Grafikkontroller, ähnlich wie dies zuvor anhand des Beispiels nach den 10 und 11 beschrieben wurde, einen Ausschnitt 248 des skalierten visuellen Inhalts 242 auf den visuellen Inhalt 244 an einen fixierten Bezugsort. Die Bewegung des Ausschnitts 248 des skalierten visuellen Inhalts 242 ist etwa gleich auf dem visuellen Inhalt 244 und dem skalierten visuellen Inhalt 242, was zu einem zugänglichen Abschnitt 250 und einem unzugänglichen Abschnitt 252 auf dem skalierten visuellen Inhalt 242 führt.
In dem Ausführungsbeispiel nach 12 verbleibt jedoch der überlagerte Ausschnitt 248 auf dem visuellen Inhalt 244 während sich das Eingabeobjekt 246 über den visuellen Inhalt 244 bewegt, selbst nachdem das Eingabeobjekt 246 sich nicht mehr oberhalb des überlagerten Ausschnitts 248 befindet. Mit anderen Worten, der überlagerte Ausschnitt 248 kann wachsen, während das Eingabeobjekt 246 über den visuellen Inhalt 244 bewegt wird. Dies ist in dem Beispiel nach 12 mit Hilfe der Pfeile 254 angedeutet, die die Bewegung des Eingabeobjekts 246 über den visuellen Inhalt 244 in dem überlagerten Ausschnitt 248 zeigen. Der Ausschnitt 248 kann auf den visuellen Inhalt 244 überlagert verbleiben, solange der Benutzer das Eingabeobjekt 246 unterhalb des Grenzabstandes belässt. Infolgedessen können durch den Benutzer größere Ausschnitte des skalierten visuellen Inhalts 252 auf die Bewegung des Eingabeobjekts 246 hin betrachtet werden.
13 stellt ein Beispiel einer Darstellung 260 dar, die die Überlagerung von skaliertem visuellem Inhalt 262 auf visuellen Inhalt 264 gemäß einem Aspekt der vorliegenden Offenbarung zeigt. In dem Ausführungsbeispiel nach 13 wird ein Eingabeobjekt 246 unterhalb eines Grenzabstands vom Anzeigegerät bewegt. Als Folge hiervon überlagert, ähnlich wie dies oben anhand des Beispiels nach den 10 und 11 beschrieben wurde, der nicht dargestellte Grafikkontroller einen Ausschnitt 268 des skalierten visuellen Inhalts 262 auf den visuellen Inhalt 264 an einem fixierten Bezugsort. Als Folge hiervon ist die Bewegung des Ausschnitts 268 des skalierten visuellen Inhalts 262 etwa gleich sowohl über den visuellen Inhalt 264 als auch den vergrößerten visuellen Inhalt 262, was zu einem zugänglichen Abschnitt 270 und einem unzugänglichen Abschnitt 272 des vergrößerten visuellen Inhalts 262 führt.
Wie es zuvor anhand des Beispiels nach den 10 und 11 beschrieben wurde, kann nur ein begrenzter Bereich des skalierten visuellen Inhalts 262 von einem Benutzer durch Bewegung des Eingabeobjekts 266 über dem visuellen Inhalt 264 betrachtet werden. Folglich kann es für den Benutzer schwierig sein, vergrößerte Bilder an den äußersten Rändern des skalierten visuellen Inhalts 262 aufgrund der Vergrößerung des fixierten Punktes relativ zu sowohl dem visuellen Inhalt 264 als auch dem skalierten visuellen Inhalt 262 zu betrachten. Daher kann der Grafikkontroller ausgestaltet sein, die Orte des visuellen Inhalts 264 und des skalierten visuellen Inhalts 262 relativ zueinander an ihren äußeren Rändern aufgrund der Bewegung des Eingabeobjekts 266 unterhalb des Grenzabstands an einem vorgegebenen Grenzwert jenseits des äußeren Randes zu fixieren. Mit anderen Worten, der Grafikkontroller kann so ausgestaltet sein, dass er einen Rand des vergrößerten visuellen Inhalts 262 gegenüber dem Rand des visuellen Inhalts 264 ausrichtet und zwar aufgrund dessen, dass das Eingabeobjekt 266 innerhalb eines vorbestimmten Grenzabstandes innerhalb einer Grenze zu einem korrespondierenden Rand des Benutzerschnittstellenbildschirms, auf dem der visuelle Inhalt 264 angezeigt wird, bewegt wird. Beispielsweise kann die Grenze gegenüber dem Rand angenähert gleich dem Radius des Ausschnitts 268 sein. Als solches ist der Ausschnitt 268 des skalierten visuellen Inhalts 262 am Mittelpunkt überlagert, d. h. eine gleiche Strecke von dem äußersten Rand des visuellen Inhalts 264 entfernt, wie sie von dem entsprechenden äußersten Rand des skalierten visuellen Inhalts 262 erscheint.
Bei dem Ausführungsbeispiel nach 13 ist der fixierte Bezugsort, an dem der skalierte visuelle Inhalt 262 gegenüber dem visuellen Inhalt 264 ausgerichtet wird, am entsprechenden äußersten Rand bei dem Pfeil 274 dargestellt. Es versteht sich, dass die Skalierung der Überlagerung längs der anderen kartesischen Achse, die nicht gegenüber dem Rand ausgerichtet ist, durch den Grafikkontroller beibehalten wird. Folglich kann der Benutzer den vergrößerten visuellen Inhalt leicht betrachten, der sich an den wesentlichen Rändern des skalierten visuellen Inhalts 264 befindet, aufgrund des Annäherns an die Oberfäche des Anzeigegeräts mit dem Eingabeobjekt 266 an einem Ort, der dem auf dem visuellen Inhalt 264 zu vergrößernden Inhalt etwa nahe ist.
14 zeigt ein Beispiel eines Bilds 280, das die Bewegung des skalierten visuellen Inhalts 282 gegenüber dem visuellen Inhalt 284 gemäß einem Aspekt der vorliegenden Offenbarung darstellt. Bei dem Beispiel nach 14 wird ein Eingabeobjekt 286 unterhalb der Abstandsgrenze des Anzeigegeräts bewegt. Aufgrund dessen überlagert der nicht dargestellte Grafikkontroller, wie dies oben für das Beispiel nach den 10 und 11 beschrieben ist, einen Ausschnitt 288 des skalierten visuellen Inhalts 282 auf den visuellen Inhalt 284 an einem Bezugsort. Somit erfolgt die Bewegung des Ausschnitts 288 des visuellen Inhalts 282 etwa gleich sowohl über den visuellen Inhalt 284 als auch den skalierten visuellen Inhalt 282, was zu einem zugänglichen Abschnitt 290 und einem unzugänglichen Abschnitt 292 des skalierten visuellen Inhalts 282 führt. Wie mit weiteren Einzelheiten an späterer Stelle beschrieben wird, ist bei dem Beispiel nach 14 der Bezugsort nicht fixiert.
Wie oben in dem Beispiel nach den 10 und 11 beschrieben, können nur begrenzte Ausschnitte des skalierten visuellen Inhalts 282 durch einen Benutzer mittels Bewegung des Eingabeobjekts 286 über den visuellen Inhalt 284 betrachtet werden. Folglich kann es für den Benutzer schwer sein, vergrößerte Bilder an den äußeren Rändern des skalierten visuellen Inhalts 282 aufgrund der Skalierung des Festpunktes gegenüber jedem visuellen Inhalt 284 und dem skalierten visuellen Inhalt 282 zu betrachten. Hinzukommt, dass ein Benutzer u. U. in der Lage sein möchte, den unzugänglichen Abschnitt 292 zu betrachten, ohne dass er das Eingabeobjekt 284 zurückbewegen muss und an einem anderen Ort oberhalb des auf dem Anzeigegerät wiedergegebenen visuellen Inhalts 284, neu zu positionieren.
Bei dem Ausführungsbeispiel nach 14 kann der Grafikkontroller so ausgebildet sein, dass er nach der Festlegung eines Bezugsorts zwischen dem visuellen Inhalt 284 und dem skalierten visuellen Inhalt 282 den skalierten visuellen Inhalt 282 gegenüber dem visuellen Inhalt 284 bewegt. Wenn der Benutzer das Eingabeobjekt 286 unterhalb des Grenzabstandes innerhalb der Grenze eines Randes des visuellen Inhalts 284 bewegt, kann der Grafikkontroller den skalierten visuellen Inhalt 282 in der Richtung entgegengesetzt zum Rand des visuellen Inhalts 284 bewegen. Wie für das Beispiel nach 14 dargestellt, wird der skalierte visuelle Inhalt 282, wenn das Eingabeobjekt 286 innerhalb eines Grenzwerts von einem Rande 294 des visuellen Inhalts 284 bewegt wird, in der zum Rand 294 entgegengesetzten Richtung bewegt, wie dies durch den Richtungspfeil 296 angedeutet ist. Bei dem Beispiel nach 14 ist der skalierte visuelle Inhalt 282 um die Strecke ”X” gegenüber dem visuellen Inhalt 284 bewegt worden. Ein Ausschnitt 298 des skalierten visuellen Inhalts 282 war Teil des zugänglichen Abschnitts 290 vor der Bewegung des skalierten visuellen Inhalts 282 und ist nun als Teil des nicht zugänglichen Abschnitts 292 dargestellt. In gleicher Weise war ein Ausschnitt 300 des skalierten visuellen Inhalts 282 Teil des nicht zugänglichen Abschnitts 292 vor der Bewegung des skalierten visuellen Inhalts 282 und ist nun als Teil des zugänglichen Abschnitts 290 dargestellt. Der skalierten visuelle Inhalt 282 kann in der Richtung 296 weiterbewegt werden, bis der Benutzer das Eingabeobjekt 286 aus der Grenze vom Rand 294 wegbewegt oder weiter als den Grenzabstand von der Oberfläche des Anzeigegeräts wegbewegt, oder bis der Rand 294 des visuellen Inhalts 284 gegenüber dem korrespondierenden Rand des skalierten visuellen Inhalts 282 ausgerichtet ist.
Es versteht sich, dass auch andere Weisen, in denen der skalierten visuelle Inhalt 282 gegenüber dem visuellen Inhalt 284 bewegt wird, realisiert werden können. Als ein Beispiel einer andere Eingabe in ein angeschlossenes Computersystem, wie zum Beispiel eine aufgrund einer Geste oder eine Eingabe von Peripheriegerät, kann zur Bewegung des skalierten visuellen Inhalts 282 gegenüber dem visuellen Inhalt 284 vorgesehen sein. Als ein anderes Beispiel kann ein gegebener Computerschnittstellenbildschirm das Beispiel der 11 und 12 bezüglich der Überlagerung und/oder Bewegung des skalierten visuellen Inhalts 282 relativ zum visuellen Inhalt 284 vorgesehen sein. Folglich kann jede von mehreren Ausführungsformen der Überlagerung und/oder Bewegung des skalierten visuellen Inhalts relativ zum visuellen Inhalt verwirklicht werden.
Aufgrund der zuvor beschriebenen strukturellen und funktionellen Merkmale wird die Methodologie gemäß den verschiedenen Aspekten der vorliegenden Erfindung durch Bezugnahme auf 15 noch besser verdeutlicht. Während zum Zwecke der Vereinfachung der Erläuterung die Methodologien als aufeinander folgend und nacheinander auszuführen beschrieben werden, versteht es sich, dass die vorliegende Erfindung nicht auf die dargestellte Reihenfolge beschränkt ist, da einige Aspekte gemäß der vorliegenden Erfindung in anderer Reihenfolge und/oder gleichzeitig mit anderen als den dargestellten und beschriebenen Aspekten auftreten. Darüber hinaus müssen nicht alle dargestellten Merkmale zur Ausführung einer Methodologie bzw. mit einer Methode gemäß einem Aspekt der vorliegenden Erfindung erforderlich sein.
15 stellt ein Ausführungsbeispiel des Verfahrens 350 zum Erzeugen von Eingaben in ein Computersystem dar. Bei 352 wird visueller Inhalt auf einem Computerschnittstellenbildschirm wiedergegeben. Der Computerschnittstellenbildschirm kann eine Benutzerschnittstelle, ein Computermonitor, ein Projektionsschirm oder ein Bildschirm eines Handys bzw. Mobiltelefons oder ein PDA sein. Computermonitordaten können den visuellen Inhalt darstellen. Bei 354 wird das Vorhandensein eines Eingabeobjekts unterhalb des Grenzabstands des Computerschnittstellenbildschirms längs einer Normalachse des Computerschnittstellenbildschirms (einer Normalen auf dem Bildschirm) erkannt. Das Eingabeobjekt kann der Finger eines Benutzers, ein Schreibstift oder ein Stab sein. Das Eingabeobjekt kann einen Sender aufweisen, der ein Signal aussendet, so dass Signalcharakteristiken für eine Erkennung des Ortes und des Abstands des Eingabeobjekts gegenüber dem Computerschnittstellenbildschirm erkannt werden können. Das Signal kann ein kapazitives Signal, ein akustisches Signal, ein Funksignal, ein optisches Signal oder ein elektromagnetisches Signal sein. Nach einem anderen Beispiel kann der Computerschnittstellenbildschirm ein System zur Laserstrahlunterbrechung aufweisen oder es kann eine Stereokameragruppe vorgesehen sein.
Bei 356 ist ein Teil eines visuellen Inhalts an einem Ort vergrößert, der im wesentlichen auf den Fußpunkt der Normalachse zentriert ist. Die Vergrößerung kann das Ergebnis der Überlagerung von Daten des skalierten visuellen Inhalts über den visuellen Inhalt sein. Die Überlagerung kann derart sein, dass umgebender visueller Inhalt um den überlagerten skalierten visuellen Inhalt abgedeckt oder verzerrt ist. Bei 358 wird eine wechselseitige Zusammenwirkung zwischen dem Eingabeobjekt und dem vergrößerten Ausschnitt des visuellen Inhalts erkannt. Das wechselseitige Zusammenwirken bzw. das Zusammenspiel kann eine Berührung des Eingabeobjekts mit dem Computerschnittstellenbildschirm sein oder es könnte eine entsprechende Geste mit dem Eingabeobjekt sein. Bei 360 wird eine Geräteeingabe durch ein wechselseitiges Zusammenwirken des Eingabeobjekts mit dem vergrößerten Teil des visuellen Inhalts eingeleitet. Die Geräteeingabe kann eine Computereingabe sein, wie z. B. ein Mausklick.

Claims

Ein Schnittstellensystem für einen Computer, das umfasst: einen Bildschirm für eine Benutzerschnittstelle, der für das Anzeigen von visuellem Inhalt ausgebildet ist, ein Eingabesystem, das zur Erkennung des Vorhandenseins eines Eingabeobjekts unterhalb eines Grenzabstands auf einer Normalachse des Benutzerschnittstellenbildschirms mit Hilfe entweder einer Stereokamerabaugruppe, eines Laserstrahlunterbrechungssystems, eines kapazitiven Erkennungssystems, eines akustischen Erkennungssystems, eines elektromagnetischen Erkennungssystems oder eines Funkfrequenz-Erkennungssystems ausgebildet ist, wobei das Eingabeobjekt den Bildschirm nicht berührt, eine Anzeige-Engine für den visuellen Inhalt, die zur Vergrößerung des Teils des visuellen Inhalts durch Überlagern eines Ausschnitts einer skalierten Kopie des visuellen Inhalts über den visuellen Inhalt ausgelegt ist, und einen Grafikkontroller, der ausgebildet ist: zur Vergrößerung eines Teils des visuellen Inhalts, der sich in der näheren Umgebung des Fußpunkts der Normalachse auf dem Benutzerschnittstellenbildschirm befindet, eine fixierte Position der skalierten Kopie des visuellen Inhalts relativ zum visuellen Inhalt auf eine Bewegung des Eingabeobjekts unterhalb des Grenzabstandes hin festzulegen, so dass der überlagerte Ausschnitt der skalierten Kopie des visuellen Inhalts entlang der skalierten Kopie des visuellen Inhalts um eine erste Strecke aufgrund einer unterhalb des Grenzabstandes erfolgenden Bewegung des Eingabeobjekts entlang dem Benutzerschnittstellenbildschirm um eine zweite Strecke bewegt wird, wobei die erste Strecke und die zweite Strecke bezüglich der festen Position etwa gleich groß sind, und zusammenhängende Ausschnitte der skalierten Kopie des visuellen Inhalts aufgrund einer unterhalb des Grenzabstandes erfolgenden ununterbrochenen Bewegung des Eingabeobjekts entlang dem Benutzerschnittstellenbildschirm auf den visuellen Inhalt zu überlagern, wobei der überlagerte Ausschnitt auf dem visuellen Inhalt verbleibt, während sich das Eingabeobjekt über den visuellen Inhalt bewegt, selbst nachdem das Eingabeobjekt sich nicht mehr oberhalb des überlagerten Ausschnitts befindet.
Das System nach Anspruch 1, bei dem das Eingabesystem einen Eingabedetektor aufweist, der zum Empfangen einer Geräteeingabe auf der Grundlage eines wechselseitigen Zusammenwirkens des Eingabeobjekts mit dem vergrößerten Teil des visuellen Inhalts ausgebildet ist.
Das System nach Anspruch 2, bei dem der Eingabedetektor entweder als dem Benutzerschnittstellenbildschirm zugeordneter berührungsempfindlicher Bildschirm oder als eine Stereokamerabaugruppe ausgebildet ist, die zur Erkennung eines Ortes des Eingabeobjekts aufgrund einer Parallaxenverschiebung des Eingabeobjekts, wie es von jeder der Kameras der Stereokamerabaugruppe aufgenommen wird, ausgebildet ist.
Das System nach Anspruch 1, bei dem das Eingabeobjekt einen Sender umfasst und bei dem das Eingabesystem mit dem Benutzerschnittstellenbildschirm gekoppelt ist und einen Empfänger aufweist, wobei der Empfänger zum Empfang von von dem Sender ausgesendeten Signalen ausgebildet ist, um das Vorhandensein des Eingabeobjekts unterhalb des Grenzabstands vom Benutzerschnittstellenbildschirm zu erkennen.
Das System nach Anspruch 1, das ferner umfasst: einen Speicher, der zum Behalten von Daten ausgebildet ist, die den visuellen Inhalt und die skalierte Kopie des visuellen Inhalt umfassen, wobei die skalierte Kopie des visuellen Inhalt einen Skalierungsfaktor gegenüber dem visuellen Inhalt hat, der größer als 1 ist.
Das System nach Anspruch 5, bei dem der Grafikkontroller derart ausgebildet ist, dass er entweder die Teile des visuellen Inhalts, die den überlagerten Ausschnitt der skalierten Kopie des visuellen Inhalts umgeben, abdeckt oder die Teile des visuellen Inhalts, die den überlagerten Ausschnitt der skalierten Kopie des visuellen Inhalts umgeben, verzerrt.
Das System nach Anspruch 1, bei dem der Grafikkontroller derart ausgebildet ist, dass er einen Rand der skalierten Kopie des visuellen Inhalts auf einen entsprechenden Rand des visuellen Inhalts als die fixierte Position ausrichtet, aufgrund dessen, dass sich der Fußpunkt der Normalachse innerhalb eines Grenzbereichs eines korrespondierenden Rands des Benutzerschnittstellenbildschirms befindet, und dass der Grafikkontroller ferner zum Überlagern des Ausschnitts der skalierten Kopie des visuellen Inhalts an einem Punkt auf dem Ausschnitt der skalierten Kopie des visuellen Inhalts, der um eine dritte Strecke gegenüber dem Rand der skalierten Kopie des visuellen Inhalts verschoben ist, über einen korrespondierenden Punkt des visuellen Inhalts, der um die dritte Strecke gegenüber dem Rand des visuellen Inhalts verschoben ist, ausgebildet ist.
Das System nach Anspruch 1, bei dem im Anschluss an das Überlagern des Ausschnitts der skalierten Kopie des visuellen Inhalts über den visuellen Inhalt durch den Grafikkontroller der Grafikkontroller ferner zur Bewegung der skalierten Kopie des visuellen Inhalts relativ zum visuellen Inhalt in einer Richtung, die einem Rand des Benutzerschnittstellenbildschirms gegenüber liegt, auf eine Bewegung des Eingabeobjekts innerhalb eines Randbereichs des Benutzerschnittstellenbildschirms hin konfiguriert ist.
Das System nach Anspruch 1, bei dem der Grenzabstand ein erster Grenzabstand ist, bei dem der Grafikkontroller zur Vergrößerung des Teils des visuellen Inhalts um einen ersten Betrag an dem ersten Grenzabstand und um einen zweiten Betrag an einem zweiten Grenzabstand relativ zur Oberfläche des Benutzerschnittstellenbildschirms ausgebildet ist.
Ein Verfahren zur Bereitstellung von Eingaben an ein Computersystem, bei dem das Verfahren umfasst: Anzeigen von visuellem Inhalt auf einem Bildschirm für eine Benutzerschnittstelle; Erkennen des Vorhandenseins eines Eingabeobjekts unterhalb des Grenzabstands vom Benutzerschnittstellenbildschirm auf einer Normalachse des Benutzerschnittstellenbildschirms mit Hilfe entweder einer Stereokamerabaugruppe, eines Laserstrahlunterbrechungssystems, eines kapazitiven Erkennungssystems, eines akustischen Erkennungssystems, eines elektromagnetischen Erkennungssystems oder eines Funkfrequenz-Erkennungssystems, wobei das Eingabeobjekt den Bildschirm nicht berührt; Vergrößern eines Teils des visuellen Inhaltes an einem Ort, der im wesentlichen auf den Fußpunkt der Normalachse zentriert ist, das Vergrößern des Teils des visuellen Inhalts das Überlagern eines Ausschnitts einer skalierten Kopie des visuellen Inhalts auf den visuellen Inhalt umfasst; Festlegen einer fixierten Position der skalierten Kopie des visuellen Inhalts relativ zu dem visuellen Inhalt auf eine Bewegung des Eingabeobjekts unterhalb eines Grenzabstands hin; Bewegen des Eingabeobjekts um eine Strecke von der fixierten Position aus entlang dem Benutzerschnittstellenbildschirm unterhalb des Grenzabstands; Bewegen des überlagerten Ausschnitts der skalierten Kopie des visuellen Inhalts um die Strecke von der fixierten Position aus entlang der skalierten Kopie des visuellen Inhalts; Überlagern zusammenhängender Ausschnitte der skalierten Kopie des visuellen Inhalts auf den visuellen Inhalt aufgrund einer unterhalb des Grenzabstandes erfolgenden ununterbrochenen Bewegung des Eingabeobjekts entlang dem Benutzerschnittstellenbildschirm, wobei der überlagerte Ausschnitt auf dem visuellen Inhalt verbleibt, während sich das Eingabeobjekt über den visuellen Inhalt bewegt, selbst nachdem das Eingabeobjekt sich nicht mehr oberhalb des überlagerten Ausschnitts befindet; Erkennen eines wechselseitigen Zusammenwirkens des Eingabeobjekts mit dem vergrößerten Teil des visuellen Inhalts; und Auslösen einer Geräteeingabe aufgrund des wechselseitigen Zusammenwirkens des Eingabeobjekts mit dem vergrößerten Teil des visuellen Inhalts.
Das Verfahren nach Anspruch 10, das ferner das Behalten von Daten, die den visuellen Inhalt und die skalierte Kopie des visuellen Inhalts umfasst, wobei die skalierte Kopie des visuellen Inhalts einen Skalierungsfaktor gegenüber dem visuellen Inhalt aufweist, der größer als 1 ist.
System nach Anspruch 1, bei dem der Graphikkontroller ausgebildet ist zum überlagern eines Ausschnitts der skalierten Kopie des visuellen Inhalts auf den visuellen Inhalt für die Vergrößerung eines entsprechenden Teils des visuellen Inhalts an dem Fußpunkt der Normalachse aufgrund des erkannten Vorhandenseins des Eingabeobjekts, zur Festlegung einer fixierten Position der skalierten Kopie des visuellen Inhalts relativ zu dem visuellen Inhalt auf eine Bewegung des Eingabeobjekts unterhalb des Grenzabstands hin, und zur Bewegung des überlagerten Ausschnitts der skalierten Kopie des visuellen Inhalts um eine Strecke entlang der skalierten Kopie des visuellen Inhaltes aufgrund der Bewegung des Eingabeobjekts um die Strecke entlang des Benutzerschnittstellenbildschirms innerhalb des Grenzabstands relativ zu der fixierten Position.
Das System nach Anspruch 1, das ferner eine Vorrichtung zum Auslösen einer Geräteeingabe aufgrund eines wechselseitigen Zusammenwirkens des Eingabeobjekts mit dem entsprechenden vergrößerten Teil des visuellen Inhalts umfasst.
Das System nach Anspruch 1, bei dem der Graphikkontroller ferner zum Überlagern des Ausschnitts der skalierten Kopie des visuellen Inhalts auf den visuellen Inhalt durch Transformieren des überlagerten Ausschnitts der skalierten Kopie des visuellen Inhalts in eine virtuelle dreidimensionale erhöhte Fläche auf dem virtuellen Inhalt ausgebildet ist, so dass Übergangsabschnitte des visuellen Inhalts, die den überlagerten Ausschnitt der skalierten Kopie des visuellen Inhalt umgeben, verzerrt sind.