-
Die
Erfindung betrifft ein digitales Informationsverarbeitungssystem
mit einer Anzeigevorrichtung zur Wiedergabe von Informationen und
einem physikalischen Benutzerinteraktionselement.
-
Auf
dem Gebiet der Mensch-Computer-Interaktion werden fortlaufend Anstrengungen
unternommen, digitale Informationsverarbeitungssysteme und deren
Mensch-Maschine-Schnittstellen benutzergerechter zu gestalten. Eine
Mensch-Maschine-Schnittstelle
eines digitalen Informationsverarbeitungssystems wird im wesentlichen
aus allen Interaktionselementen gebildet, mit denen der Benutzer
Interaktionen durchführen
kann. Solche Benutzerinteraktionselemente können virtueller oder physikalischer
Natur sein. Virtuelle Benutzerinteraktionselemente sind programmtechnisch
mit bestimmten Funktionen verknüpft
und werden insbesondere bei Systemen mit grafischer Benutzeroberfläche zur
Durchführung
von Standardoperationen verwendet. Beispiele für solche virtuelle Benutzerinteraktionselemente
sind Schaltflächen
(Buttons), Bildlaufleisten oder Checkboxes, aber auch Links und
Menüs.
Bedient werden diese auch als „Widgets" bezeichneten virtuellen
Interaktionselemente einer grafischen Benutzeroberfläche in der
Regel mit einem physikalischen Interaktionselement, wie z. B. einer
Maus, das wiederum von einem Benutzer (Mensch) gesteuert wird.
-
Die
bislang üblichen
arbeitsplatzgebundenen digitalen Informationsverarbeitungssysteme
mit ihren virtuellen und physikalischen Benutzerinteraktionselemen ten
sind starken Einschränkungen
unterworfen, insbesondere in bezug auf den Bedienkomfort. Die an
einem typischen PC-Arbeitsplatz eingesetzten physikalischen Benutzerinteraktionselemente
(Tastatur, Maus etc.) sind Allzweckinstrumente, mit denen zwar eine
Vielzahl von Anwendungen bedienbar sind, die aber genau deshalb
keinen spezifischen, auf eine bestimmte Anwendung abgestimmten Bedienkomfort
gestatten können.
-
Die
vorliegende Erfindung geht von einer Zukunftsvorstellung aus, in
der digitale Informationsverarbeitungssysteme allgegenwärtig sind
und sich nahtlos in die Arbeits- und Wohnumgebung einfügen. So
können
z. B. die Wände
einer Wohnung oder Einrichtungsgegenstände wie Tische neben ihrer
eigentlichen Funktion zusätzlich
als interaktive Anzeigeeinrichtungen der Informationsverarbeitungssysteme dienen.
Die Erfindung befaßt
sich insbesondere mit der Bedienung der digitalen Informationsverarbeitungssysteme
in einer solchen Umgebung, die keine festen Arbeitsstationen mit
einem PC und einem zugehörigen
Bildschirm, sondern große
integrierte interaktive Displays oder sogar einen „zusammenhängenden
Informationsraum" (continuous
information space) mit zahlreichen Interaktionsmöglichkeiten vorsieht (siehe
hierzu die Veröffentlichung "A mixed reality room
following the generalized peephole metaphor" von A. Butz und A. Krüger, in
IEEE Computer Graphics & Applications,
2006). Die Motivation der Erfindung ist das Bestreben, ein Äquivalent
der rein virtuellen „Widgets" in einer neuen Umgebung
zu erschaffen, in der keine Standard-Displays in Form von gewöhnlichen
Monitoren und keine rechnergebundenen Eingabegeräte wie Tastatur oder Maus vorgesehen
sind.
-
Aus
dem Stand der Technik sind einige Interaktionstechniken bekannt,
die hochentwickelte virtuelle Interaktionselemente einsetzen. So
wird z. B. in der Veröffentlichung "Toolglass and Magic
Lenses: The See-Through Interface" von E. A. Bier, M. C Stone, K. Pier,
W. Buxton und T. D. DeRose, in Proceedings of SIGGRAPH '93, S. 73-80,
eine Technik vorgestellt, die es dem Benutzer ermöglicht,
mit Hilfe einer zwischen Cursor und Anwendung erscheinenden virtuellen
Glasscheibe (Toolglass) und zugehörigen Filtern (Magic Lenses)
unterschiedliche visuelle Darstellungen von Daten innerhalb eines
definierten Bereichs zu erhalten (siehe auch http://www.billbuxton.com/papers.html#anchor1437661).
-
Darüber hinaus
sind Interaktionstechniken bekannt, die erweiterte Systeme voraussetzen
und über
die oben beschriebenen rein virtuellen Technologien hinausgehen.
Ein Ansatz für
eine Interaktionsmöglichkeit,
bei der sowohl physikali sche als auch damit verbundene virtuelle
Komponenten zum Einsatz kommen, wird in der Veröffentlichung "Data Tiles: A
Modular Platform for Mixed Physical and Graphical Interactions" von J. Rekimoto,
B. Ullmer und H. Oba, in Proceedings of CH12001, vorgestellt
(siehe auch http://www.csl.sony.co.jp/person/rekimotodatatiIe/).
In einem digitalen Informationsverarbeitungssystem können transparente
physikalische Platten auf vorgegebene Stellen einer Anzeigevorrichtung plaziert
werden, wo sie durch darunter angezeigte variierende Grafiken ergänzt werden.
-
Diese
bekannten Interaktionstechniken sind aber nicht auf mehrere Benutzer
ausgerichtet, die gleichzeitig an einer einzigen Anzeigeeinrichtung
arbeiten.
-
Aufgabe
der Erfindung ist es, ein digitales Informationsverarbeitungssystem
mit einer neuen Art der Benutzerinteraktion zu schaffen, die eine
auf die jeweilige Anwendung zugeschnittene komfortable Bedienung
ermöglicht
und insbesondere für
eine Umgebung mit einem zusammenhängenden Informationsraum und
für die
gleichzeitige Interaktion mehrerer Benutzer geeignet ist.
-
Gelöst wird
diese Aufgabe erfindungsgemäß durch
ein digitales Informationsverarbeitungssystem mit einer Anzeigevorrichtung
zur Wiedergabe von Informationen und einem physikalischen Benutzerinteraktionselement,
das dadurch gekennzeichnet ist, daß dem Benutzerinteraktionselement
eine bestimmte virtuelle Anwendung zugeordnet ist, die Gebrauch von
der Anzeigevorrichtung macht, und daß das Benutzerinteraktionselement
als bewegbares Bedienelement der Anwendung dient. Unter einer Anwendung
ist hier keinesfalls ein Treiberprogramm für ein physikalisches Gerät oder ein
sonstiges betriebsermöglichendes
oder -unterstützendes
System- bzw. Hilfsprogramm zu verstehen, sondern ein spezielles Anwendungsprogramm,
das für
den Benutzer nützliche
Funktionen ausführt.
Insofern ist die Erfindung von Systemen mit bisher üblichen
Eingabegeräten wie
Maus, Tastatur etc. abzugrenzen.
-
Die
Erfindung sieht vielmehr eine Benutzerinteraktion mit einer virtuellen
Anwendung vor, die durch ein speziell auf diese Anwendung zugeschnittenes
physikalisches Bedienelement gestartet und bedient wird. Bei dieser
Art der Benutzerinteraktion ist es nicht mehr sinnvoll, zwischen
virtuellen und physikalischen Interaktionskomponenten zu unterscheiden.
Insofern kann von einem gemischten Benutzerinteraktionselement („Hybrid
Widget") gesprochen
werden, das eine physikalische Komponente (Hardware) und eine dieser
zugeordnete virtuelle Komponente (Anwendungsprogramm mit grafischen Interaktionselementen)
aufweist, insgesamt aber als ein Objekt angesehen werden kann.
-
Die
Hardware-Komponente des Benutzerinteraktionselements ist vorzugsweise
so gestaltet, daß sie
die damit verknüpfte
Anwendung bereits durch ihre äußere Erscheinung
suggeriert, wie es bei vielen Alltagsgegenständen der realen Umgebung der
Fall ist. Die Möglichkeit
einer persönlichen
Gestaltung erlaubt dem Benutzer eine äußerliche Individualisierung „seines" Benutzerinteraktionselements. Auf
diese Weise kann auch das Identifikationsproblem bei gleichzeitiger
Nutzung einer Anzeigevorrichtung durch mehrere Benutzerinteraktionselemente gelöst werden,
wie später
noch erläutert
wird.
-
Die
dem physikalischen Teil des Benutzerinteraktionselements zugeordnete
virtuelle Anwendung ermöglicht
anspruchsvolle grafische Darstellungen und Operationen mit digitalen
Daten. Dadurch wird eine starke Verbindung zwischen der Anwendung
und dem physikalischen Bedienelement geschaffen. Das Benutzerinteraktionselement
erfüllt
gewisse Anforderungen an eine komfortable manuelle Handhabung, ist
aber nicht den Einschränkungen
eines rein physikalischen Objekts unterworfen.
-
Die
logische Vereinigung von virtuellem und physikalischem Teil des
Benutzerinteraktionselements kann real in der Form zum Ausdruck
kommen, daß zumindest
ein Teil der Anwendung im Benutzerinteraktionselement gespeichert
ist. Dies hat den Vorteil, daß die
Anwendung im jeweiligen digitalen Informationsverarbeitungssystem
nicht (vollständig) vorinstalliert
sein muß und
dadurch nicht ortsgebunden ist.
-
Räumliche
Beschränkungen
innerhalb einer Umgebung mit einem zusammenhängenden Informationsraum werden
dadurch eliminiert, daß die Wiedergabe
der Informationen der Anwendung auf der Anzeigevorrichtung von der
Position des Benutzerinteraktionselements auf der Anzeigevorrichtung abhängt. So
kann der Benutzer die Anwendung an einer beliebigen Stelle der Anzeigevorrichtung
nutzen, die ein sehr großes
Display oder eine Mehrzahl von räumlich
getrennten Displays aufweisen kann, die miteinander gekoppelt sind.
-
Zur
weiteren Personalisierung des virtuellen Teils des Benutzerinteraktionselements
trägt die Möglichkeit
bei, im Benutzerinteraktionselement anwendungsspezifische Daten
zu speichern. Diese Daten können
bestimmte benutzerspezifische Einstellungen sein, aber auch Inhalte
(Bilder, Musik etc.). Auf diese Weise können die Inhalte optional
- – an
einem anderen Ort,
- – zu
einer anderen Zeit,
- – im
selben oder in einem anderen digitalen Informationsverarbeitungssystem,
- – einem
anderem Benutzer
zugänglich
gemacht werden, ohne daß die
Anwendung und die Inhalte separat gespeichert werden müssen und
womöglich
eine Neuinstallation der Anwendung erforderlich ist.
-
Wie
bereits erwähnt,
soll die Anwendung automatisch gestartet werden. Hierzu ist eine
Erkennungseinrichtung hilfreich, die die Anwendung startet, sobald
sie die Anwesenheit des Benutzerinteraktionselements erkennt. Unter
Anwesenheit ist hier insbesondere die Plazierung des Benutzerinteraktionselements
auf der Anzeigevorrichtung zu verstehen. Die Erkennung selbst kann
auf bekannte Weise z. B. mittels Berührungs-, Kamera-, RFID-Technologie
oder dergleichen erfolgen.
-
Besondere
Vorteile des erfindungsgemäßen Systems
ergeben sich, wenn das Benutzerinteraktionselement einem bestimmten
Benutzer zugeordnet werden kann. Insbesondere bei gleichzeitiger
Nutzung mehrerer Benutzerinteraktionselemente kann das System unterscheiden,
von welchem Nutzer welche Eingaben stammen. Hierzu sieht die Erfindung vor,
daß das
Benutzerinteraktionselement eine individuelle Kodierung trägt und dadurch
eindeutig identifizierbar ist.
-
In
vielen Anwendungsfällen
ist es zweckmäßig, daß das Benutzerinteraktionselement
Eingabemittel und/oder Ausgabemittel zur Eingabe bzw. Ausgabe anwendungsspezifischer
Informationen aufweist. Ein erhöhter
Bedienkomfort kann in einigen Anwendungsfällen dadurch erreicht werden,
daß die Eingabemittel
bewegbar sind und eine Bewegung der Eingabemittel eine Aktion in
der Anwendung hervorruft, die mit der Bewegung des Eingabemittels korreliert.
-
Weitere
Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden
Beschreibung konkreter Ausführungsbeispiele
und aus den beigefügten
Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen:
-
1 und 2 Illustrationen
eines ersten Ausführungsbeispiels
der Erfindung; und
-
3 bis 10 Illustrationen
eines zweiten Ausführungsbeispiels
der Erfindung.
-
Die
Erfindung wird zunächst
am Beispiel des Verwaltens, insbesondere des Betrachtens und Sortierens,
der Bilder eines digitalen Fotoalbums beschrieben. Das erfindungsgemäße digitale
Informationsverarbeitungssystem umfaßt in diesem Anwendungsfall
eine Anzeigevorrichtung 10, die z. B. in die Oberfläche eines
Tisches eingefügt
ist, und ein Benutzerinteraktionselement 12 in Form einer
kleinen scherenartigen Vorrichtung (siehe 1 und 2), die
nachfolgend der Einfachheit halber als Schere bezeichnet wird.
-
Durch
Auflegen der Schere 12 auf die Anzeigevorrichtung 10 wird
mit Hilfe einer Erkennungseinrichtung die der Schere 12 zugeordnete
Anwendung gestartet, wobei die anwendungsbezogenen Informationen
und virtuellen Instrumente in unmittelbarer Nähe der Schere 12 angezeigt
werden. Die Schere 12 ist einem bestimmten Benutzer zugeordnet
und wird vom Informationsverarbeitungssystem als solche erkannt.
Auf der Anzeigevorrichtung 10 werden zuvor angelegte Bildersammlungen
des Benutzers in Form von Bilderstapeln 14 angezeigt. Der
Benutzer kann nun mit der Schere 12 eine virtuelle Linse 16 über die
Bilderstapel 14 bewegen, die sich daraufhin in Vorschauansichten 18 (Thumbnail
Views) entfalten, wie in 1 dargestellt. Es werden nur
Bilder angezeigt, die vom Benutzer festgelegte Filter passieren.
Auf diese Weise ist es möglich,
unter Anwendung persönlicher
Suchkriterien durch die Bildersammlungen zu „blättern".
-
Die
scherenartige Vorrichtung 12 ist einem im Alltag gebräuchlichen
Gegenstand, nämlich
einer gewöhnlichen
Schere, nachgebildet und suggeriert dem Benutzer gemäß dem bekannten
Scherenmechanismus die Möglichkeit,
den Abstand zwischen Daumen und Zeigefinger zu verkleinern oder
zu vergrößern. Diese
Bewegung korreliert in der virtuellen Anwendung mit einer Zoomfunktion,
d. h. die aktuelle Ansicht unter der virtuellen Linse 16 wird
verkleinert oder vergrößert, indem
die beiden Griffarme 12a und 12b der Schere zusammen-
bzw. auseinandergeschoben werden.
-
Eine
Weiterbildung dieses Ausführungsbeispiels
sieht vor, daß der
Benutzer mit der anderen Hand ein weiteres physikalisches Benutzerinteraktionselement
benutzt. Wie in 2 angedeutet, kann der Benutzer
mit einem Stift 20 die Bilder in der durch die Schere 12 bestimmten
Zoomansicht bearbeiten. Gemäß dem Modell
der „kinematischen
Kette" (vorgestellt
in der Veröffentlichung "Asymmetric Division of
Labor in Human Skilled Bimanual Action: The Kinematic Chain as a
Model" von Y. Guiard,
in J. Motor Behavior, 19(4), 1987, 486-517), bedient vor zugsweise
die nicht-dominante Hand 22 die Schere, während die
dominante Hand 24 die Bearbeitung mit dem Stift 20 vornimmt.
-
Aus
den Bildersammlungen ausgewählte
Bilder können
in temporären
Kollektionen in virtuellen Schachteln abgelegt werden. Diese Bilder
können
einem anderen Benutzer, der gleichzeitig mit einem eigenen Benutzerinteraktionselement
auf der Anzeigevorrichtung 10 agiert, zugeschoben werden.
-
Allgemein
ist das Benutzerinteraktionselement 12 auf der Anzeigevorrichtung
frei positionierbar, wobei die Position des Benutzerinteraktionselements 12 von
der Anwendung abgefragt wird und eine Positionsveränderung
(Bewegung der gesamten Schere 12 oder nur deren Greifarme 12a, 12b) eine
Eingabe für
die Anwendung darstellt.
-
Das
Informationsverarbeitungssystem kann des weiteren einen Projektor
oder eine vertikales Display umfassen, so daß ausgewählte Bilder als dekorative
virtuelle Tapeten dargestellt werden können.
-
Ein
weiteres Ausführungsbeispiel
der Erfindung, das ebenfalls ein digitales Fotoalbum betrifft, wird
anhand der 3 bis 10 erläutert. Das
erfindungsgemäße digitale
Informationsverarbeitungssystem umfaßt in diesem Fall eine Anzeigevorrichtung 10 sowie
ein physikalisches Benutzerinteraktionselement 12' (Bedienelement)
und eine diesem zugeordnete virtuelle Anwendung. Das Benutzerinteraktionselement 12' und die Anwendung
werden im folgenden unter dem Begriff „PhotoHelix" zusammengefaßt. Zusätzlich können weitere
Komponenten wie ein Stift und ein Projektor vorgesehen sein.
-
Das
Konzept der PhotoHelix beruht auf einer Ereignis-basierten Einordnung
von Bildern, d. h. die Bilder werden nicht nur chronologisch sortiert,
sondern können
darüber
hinaus bestimmten Ereignissen (Weihnachten, Geburtstag, Urlaub etc.)
zugeordnet werden, die der Benutzer selbst festlegen kann. Außerdem ist
es möglich,
Bilder anderen Benutzern zugänglich
zu machen.
-
Das
physikalische Bedienelement 12' der PhotoHelix besteht im wesentlichen
aus einem drehbaren Eingabegerät,
d. h. das ganze Gerät
oder ein Teil davon ist drehbar (siehe 3). Für gewisse Operationen
kann es sinnvoll sein, daß das
Bedienelement 12' eine
oder mehrere Tasten aufweist.
-
Das
Aufsetzen des Bedienelements 12' auf die Anzeigevorrichtung 10 startet
automatisch die virtuelle Anwendung. Um das Bedienelement 12' herum wird
eine Spirale 26 dargestellt, die einen chronologischen
Zeitstrahl repräsentiert.
Die ältesten
Bilder bzw. Ereignisse sind dem Anfang der Spirale 26 in deren
Mitte, die jüngsten
Bilder/Ereignisse dem äußeren Ende
der Spirale 26 zugeordnet.
-
Die
Anwendung zeigt auf der Anzeigevorrichtung 10 des weiteren
eine virtuelle Linse 28, und eine virtuelle Seifenblase 32 an.
Die Linse 28 ist anfänglich über dem
Ende der Spirale 26 positioniert, wo neben den Zeitangaben 34 (z.
B. Jahr, Monat, Tag, Uhrzeit) auch zeitlich eingeordnete Ereignisse
in Form von Schachteln 36 oder dergleichen dargestellt (siehe 4)
werden. Außerdem
werden in dem an die Linse 28 angrenzenden Bereich Vorschauansichten 38 der
Bilder der darin erfaßten
Ereignisse angezeigt. Die Seifenblase 32 ist ein Hilfsmittel
zum Tauschen und Präsentieren
von Bildern, das später
erläutert
wird.
-
Eine
Drehung des Bedienelements 12' bewirkt eine Drehung der virtuellen
Spirale 26 unter der Linse 28. Auf dieses Weise
können
Vorschauansichten 38 von Bildern anderer Ereignisse sichtbar
gemacht werden. Die Drehung des Bedienelements 12' erfolgt vorzugsweise
mit der nicht-dominanten Hand 22.
-
Bevor
Bilder einem Ereignis zugeordnet werden, sind sie entsprechend ihrem
Erstellungsdatum unmittelbar mit dem Zeitstrahl verbunden. Zur Erzeugung
eines neuen Ereignisses werden die zugehörigen Bilder – vorzugsweise
mit der dominanten Hand 24 – mittels eines Stifts 20 oder
mit einem Finger eingekreist und damit gruppiert. Die Bezeichnung
des Ereignisses kann ebenfalls mittels des Stifts 20 oder Fingers
erfolgen. Das neue Ereignis und die zugeordneten Bilder werden mit
dem Zeitstrahl verknüpft
(siehe 5 und 6).
-
Es
sind eine Vielzahl weiterer Aktionen denkbar, die mit dem Bedienelement 12' und dem Stift 20 bzw.
Finger durchführbar
sind (Zuordnen von Bildern zu existierenden Ereignissen, Löschen von
Ereignissen etc.). Es wird im folgenden nur noch kurz auf einige
Funktionen in Verbindung mit der Seifenblase 32 eingegangen.
-
Bilder
können
in die Seifenblase 32 gezogen werden. Der Inhalt der Seifenblase 32 wird
an anderer Stelle vergrößert angezeigt,
z. B. mittels eines Projektors an einer Wand oder in einem in die
Wand integrierten Display 40 (siehe 7). Bilder
können in
der Seifenblase 32 frei plaziert (siehe 8), durch
Herausziehen gelöscht
oder kopiert werden, indem sie auf den Zeitstrahl gezogen werden
(siehe 9). Durch einen kurzen „Hieb" auf die Seifenblase 32 mit
dem Stift 20 oder Finger, kann diese zum Zerplatzen gebracht
werden, was der Aufhebung der Gruppierung der darin befindlichen
Bilder entspricht (siehe 10a und 10b).
-
Ähnliche,
hier nicht im Detail beschriebene Ausführungsbeispiele der Erfindung
betreffen die Verwaltung einer digitalen Musiksammlung und die Verwaltung
einer digitalen Videosammlung. In diesen Anwendungsfällen kommen ähnliche
Benutzerinteraktionselemente und ähnliche virtuelle Anwendungen
zum Einsatz. Das grundlegende Konzept ist das gleiche wie bei den
zuvor beschriebenen Anwendungsfällen
betreffend die Bilderverwaltung.
-
Die
beschriebenen Ausführungsbeispiele der
Erfindung sind nicht einschränkend
zu verstehen, sondern dienen lediglich der beispielhaften Veranschaulichung
des erfindungsgemäßen digitalen
Informationsverarbeitungssystems in konkreten Anwendungsfällen.