DE69430967T2

DE69430967T2 - Interaktives Kopiersystem

Info

Publication number: DE69430967T2
Application number: DE69430967T
Authority: DE
Inventors: Pierre Wellner
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1993-04-30
Filing date: 1994-04-25
Publication date: 2002-11-07
Anticipated expiration: 2014-04-26
Also published as: JP3383065B2; EP0622722B1; US5511148A; EP0622722A3; EP0622722A2; DE69430967D1; JPH07168949A

Description

Die vorliegende Erfindung bezieht sich auf interaktive Bildwiedergabevorrichtungen und insbesondere auf Wiedergabevorrichtungen zum Ausführen von verschiedenen Operationen an Text oder Bildern während der Erzeugung eines neuen Dokumentes.
Es ist alltäglich für Büroarbeiter und andere, die auf einer regelmäßigen Basis mit Dokumenten arbeiten, gewissermaßen zwei Arbeitsplätze zu haben - den "elektronischen Arbeitsplatz", der von einer Arbeitsstation oder einem Personalcomputer mittels einer grafischen Schnittstelle bereitgestellt wird, und der physikalische Schreibtisch, auf dem Papierdokumente empfangen und verarbeitet werden.
Der elektronische Arbeitsplatz, der mehr und mehr wie der physikalische wird, kann vielfältige nützliche Operationen an Dokumenten, die in elektronischer Form gespeichert sind, ausführen; allerdings haben diese Vorrichtungen Beschränkungen im Umgang mit realen Dokumenten. Ein Papierdokument muss entweder in die elektronische Form umgewandelt werden, bevor die Operationen daran in der elektronischen Umgebung ausgeführt werden, oder Kopieroperationen werden an dem realen Dokument ausgeführt unter Verwendung eines elektrofotografischen Kopierers (wie einem Fotokopierer mit einer Editierfunktion) oder einer kombinierten Scan- und Druckeinrichtung, deren verfügbare Funktionen in ihrer Natur beschränkt sind.
Wellner P.: "The DigitalDesk Calculator: Tangible Manipulation on a Desk Top Display", Proceedings of the Symposium on User Interface Software and Technology (UIST), Hilton Head, S. Carolina, 11. bis 13. November 1991, Nr. Symp. 4, 11. November 1991, Seiten 27 bis 33, XP000315063, Association for Computing Machinery, beschreibt einen digitalen Arbeitsplatz mit einer Computer-gesteuerten Kamera und einem Projektor darüber. Die Kamera sieht worauf der Benutzer zeigt und liest Teile von Dokumenten, die sich auf dem Arbeitsplatz befinden. Der Projektor zeigt auf der Oberfläche des Arbeitslatzes Rückmeldungen und elektronische Objekte an. In mehr Einzelheiten, die Videokamera ist über dem digitalen Arbeitsplatz befestigt und zeigt herab auf die Arbeitsoberfläche. Die Ausgabe der Kamera wird durch einen Computer und ein Bildverarbeitungssystem durchgeführt. Der Computer und das Bildverarbeitungssystem sind des Weiteren mit einem Computer-gesteuerten Projektor verbunden, der ebenfalls oberhalb des Arbeitsplatzes angebracht ist, und es erlaubt, elektronische Objekte und Papierdokumente auf der Arbeitsoberfläche des Benutzers einander zu überlagern. Der digitale Arbeitsplatz erlaubt es, Rückmeldungen auf den Arbeitsplatz anstelle eines separaten Bildschirms zu projizieren. Die Schlüsselmerkmale dieses digitalen Arbeitsplatzes sind: Verwenden einer Kamera, um zu erlauben, mit den Fingern auf etwas zu zeigen, Lesen von Papierdokumenten auf dem Arbeitsplatz und Projizieren von Bildern auf den Arbeitsplatz. Zusätzlich zu Fingern werden andere Dinge beschrieben, die auf dem digitalen Arbeitsplatz verwendet werden können: ein gewöhnlicher Radiergummi kann dazu verwendet werden, elektronische Dokumente zusätzlich zu physikalischen Dokumenten zu löschen, eine Heftmaschine könnte verwendet werden, um elektronische Dokumente aneinander zu heften und ein Enthefter würde diese voneinander lösen. Des Weiteren wird ein digitaler Arbeitsplatzrechner beschrieben als ein Beispiel für eine Anwendung des digitalen Arbeitsplatzes.
Die vorliegende Erfindung ist bestrebt, die oben beschriebenen Beschränkungen auf die Operationen, die an Daten in einem Papierdokument ausgeführt werden können, zu reduzieren unter Verwendung von interaktiven Techniken, in denen das Papierdokument gewissermaßen Teil wird der Einrichtung zum Bezeichnen, welche Operationen (wie Text/Bildauswahl, Erzeugung und Manipulation) an der Information ausgeführt wird, die darin enthalten ist, um neue Dokumente unter Verwendung einer Prozessgesteuerten Kopier- oder Druckeinrichtung zu erzeugen.
Es ist eine Aufgabe der vorliegenden Erfindung, ein interaktives Dokumenterzeugungssystem bereitzustellen, in dem die verfügbaren Funktionen sowohl über diejenigen, die in der gebräuchlichen elektronischen Umgebung alleine bereit gestellt werden, als auch diejenigen, die durch bestehende Kopieranordnungen alleine bereit gestellt werden, erweitert werden.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Ausführungsformen der vorliegenden Erfindung werden nun beispielhaft beschrieben in Bezug auf die beiliegenden Zeichnungen, in denen:
Fig. 1 ein schematisches Diagramm eines Kopiersystems gemäß der Erfindung zeigt;
Fig. 2 schematisch ein bekanntes bildgebendes System zeigt, in das das System nach Fig. 1 eingebaut werden kann;
Fig. 3 ein Bild illustriert, das durch die Finger-Verfolgungstechnik, die in der vorliegenden Erfindung verwendet wird, erzeugt wird;
Fig. 4 eine Vier-Punkt-Abbildungstechnik zeigt, die von der vorliegenden Erfindung verwendet wird;
Fig. 5 vier Arten illustriert, wie ein Auswahlrechteck nach außen gestrichen werden kann beim Verwenden der vorliegenden Erfindung;
Fig. 6(a) bis (f) aufeinanderfolgende Szenen auf der Arbeitsplatzoberfläche in einer Kopieroperation gemäß einer Ausführungsform der vorliegenden Erfindung zeigen;
Fig. 7 ein Flussdiagramm des Verfahrens nach Fig. 6 zeigt;
Fig. 8(a) bis (e) aufeinanderfolgende Szenen auf der Arbeitsplatzoberfläche in einer Kopieroperation gemäß einer zweiten Ausführungsform der Erfindung illustrieren;
Fig. 9 ein Flussdiagramm des Verfahrens nach Fig. 8 zeigt;
Fig. 10(a) bis (h) aufeinanderfolgende Szenen auf der Arbeitsplatzoberfläche in einer Kopieroperation gemäß einer dritten Ausführungsform der Erfindung zeigen;
Fig. 11 ein Flussdiagramm des Verfahrens nach Fig. 10 zeigt;
Fig. 12 eine Ansicht von oberhalb der Arbeitsplatzoberfläche während einer Kopieroperation gemäß einer vierten Ausführungsform der Erfindung zeigt;
Fig. 13 ein Flussdiagramm des Verfahrens nach Fig. 12 zeigt;
Fig. 14 eine Ansicht von oberhalb der Arbeitsplatzoberfläche während einer Kopieroperation gemäß einer fünften Ausführungsform der Erfindung zeigt; und
Fig. 15 ein Flussdiagramm des Verfahrens nach Fig. 14 zeigt.
Bezugnehmend auf Fig. 1 illustriert diese schematisch das Kopiersystem der vorliegenden Erfindung. Auf einer flachen Arbeitsplatzoberfläche 2 befindet sich ein Dokument 4, das als eine Quelle von Text oder grafischer Information während Manipulationen, die nachstehend im Detail beschrieben werden, verwendet werden soll. Das Dokument 4 ist innerhalb des Sichtfelds einer Videokamera 6 angeordnet, die überhalb der Arbeitsplatzoberfläche 2 befestigt ist. Ein Videoprojektor 8 ist benachbart zu der Kamera 6 vorgesehen und projiziert auf die Oberfläche 2 eine Anzeige 21, die im Allgemeinen mit dem Sichtfeld der Kamera 6 übereinstimmt und die in dem gezeigten Beispiel ein Bild eines neuerzeugten Dokuments 20 umfasst, wie nachstehend erläutert. Die Kamera 6 und der Projektor 8 sind beide mit einem Signalverarbeitungssystem verbunden, das im Allgemeinen als 10 gekennzeichnet ist, das wiederum mit einer Druckeinrichtung 208 verbunden ist und, optionell, mit einem Dokumentenscanner 206 (siehe Fig. 2). Ein kleines Wirbeltrommel-Mikrofon 16 (vorzugsweise mit eingebautem Verstärker) ist mit dem Boden des Arbeitsplatzes verbunden und nimmt hörbare Signale oder Vibrationssignale auf. Das System 10 überwacht die (digitalisierte) Signalamplitude des Mikrofons 16, um zu bestimmen (z. B. durch Vergleich mit einem Schwellwert), wenn der Benutzer auf den Arbeitsplatz 2 klopft bzw. diesen antippt (z. B., um eine Operation zu kennzeichnen (siehe unten)).
Die Architektur des Signalverarbeitungssystems 10 ist schematisch in Fig. 1 illustriert. Diese Implementierung läuft unter Standard X Window-Anwendungen unter Verwendung des menschlichen Fingers als eine Zeigereinrichtung. Das System ist implementiert, so dass Finger-Tippstelle und Arbeitsplatz-Klopfinformation durch X auf derartige Art und Weise gesendet werden, dass von dem Blickpunkt der Anwendungen diese Ereignisse nicht von denen einer gebräuchlicherweise verwendeten Maus unterscheidbar sind. Das System läuft auf zwei Maschinen: einer Sun 4/110 (104) und einer SPARC- Station (106). Dies ist so, da die Bildverarbeitungskarte 102 in einen VME-Bus eingesteckt wird, während die projizierte Video-(LCD)Anzeige in einen S-Bus eingesteckt wird. Die von der Kamera 6 erfassten Bilder werden anfangs von einer Itex 100-Bildverarbeitungskarte 102 verarbeitet. Jede andere geeignete Architektur könnte verwendet werden, um die Bildsignalverarbeitung zu erreichen. Fig. 1 illustriert, wie die Softwaremodule miteinander und zur Hardware in Beziehung stehen. Das System ist in C++ und C unter SunOS und TCP/IP implementiert.
Die Arbeitsplatz-Kamera-Projektor-Anordnung (2, 6, 8) kann entfernt von der Druckeinrichtung 208 angeordnet sein und irgendeine Anzahl solcher Anordnungen können zu einem gebräuchlichen Drucker verbunden sein. Alternativ kann die Oberfläche 2 selbst eine obere Oberfläche einer Kopier- oder Druckvorrichtung bilden oder die Oberfläche eines Arbeitsplatzes in der Nähe solch einer Vorrichtung, mit dem Vorteil, dass irgendwelche Dokumente, die unter Verwendung des Systems erzeugt werden, unmittelbar ausgedruckt werden können und von dem Benutzer mitgenommen werden können. Der Prozessor 10 kann einen Bestandteil einer Kopier- oder Druckvorrichtung bilden oder kann entfernt hiervon angeordnet sein, in einer getrennten Einrichtung, und verbunden zu dem Drucker durch eine gebräuchliche Kommunikationsverknüpfung.
In einer bevorzugten Ausführungsform bildet das System von Fig. 1 einen Bestandteil eines Drucksystems, z. B. wie schematisch in Fig. 2 illustriert und im Detail in EP-A-592 108 beschrieben, mit der Ausnahme, dass geeignete Elemente des Steuerabschnitts 207 durch Hardware gemäß Fig. 1 ersetzt werden, wie die Benutzerschnittstelle 252 (die durch die Kamera-Projektor-Anordnung (6, 8) implementiert wird), die Systemsteuerung 254 usw. Für zusätzliche Steuerungs-Einzelheiten wird Bezug genommen auf die US-A-5 081 494, US-A-5 091 971 und US-A-4 686 542.
Interaktive Tätigkeiten mit Objekten mit blossen bzw. nackten Fingern wird in der vorliegenden Erfindung durch Video-basierte Finger-Vertolgung erleichtert. Ein blosser Finger ist jedoch zu dick, um kleine Objekte, wie einen einzelnen Buchstaben anzuzeigen, für den ein Stift oder ein anderes dünnes Objekt verwendet wird.
Die gegenwärtige Implementierung verwendet einfache Bildverarbeitungshardware, um die gewünschte interaktive Antwortzeit (obwohl geeignete Algorithmen verwendet werden könnten, um das gleiche Resultat zu erzielen), zu erzielen: Es führt eine Unterabtastung des Bildes anfangs aus und verarbeitet es bei sehr niedriger Auflösung, um eine ungefähre Stellung des Fingers zu erhalten. Nur dann vergrößert das System zu seiner vollen Auflösung, um eine präzise Stellung zu erhalten, so dass nur kleine Teile des Bildes verarbeitet werden müssen. Falls der Benutzer eine zu schnelle Bewegung ausführt, verliert das System die Spur davon, wo der Finger ist, so dass unmittelbar zurück gezoomt wird, um ihn zu finden. Das Ergebnis ist, dass große, schnelle Bewegungen weniger präzise verfolgt werden als feine Bewegungen, aber für Zeigeranwendungen scheint dies annehmbar.
Interaktionstechniken unter Verwendung von Video-basierter Finger-Verfolgung werden von M. Krueger (Artificial Reality II, Addison-Wesley, 1991) demonstriert. Der Nachteil seines Systems wird in UK-Patentanmeldung 9313637 2 (hiernach Ref. 1) erläutert, wobei eine Kopie hiervon mit der vorliegenden Anmeldung eingereicht wurde.
Im Gegensatz hierzu fühlt die vorliegende Erfindung Bewegung (da die meisten Objekte auf dem Arbeitsplatz 2 sich nicht bewegen mit Ausnahme der Hand des Benutzers und die Objekte, die diese festhalten): Sie erfasst sequentiell Videobilder und untersucht das Bild, das durch Subtrahieren der sequentiellen Werte jedes Pixels mit zwei aufeinanderfolgenden Bildern erzeugt wird. Das Ergebnis für, z. B., eine Bewegung einer Hand sieht wie in Fig. 3 aus. Eine weitere Verarbeitung wird dann ausgeführt, um Rauschen zu entfernen und die präzise Position der Fingerspitze (fingertip) zu lokalisieren.
Bewegungserfassung verwendet ein Bild-Rückführschleifenmerkmal der Karte 102, das erlaubt, die höchstwertigen Bits von zwei Bildern durch eine Nachschlagtabelle zu senden. Diese Tabelle wird gebildet, um die beiden Bilder voneinander zu subtrahieren, und erlaubt sehr schnelle Unterscheidung von aufeinanderfolgenden Bildern. Eine gegenwärtige Finger-Vertolgungsleistung unter Verwendung der Sun 4/110 und der Itex 100- Bildverarbeitungskarte 102 ist 6-7 Bilder/s.
Ein Bestimmen, wenn der Benutzer auf den Arbeitsplatz klopft, wird vorzugsweise erzielt unter Verwendung des Mikrofons 16. Eine andere Art des Erfassens des Klopfens ist eine Verwendung eines berührungsempfindlichen Bildschirms (touch screen), der sowohl Zieh-Information als auch Extra-Stellungsdaten bereitstellen kann.
Eine Projizierung von oberhalb stellt einem großen, flachen Anzeigebildschirm ähnliche Fähigkeiten bereit, aber es hat den Hauptvorteil, dass Computer-erzeugte Bilder 21 auf Papierdokumente überlagert werden können. Dies ist notwendig zum Erzeugen von verflochtenen Papier- und elektronischen Dokumenten und zum Bereitstellen von Rückmeldungen beim Ausführen von Auswahlen 22, 28, 31 (siehe unten) auf Papier. Überkopf(Overhead)-Projizierung bereitet jedoch Probleme, wie Schatten: diese werden nur schwer festgestellt, wenn der Projektor über einem horizontalen Arbeitsplatz 2 befestigt wird, aber spezielle Maßnahmen müssen ergriffen werden, um Schatten-Probleme auf einer nahezu vertikalen Oberfläche zu vermeiden, falls diese als die Arbeitsoberfläche verwendet wird (wie ein Zeichen-Board).
Die Helligkeit des Raumes kann die Klarheit der projizierten Anzeige beeinträchtigen. Dies ist kein Problem mit normalem, fluoreszentem Licht, aber eine helle Arbeitsplatzlampe oder direktes Sonnenlicht sollten vermieden werden. Der Bereich, auf den die Anzeige 21 projiziert wird, sollte vorzugsweise weiß sein.
In den hierin beschriebenen Implementierungen kann die Bildausgabeeinrichtung irgendeine Einrichtung sein, die ein Bild in der Arbeitsoberfläche bereit stellt: z. B. eine CRT-Anzeige, die auf die Oberfläche 2 mittels Spiegelelementen oberhalb oder unterhalb der Oberfläche 2 befördert wird; oder eine Flachbild-LCD-Anzeige, die in den Arbeitsplatz eingebaut ist und entweder an der Oberfläche oder unterhalb hiervon angebracht ist. Irgendeine Anzahl von Anzeigen können verwendet werden.
Dokumentbilder werden erfasst durch eine Überkopf-Videokamera 6, aber eine Schwierigkeit mit Standardvideokameras ist deren niedrige Auflösung (verglichen zu Scannem), die keine gute Kopierqualität erlauben von einem Dokument auf der Arbeitsoberfläche könnte. Verschiedene Lösungen sind möglich.
Eine Technik besteht darin, eine Kamera 6 mit sehr hoher Auflösung für das System zu verwenden.
Eine andere Lösung ist die Verwendung mehrerer Kameras. Zumindest eine Kamera 6 wird aufgebaut mit einem weiten Sichtfeld, das hauptsächlich die gesamte Arbeitsoberfläche 2 umfasst. Zumindest eine andere Kamera (hiernach - "Hilfskamera"; nicht gezeigt) wird benachbart zu der Hauptkamera 6 befestigt und eingezoomt, um einen kleinen Teil der Arbeitsplatzoberfläche 2 (innerhalb oder außerhalb des Anzeigebereichs 21) mit hoher Auflösung (z. B. ungefähr 200 Punkte/Inch; 8 Punkte/mm) abzudecken. Mehrere befestigte Hilfskameras könnten verwendet werden, um den gesamten Bereich mit hoher Auflösung abzudecken oder wenigere, bewegbare Hilfskameras können verwendet werden. Das Videosignal von jeder Kamera wird mittels eines entsprechenden Kanals der Bildverarbeitungskarte 102 verarbeitet mittels geeigneter Multiplex-Techniken, die wohlbekannt sind im Stand der Technik. Wenn solch eine Hilfskamera mit einem relativ kleinen Sichtfeld verwendet wird, wird ein Lichtbereich (z. B. ein weißes "Fenster" oder eine andere visuelle Anzeige wie ein schwarzer, rechteckiger Umriss) auf die Oberfläche 2 projiziert, um mit dem Sichtfeld der Hochauflösungs-Hilfskamera(s) überein zu stimmen und dem Benutzer exakt anzuzeigen, welcher Teil der Arbeitsoberfläche sich innerhalb dieses Sichtfelds (d. h. dem aktiven Bereich) befindet. Der Benutzer kann somit Quelldokumente 4 innerhalb dieses Hochauflösungs "fensters" ablegen, um zu ermöglichen, dass Text- oder Bildinformation durch das System mit hoher Auflösung eingescannt wird. Da, soweit, heraus gefunden wurde, dass nur kleine Teile eines Dokuments zu einem bestimmten Zeitpunkt verwendet werden müssen, und ein Gleiten eines Papierstücks in das "Fenster" der Kamera so einfach ist, scheint die Verwendung mehrerer fixierter Kameras, um den kompletten Arbeitsplatz abzudecken, unnötig.
Eine weitere mögliche Technik löst dieses Problem durch Speichern von Information hinsichtlich der Positionen in dem Quelldokument 4 des bzw. der zu kopierenden Teile mittels Bilderkennungstechniken und der Verwendung von Dokumentbeschreibungen. Das Dokument wird dann durch einen (Arbeitsplatz)scanner 206 durchgeführt (oder wird vorgescannt, bevor die Bildmanipulation stattfindet), vorzugsweise mit Hochauflösungs- (z. B. 24 Punkte/mm; 600 Punkte/Inch) Scannmaschine und diese Stellungsinformation wird verwendet, um zu bestimmen, welche Teile des gescannten Bildes in der evtl. Kopie verwendet werden sollen. Mit dieser Technik findet eine Interaktion des Benutzers mit den Dokumenten bei der niedrigeren (Kamera) Auflösung statt, aber das abgeschlossene Produkt wird von Hochauflösungs (Scanner) Bildern aufgebaut. Vorscannen ist jedoch umständlich für viele interaktive Anwendungen, so dass bevorzugt ist, eine der oben beschriebenen alternativen Verfahren zu verwenden.
Das von einer Videokamera 6 und einem Bildgreifer (frame grabber, nicht gezeigt) auf der Karte 102 hergestellte Bild ist graustufig (üblicherweise 8 Bit/Pixel). Dieses Graustufenbild muss schwellwertbeschränkt sein oder in ein 1 Bit/Pixel schwarzes und weißes Bild umgewandelt werden, bevor es verwendet werden kann zur Zeichenerkennung oder irgendeine der anderen Ausführungsformen, die hierin beschrieben sind.
Eine einfache Schwellwertbeschränkung ist nicht geeignet zum Erzielen eines Bildes, das geeignet ist für Zeichenerkennung. Ein anderes Problem kann der automatische Grauausgleich der Kamera darstellen. Dies kann bewirken, dass eine Änderung in der Helligkeit in einem Teil des Bildes, die Werte in allen anderen Teilen beeinträchtigt.
Konsequenterweise verwendet das System einen adaptive schwellwertbeschränkenden Algorithmus, der den Schwellwert über das Bild hinweg variiert gemäß dessen Hintergrundwert in jedem Pixel. Das vorliegende System stellt Resultate in einem einzelnen Durchgang her, die nahezu so gut sind wie die von Systemen, die mehrere Durchgänge durch das Bild benötigen, durch Berechnen des Schwellwerts in jedem Punkt von einer Schätzung der Hintergrundbeleuchtung basierend auf einem Bewegungsmittelwert von lokalen Pixelintensitäten (innerhalb ungefähr 1/8 der Weite des Bildes). Dieses Verfahren ist schnell und kann mit einer Größenanpassungsoperation kombiniert werden, falls notwendig.
Schließlich wird beim Behandeln von Text das schwellwertbeschränkte Bild schräglaufberichtigt und durch einen OCR-Server erkannt (in diesem Fall der Xerox Image Systems ScanWorkX). Falls die Auflösung hoch genug ist relativ zu der Textgröße gibt es die zugeordnete ASCII-Zeichenfolge zurück. Für die Genauigkeit ist es wichtig, sowohl schnelle Rückmeldungen dem Benutzer bereitzustellen (durch unmittelbares Anzeigen der Anzahl oder des Zeichens, dass das System "glaubt" erkannt zu haben), und einen einfachen Weg für den Benutzer bereitzustellen, nicht erkannte Zeichen zu korrigieren.
Um Interaktion, projizierte Rückmeldungen 24, 26 (siehe Fig. 6) an den Benutzer und selektives Greifen von Bildern durch die Kamera 6 zu unterstützen muss das System Koordinaten in der projizierten Anzeige 21 auf Koordinaten in dem Bildgreifer der Bildverarbeitungskarte 102 abbilden. Diese Kallibrierung kann schwierig sein, da die projizierte Anzeige 21 kein perfektes Rechteck ist (es gibt optische Verzerrungen wie "Keystoning"), oder die Kamera 6 und/oder die Tafel können relativ zu der projizierten Anzeige 21 gedreht sein, und es kann notwendig sein, für die Kamera 6, die projizierte Anzeige von einem Winkel aus zu betrachten. Ebenso können Vibrationen, die z. B. von Klimaanlagen oder zugeworfenen Türen bewirkt werden, Bewegungen bewirken, die die Kallibrierung unterbrechen, wie dies irgendwelche Anpassungen an der Anordnung tun können.
Für den Fall, dass eine (Tast) Stifteingabe verwendet wird, um eine Position auf einer Tafel anzuzeigen, bildet das System zuerst absolute Stellungen auf der digitalisierenden Tafel auf Stellungen in der Anzeige 21 ab, um Rückmeldungen bereitzustellen. Zweitens werden Positionen in der Anzeige 21 auf entsprechende Positionen in dem Bildgreifer abgebildet, um ein Greifen von ausgewählten Bereichen 22, 28, 31 (siehe unten) auf dem Arbeitsplatz zu unterstützen. Ein Erzielen von Daten, um die Zeigereinrichtung (Stift und Tafel; touch screen) zu der Anzeige 21 zu kallibrieren ist relativ geradlinig: eine Serie von Punkten werden angezeigt und der Benutzer wird aufgefordert diese mit einem Zeiger 32 zu berühren (siehe Fig. 8).
Für den Fall dass eine Stellungsanzeige mittels einer Fingerspitzen-Position verwendet wird, ist ein Erhalten von Daten zum Kallibrieren der Videokamera 6 zu der Anzeige 21 nicht so einfach.
Fig. 4 zeigt eine Annäherung, die frühere Techniken verbessert: dies dient dazu, ein Objekt, das von dem Bildverarbeitungssystem lokalisiert werden kann, zu projizieren, und somit dem System eine Auto-Kalibrierung ohne irgendwelche Unterstützung durch den Benutzer zu erlauben. Das vorliegende System projiziert ein dickes "Plus"-Zeichen (+) und verwendet Bildmorphologie (siehe D. Bloomberg & P. Maragos, "Image Algebra and Morphological Image processing", SPIE Conference Procs, San Diego, CA, Juli 1990) um das Zentrum der Markierung in dem Bildgreifer-Koordinatenraum genau festzulegen.
Für ein genaues Abbilden wird vorzugsweise ein Vier-Punkt-Kalibrierungssystem (Fig. 4) verwendet, das Rotation und Keystoning ausgleicht. Das Abbilden wird beschrieben durch die Gleichungen
x = c&sub1;x + c&sub2;y + c&sub3;xy + c&sub4; (1)
y = c&sub5;x + c&sub6;y + c&sub7;xy + c&sub8; (2)
wobei (x, y) Koordinaten in der projizierten Anzeige sind, und (x', y') Koordinaten in dem Bildgreifer sind.
Mit vier Punkt-Paaren kann der Satz von gleichzeitigen linearen Gleichungen schnell durch Gauss Eliminierung gelöst werden. Dann wird eine fünfte Plus-Markierung (+) projiziert und ihre Stellung wird überprüft, um festzustellen, dass es nahe genug zu der durch das oben beschriebene Abbilden erzeugten Position ist. Das Ergebnis ist genau innerhalb von einem oder zwei Anzeigepixeln, und erlaubt dem Benutzer, Bereiche 22, 28, 31 auf dem Arbeitsplatz 2 auszuwählen und beruht (rely) auf den anzeigten Rückmeldungen 24, um präzise anzuzeigen, was in dem gegriffenen Bild erscheinen wird.
Anders als eine herkömmliche Arbeitsstation müssen Benutzerschnittstellen in dem vorliegenden System die Händigkeit berücksichtigen. Falls Rückmeldungen 24 (siehe z. B. Fig. 6) an der unteren linken Seite des Zeigers 32 (Finger, Stift) projiziert werden, dann hat z. B. eine rechtshändige Person keine Probleme dies zu sehen, aber eine linkshändige Person hat Probleme damit, da dies auf deren Hand projiziert wird. Nicht nur wird die Rückmeldung beeinträchtigt, sondern ebenso das allgemeine Layout von Anwendungen und linkshändige Benutzer werden belästigt, da diese genötigt werden, ihren Arm weiter auszustrecken als rechtshändige Subjekte, und deren Arme verdecken das Papier 4 das sie lesen. Die Videokamera 6 des Systems kann die Hände des Benutzers sehen, so dass sie vorzugsweise automatisch erkennt mit welcher Hand der Benutzer zeigt, und dann diese Information verwendet beim Implementieren der Schnittstelle während der folgenden Arbeitssitzung. Ein Überlagerungs(pop-up)menü wird beispielsweise vorzugsweise auf die linke Seite des Zeigers für eine rechtshändige Person projiziert, und auf die rechte Seite des Zeigers für eine linkshändige Person.
Wenn mit dem vorliegenden System auf Papier gezeigt wird, muss die Kamera 6 in der Lage sein, das Papier 4 zu "sehen", und dies bedeutet dass Finger und andere Zeigereinrichtungen 32 aus dem Weg sein müssen. Neue Benutzer scheinen jedoch nicht viel Schwierigkeit damit zu haben, zu lernen, interaktiv mit dem System auf eine Art und Weise zu sein, dass die Auswahlen (22, 28, 31) sichtbar bleiben. Beim Herausstrecken eines Rechtecks 24 (z. B. in der Ausführungsform gemäß Fig. 6 wie unten stehend beschrieben) gibt es vier Arten dies zu tun (siehe Fig. 5). Falls rechtshändige Leute Verfahren O verwenden oder falls linshändige Leute Verfahren verwenden, verdecken diese die Auswahl. Aber Benutzer scheinen diesen Fehler nicht zu wiederholen: im Allgemeinen kann das System eine Auswahl (22, 28, 31) nicht sehen solange der Benutzer sie nicht ebenfalls sehen kann, und das scheint für Leute einfach erlernbar zu sein.
Auswahlrückmeldung (24) kann ebenfalls eine wichtige Rolle spielen im Verhindern von Verdeckungen. In der hierin beschriebenen Implementierung fließt das projizierte Auswahlrechteck 24 leicht vor dem Zeiger, so dass es einfach ist, ein Platzieren des Pointes darin zu vermeiden.

Auswählen von Teilen eines zu kopierenden Dokuments

In den Fig. 6(a)-(f) wird eine grundlegende Benutzerschnittstellentechnik, die von dem Kopiersystem der vorliegenden Erfindung möglich gemacht wird - die Auswahl von Teilen eines Papierdokuments 4 direkt auf dem Papier selbst während das System das ausgewählte Bild liest - in aufeinanderfolgenden Szenen illustriert, die von oberhalb der Arbeitsplatzoberfläche 2 betrachtet werden. Der Benutzer 18 erzeugt ein neues Dokument (allgemein gekennzeichnet mit 20) innerhalb der projizierten Anzeige 21, und hier ist das Quelldokument 4 eine Seite eines Buchs. Der Benutzer wählt eine Fig. 22 auf der Buchseite 4 dadurch, dass er zuerst seine beiden Zeigefinger in der oberen rechten Ecke der Fig. 22 berührt: das System erkennt dies als eine Geste zum Beginnen einer Auswahl. Wenn der Benutzer dann seinen linken Zeigefinger zu dem unteren linken Ecke der Fig. 22 bewegt (Bewegung 3 in Fig. 5) erkennt der Systemprozessor die Bewegung und bewirkt dass der Projektor als Rückmeldung zu dem Benutzer einen Auswahlblock 24 (hier ein rechteckiger Umriss; alternativ ein graues Rechteck) anzeigt, dass in seiner Größe wächst bis diese Bewegung endet (Fig. 6(a)). Der Benutzer kann exakt sehen, was von dem Auswahlblock 24 umfasst wird und wenn dies wie gewünscht ist, klopft der Benutzer auf den Arbeitsplatz um die Auswahl zu bestätigen (das Klopfen wird von dem Prozessor als eine solche Bestätigung interpretiert). Der Prozessor erhält via der Kamera 6 Information die die Stellungen der Beschränkungen des Auswahlblocks 24 relativ zu dem Originaldokument 4 anzeigen und somit die Ausdehnung des Teils des Dokuments, der ausgewählt wurde.
Als nächstes platziert der Benutzer seinen gezeigten Finger auf die Seite 4 in dem Auswahlblock 24 und "zieht" ein projiziertes Bild des Auswahlblocks 24. Durch Bewegen seines Fingers über die Anzeige 21 (der Auswahlblock 24 wird von dem Projektor 8 als Rückmeldung angezeigt und bewegt sich, um der Position der sich bewegenden Fingerspitze zu folgen), positioniert diesen in die geeignete Stellung in dem Dokument 20, und klopft mit einem Finger auf den Arbeitsplatz um die Positionierung zu bestätigen (Fig. 6(b)). Die Fig. 22 wird von der Kamera 6 erfasst, von dem Prozessor Schwellwertbeschränkt und die gespeicherte Form des Dokuments 20 wird dementsprechend editiert; und das Ergebnis ist, dass die projizierte Anzeige modifiziert wird, so dass die Fig. 22 in das Dokument 20 an der gewünschten Stellung "eingefügt" wird (Fig. 6(c)); hier werden die Dimensionen der eingefügten Fig. 22 durch den Prozessor 10 angepasst auf die verfügbare Höhe und Weite des Textbereichs des neuen Dokuments 20.
Es ist dann möglich für den Benutzer, eine Legende zu der eingefügten Fig. 22 hinzuzufügen, durch Eingeben des Textes hiervon über eine gebräuchliche Tastatur (nicht gezeigt), die mit dem Prozessor 10 verknüpft ist. Die gespeicherte elektronische Form des Dokuments 20 wird durch den Prozessor editiert und die projizierte Anzeige 21 wird gleichzeitig modifiziert, um die Legende 26, so wie diese eingegeben wird, anzuzeigen (Fig. 6(d)).
Als nächstes wählt der Benutzer einen Teil 28 des Textes von der Buchseite 4, der unterhalb der Figur in Dokument 20 eingefügt werden soll (Fig. 6(e)). Dies wird auf exakt dieselbe Art und Weise getan, wie das Auswählen der Fig. 22 in Fig. 6(a), mit der Ausnahme, dass der Benutzer mit beiden Zeigefingern in der linken oberen Ecke des Textteils 28 beginnt und seinen rechten Zeigefinger zu dem unteren rechten Eck des Textteils 28 (Bewegung 4 in Fig. 5) bewegt. Die Textauswahl 28 wird in dem Dokument positioniert durch Klopfen auf die Oberfläche 2, wie zuvor. Der Unterschied in diesem Fall ist, dass optische Zeichenerkennung (OCR) an dem ausgewählten Textteil 28 ausgeführt wird, der durch die Kamera 6 erfasst wird. Der Schriftsatz bzw. die Schriftgröße des Textes 28 wird automatisch umgewandelt in diejenige des Rests des elektronischen Dokuments 20 und wird erneut formatiert, um in den Textfluss des Dokuments 20 hineinzupassen, der gebildet wurde. (Alternativ könnte der Text 28 auf dieselbe Art und Weise wie die Fig. 22 in den Fig. 6(a)-(c) behandelt werden, durch Auswählen von oben rechts nach unten links: d. h. Bewegung 3 in Fig. 5). Die gespeicherte elektronische Form des Dokuments 20 wird dementsprechend durch den Prozessor 10 aktualisiert und der Projektor 8 zeigt automatisch das modifizierte Dokument 20 an (Fig. 6(f)).
Wenn es fertig ist, kann das Dokument 20 ausgedruckt werden durch Befördern eines Befehls zu dem Prozessor 10, die elektronische Version des Dokuments 20 zu dem Drucker 14 zu senden. Dieser Befehl kann eingegeben werden mittels der Tastatur oder einer gebräuchlichen Mausbedienung, wird aber vorzugsweise festgelegt durch den Benutzer, der einen geeigneten Eintrag von einem nach unten ausziehbaren (Pull-Down) Menü (nicht gezeigt) auswählt, das zugänglich ist, z. B. durch Fingerzeigen, in dem Anzeigebereich 21 auf der Oberfläche 2.
In einer alternativen Implementierung kann die Arbeitsoberfläche 2 ein Berührungsfeld oder eine andere Positionsfühleinrichtung aufweisen und der Benutzer kann einen geeigneten Stift verwenden, um Ecken eines rechteckigen Auswahlblocks anzuzeigen, der einen zu kopierenden Teil kennzeichnet, beispielsweise durch Beginnen in einer Ecke und Bewegen des Stifts in die entgegengesetzte Ecke (für diesen Fall muss das Dokument 4 nur die Dicke eines einzelnen Blatts aufweisen, damit der Stift und die Positionsfühltafel betriebsbereit sind). Es ist ebenfalls möglich, nicht rechteckige Bereiche auszuwählen durch Ziehen eines "Lassos" um den Teil des Papierdokuments, der kopiert werden soll. Eine andere Möglichkeit für den Benutzer besteht darin, einfach auf den Bereich zu zeigen und das System kann Bildmorphologietechniken verwenden, um den Bereich der Auswahl zu bestimmen. Ein Klopfen auf die Arbeitsoberfläche könnte nur das schmalste wahrnehmbare Element, auf das gezeigt wird, auswählen (z. B. einen Buchstaben oder ein Wort). Ein anderes Klopfen an derselben Position würde die Auswahl ausdehnen, um den Satz, der den Buchstaben oder das Wort enthält, zu umfassen, ein weiteres Klopfen würde eine Auswahl des Absatzes, der diesen Satz enthält, bewirken oder einer größeren visuellen Einheit, usw.. Mit all diesen Auswahltechniken werden präzise Rückmeldungen projiziert, so dass der Benutzer exakt sehen kann, was ausgewählt wird, und somit die Auswahl anpassen kann, falls diese nicht exakt so ist, wie der Benutzer dies wünscht (z. B. Auswählen einer "darüber hinaus" Stellung - über den Beschränkungen des Dokuments 20 hinaus - woraufhin die projizierte Auswahl annulliert wird; und dann erneutes Auswählen von dem Quelldokument).
Fig. 7 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 von Fig. 1 die Schritte, die beim sequentiellen Ausführen des in Fig. 6 illustrierten Verfahrens auftreten.

Kopieren auf markierte Dokumente

Eine andere grundlegende Technik, die durch die vorliegende Erfindung möglich gemacht wird, ist das Kopieren auf ein zuvor markiertes Dokument auf neuartige Weise. Zum Beispiel kann eine Form ausgefüllt werden mit Daten von Teilen von einem oder mehreren anderen Dokumenten.
Die Technik wird in den Fig. 8(a) bis (f) illustriert, die aufeinanderfolgende Szenen zeigen, die von oberhalb der Oberfläche 2 betrachtet werden. Die Technik ist ähnlich zu der, die in der in Fig. 6 illustrierten Ausführungsform verwendet wird, mit der Ausnahme, dass das Dokument 20 aus der Information besteht, die zu einem markierten Dokument 30 (in diesem Fall einem Formular), das sich auf der Arbeitsoberfläche 2 befindet, hinzugefügt werden soll. Operationen werden ausgeführt, um anzuzeigen, wie das Formular 30 ausgefüllt werden kann, wobei ein projiziertes Bild hergestellt wird, das die zusätzlichen Markierungen zeigt, die auf dem Dokument gemacht werden sollen.
Wie in Fig. 8(a) illustriert wird, umfasst das Quelldokument 4 eine Empfangsbescheinigung, die innerhalb des Sichtfelds der Kamera positioniert ist. Der Benutzer wählt die numerische Summe 31, die auf der Empfangsbescheinigung angezeigt wird, unter Verwendung des oben beschriebenen Stifts und eines positionsfühlenden Tafelverfahrens (aber jede der oben beschriebenen Bildauswahltechniken könnte verwendet werden). Ein Bild der ausgewählten Zahl, die von der Kamera 6 erfasst wird, wird zurück auf die Anzeige 21 projiziert an der Stellung des Punktes des Stifts 32. Wenn das projizierte Bild der ausgewählten Zahl zu der geeigneten Box 34 des Formulars 30 gezogen wird, auf eine ähnliche Weise wie der Bewegungsauswahlblock 24 in der Ausführungsform gemäß Fig. 6, wird die Bewegung der Zahl in der Anzeige durch den Projektor 8 (Fig. 8(b)) gezeigt. Die Zahl wird von dem Prozessor 10 unter Verwendung von OCR erkannt und in der Box 34 abgelegt durch Freigeben einer Taste auf dem Stift, oder durch den Benutzer, der mit seiner freien Hand auf den Arbeitsplatz klopft.
Fig. 8(c) illustriert eine Operation, die für den Fall ausgeführt wird, in dem die geeigneten Daten sich nicht in dem Quelldokument 4 befinden: der Benutzer schreibt Daten in die geeignete Box 36 des Formulars mit der Hand. Die Bewegung des Punktes des Stifts 32 wird verfolgt während der Benutzer schreibt und ein Bild wird gleichzeitig auf das Formular 30 projiziert, das die Tinte zeigt, die auf dem Formular verbleiben würde, falls der Stift ein Schreibstift wäre. Das System erkennt die Zeichen des Benutzers beim Schreiben und wandelt die projizierten "Tinte"-Zeichen in den selben Schriftsatz um, wie die anderen Zahlen auf dem Formular 30 und modifiziert die projizierten Zeichen, damit diese in diesem Schriftsatz erscheinen. Wenn eine Eingabe (z. B. Daten in numerischer Form) auf diese Weise gemacht wurde, kann diese in die anderen Boxen kopiert werden in derselben oder benachbarten Spalten unter Verwendung des oben beschriebenen Ziehen- und Ablegen-Prozesses, oder sogar kopiert werden dadurch, dass ebenfalls mit der Hand Zeichen an den geeigneten Orten gemacht werden.
Wenn die relevanten Zahlen "eingegeben" wurden in das Formular 30, kann eine Operation ausgeführt werden an einer Gruppe von Zahlen. In Fig. 8(d) wird eine Spalte 38, die einen Satz von "eingegeben" Zahlen enthält, unter Verwendung des Stifts 32 ausgewählt. Als nächstes platziert der Benutzer auf dem Formular 30 ein kleines Stück Papier mit einer darauf gedruckten Taste 39, die mit "SUM" gekennzeichnet ist, und mit ihrem Pfeil in das Innere einer Box 40 auf dem Formular 30 zeigt, in die eine Summe eingegeben werden muss. Wenn der Benutzer die Papiertaste "drückt", durch Klopfen eines Fingers auf das Papierstück wie in Fig. 8(e) gezeigt, wird die Summe der Zahlen in der ausgewählten Spalte 38 in die Box 40 projiziert. Hierdurch erkennt das System (1) die Funktion der Taste (z. B. mittels morphen Bildzeichen, die indem Ablageschatten 42 der Taste 39 vorhanden sind), (2) erkennt das Klopfen der Taste, so dass es weiß wo und wann die Addieroperation ausgeführt werden muss, (3) führt die Addieroperation aus, und (4) projiziert die resultierende numerische Summe in die Box 40.
Wenn alle notwendigen Eingaben in das Formular 30 gemacht wurden, kann das letztere durch einen Drucker 14 durchgeführt werden, um die projizierten Markierungen beständig zu machen. [Zu diesem Zweck kann es nützlich sein, in dem Fall, indem der Hauptprinter 14 von dem Arbeitsplatz 2 entfernt ist, einen zusätzlichen kompakten Tintenstrahldrucker (nicht gezeigt) auf der Arbeitsplatzoberfläche 2 zu haben, der das Drucken der zusätzlichen Markierungen auf dem Formular ermöglicht und, falls notwendig, das Unterschreiben des Formulars durch einen Benutzer, die unmittelbar ausgeführt werden können.] Der Prozessor 10, der die relativen Stellungen von all den projizierten Zeichen und Zahlen in Bezug auf die Merkmale des Formulars 30 speichert, bewirkt, dass die entsprechenden Tintenmarkierungen in den geeigneten Stellungen (Zeile/Spalte/Box) in dem Formular während der Druckoperation gemacht werden.
Fig. 9 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 der Fig. 1 die Schritte, die beim sequentiellen Ausführen des Verfahrens, das in Fig. 8 illustriert wird, auftreten.
Diese Technik wird bevorzugter Weise ausgedehnt durch Ausführen von OCR auf eine Auswahl von einem Quelldokument 4 und anschließendem Projizieren der erkannten Zahlen und Zeichen im Bild, um ein Formular oder ein anderes zuvor markiertes Dokument auszufüllen. Im Allgemeinen werden Textauswahlen von Grafikauswahlen unterschieden und OCR wird ausgeführt, wenn notwendig. Optional kann ein Benutzer eine Stellung auf einem Formular 30 unter Verwenden von einer der oben beschriebenen Techniken auswählen und dann Zeichen in das projizierte Bild eintippen mit einer gebräuchlichen Tastatur (nicht gezeigt), die mit dem Prozessor 10 verknüpft ist.
Die oben beschriebenen Papiertasten können ebenfalls verwendet werden, um diese Technik auszuweiten: verschiedene Tasten, die geeignete erkennbare Codes anzeigen (wie oben erwähnt) werden verwendet, um gebräuchlich ausgeführte Operationen auszuführen, wie Währungsumwandlungen, Mittelwertbildungen usw..
Diese Technik umfasst des Weiteren ein Erkennen anderer Werkzeuge (tools) und ein geeignetes Modifizieren des projizierten Bildes. Wenn ein Stift als Markierwerkzeug verwendet wird und über die Oberfläche bewegt wird (z. B. zum Handschreiben), wird eine Markierung in dem Bild hergestellt. Falls die resultierenden Markierungen gewisse Kriterien erfüllen, wird eine Erkennung ausgeführt und die Markierungen werden durch die geeigneten Zeichen oder Zahlen ersetzt. Ein Radierer wird auf ähnliche Art und Weise erkannt und zusätzlich zu dessen physikalischer Löschung der Markierungen wird das projizierte Bild auf geeignete Art und Weise modifiziert.
Falls ein Papierformular von dem System erkannt wird, kann es den Benutzer mit Benutzerhinweisen unterstützen hinsichtlich wie dieses ausgefüllt werden muss, und es kann Berechnungen ausführen (z. B. Aufsummieren einer Spalte von Zahlen), die in dem Formular spezifiziert werden. Im Allgemeinen kann das System zu jedem erkennbaren Papierformular Merkmale hinzufügen, die derzeit nur mit elektronischen Formularen verfügbar sind.

Skalieren und Positionieren von Dokumententeilen in einem projizierten Bild

Eine andere Benutzerschnittstellentechnik, die durch die vorliegende Erfindung möglich gemacht wird, ist Skalieren oder Positionieren von Teilen eines Dokuments vor einem Kopieren. In dieser Offenbarung wird der Term "Anordnen" allgemein verwendet um eine Operation zu beinhalten, die einen Teil eines Dokuments skaliert (erneut skaliert), eine Operation, die einen Teil eines Dokuments positioniert, oder eine Operation, die sowohl skaliert und einen Teil eines Dokuments positioniert. Positionieren eines Teils eines Dokuments umfasst ebenfalls Ausrichtung. Die grundlegende Technik zum Anordnen eines Teils eines Dokuments ist, anordnende Operationen in dem projizierten Bild auszuführen. Mit anderen Worten kann ein Benutzer durch die Kamera Signale bereitstellen, die Operationen verlangen, so dass der Teil des Dokuments in einer verschiedenen Größe oder einer verschiedenen Stellung in dem projizierten Bild erscheint. Eigentlich ändert der Benutzer das projizierte Bild bis dieses ein gewünschtes Ergebnis zeigt, ein Ausgabedokument mit dem angezeigten Teil des Dokuments wird in der Größe angepasst und wie gewünscht positioniert. Das Ausgabedokument kann dann gedruckt werden.
Um Skalieren auszuführen kann der Benutzer eine unterschiedliche Beabstandung zwischen den gegenüberliegenden Ecken eines Teils eines Dokuments anzeigen, der durch ein Auswahlrechteck beschränkt wird, wie durch Bewegen der Fingerspitzen zusammen oder getrennt. Skalieren des ausgewählten Teils in dem projizierten Bild kann dann geändert werden proportional zu der Änderung in der Beabstandung.
Um Auswählen und Positionieren auszuführen, geht der Benutzer wie in den Ausführungsformen der Fig. 6 und 8 vor, mit Ausnahme des unten beschriebenen.
Die Fig. 10 illustriert diese Technik: aufeinanderfolgende Szenen, die von oberhalb der Oberfläche 2 betrachtet werden, zeigen wie die Erfindung verwendet wird von einem Benutzer beim Herstellen eines Entwurfs.
Ursprünglich entwirft der Benutzer eine Szene unter Verwendung eines gewöhnlichen Stiftes, die einen Baum 46 (Fig. 10(a)) umfasst. Als nächstes wählt der Benutzer, der ein Erzeugen einer Reihe von Bäumen wünscht, das Bild des Baums 46 durch nach außen Streifen eines Auswahlblocks 24 auf dieselbe Art und Weise wie oben beschrieben in Bezug auf die Ausführungsform gemäß Fig. 6 (Fig. 10(b)). Der Benutzer bewegt dann eine Kopie des Auswahlblocks 24 wie in der Ausführungsform gemäß Fig. 6, mit der Ausnahme, dass zwei Finger (oder Finger und Daumen) verwendet werden, die, wenn der kopierte Block 24 in der gewünschten Stellung ist, verwendet werden, um die Größe des Blocks zu der gewünschten Größe (Fig. 10(c)) zu reduzieren. Der Benützer klopft auf die Arbeitsplatzoberfläche 2, um den reduzierten Baum 48 in dieser Stellung "abzulegen" und der Projektor zeigt den neuen Baum 48, der von dem Original 46 beabstandet ist, an. Dieser Vorgang wird drei weitere Male wiederholt, wobei die Finger des Benutzers progressiv näher beieinander liegen, um eine Zeile von Bäumen (46-54) perspektivisch entlang der Spur 56 (Fig. 10(d)) herzustellen.
Als nächstes beginnt der Benutzer einige Dachschiefer 58 auf dem Dach 60 des Hauses 62 (Fig. 10(e)) zu zeichnen. Um Zeit zu sparen, platziert der Benutzer eine Papiertaste 64, die mit "Füllen" gekennzeichnet ist, mit ihrem Zeiger derart, dass dieser auf das Dach 60 zeigt. Der Code in dem Ablageschatten 66 der Taste 64 wird von der Kamera 6 erfasst und der Befehl wird durch den Prozessor 10 erkannt; auf ähnliche Weise wird das Dachschieferbild 58 erfasst, wenn der Benutzer auf die Taste 64 klopft. Der Benutzer bewegt dann die Taste 64 zu dem leeren Bereich des Dachs und klopft erneut auf die Taste; und das System führt den Tastenbefehl durch Replizieren des Dachschieferbildes 58 aus, um den Bereich innerhalb der Beschränkungen des Dachs 60 (Fig. 10(f)) auszufüllen. Das resultierende Bild wird von dem Projektor 8 angezeigt.
Ein weiterer Schritt ist in den Fig. 10(g) und (h) illustriert: der Benutzer beschließt, ein Fenster 66 in das Dach 60 einzufügen, so dass einige der Dachschieferbilder gelöscht werden müssen. Ein "Radierer" 68 weist einen darauf gedruckten Aufkleber 70 auf, der einen Code anzeigt, ähnlich zu dem der oben beschriebenen Papiertasten (39, 64), mittels dem das System die Implementierung als einen Radierer erkennt. Wenn der Benutzer aus einem Bereich mit dem "Radierer" 68 herausstreift, wird die Löschbewegung von dem System erkannt, und das angezeigte Bild 58 wird modifiziert, so dass die Dachschieferbilder von diesem Bereich in Fig. 10(g) weggelassen werden. Der Benutzer zeichnet dann ein Dachfenster 66 mit der Hand ein, Fig. 10(h).
Das Ergebnis dieser Operationen ist ein verfochtener physikalisch und elektronisch projizierter Entwurf ähnlich zu dem in der Ausführungsform gemäß Fig. 8 beschriebenen kombinierten Formular. Erneut wird, um die projizierten Markierungen beständig zu machen (z. B. die Bäume 48-54 und das Dachschieferbild 58) das Blatt 30 mit dem Entwurf durch einen Drucker, der mit dem Prozessor 10 verbunden ist, durchgeführt. Der Prozessor, der die relativen Stellungen von all den projizierten Bildern entweder in Bezug auf die Merkmale des Entwurfs oder die Begrenzungen des Blattes 30 speichert, bewirkt, dass die entsprechenden Tintenmarkierungen in den geeigneten Stellungen auf dem Blatt 30 während des Druckvorgangs erzeugt werden.
Fig. 11 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 der Fig. 1 die Schritte, die beim sequentiellen Ausführen des Verfahrens, das in Fig. 10 illustriert wird, auftreten.
Eine andere Möglichkeit zum Rotieren und Positionieren von Teilen eines Quelldokuments in dem projizierten Bild besteht darin, ein Papieroriginal, das z. B. Bildelemente enthält, die in den resultierenden Entwurf eingefügt werden sollen, in die gewünschte Stellung innerhalb des projizierten Dokuments 20 zu bewegen, und einem Auswählen des gewünschten Bildelements (z. B. durch Klopfen auf die Oberfläche 2), das an einer Stelle "heruntergelegt" werden soll. Diese natürliche lnteraktionstechnik erlaubt jedem bedruckten oder handgeschriebenen Bild verwendet zu werden als eine Art von Stempel und vorteilhafterweise erlaubt es dem Benutzer, ein Bildelement in verschiedenen Stellungen auszuprobieren, ohne jeweils einen komplett neuen Entwurf herzustellen.

Zufälliges Kopieren von Dokumententeilen

Die oben beschriebenen grundlegenden Techniken sind insbesondere wirkungsvoll, wenn sie zusammen mit der Möglichkeit des zufälligen Kopierens eines Satzes von Eingabedokumenten 4 berücksichtigt werden, um Ausgabedokumente zu erzeugen. Diese Benutzerschnittstellentechnik beruht auf einem Erhalten von Information, die die Beziehung zwischen den Eingabedokumenten 4 und den Ausgabedokumenten anzeigt.
Eine andere Art, diese Information zu erhalten, ist, die Dokumente in einer Sequenz zu bearbeiten. In anderen Worten umfassen die Ausgabedokumente Teile von Eingabedokumenten 4 in Sequenz, so dass die Eingabedokumente in Reihenfolge in die Ausgabedokumente kopiert werden können. Dies kann jedoch nachteilig sein, beispielsweise wenn eines der Eingabedokumente 4 unterschiedliche Teile, die in verschiedene Ausgabedokumente kopiert werden sollen, umfasst.
Eine andere Art und Weise, diese Information zu erhalten ohne die Dokumente 4 in Sequenz zu bearbeiten, besteht darin, Dokumenterkennungstechniken zu verwenden. Dies ist ähnlich zu dem voranstehenden Weg mit der Ausnahme, dass es nicht notwendig ist, Identifizierungsnummern auf den Dokumenten bereitzustellen. Vielmehr kann eine Dokumenteneigenschaft, die bei niedriger Auslösung erfasst werden kann, wie Zeilenlängenbilder, zum Erhalten von Identifizierungsnummern verwendet werden, die mit größerer Wahrscheinlichkeit einzigartig für jedes Dokument sind. Dokumentklassifizierungstechniken werden in EP-A-495 622 kurz beschrieben.

"Auswählen und Einfügen" (oder "Kopieren und Einfügen")

Obwohl ein Auswählen von Text oder Bildern von einem Dokument und ein "Einfügen" der Auswahl in ein zweites Dokument nun ein Standardmerkmal beim Manipulieren elektronischer Dokumente ist, ist dieselbe Operation schwierig auszuführen mit echtem Papier, wobei ein Fotokopierer benötigt wird, eine Schere, und ein Kleber oder Klebeband. Das System der vorliegenden Erfindung macht es jedoch möglich, Papierdokumente 4 in derselben Art und Weise auszuwählen und einzufügen, in der wir elektronische Dokumente auswählen und einfügen. In dieser Implementierung kann ein Entwurf 80 auf einem Papier 4 elektronisch ausgewählt werden durch ein nach außen Streichen eines Bereichs 24 auf dem Papier (z. B. mit einem Stift 32) auf eine Art und Weise, wie dies obenstehend beschrieben ist. Wenn der Stift 32 hoch gehoben wird, schnappt das System ein Bild der Auswahl 80 auf, und das projizierte Rechteck 24 wird durch eine Schwellwertbeschränkte elektronische Kopie des Bereichs ersetzt. Diese Kopie kann dann herumbewegt werden und auf andere Teile 82 des Papiers 4 wie in der obenstehend beschriebenen Anwendung kopiert werden. Ein Gleiten dieser elektronisch projizierten Kopie über die Zeichnung, um diese irgendwo anders zu platzieren, ist sehr ähnlich zum Gleiten einer Papierkopie (siehe Fig. 12).
In Fig. 12 hat der Benutzer den Entwurf 80 des Fensters auf dem Blatt 4 ausgewählt und hat zwei Kopien hiervon (82) gemacht. Nun hat er sich bewegt und ist dabei eine Kopie 86 der Blume 84, die er gezeichnet hatte, "unten einzufügen".
Fig. 13 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 von Fig. 1 die Schritte, die beim Ausführen des in Fig. 12 illustrierten Verfahrens auftreten.
Eine Benutzererprobung offenbarte einen anderen Weg des Benutzens dieses Werkzeugs, der ebenso sehr wirkungsvoll ist. Es wurde herausgefunden, dass ein Benutzer anstelle eines Aufbauens einer gemischten Papier- und projizierten Zeichnung eine ausschließlich projizierte Zeichnung von ausgewählten Teilen aufbauen kann, die von irgendeiner Anzahl ihrer Papierentwürfe entnommen werden. Der Benutzer kann eine Figur auf Papier entwerfen, diese zu der gewünschten Stellung in der projizierten Zeichnung bewegen und diese dann auswählen unter Verwendung der oben beschriebenen Techniken, so dass diese "unten eingefügt" verbleibt in dieser Stellung ebenso, wenn das Papier wegbewegt wird. Der Effekt ist ähnlich zu dem einer Trocken- Transferbeschriftung oder einem "Stempeln", aber in diesem Fall von irgendeinem Stück Papier auf eine projizierte Zeichnung. Diese lnteraktionstechnik ist sehr unterschiedlich zu dem gebräuchlichen "Kopieren und Einfügen", das auf den meisten Arbeitsstationen gefunden wird, und erzielt Vorteile von einzigartigen Qualitäten aus der vorliegenden Erfindung: ein Verwenden sowohl von Händen zum Manipulieren und Zeigen als auch die Überlagerung von Papier und elektronischen Objekten.

Multi-Benutzersysteme

Leute verwenden häufig Dokumente beim Zusammenarbeiten und sie benötigen oft, diese Dokumente gleichzeitig zu sehen und zu modifizieren. Physikalisches Papier ist normalerweise beschränkt darin, dass hierauf nicht geschrieben werden kann, oder darauf gezeigt werden kann, oder dieses anders manipuliert werden kann durch zwei Leute gleichzeitig, die sich zum Beispiel in getrennten Kontinenten befinden; aber diese Einschränkung kann ebenfalls durch die vorliegende Erfindung behoben werden.
Geteiltes Editieren von Dokumenten wurde z. B. in J.S. Olsen et al., "Concurrent editing: the group's interface" in D. Daiper et al. (eds) Human Computer Interaction Interact'90, S. 835-840, Elsevier, Amsterdam offenbart. Der größte Teil dieser Arbeit konzentrierte sich auf bildschirmbasierte Dokumente, aber die Multi-Benutzerimplementierung der vorliegenden Erfindung ermöglicht es, echte Papierdokumente zu teilen. Sie erlaubt Benutzern in (zumindest) zwei getrennten Orten ihre physikalischen Arbeitsplätze zu "teilen" und ermöglicht beiden Benutzern, die Papierdokumente 4 des Anderen zu sehen und zu editieren.
Unter Bezugnahme auf Fig. 14 in dem Fall eines Systems mit zwei Benutzern, sind die zwei Prozessoren 10 miteinander verbunden mittels einer gebräuchlichen Kommunikationsverknüpfung. Jede Installation greift kontinuierlich Bilder 88 von ihrem lokalen Arbeitsplatz 2 auf und projiziert schwellwertbeschränkte Bilder 90 von dem entfernten Arbeitsplatz 2'. Das Ergebnis ist, dass beide Benutzer sehen, was sich auf beiden Arbeitsplätzen befindet. Wenn ein Papierdokument 4 auf einem Arbeitsplatz 2 von Benutzer A platziert wird, wird dieses auf den Arbeitsplatz 2' des Benutzers B projiziert und umgekehrt. Die Projektionen werden digital skaliert und positioniert, um "Was Du siehst ist was ich sehe" (What You See Is What I See - WYSIWIS) bereitzustellen, und beide Benutzer können entweder auf Papierdokumenten 4 oder auf virtuellen Dokumenten zeichnen (unter Verwendung eines echten Stiftes 92, 92'). Auf beiden Seiten wird der entfernte Benutzer B die neue Zeichnung sehen, die an der entsprechenden Stelle projiziert wird. Handbewegungen werden ebenfalls übertragen über die Kommunikationsverknüpfung und angezeigt, so dass falls ein Benutzer auf eine bestimmte Stelle in einem Dokument 4 zeigt, der andere Benutzer dies sehen kann. (Die Hände des Partners blockieren den Blick auf das was darunter liegt, ebenso wie mit einem gewöhnlichen Arbeitsplatz, so dass dies mittels sozialer Protokolle und Sprache behoben werden muss: nicht in Fig. 12 gezeigt ist eine Audioverknüpfung über Telefone oder Lautsprecher, die bevorzugterweise bereitgestellt werden, um dies zu vereinfachen. Eine andere nützlich und darüber hinaus bevorzugtere Hinzufügung ist eine Gesicht-zu-Gesicht audiovisuelle Verknüpfung.)
In Fig. 14 zeichnet der lokale Benutzer A ein "X" 88 auf ein Papierblatt 4 in Tinte, während das Papier und die Hand des entfernten Benutzers (B) gesehen werden können, die gerade eine Zeichnung eines "O" 90 fertiggestellt haben.
Fig. 15 illustriert mittels eines Flussdiagramms eines geeigneten Softwareablaufs in dem Signalverarbeitungssystem 10 gemäß Fig. 1 die Schritte, die in dem in Fig. 14 illustrierten Verfahren ausgeführt werden.

Claims

1. Dokumenterzeugungssystem, umfassend:

eine Arbeitsoberfläche (2);

eine Einrichtung (8) zum Anzeigen von Bildern auf der Arbeitsoberfläche, wobei die Bilder zumindest ein weißes Bild (20) umfassen, das ein Dokument in elektronischer Form, das erzeugt werden soll, repräsentiert;

eine Kamera (6), die auf die Arbeitsoberfläche fokussiert ist, zum Erzeugen von Videosignalen, die in elektronischer Form Bildinformation (4, 22) repräsentieren, die sich in dem Sichtfeld der Kamera befinden;

eine Verarbeitungseinrichtung (10) zum Erkennen von einer oder mehreren manuellen Operationen in Bezug auf die Bildinformation, die von einem Benutzer (18) innerhalb dem Sichtfeld der Kamera ausgeführt werden, und zum Ausführen von elektronischen Operationen entsprechend den manuellen Operationen in der elektronischen Form des zu erzeugenden Dokuments, um eine modifizierte elektronische Form, die ein erzeugtes Dokument repräsentiert, herzustellen;

wobei die Anzeigeeinrichtung (8) angepasst ist, um unter der Steuerung durch die Verarbeitungseinrichtung (10) gleichzeitig mit oder nachfolgend zu den elektronischen Operationen Bilder, die durch diese manuellen Operationen festgelegt werden, anzuzeigen; und

wobei die durch die manuellen Operationen festgelegten Bilder ein Bild des erzeugten Dokuments umfassen.

2. Dokumenterzeugungssystem nach Anspruch 1, wobei die modifizierte elektronische Form eine elektronische Version des soeben erzeugten Dokuments umfasst.

3. Dokumenterzeugungssystem nach Anspruch 1 oder 2, des Weiteren aufweist und eine Einrichtung zum Drucken eines Dokuments entsprechend zumindest einem Teil der modifizierten elektronischen Form.

4. Dokumenterzeugungssystem nach einem der Ansprüche 1 bis 3, wobei

die Bildinformation (4, 22) Bildinformation umfasst, die sich in zumindest einem zweiten Dokument innerhalb des Sichtfelds der Kamera (6) befindet, und

die eine oder mehrere manuellen Operationen eine oder mehrere manuelle Operation (Operationen) umfassen, die den Transfer von Bildinformation (22) von dem zweiten Dokument zu dem zu erzeugenden Dokument repräsentieren.

5. Verfahren zum Erzeugen von Dokumenten, umfassend:

Bereitstellen einer Arbeitsoberfläche (2), einer Einrichtung (8) zum Anzeigen von Bildern auf der Arbeitsoberfläche, wobei die Bilder zumindest ein weißes Bild (20) umfassen, das ein Dokument in elektronischer Form, das zu erzeugen ist, repräsentiert, und eine Kamera (6), die auf die Arbeitsoberfläche fokussiert ist, wobei die Kamera Videosignale erzeugt, die in elektronischer Form Bildinformation (4, 22) repräsentieren, die sich innerhalb des Sichtfelds der Kamera befindet;

Erkennen einer oder mehrerer manueller Operationen in Bezug auf die Bildinformation, die von einem Benutzer (18) innerhalb des Sichtfelds der Kamera ausgeführt werden;

Ausführen von elektronischen Operationen, entsprechend den manuellen Operationen, in der elektronischen Form des zu erzeugenden Dokuments, um eine modifizierte elektronische Form herzustellen, die ein erzeugtes Dokument repräsentiert;

Anzeigen von Bildern, die durch die manuellen Operationen festgelegt werden, gleichzeitig mit oder nachfolgend dem Schritt des Ausführens der elektronischen Operationen; und

wobei die Bilder, die von diesen manuellen Operationen festgelegt werden, ein Bild des erzeugten Dokuments umfassen.

6. Verfahren nach Anspruch 5, wobei die modifizierte elektronische Form eine elektronische Version eines soeben erzeugten Dokuments umfasst.

7. Verfahren nach Anspruch 5 oder 6, des Weiteren aufweisend:

Zuführen der modifizierten elektronischen Form zu einer Druckeinrichtung; und

Ausdrucken des erzeugten Dokuments.

8. Verfahren nach einem der Ansprüche 5 bis 7, wobei die manuellen Operationen ein Auswählen eines Teils des Textes oder von Bildinformation in einem Dokument (4) umfassen, das sich innerhalb des Sichtfelds der Kamera befindet.

9. Computerprogramm mit computerausführbaren Instruktionen zum Ausführen aller maschinenausführbaren Schritte von irgendeinem der Verfahrensansprüche 5 bis 8, beim Ablauf auf einer geeigneten programmierbaren Vorrichtung zum Erzeugen von Dokumenten.