DE3586342T2

DE3586342T2 - Anlage fuer automatische auspassung und aufbereitung handgeschriebener textbilder.

Info

Publication number: DE3586342T2
Application number: DE8585110144T
Authority: DE
Inventors: Abijah Shawhan Fox; Evon Constantine Greanias; Joonki Kim; Charles Carson Tappert
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1984-09-27
Filing date: 1985-08-13
Publication date: 1993-02-11
Anticipated expiration: 2005-08-14
Also published as: EP0176715A3; US4727588A; EP0176715A2; EP0176715B1; JPH0552545B2; DE3586342D1; JPS6180478A; CA1223366A

Description

Diese Erfindung bezieht sich auf ein System, mit dem die vollständige elektronische Kommunikation mit von Hand erstellten Bildern, z.B. handgeschriebenen Texten und Zeichnungen, mit über die Tastatur eingegebenem Text ermöglicht wird. In heutigen Kommunikationssystemen müssen sowohl bildliche Kommunikationsmittel als auch über die Tastatur erfaßter Text auf genommen werden können. Diese bildliche Kommunikation, die nicht mit der Identifikation von Bildern zu verwechseln ist, muß auch die Möglichkeit zum Senden und Empfangen von handgeschriebenen Textbildern umfassen. Für den Sendevorgang müssen solche Systeme so ausgelegt sein, daß Dokumente als Originale erstellt und bestehende Dokumente mit Anmerkungen versehen und durch handgezeichnete Abbildungen ergänzt werden können. Dieser Funktionsumfang erstreckt sich auch auf die Datenformatierung und -aufbereitung.
Derartige Systeme müssen hinsichtlich der Bilderstellung und - aufbereitung sowie auch der Nachrichtenübertragung "benutzerfreundlich" aufgebaut sein. Im Idealfall muß die Erstellung von Bildern mit Geräten erfolgen, mit denen der Benutzer handgezeichnete Bilder erfassen und anzeigen, Größe und Position der einzelnen Bildelemente automatisch anpassen und das Bild durch leicht auszuführende Arbeitsgänge ändern kann. Außerdem müssen diese Geräte für mehrere Benutzer an leicht zugänglichen Standorten zur Verfügung stehen, z.B. auf Bürotischen als baulich kompakte Hardware, die sich mit leicht erlernbaren Arbeitsschritten bedienen läßt, so daß der Bediener nicht vom eigentlichen Hauptteil seiner Arbeit abgelenkt wird.
Um diese Anforderungen zu erfüllen, ohne die Konzentration des Benutzers übermäßig abzulenken, ist eine Systemmethodik zu definieren, die die Dateneingabe und -aufbereitung mit mindestens der gleichen Leichtigkeit wie die eigentliche Datenerstellung, d.h. das handschriftliche Aufschreiben, ermöglicht. Der Funktionsumfang erstreckt sich dabei auf die Text- und Bildaufzeichnung, selektives Editieren, z.B. Streichen, Einfügen und die Möglichkeit, die Reihenfolge von Textteilen durch Striche mit einem stiftähnlichen Gerät auf Papier oder am Bildschirm zu ändern.
In diesem Zusammenhang wird auf die US-Patente 3 761 877 und 3 399 401 verwiesen. Diese Patente beschreiben das Konzept eines rechnergestützten, grafischen Anzeigesystems mit einem X-Y- Eingabetablett sowie einem Schreibgriffel und einem Anzeigebildschirm. In beiden Patenten ist der Computer mit Schaltkreisen für die Datenumwandlung zur Anzeige auf dem Bildschirm ausgerüstet, verfügt jedoch nicht über Vorrichtungen zur Formatierung, z.B. Segmentierung, Grundzeilendriftkorrektur und Editieren. Im Patent 877 wird in groben Zügen das Prinzip der Zeichenerkennung beschrieben; die eigentliche Erkennung ist jedoch nicht Teil der vorliegenden Erfindung.
Im IBM Technical Disclosure Bulletin Vol. 24, Nr. 11A, Seiten 5404 bis 5409, April 1982, wird die Zeichenerkennung durch elastischen Abgleich beschrieben. Außerdem wird hier ein Vorverarbeitungsschritt beschrieben, bei dem eine geschriebene Zeile in Worte segmentiert wird, doch Einzelheiten, wie diese Segmentierung abläuft, werden nicht beschrieben.
Es sind also die allgemeinen Konzepte für den Einsatz eines X-Y- Tabletts für die Dateneingabe am Bildschirm und für die Segmentierung von Eingabedaten in erkennbare Worte bekannt, doch besteht in der Technik ein Bedarf für ein System, das handgeschriebene Daten in einzelne Segmente bzw. Worte unterteilen und diese Segmente als Block einer Datenmenge behandeln kann, die formatiert und ohne Identifikation der Inhalte dieser Datenblocks editiert werden kann. Die formatierten und editierten Daten können gespeichert, übertragen oder später angezeigt werden.
Angesichts der Mängel heutiger Bildverarbeitungsprozessoren umfaßt die vorliegende Erfindung als ersten Aspekt ein Dateneingabe- und -anzeigesystem, bei dem ein Eingabestift verwendet wird, um eine Reihe handgeschriebener Striche in ein X-Y-Tablett einzutragen, bei welchem die Striche in Koordinatensignale umgewandelt werden, wobei die Reihe von Strichen nachfolgend in eine Reihe von Wörtern für die Anzeige auf einem Anzeigebildschirm segmentiert wird und das System durch folgendes gekennzeichnet ist: einen Detektor für Strichenden, um während einer Zeitperiode aktuelle Werte für Enden eines neuen Strichs zu speichern, wenn sich der Eingabestift in Kontakt mit dem Tablett befindet, wobei die aktuellen Werte für Enden aus den maximalen und minimalen Komponenten der Koordinatensignale ermittelt werden, welche dem Strich entsprechen; einem Vergleichersystem zum Empfangen der aktuellen Werte für Enden und zum Vergleichen derselben mit früheren Werten für Enden, die einem vorhandenen Wort entsprechen und aus einem Speicher für Wortenden erhalten werden, um zu bestimmen, ob der neue Strich außerhalb eines vorbestimmten Nachbarschaftsbereichs liegt, der aus den früheren Werten für Enden abgeleitet wird; bei welchem, falls der neue Strich innerhalb des Bereichs liegt, er als bildender Teil des vorhandenen Worts eingestuft wird, und falls der neue Strich außerhalb des Bereichs liegt, er als der erste Strich eines neuen Worts eingestuft wird, wobei das vorhandene Wort sodann als ein vorangehendes Wort eingestuft wird.
Als zweiten Aspekt beschreibt diese Erfindung ein System für Dateneingabe und -anzeige, bei welcher ein Eingabestift verwendet wird, um eine Reihe handgeschriebener Striche in ein X-Y-Tablett einzugeben, bei welchem die Striche in Koordinatensignale umgewandelt werden, wobei die Reihe von Strichen anschließend in eine Reihe von Wörtern für eine Anzeige auf einem Anzeigebildschirm segmentiert wird und das System durch folgendes gekennzeichnet ist: einen Detektor für Strichenden, um während einer Zeitperiode aktuelle Werte für Enden eines neuen Strichs zu speichern, wenn sich der Eingabestift in Kontakt mit dem Tablett befindet, wobei die aktuellen Werte für Enden aus dem maximalen und minimalen Komponenten der Koordinatensignale erhalten werden, welche dem Strich entsprechen; ein Ausrichtsystem, um Wörter so auszurichten, daß sie bezüglich einer vorbestimmten horizontalen Richtung horizontal liegen, und um eine Gruppe solcher horizontaler Wörter so auszurichten, daß sie auf einer gemeinsamen horizontalen Zeile liegen, wobei das Ausrichtsystem folgendes aufweist: einen Grundzeilenspeicher zum Speichern einer laufenden Grundzeile, welche die horizontale Ausrichtung vorangehender horizontaler Wörter repräsentiert; ein Bestimmungselement für Wortgrundzeilen zum Empfangen eines aktuellen Worts, das aus einer Anzahl von Strichen besteht, mit zugeordneten Koordinatensignalen und zum Berechnen einer Grundzeile für das aktuelle Wort aus den Koordinatensignalen; eine Korrektureinheit zum Einstellen der Koordinatensignale des aktuellen Worts, so daß die Grundzeile ausgerichtet wird, um sie mit der vorbestimmten horizontalen Richtung in Ausrichtung zu bringen; ein Register zum Empfangen der ausgerichteten Grundzeile für das aktuelle Wort aus der Korrektureinheit und zum Ändern der Koordinaten der laufenden Grundzeile im Grundzeilenspeicher entsprechend der Koordinaten der ausgerichteten Grundzeile; sowie ein Umwandlungsregister zum Umwandeln des aktuellen Worts, so daß dieses auf der geänderten laufenden Grundzeile liegt und somit mit den vorangehenden horizontalen Wörtern ausgerichtet ist.
Eine nachstehend im Detail beschriebene Ausführung der Erfindung umfaßt ein elektronisches Tablett sowie einen punktadressierbaren Bildschirm, für die Erstellung handgeschriebener Textbilder von Dokumenten, die problemlos editiert und dann in einem Datenverarbeitungssystem gespeichert werden können. Die Daten können anschließend zu einem oder mehreren Empfängern übertragen werden, die mit punktadressierbaren Bildschirmen ausgestattet sind. Durch Editier- und automatische Formatierverfahren wird die Darstellung der Bilddaten im System und im Ausgabegerät verändert und in leserlicherer Weise entsprechend herkömmlicher Textdarstellung dargestellt. Beispiele für den Editiervorgang, der von dieser Erfindung ausgeführt wird, sind Lösch- und Einfügeopoerationen von Datenbestandteilen. Beispiele für Formatierung sind Einrücken von Abschnitten, Worttrennung sowie Grundzeilendriftkorrektur.
Die vorliegende Erfindung wird des weiteren anhand eines Ausführungsbeispiels dieser Erfindung beschrieben, das in den folgenden beigefügten Zeichnungen dargestellt ist:
Fig. 1 zeigt ein Blockdiagramm, in dem die Segmentierung uncodierter Daten in Wortbestandteile dargestellt ist;
Fig. 2 zeigt eine schematische Darstellung des Verfahrens zur Speicherung von Daten zu Wortenden als Teil der Wortsegmentierungsverfahren aus Fig. 2;
Fig. 3 zeigt die Segmentierung innerhalb eines Nachbarschaftsbereichs mit einem Parallelogramm zur Bereichsdefinition;
Fig. 4 zeigt ein Blockdiagramm der Logik für die Positionierung uncodierter Wörter im Anzeigebild;
Fig. 5 zeigt ein Blockdiagramm des Verfahrens zur Grundzeilendriftkorrektur; und
Fig. 6 zeigt in Segment 6a und 6b ein Blockdiagramm zum Editieren von NCI-Text.
In der nachstehend detailliert beschriebenen Ausführung der Erfindung wird als Eingabeeinrichtung ein elektronisches Tablett verwendet, bei dem durch Punktadressung handgeschriebene Textbilder von Dokumenten aufgezeichnet werden, die anschließend editiert werden können. Diese Tabletts sind in diesem Bereich allgemein bekannt und weisen lichtundurchlässige oder transparente Schirme auf. Diese Eingabegeräte sind hochauflösende Systeme, in denen jeder Punkt durch ein Koordinatenpaar definiert ist. Die Koordinaten werden gesammelt (meist ca. 100-200/Sekunde). Die in derartigen APA-Systemen verwendete Abtastgeschwindigkeit ist von der zu erwartenden Stiftbewegung abhängig.
Diese bekannten elektronischen Tabletts wurden in der Vergangenheit für unterschiedlichste Zwecke verwendet. Typische Anwendungsbereiche sind die Erstellung technischer Zeichnungen mechanischer oder elektrischer Geräte sowie die Erkennung handgeschriebener Zeichen für die Erstellung codierter Eingabedaten für die Informationsverarbeitung. Es wird nochmals darauf hingewiesen, daß sich die vorliegende Erfindung nicht mit der eigentlichen Zeichenerkennung befaßt; diese Verfahren werden z.B. in US-Patent 3 111 646, IBM Technical Disclosure Bulletin Vol. 24, Nr. 11A, Seiten 5404 bis 5409, April 1982, sowie IBM Technical Disclosure Bulletin Vol. 24, Nr. 6, Seiten 2897 bis 2902, November 1981, behandelt.
Die Tablettsignale werden automatisch verarbeitet, um die Bilddarstellung der handschriftlichen Wörter und Zeichen zu verbessern.
Zu den typischen Operationen zählen die Erkennung von Wörtern als Darstellungseinheiten handgeschriebener Texte, Einstellung des Intervalls zwischen aufeinanderfolgenden Wörtern und Textzeilen, so daß ein einheitlicher Abstand entsteht, Korrektur schräger Linien von handschriftlichen Texten (Grundzeilendriftkorrektur) sowie die Darstellung handgeschriebener Texte in Abschnitten entsprechend der Darstellungsform des Verfassers auf Papier.
Entsprechend den bekannten Verfahren werden während der Datenerstellung Signale unter Verwendung von Tabletteinträgen erzeugt, so daß bei der Bewegung des Stifts über die Tablettoberfläche eine Folge von digitalen Werten entsprechend den Koordinaten aufeinanderfolgender Positionen erstellt wird. Die digitalen Daten entstehen bei der Stiftbewegung über die Oberfläche. Dies erfolgt durch ständige Beispieldatenaufnahme und anschließende Filterung, so daß aussagefähige Form- und Lagedaten übrig bleiben.
Die Grundelemente derartiger Tablett-Eingabedaten sind die X-Y- Koordinatenpaare. Diese bilden zusammen den Strich, d.h. die eigentliche Stiftbewegung. Ein Strich ist als Folge von Punkten zwischen dem erstmaligen Aufsetzen des Stifts auf dem Tablett in Abwärtsrichtung und dem Abheben des Stifts vom Tablett definiert. Diese Koordinatenpaare bilden die Grundeinheiten der Tablett-Ausgabedaten, die anschließend verarbeitet werden. Hierbei handelt es sich im typischen Fall um Dateneingabe, Befehlseingabe und Operandenidentifikation. Ein Menüpunkt kann so vordefiniert werden, daß die Daten eingegeben werden, in dem er berührt wird. Das System ist so programmiert, daß es eine vorgegebene Nachricht aufzeichnet, wenn die Koordinaten eingegeben werden. Als Alternative hierzu können die Bildinformationen auch eingegeben werden, indem sie mit dem Stift auf dem Tablett gezeichnet werden. Die Befehle können eingegeben werden, indem Menüpunkte berührt oder bestimmte Zeichen auf dem Tablett ausgeführt werden. Um diese Zeichen abtasten zu können, muß das System für ihre Erkennung programmiert worden sein. Ist ein Bildteil ein Operand für einen gerade ausgeführten Befehl, so kann es identifiziert werden, indem es mit dem Stift an der Stelle berührt wird, an der es auf dem Tablett erscheint. Berührt der Stift einen oder mehrere Punkte, die zu einem Bildteil gehören, wird dieses Teil für die Operation gekennzeichnet. Dabei wird vorausgesetzt, daß bekannte Programmierverfahren für die Erstellung von Menüanzeigen und für die Verarbeitung von Logikoperationen entsprechend der Menüauswahl eingesetzt werden.
Die Logik ist für die automatische Verarbeitung von über Tablett eingegebenen Bildern eingerichtet, so daß die Hauptmerkmale dieser Bilder erfaßt werden können. Diese Bilder entsprechen Symbolen, Wörtern, Linien und Abschnitten, die das Textbild des gesamten Dokuments ergeben. Die Methodik dieser Logik ist so angelegt, daß jedes Tablettsignal in der Abfolge mit den Signalen verglichen wird, die ihm vorangingen. Die Punkte, an denen der Stift abgehoben wurde, werden erkannt und der Versatz zwischen Abwärts- und Aufwärtsbewegung des Stifts zur Bestimmung der Grenzen der Bildmerkmale ermittelt. Das System behält laufende Werte für spezielle Enden bei, und für Textbilder wird eine Grundzeile näherungsweise bestimmt. Die Position aller aufeinanderfolgenden Signale wird dann mit den Informationen über vorhergehende Enden verglichen, um festzustellen, ob das vorherige Wort bzw. die vorherige Zeile zu Ende ist und ein neues Symbol begonnen hat. Durch die Speicherung dieser Segmentierungspunkte mit den aufgezeichneten Signalen, Grenzen und der relativen Größe der Symbole können Wörter und Linien in den gespeicherten Textbilddaten identifiziert werden.
Nach der Segmentierung werden anhand der Tablettbilddaten Textbilder erstellt, die eine einheitlichere Trennung zwischen den Wörtern aufweisen und außerdem die Bildanzeigefläche sinnvoll ausfüllen. In Fällen, in denen Wörter so geschrieben wurden, daß ihre Zeichen deutlich größer als andere Zeichen im Dokument sind, können sie verkleinert werden, so daß der Platz sinnvoller ausgefüllt wird. Werden weitere Wörter an die schriftlichen Aufzeichnungen angefügt, werden der Bildschirmanzeige weitere Zeilen angehängt. In Fällen, in denen die nachträglichen Wörter direkt nach früheren Wörtern auf dem Tablett geschrieben werden, werden die neuen Anzeigezeilen zu einem Teil des gleichen Abschnitts. In Fällen, in denen neu eingefügte Wörter eingerückt werden und die Prioritätszeile nicht mit einem neuen Abschnitt anfängt, werden Zeilen übersprungen; füllt ein neu eingefügtes Wort nicht die vorhergehende Zeile aus, beginnt das ausgegebene Bild als neuer Abschnitt. Diese Vorgänge laufen in Abhängigkeit von den Formatierungsalgorithmen ab.
Die segmentierten Tablett-Textbilddaten werden auch für die Korrektur von Abweichungen von der Grundzeile verwendet, wenn der Verfasser nicht einer waagerechten Linie über die Zeilenbreite folgt. Handschriften verlaufen bekanntlich in vielen Fällen "bergauf" oder "bergab", d.h. in beiden Fällen weichen sie von der Horizontalen ab. Für jede Wortzeile auf dem Tablett wird eine näherungsweise geschätzte Grundzeile festgelegt. Durch diese Anordnung kann die Position sowohl hinsichtlich des Platzbedarfs als auch hinsichtlich der Drehausrichtung zur Grundzeile korrigiert werden. Diese Aufgaben führt die Formatiermethodik aus.
Die Aufbereitung handgeschriebener Texte, die in uncodierter Form vorliegen, wird ebenfalls durch segmentierte Tablettbilddaten vorgenommen. Zu den Aufbereitungsfunktionen zählen die Fähigkeit, Teile uncodierter Texte in einer handschriftlichen Seite zu löschen, zu ersetzen, einzufügen oder zu verschieben. Diese Funktionen können eingeleitet werden, indem mit dem Stift ein Menüpunkt berührt und damit die einzuleitende Maßnahme festgelegt wird. Anschließend werden mit dem Stift die Textstellen berührt, an denen die Maßnahmen ausgeführt werden sollen.
Auf Fig. 1 ist ein Blockdiagramm des Verfahrens zur Segmentierung von Zeilen-Textbildern mit nicht codierten Informationen (NCI) dargestellt. Die X- und Y-Signale des Schreibtabletts zeigen die aktuelle Position des Stifts auf dem Tablett an, da das System ja punktadressierbar aufgebaut ist. Das Eingangssignal D bedeutet, daß der Stift das Tablett berührt. Wie in Fig. 1 dargestellt ist, wird der Anfang jedes NCI-Semgents durch ein Signal "Stift abwärts" eingeleitet, d.h. durch den Start eines "D"-Signals zum Gate 10. Hat der Stift die Abwärtsbewegung ausgeführt und liegt er auf dem Tablett auf, werden X- und Y-Signale generiert und zum Detektor 12 für die Strichenden (siehe Fig. 2) geleitet. Insgesamt werden vier Detektoren für Strichenden verwendet. Ein Detektor legt das linke Strichende fest, ein zweiter das rechte Strichende, ein dritter das obere Strichende und ein vierter das untere Strichende. Die X- und Y-Signale des Tabletts werden zu all diesen Detektoren weitergeleitet und entsprechend gespeichert.
Fig. 2 zeigt die schematische Darstellung eines derartigen Detektors für das Strichende. Das abgebildete Beispiel zeigt einen Detektor für das rechte Strichende. Die drei anderen Detektoren funktionieren entsprechend. Wenn ein neuer Punkt folgt, werden seine X- und Y-Koordinaten mit den zuvor gespeicherten Koordinaten verglichen, die als Extremwerte festgelegt wurden. In diesem Fall werden nur X-Werte berücksichtigt. Überschreitet der X-Wert den gespeicherten, zuvor festgelegten rechten Extremwert um einen vorgegebenen Schwellenwert (t) und gibt er damit eine Bewegung nach rechts an, wird ein neuer Extremwert ermittelt. Der Schwellenwert (t) soll Stiftzittern ausgleichen. Wie in Fig. 2 gezeigt, wird für das Eingangssignal zuerst ein Vergleich 22 durchgeführt, durch den festgestellt wird, ob er um einen vorgegebenen Betrag größer als der aktuelle Extremwert (e) ist, d.h. ob er größer oder gleich dem Schwellenwert (t) ist. Ist die Feststellung positiv, wird der X-Wert zum UND-Gate 24 in Fig. 2 geschaltet und im Register 26 als neuer Extremwert für X gespeichert.
In ähnlicher Weise werden die Extremwerte für (-X, +Y und -Y) mit einem Schwellenwert verglichen und die Extremwerte gespeichert.
Aus Fig. 1 ist ferner zu ersehen, daß, wenn bei der Stiftbewegung das Hubende festgestellt wird, d.h. wenn sich der Stift vom Tablett abhebt, der in jedem der Register 26 für das Hubende gespeicherte Wert über Gate 16 in ein Nachbarschaftsbereichs-Vergleichersystem 14 übermittelt wird.
Die Hubenden werden mit den vorangegangenen Wortenden verglichen, um festzustellen, ob der neue Hub außerhalb des Nachbarschaftsbereichs liegt und daher ein neues Wort anfängt. Fängt ein neues Wort an, wird ein Signal für das neue Wort generiert, welches das Gate 18 für neue Wörter passiert und die Endwerte für das neue Wort weitergegeben werden können. Wird das alte Wort fortgesetzt, werden Hubendwerte mit Hilfe einer Gate- Logik gemäß Fig. 2 zum Detektor 17 für das Wortende übertragen. Die aktualisierten Endwerte des alten Worts werden dann im Speicher 19 für Wortenden in Fig. 1 gespeichert. Hat ein neues Wort begonnen, wird der Speicher für Wortenden gelöscht und die Enden des ersten Strichs des neuen Worts werden vom Detektor für Wortenden in den Speicher 10 für Wortenden weitergegeben.
Wie in Fig. 1 dargestellt, wird mit dem Nachbarschaftsbereichs- Vergleichersystem 14 der Anfang neuer Wörter festgelegt, um einen Nachbarschaftsbereich für jedes Wort definieren zu können, das segmentiert wird. Der Nachbarschaftsbereich kann eine beliebige willkürliche Form aufweisen, am einfachsten ist jedoch ein Parallelogramm zu implementieren. Fig. 3 zeigt als Beispiel für ein geeignetes Parallelogramm eine Rechteckform. Jeder neue Strich wird mit dem Nachbarschaftsbereich des aktuellen Worts verglichen. Liegt ein Teil des Strichs innerhalb des Bereichs, gilt er als Teil des aktuellen Worts. Liegt er nicht innerhalb des Bereichs, gilt er entweder als Anfang eines neuen Worts oder als Fortsetzung eines Worts, das bereits als abgeschlossen galt.
Fig. 3 zeigt die Segmentierung unter Verwendung eines rechteckigen Nachbarschaftsbereichs. Hierbei ist beachten, daß jedes beliebige Parallelogramm verwendet werden kann. In manchen Alphabeten bzw. in Fällen, in denen Buchstaben schrägstehen, kann eine andere Bereichsform gewählt werden. Der in Fig. 3 dargestellte rechteckige Bereich wird durch waagerechte Linien definiert, die durch die oberen und unteren Enden laufen, sowie durch senkrechte Linien, die durch die linken und rechten Enden laufen. Ein neues Wort wird erkannt, wenn ein Strich außerhalb der Nachbarschaftsbereiche vorangegangener Wörter verläuft. Die Striche des neuen Worts müssen um mehr als den vorgeschriebenen Abstands-Schwellenwert (hier als "r" bezeichnet) über die zuvor gespeicherte rechte Endposition bzw. über die gespeicherte linke Endposition (hier als "1" bezeichnet) hinaus angeordnet sein. Auf entsprechende Weise müssen Striche für neue Wörter relativ zu zuvor gespeicherten Schwellenabständen für die Auf- und Abwärtsstriche (hierin als "u" für Aufwärts-Endposition und "d" für Abwärts-Endposition) angeordnet werden. Die Werte dieser vorgegebenen Schwellenwerte "r", "l", "u" und "d" basieren auf ausgewählten Merkmalen der NCI-Textbilder.
Wie in Fig. 3 angegeben, bezeichnet "h" die Höhe der Handschrift. Bei englischen Handschriften beträgt "r" ca 0,5 x "h", während "l" etwas weniger als 0,5 x "h" beträgt, da die Handschrift normalerweise von links nach rechts verläuft. Auf ähnliche Weise kann "d" durch Prüfung mit ca. 0,667 x "h" festgelegt werden, während "u" etwas weniger als 0,667 x "h" beträgt. Diese Schwellenwerte müssen für andere Sprachen entsprechend korrigiert werden. Die angegebenen Werte gelten also für Handschriften in englischer Sprache. Für andere Sprachen sind die Parameter jedoch entsprechend anzupassen.
Neben diesem Verfahren zur Segmentierung der Wörter kann die Segmentierung auch durch Eintreten bestimmter externer Vorgänge eingeleitet werden. Wie erwähnt, ist die Segmentierung von den räumlichen Zusammenhängen abhängig, die ihrerseits von der verwendeten Sprache abhängig sind. Die Segmentierung ist nicht unbedingt zeitabhängig, kann sich jedoch auch an der Zeit orientieren, während der keine neuen Striche ausgeführt werden. Durch zeitabhängige Überwachung der D-Signale kann also eine Segmentierung von Daten in angenommene Wörter erfolgen. Die Segmentierung kann auch erfolgen, indem der Verfasser nach Abschluß eines Worts einen Eintrag auf einem Menüpunkt berührt. Dieses letztere Verfahren gewährleistet zwar eine zuverlässige Segmentierung, verlangsamt jedoch die Dateneingabe.
Die anhand Fig. 1 bis 3 dargestellte Wortsegmentierung kann jeweils auf einer Datenzeile gleichzeitig erfolgen. Steht genug Verarbeitungsspeicher zur Verfügung, ließe sich die Segmentierung begreiflicherweise verzögern, bis die Daten, die das gesamte Tablett darstellen, in den Speicher geladen wurden.
Nachdem die NCI-Bilder in definierte Bereiche segmentiert wurden, die Wörter darstellen, können sie mit vorgegebenen Formatierregeln zu Dokumenten montiert werden, die als sinnvolle Anzeigebilder dargestellt, gesendet oder ausgedruckt werden können. Jedes Dokument wird als Sammlung von Wörtern aufgebaut, die einen oder mehrere Abschnitte umfassen. Anhand der Formatierregeln kann also die Position jedes segmentierten Worts in Form eines Abschnittes im Dokument festgelegt werden. Folgt ein neues Wort, muß dieses von Fall zu Fall an den Anfang eines neuen Abschnitts gestellt, an das Ende eines alten Abschnitts angefügt oder in manchen Fällen in einen bestehenden Abschnitt eingefügt werden. Wenn ein Wort am Ende eines Abschnitts angefügt oder in der Mitte des Abschnitts eingefügt wird, wird das nächste davorliegende Wort im Dokumentenbild ermittelt und das neue Wort unmittelbar dahinter eingefügt. Ist das Wort das erste Wort eines neuen Abschnitts, wird es entsprechend den Formatieranweisungen hierfür an den Anfang einer neuen Zeile gestellt und es wird eine Kennung für die erforderliche Zeileneinrückung angefügt.
Um diese Formatierungsregeln anzuwenden, muß die Logik erkennen, wann neue Abschnitte folgen. Bildet ein Wort das erste Wort eines Dokuments, so ist es per Definition der Anfang eines neuen Abschnitts. Ist ein Wort das erste Wort einer Zeile, die nicht die erste Zeile des Dokuments bildet, kann es sich dabei um den Anfang eines neuen Abschnitts oder einfach um die Fortsetzung des vorangegangenen Abschnitts handeln. Ein neuer Abschnitt wird im allgemeinen erkannt, wenn das Wort eingerückt, ausgerückt oder deutlich unterhalb der vorangegangenen Zeile angeordnet wird, die selbst noch nicht als erste Zeile eines Abschnitts festgelegt wurde, oder alternativ am Anfang einer neuen Zeile, wenn der vorangegangene Zeilenraum nicht ausgefüllt wurde.
All diese Fälle können den Anfang eines neuen Abschnitts kennzeichnen.
Wurden die Wörter und Abschnitte erkannt, die ein Dokument bilden, kann der Inhalt des Dokuments in ein Anzeigebild oder in den Ausdruck abgebildet werden. Um die gewünschten Ausgabedaten zu erzeugen, liefert diese Anordnung einen Algorithmus, der den vorhandenen Raum in jeder Zeile mit Wörtern in richtigem Abstand ausfüllt, bis alle Wörter des Abschnitts auf gebraucht wurden. Ggf. müssen Zeilen mit Wörtern aus der Folgezeile auf dem Tablett ausgefüllt werden, in anderen Fällen müssen zur Anzeige Wörter aus dem Ende der Tablettzeile in die folgenden Zeilen übernommen werden. Auch hier ist festzuhalten, daß bei dieser Anordnung nicht versucht wird, den substantiellen Gehalt der Wörter zu erkennen, die formatiert werden. In Fig. 4 ist die Logik für die Positionierung der NCI-Wörter auf dem Anzeigebild schematisch dargestellt.
Die Eingabedaten dieser Logik umfassen:
das Signal für ein neues Wort in Fig. 1;
X- und Y-Koordinaten des neuen Worts, das aus dem Gate 10 für die Stiftabwärtsbewegung aus Fig. 1 entnommen werden; und
die Werte für das Ende des neuen Worts aus Fig. 1.
Nachdem das Signal für das neue Wort nach der Verarbeitung des vorangegangenen Worts ausgelöst wird, werden die X- und YKoordinaten des neuen Worts im XY-Speicher 37 des neuen Worts gespeichert. Sobald die weiteren Signale für neue Wörter folgen, wird der Inhalt des XY-Speichers 37 für neue Wörter in den Wortpositionsspeicher 45 des Tabletts übernommen und hier die Signale jedes Worts zusammen mit einer Dokument-Wortfolgenummer aufgezeichnet, die für die anschließenden Bildaufbereitungsoperationen (siehe unten) verwendet werden.
Die Umsetzereinheit 38 für neue Wörter erhält außerdem die X- und Y-Enden der neuen Wörter aus dem Wortendenspeicher 19 in Fig. 1. Die Umsetzereinheit 38 für neue Wörter, die an den XY- Speicher 37 für neue Wörter angeschlossen ist, zieht den Mindestwert für X von den X-Koordinaten des neuen Worts und den Mindestwert für Y von den Y-Koordinaten des neuen Worts ab, so daß in X' und Y' eine Darstellung des neuen Worts relativ zum Ursprung in der linken unteren Ecke des neuen Worts erstellt wird.
Die Enden der neuen Wörter werden außerdem zum Detektor 39 für Wortenden übertragen, der die Enden des neuen Worts mit den zuvor gespeicherten linken, rechten und unteren Enden der der vorangegangenen Wörter im Dokument vergleicht. Überschreitet ein Ende eines neuen Worts den zuvor gespeicherten entsprechenden Endwert, wird der neue Wrt im Speicher 40a, 40b oder 40c für Enden gespeichert, sobald das Signal für das nachfolgende neue Wort erfolgt. Bis zu diesem Zeitpunkt werden in 40a, 40b und 40c die bisherigen WErte gespeichert.
Die Werte für Enden der neuen Wörter werden auch in den Speicher 35 für neue Wortenden übertragen. Die Endwerte bleiben im Speicher 35 für neue Wortenden gespeichert, bis das nächste Signal für ein neues Wort folgt. Dann wandern sie in den Speicher 36 für Enden vorangehender Wörter und es werden die Endwerte für das nachfolgende Wort im Speicher 35 für neue Wortenden gespeichert. Geht ein Signal für ein neues Wort ein, werden die Enden des neuen Worts durch die Vergleicherlogik 41 für Bewegungen neuer Wörter mit dem Inhalt folgender Speicher verglichen:
Speicher 36 für Enden vorangehender Wörter;
Speicher 40a für linke Wortenden; Speicher 40b für rechte Wortenden; und
Speicher 40c für untere Wortenden
Der Vergleich dieser Wörter legt fest, ob das neue Wort
dem vorangegangenen Wort auf der gleichen Zeile folgt;
eine neue Zeile ohne Einrückung einleitet;
eine neue Zeile mit Einrückung einleitet;
eine neue Zeile links von vorangegangenen Zeilen einleitet; oder
eine Zeile überspringt.
Die Bedingungen, unter denen diese Fälle eintreten, sind:

a) Zeile überspringen

Oberes Ende des neuen Worts ist um mehr als "t" unterhalb des unteren Endwertes im Speicher 40c für unteres Ende, wobei "t" ca. der zweifachen Zeilenhöhe entspricht.

b) Neue Zeile, keine Einrückung.

Unterschied zwischen Inhalt des Speichers 40a für linkes Ende und linkem Ende des neuen Worts ist kleiner als "m", und das obere Ende des neuen Worts ist mehr als "t/4" unter dem Wert für das untere Ende im Speicher 40c für unteres Ende, wobei "m" eine vorgegebene Konstante zur Festlegung der Einrückung ist.

c) Neue Zeile, Einrückung.

Unterschied zwischen Inhalt des Speichers 40a für linkes Ende und linkem Ende des neuen Worts ist kleiner als "-m", und das obere Ende des neuen Worts ist mehr als "t/4" unter dem Wert für das untere Ende im Speicher 40c für unteres Ende.

d) Neue Zeile, links vom Rand

Unterschied zwischen Inhalt des Speichers 40a für linkes Ende und linkem Ende des neuen Worts ist mehr als "m", und das obere Ende des neuen Worts ist mehr als "t/4" unter dem Wert für das untere Ende im Speicher 40c für unteres Ende.

e) Gleiche Zeile, im Anschluß an vorangehendes Wort.

Absolutwert der Differenz zwischen oberem Ende des neuen Worts und Wert für das obere Ende im Speicher 36 für Ende des vorhergehenden Worts ist kleiner als "t/4", und das linke Ende des neuen Worts ist um einen Betrag zwischen "m/8" und "m" größer als der Inhalt des rechten Endes im Speicher 36 für Ende des vorhergehenden Worts.

f) Neue Zeile, keine Einrückung, keine vorangehende Zeile.

Wert für rechtes Ende im Speicher 36 für Ende des vorangehenden Wortes ist mehr als "2m" kleiner als Wert für rechtes Ende im Speicher 40b für rechtes Ende, der Unterschied zwischen Inhalt des Speichers 40a für linkes Ende und dem linken Ende des neuen Worts ist kleiner als "m", und oberes Ende des neuen Worts ist mehr als "t/4" unter dem Wert des unteren Endes im Speicher 40c für unteres Ende.

Treten die Bedingungen

a) Zeile überspringen; c) Neue Zeile, Einrückung; d) Neue Zeile, links vom Rand; oder f) Neue Zeile, keine Einrückung, keine vorangehende Zeile;
ein und bildete die vorangehende Zeile nicht den Anfang eines neuen Abschnitts, wird durch den Detektor 42 für neuen Abschnitt ein neuer Abschnitt signalisiert.

Treten die Bedingungen

b) Neue Zeile, keine Einrückung; e) gleiche Zeile, im Anschluß an vorangehendes Wort;
ein, wird der Detektor 42 für neue Abschnitte zurückgesetzt und durch seine Ausgabedaten signalisiert, daß es sich um den alten Abschnitt handelt. Vorliegende neue Abschnitte und alte Abschnitte werden zur Steuerlogik 43 für Anzeigebildposition übertragen, die mit den Daten für Enden neuer Wörter die richtige Lage jedes Worts in der Anzeigendarstellung ermittelt. Jede ermittelte Position wird im Speicher 44 für die Position des vorhergehenden Worts gespeichert; hier werden ihre Koordinaten von der Logik 43 für Anzeigebildposition zur Ermittlung der Anzeigeposition des folgenden Worts verwendet.
Weitere Eingabedaten in der Steuerlogik 43 für die Anzeigebildpositin umfassen:
Die Zeileninkremente für die gewünschte Trennung in der Anzeige zwischen linkem und rechtem Rand sowie für den senkrechten Abstand zwischen den Zeilen; sowie
das Inkrement für Einrücken der Anzeige (sofern mit Einrücken gearbeitet wird).
Diese Werte werden durch die gewählte Anzeigebildgröße festgelegt und bleiben bei vorgegebener Anzeigengeometrie konstant. Wird ein Bild einer neuen Anzeigenseite angefangen, wird das erste Wort am linken Rand der obersten Zeile positioniert, sofern das Wort nicht als erstes Wort eines Abschnitts mit Einrückung gekennzeichnet ist. Falls die Steuerlogik 43 für das Anzeigebild festlegt, daß das Wort eingerückt werden soll, wird der Status des alten bzw. neuen Abschnitts kontrolliert und daraus festgelegt, wo die Wörter positioniert werden sollen. Bei Wörtern in alten Abschnitten bestimmt die Steuerlogik 43 für das Anzeigebild, ob der Abstand zwischen rechtem Rand des vorangehenden Worts und dem rechten Textrand groß genug ist, um das neue Wort darstellen zu können. Ist der Platz nicht groß genug, wird das Wort an den linken Rand der nächsten Zeile geschoben, indem der vertikale Versatz um eine Zeilentrennung nach unten verringert und der horizontale Versatz am linken Rand eingestellt wird. Leitet das neue Wort einen Abschnitt ein, wird der vertikale Versatz um zwei Zeilentrennungen verschoben; der horizontale Versatz steht am Rand oder ist vom Rand aus eingerückt - je nachdem, welches Anzeigeformat von den Benutzern gewählt wurde.
Die minimalen X- und Y-Koordinaten der Anzeigewortposition werden zur Anzeigebild-Umwandlungseinheit 46 übertragen, wo sie an die Wortdarstellung in den Koordinaten X' und Y' der Umsetzungseinheit 38 für neue Wörter angefügt werden. Diese Koordinaten werden in den Anzeigewortpositionsspeicher 47 übertragen, wo sie mit der gleichen Dokumenten-Wortfolgenummer gespeichert werden, die als Referenznummer im Tablett- Wortpositionsspeicher 45 zugewiesen wurde. Der Anzeigewortpositionsspeicher 45 speichert außerdem für jedes Wort, das einen neuen Abschnitt einleitet, die Angaben für den neuen Abschnitt, Informationen zu den Zeileninkrementen sowie Informationen zur Zeileneinrückung. Diese Informationen werden aus der Steuerlogik 43 für die Anzeigebildposition mit den Worten entnommen, die die Abschnitte einleiten. Der Anzeigewortpositionsspeicher bildet die Datenquelle, die den Bildschirm ansteuert und die Grundformen der Wörter an der gewünschten Stelle auf der Bildanzeige anordnet. Aus Fig. 5 ist das Verfahren für die Grundzeilenkorrektur zu erkennen. Ein Grundmerkmal handgeschriebener Texte ist die Abweichung von Wörtern und Zeichen von der nominellen Grundzeile. Dadurch können Aussehen und Interpretation der Texte übermäßig gestört werden. Bei der Zerlegung von NCI-Bildern in Wörter können Abweichungen gegenüber der Textbildanzeige und anschließenden Interpretation korrigiert werden. Diese Anordnung stützt sich auf ein Verfahren, bei dem eine Links-Rechts-Abfolge für die Schätzungen der Y-Koordinate einer nominell festgelegten Grundzeile ermittelt wird. Die Grundzeilenkorrektur erfolgt auf zwei Ebenen. Die erste Ebene umfaßt die Korrektur der Wortausrichtung, so daß jedes Wort horizontal liegt. Die zweite Ebene umfaßt die Korrektur der vertikalen Drift, so daß die Grundzeilen der Wörter einer Zeile auf derselben waagerechten Linie liegen. Die erste Korrekturebene wird als Korrektur der Grundzeilenneigung bezeichnet, die zweite als Grundzeilendriftkorrektur. Die Grundzeilenkorrektur basiert auf der Beobachtung, daß die meisten in einem Alphabet verwendeten Zeichen bis auf wenige Ausnahmen auf einer Grundzeile liegen. Im Falle der englischen Sprache weisen die Kleinbuchstaben "ff, g, j, p, q und y" sowie manchmal "z" Unterlängen auf und liegen nicht auf einer Grundzeile. Andere Zeichen, z.B. Interpunktions- und ähnliche Zeichen wie z.B. Apostrophe und Anführungszeichen, liegen oberhalb der Grundzeile.
Die Grundzeilenkorrektur ist außerdem von der Wortlänge abhängig. Bei kurzen Wörtern, z.B. "a, it, of", kann von einer waagerechten Grundzeile ausgegangen werden, doch kann sie gegenüber der laufenden Grundzeile der geschriebenen Zeile etwas versetzt sein. Bei kurzen Wörtern ist also keine Korrektur der Grundzeilenneigung erforderlich. Bevor eine neue Grundzeile näherungsweise festgelegt wird, muß bestimmt werden, ob das Wort auf einer Grundzeile liegen soll. Hierbei ist auf die Wörter zu achten, deren Unterlängen nicht auf einer Grundzeile liegen. Hierzu wird der minimale Y-Wert des Worts mit der laufenden Grundzeile verglichen. Liegt die Abweichung innerhalb eines Toleranzbereichs, z.B. ca. 0,33 der Zeilenhöhe, wird davon ausgegangen, daß das Wort auf einer Grundzeile liegt, und eine neue Grundzeile berechnet. Zur Berechnung einer neuen Grundzeile eines Worts kann die Grundzeile gleich GEWICHT * (laufende Grundzeile) + 1 (1 - Gewicht) * Y min. gesetzt werden. Bei dieser Rechenformel entspricht Y dem minimalen Y-Wert des Worts und das "Gewicht" ist eine Konstante gleich ca. 0,5. Bei vorsichtiger Korrektur kann das Gewicht größer als dieser Wert sein, bei stärkerer Korrektur ist das Gewicht etwas geringer.
Hinsichtlich der Wortausrichtung ist bei langen Wörtern, egal ob sie Zeichen mit Unterlängen enthalten oder nicht, zu beachten, daß Zeichen ohne Unterlängen auf einer Grundzeile liegen. Diese Grundzeile muß dann ermittelt und so korrigiert werden, daß sie für Anzeigezwecke der Horizontalen entspricht. Fig. 5 zeigt die Methodik dieses Verfahrens. Beim Detektor 50 für Wortlängen geht ein unkorrigiertes Wort ein. Entsprechend einer vorgegebenen Zeichenzahl wird die Länge des Worts bestimmt. Übersteigt die Wortlänge die vorgegebene Mindestzeichenzahl, gilt das Wort als "langes Wort" und es wird mit Hilfe des Bestimmungselements 53 für Wortgrundzeilen eine Grundzeile für dieses Wort festgelegt. Hierzu werden Kästchen gezeichnet, deren Breite etwa der eines einzelnen Zeichens entspricht, und die so hoch gehalten sind, daß alle Punkte für die entsprechende Breite darin Platz finden. Hohe Kästchen enthalten Überlängen bzw. Unterlängen des betreffenden Alphabets, niedrige Kästchen dagegen Ligaturen. Kästchen mittlerer Höhe enthalten Zeichen ohne Überlängen bzw. Unterlängen sowie Zeichen, die auf der Grundzeile liegen. Anschließend erfolgt die Auswahl aus einer vorab festgelegten Anzahl Kästchen mittlerer Höhe und es werden durch Kurveneinpassung der unteren Koordinaten die Daten für die Grundzeilenneigung ermittelt. Mit der auf diese Weise berechneten Neigung werden die Y-Koordinaten korrigiert, so daß das Wort horizontal erscheint.
Nachdem alle Wörter horizontal ausgerichtet wurden und die Grundzeile aller Wörter ermittelt wurde, müssen die Wörter vertikal verschoben werden, so daß sie der laufenden Grundzeile der untersuchten Zeile entsprechen. Daher wird die Wortgrundzeile in ein Register 54 der Fig. 5 eingegeben und daraus eine neue Grundzeile ermittelt.
Wird das erste Wort einer Zeile geschrieben, existiert natürlich noch keine laufende Grundzeile. Als Anhaltspunkt für den Grundzeile kann liniertes Papier oder eine vom Verfasser angebrachte Markierung dienen. Andernfalls wird für den Anfang die Grundzeile des ersten Worts (deren Berechnung unten beschrieben ist) verwendet und später, wenn die darauffolgenden Wörter geschrieben werden, entsprechend angepaßt, wenn es sich bei diesem ersten Wort um ein kurzes Wort handelte. Hierzu wird das Register 56 für die laufende Grundzeile verwendet. Ein näherungsweise bestimmter Anfangswert wird z.B. anhand von liniertem Papier, Benutzer-Vorgabewerten oder der Grundzeile des ersten Worts festgelegt. Beim Schreiben weiterer Wörter wird Register 56 entsprechend Fig. 5 laufend aktualisiert.
Steht als erstes Wort in einer Zeile ein kurzes Wort, wird anhand des unteren Wortendes näherungsweise eine anfängliche laufende Grundzeile festgelegt. Wie aus Fig. 5 hervorgeht, wird diese beim Schreiben der nachfolgenden Wörter neu berechnet.
Steht als erstes Wort ein langes Wort, wird aus der Grundzeile die anfängliche laufende Grundzeile. Diese anfängliche Grundzeile wird nicht neu berechnet. Wie Fig. 5 zeigt, wird daher auf Basis der geschätzten Korrektur der laufenden Grundzeile das Wort im Register 58 umgewandelt, so daß es der laufenden Grundzeile entspricht, und das korrekte Grundzeilenwort wird ausgegeben, so daß es auf der laufenden Grundzeile angezeigt wird. Wie Fig. 5 zeigt, erfolgt die Grundzeilenkorrektur Wort für Wort, während die Zeile nach und nach aufgebaut wird. Die Grundzeilenkorrektur kann auch am Zeilenende erfolgen. Bei ausreichender Verarbeitungsgeschwindigkeit kann eine Zeile auf dem Eingabetablett geschrieben werden und die Anzeige zeilenweise erfolgen, wobei ausreichende Daten in diesem Zeitraum eingehen, so daß die zeilenweise Grundzeilenkorrektur erfolgen kann. Außerdem kann die Anzeige verschoben werden, bis mehrere Zeilen generiert wurden und also mehrere Zeilen auf einmal korrigiert werden können.
Diese Funktionen wurden zwar anhand von Eingabedaten aus der englischen Sprache beschrieben, doch kann die Erfindung auch mit anderen Sprachen eingesetzt werden. Dabei kommt die gleiche Methodik zur Anwendung, doch werden die Werte bestimmter Konstanten entsprechend der Wortlänge, Zeichen usw. der betreffenden Sprache festgelegt.
Wie hier beschrieben, betrifft ein Teil dieses Konzepts die Methodik für die Formatierung handgeschriebener Zeichen für die Anzeige in organisierter Weise, ohne daß der substantielle Gehalt dieser Zeichen erkannt wird. Dieses Konzept umfaßt auch die Algorithmen für das Editieren des NCI-Texts. Der Editiervorgang umfaßt Änderungen, durch die Bildsegmente, die durch die in Fig. 1 gezeigte Wortsegmentierung getrennt und durch die in Fig. 4 dargestellten Abläufe in der Anzeige positioniert wurden, verschoben, gelöscht oder ersetzt werden. Die auszuführenden Editieroperationen können entweder durch Berühren eines Menüpunktes auf dem Tablett oder durch Anbringen spezieller Markierungen für die gewünschte Operation festgelegt werden. Das Editieren umfaßt verschiedene Operationen; beim Anbringen spezieller Markierungen müßten daher maschinell Markierungsarten erkannt werden, d.h. statt Daten müßten Anweisungen erkannt werden. Dies läßt sich durch bekannte Programmierverfahren für Eingabetablett und Schreibstift erreichen, z.B. durch Mustererkennungsverfahren.
Neben Verfahren zur Festlegung der auszuführenden Editierbefehle ermöglicht das System auch die Identifikation der Segmente, die bearbeitet werden solllen, d.h. der Operanden. Die Operanden müssen durch Anfahren mit dem Stift, mit einem Cursor oder einem anderen Zeigeinstrument identifiziert werden, da die uncodierten Bildsegmente nicht anhand ihres Inhalts identifiziert werden können. Auch diese Funktion wird durch die bekannten Programmierverfahren mit Hilfe des Stifts oder Cursors auf dem Schreibtablett ausgeführt. Die Identifikation des NCI- Wortoperanden kann beispielsweise erfolgen, indem einfach das Wort oder der davor bzw. danach folgende Leerraum mit einem Stift, Cursor o.ä. angewählt wird, so daß eine Abgrenzung der durchzuführenden Operation (z.B. Löschen, Einsetzen oder Verschieben) erfolgt. Enthält das Bild auf dem Tablett die aktuelle Darstellung des Bildes, das editiert werden soll, braucht der Benutzer nur mit einem Stift auf die erforderlichen Stellen des Operanden zu deuten.
Wurde das aufgezeichnete Bild jedoch gespeichert, können die Operanden identifiziert werden, indem das Bild auf dem Bildschirm aufgerufen und, sofern ein berührungsempfindliches Anzeigefeld vorhanden ist, mit dem Stift auf das Bild gedeutet wird.
Die Systemlogik für die Position, die auf dem Overlay berührt wurde und die einer Position auf dem Dokument entspricht, ist in dieser Technik bekannt. Das direkte Berühren des Operanden stellt eine natürliche und schnelle Möglichkeit für die Eingabe von Operandendaten dar.
Eine weitere Editieroperation für handgeschriebene Texte betrifft die Einfügung fehlender Striche in einem Wort. Ein häufiges Beispiel hierfür ist der Querstrich im "t". Solange das Wort auf dem Eingabetablett noch zu finden ist, können Striche zur Wortvervollständigung innerhalb des Nachbarschaftsbereichs des Worts erkannt und eingefügt werden, so daß sie als Teil des vervollständigten Worts angezeigt werden können. Geht der Strich jedoch über den Nachbarschaftsbereich hinaus, kann es vorkommen, daß benachbarte Wörter ineinander übergehen. Nach Ausführung aller Striche erfolgt dennoch eine Segmentierung der Wörter.
Bei einem weiteren Editierverfahren wird ein bereits geschriebenes Wort, das geändert werden soll, einfach überschrieben. Dieser Editiervorgang kann als Teil eines Vorgangs ablaufen, bei dem mit einem neuen Strich ein segmentiertes Wort ganz oder teilweise überschrieben und dabei das überschriebene Wort ganz oder teilweise ersetzt wird. Dieses Verfahren kann z.B. für die Korrektur von Rechtschreibfehlern oder zur Trennung eines langen Satzes in zwei Sätze (wobei das erste Wort des zweiten Satzes mit großem Anfangsbuchstaben geschrieben wird) eingesetzt werden.
Ein bereits aufgezeichnetes Wort kann auch überschrieben werden, wenn es gestrichen werden soll. Für derartige Wortstreichungen kann eintypischer "Streichungsstrich" reserviert werden, wie er in normaler Handschrift nie vorkommt. Dies kann z.B. dadurch ablaufen, daß ein Strich über dem Wort, das auf dem Tablett geschrieben wird, erkannt und damit das durch diesen Strich überdeckte Wort erkannt und gelöscht wird. Dies entspricht dem üblichen Vorgang, Wörter handschriftlich zu streichen.
In Fig. 6a und 6b ist das Verfahren für die drei grundlegenden Editieroperationen "Löschen", "Einfügen" und "Verschieben" für NCI-Texte beschrieben. In diesem Beispiel wird der Befehl für diese einzelnen Operationen durch Berühren eines "Funktionstastenfeldes" 82 auf dem Tablett aufgerufen. Die Koordinaten des "Stift-abwärts"-Gate 10, Fig. 1, werden durch den Editiertasten-Koordinatenanalysator 61 analysiert. Stimmen die Koordinaten mit den Werten für eine Löschoperation überein, wird das Lösch-Gate 62 aktiviert und die nachfolgenden Stiftkoordinaten in das Operandenlöschregister 66 geleitet. Der Inhalt des Operandenlöschregisters 66 wird durch die Löschvergleichslogik 69 mit den im Tablett-Wortpositionsspeicher 45 gespeicherten Koordinaten verglichen, woraus die Dokument- Wortfolgenummer(n) des/der zu löschenden Worts/Wörter ermittelt wird. Die Dokument-Wortfolgenummer fungiert als Zeiger für die Wörter im Anzeigewortpositionsspeicher 47, die gelöscht werden sollen. Stand das gelöschte Wort am Anfang eines Abschnitts, wird der Anzeiger für einen neuen Abschnitt auf das darauffolgende Wort übertragen. Die Löschvergleichslogik 69 setzt die Anzeigewortpositionen sowie die Informationen über Abschnitt, Zeile und Zeileneinrückung des Worts, das vor dem gelöschten Wort steht, und die auf das gelöschte Wort folgende Wort folge vom Anzeigewortpositionsspeicher 47 in die entsprechenden Eingabefelder in Fig. 4 für neue Wortenden und die Position des vorangehenden Worts in den Detektoren 39 für Wortenden, Speicher 35 für neue Wortenden, Anzeigenbildpositions-Steuerlogik 43 und Speicher 44 für die Anzeige der Position des vorangegangenen Worts ein. Die Y Y'- Koordinaten aller Wörter, die auf den gelöschten Teil folgen, werden in die Anzeigebild-Umwandlungseinheit 46 eingegeben.
Bei den in Fig. 4 dargestellten Operationen zeichnen die Anzeigebildpositions-Steuerungslogik 43 und die Anzeigebild- Umwandlungseinheit 46 ein neues Anzeigebild im Anzeigewortpositionsspeicher 47 auf, das die gelöschten Wörter nicht mehr enthält.
Wird durch Berühren der Einfüge-Funktionstaste der Einfügebefehl aufgerufen, wird das Einfüge-Gatter 64 durch den Ausgang des Editiertasten-Koordinatenanalysators 62 aktiviert und die nachfolgende Stiftausgabe, die einer Berührung im Tablett- Eingabebereich entspricht, welche den Punkt darstellt, an der die Eingabe erfolgen soll, wird im Operanden-Einfügeregister 68 aufgezeichnet.
Die Einfüge-Vergleichslogik 71 bestimmt die Wortfolgenummern, die der Position des einzufügenden Wortes im Tablett-Wortpositionsspeicher 45 entspricht, und legt damit die Position im Anzeigewortpositionsspeicher 47 fest, an der neue Bilder eingefügt werden. Nachdem die Einfügeposition festgelegt wurde, wird ein neues Bild im Zusatz-Arbeitspufferfeld 83 in Tablett 80 geschrieben. Der Editiertasten-Koordinatenanalysator 61 ermittelt, daß sich der geschriebene Text im Arbeitspufferfeld 83 befindet und läßt durch das Zusatz-Aufzeichnungsgatter 65 die Enden des neuen Worts unter Steuerung durch die Zusatz- Aufzeichnungslogik 72 in den Zusatz-Wortpositionsspeicher 73 übertragen. Die Zusatz-Aufzeichnungslogik 72 setzt die Koordinaten des linken unteren Endes des ersten neuen Worts in die Werte der Einfügeposition im Anzeigewortpositionsspeicher 47 um, wodurch jedes nachfolgende Wort in der Zusatz-Aufzeichnung gegenüber seinem ursprünglichen Standort um den Betrag verschoben wird, um den es im Arbeitspufferfeld verschoben wurde. Zum Abschluß der Einfügeoperation werden die Informationen für die neuen Wörter im Zusatz-Wortpositionsspeicher 73 in entsprechende Eingabefelder in Fig. 4 für die Enden der neuen Wörter und für die Position vorangehender Wörter übertragen, und die Anzeigebildpositions-Steuerlogik 43 sowie die Anzeigebild-Umwandlungseinheit 46 positionieren das eingefügte Wort in den Anzeigewortpositionsspeicher 47 in der in Fig. 4 gezeigten Weise. Die vor dem Einfügevorgang hinter der Einfügestelle stehenden Wörter im Anzeigepositionsspeicher 47 müssen entsprechend dem Ende der eingefügten Wörter neu positioniert werden. Die Einfüge-Vergleichslogik 71 setzt die Koordinaten des linken unteren Endes dieser Wörter in eine Position hinter dem letzten Wort des eingefügten Textteils um, worauf die modifizierten Werte dieser Wörter im Anzeigewort- Positionsspeicher 47 an die Anzeigebildpositions-Steuerungslogik 43 und die Anzeigebild-Umwandlungseinheit 46 zur Neupositionierung im Anzeigewort-Positionsspeicher 47 übertragen werden.
Wird die Funktionstaste "Verschieben" berührt, wird das Verschiebe-Gatter 63 aktiviert und die Koordinaten der nachfolgenden Tastenberührungen im Verschiebe-Operandenregister 67 erfaßt. Die ersten beiden Tastenberührungen definieren das Segment der handschriftlichen Seite, das verschoben werden soll. Die Koordinaten der dritten Tastenberührung definieren die Position, an der die verschobenen Wörter eingefügt werden sollen.
Die Verschiebe-Vergleichslogik 70 legt die Wortfolgenummern fest, die diesen Positionen entsprechen, indem auf die im Tablett-Wortpositionsspeicher 45 gespeicherten Daten zugegriffen wird. Wird die Verschiebung ausgeführt, setzt die Verschiebe- Vergleichslogik 70 das linke untere Ende des ersten Worts, das verschoben werden soll, in die Koordinaten der Einfügeposition im Anzeigewortpositionsspeicher 47 um. Jedes nachfolgende Wort, das verschoben werden soll, wird soweit verschoben, daß die relativen Wortpositionen im Anzeigewortpositionsspeicher 47 erhalten bleiben. Die durch den eigentlichen Verschiebevorgang nicht verschobenen Wörter werden anschließend automatisch soweit verschoben, daß der Leerraum wieder ausgefüllt wird und die richtigen relativen Positionen wiederhergestellt sind. Die Verschiebe-Vergleichslogik 70 setzt dann die Koordinaten des linken unteren Endes des ersten Worts nach der Einfügestelle in einer Position direkt nach dem rechten Ende des letzten verschobenen Wortes um. Alle nachfolgenden Wörter werden um einen entsprechenden Betrag verschoben, so daß sie ihre Relativpositionen im Anzeigewortpositionsspeicher 47 beibehalten.
Dies unterstreicht, daß diese Konzeption die grundlegenden Texteditierfunktionen ermöglicht, d.h. Verschieben und Löschen von Zeichen sowie die Grundformatierung zur Organisation dieser Zeichen für die anschließende Speicherung und Anzeige.
Selbstverständlich können auch Modifikationen dieser Erfindung ohne Abweichung von den beigefügten Ansprüchen ausgeführt werden. Wie in Fig. 6a gezeigt, ist beispielsweise das für die Dateneingabe verwendete Tablett lichtundurchlässig. In manchen Anwendungsbereichen läßt sich die Dateneingabe leichter durch Verwendung eines Anzeige-Overlays vornehmen. Bei diesen Modifikationen kommt ein abweichendes Dateneingabeverfahren zum Einsatz.
Es ist darauf hinzuweisen, daß bei derartigen Konzepten die Funktionen des Anzeigewortpositionsspeichers 47 und des Tablett- Wortpositionsspeichers 45 nahezu identisch sind und durch eine einzige Baueinheit implementiert werden könnten.
Die Tablettorganisation aus Fig. 6a zeigt ein mögliches Format. Offenkundig ließen sich die Befehlsfunktionen auch durch ein Zusatzgerät ausführen, d.h. durch Tasten außerhalb des Tablettbereichs.

Claims

1. System für Dateneingabe- und Anzeige der Art, bei welcher ein Eingabestift (84) verwendet wird, um eine Reihe handgeschriebener Striche in ein X-Y-Tablett (80) einzutragen, bei welchem die Striche in Koordinatensignale umgewandelt werden, wobei die Reihe von Strichen nachfolgend in eine Reihe von Wörtern für eine Anzeige auf einem Anzeigebildschirm segmentiert wird und das System durch folgendes gekennzeichnet ist:

einen Detektor (12) für Strichenden, um während einer Zeitperiode aktuelle Werte für Enden eines neuen Strichs zu speichern, wenn sich der Eingabestift (84) in Kontakt mit dem Tablett (80) befindet, wobei die aktuellen Werte für Enden aus den maximalen und minimalen Komponenten der Koordinatensignale erhalten werden, welche dem Strich entsprechen,

ein Vergleichersystem (14) zum Empfangen der aktuellen Werte für Enden und zum Vergleichen derselben mit früheren Werten für Enden, die einem vorhandenen Wort entsprechen und aus einem Speicher (19) für Wortenden erhalten werden, um zu bestimmen, ob der neue Strich außerhalb eines vorbestimmten Nachbarschaftsbereichs liegt, der aus den früheren Werten für Enden erhalten wird,

bei welchem falls der neue Strich innerhalb des Bereichs liegt, er als ein bildender Teil des vorhandenen Worts eingestuft wird, und falls der neue Strich außerhalb des Bereichs liegt, er als der erste Strich eines neuen Wortes eingestuft wird, wobei das vorhandene Wort sodann als ein vorangehendes Wort eingestuft wird.

2. System für Dateneingabe- und Anzeige der Art, bei welcher ein Eingabestift (84) verwendet wird, um eine Reihe handgeschriebener Striche in ein X-Y-Tablett (80) einzutragen, bei welchem die Striche in Koordinatensignale umgewandelt werden, wobei die Reihe von Strichen nachfolgend in eine Reihe von Wörtern für eine Anzeige auf einem Anzeigebildschirm segmentiert wird und das System durch folgendes gekennzeichnet ist:

ein Ausrichtsystem, um Wörter so auszurichten, daß sie bezüglich einer vorbestimmten horizontalen Richtung horizontal liegen und um eine Gruppe solcher horizontaler Wörter so auszurichten, daß sie in einer gemeinsamen horizontalen Zeile liegen, wobei das Ausrichtsystem folgendes aufweist:

einen Grundzeilenspeicher (56) zum Speichern einer laufenden Grundzeile, welche die horizontale Ausrichtung vorangehender horizontaler Wörter repräsentiert,

ein Bestimmungselement (53) für Wortgrundzeilen zum Empfangen eines aktuellen Worts, das aus einer Anzahl von Strichen besteht, mit zugeordneten Koordinatensignalen und zum Berechnen einer Grundzeile für das aktuelle Wort aus den Koordinatensignalen,

eine Korrektureinheit zum Einstellen der Koordinatensignale des aktuellen Wortes so, daß die Grundzeile ausgerichtet wird, um sie mit der vorbestimmten horizontalen Richtung in Ausrichtung zu bringen,

ein Register (54) zum Empfangen der ausgerichteten Grundzeile für das aktuelle Wort aus der Korrektureinheit und zum Ändern der Koordinaten der laufenden Grundzeile in dem Grundzeilenspeicher (56) entsprechend den Koordinaten der ausgerichteten Grundzeile und

ein Umwandlungsregister (58) zum Umwandeln des aktuellen Wortes so, daß dieses in der geänderten laufenden Grundzeile liegt und somit mit den vorangehenden horizontalen Wörtern ausgerichtet ist.

3. System nach Anspruch 2, bei welchem das Ausrichtsystem ferner an seinem Eingang einen Detektor (50) für Wortlängen aufweist, um zu bestimmen, ob das aktuelle Wort länger ist, als eine vorbestimmte Länge und um das aktuelle Wort nur dann zu dem Bestimmungselement (53) für Wortgrundzeilen zu übertragen, wenn jenes Wort länger ist, als die vorbestimmte Länge, andernfalls um das aktuelle Wort zu einem Unterlängendetektor zu übertragen, welcher das Vorhandensein von Unterlängen erfaßt und das aktuelle Wort zu dem Register (54) überträgt, falls es keine Unterlängen gibt.

4. System nach irgendeinem vorgehenden Anspruch, bei welchem der Detektor (12) für Strichenden einen Satz von Komparatoren aufweist, um nachfolgende Koordinatensignale zu vergleichen, die während der Zeitperiode von dem Tablett (80) erzeugt werden, wenn sich der Stift (84) in Kontakt mit dem Tablett befindet, wobei die gespeicherten maximalen oder minimalen Koordinatensignale aus einem Vergleich aller vorangehenden Koordinatensignale erhalten werden, die während der Zeitperiode erhalten werden, wodurch der Detektor (12) für Enden die aktuellen Werte für Enden aktualisiert, wenn der Strich erzeugt wird.

5. System nach Anspruch 4, bei welchem der Satz von Komparatoren vier getrennte Komparatoren aufweist, um das maximale y-Koordinate-Signal, das minimale y-Koordinate- Signal, das maximale x-Koordinate-Signal und das minimale x- Koordinate-Signal zu bestimmen, wobei der Detektor für Strichenden auf diese Weise vier Werte für Enden speichert.

6. System nach irgendeinem vorgehenden Anspruch, das ferner folgendes aufweist:

ein Formatiermittel, um Wörter mit den Enden aneinander zu setzen, um eine Zeile abzuschließen und um zu bestimmen, wenn ein Wort einen neuen Absatz beginnt, um das Wort in einer neuen Zeile entweder einzurücken oder auszurücken oder um eine Zeile zu überspringen und mit jenem Wort einen neuen Satz zu beginnen.

7. System nach Anspruch 6, bei welchem das Formatiermittel folgendes aufweist:

Detektormittel (39), um auf Grund von Koordinatensignalen Positionen für Enden neuer Wörter zu bestimmen, wenn sie zu dem x-y-Tablett (80) eingegeben werden, Speichermittel (40a, 40b, 40c) für Enden, um Werte für Enden zu speichern, die maximale links-, rechts-, und untere Positionen von Eingabewörtern repräsentieren,

Mittel (36), um Werte für Enden eines vorangehenden Eingabewortes zu speichern und

ein Vergleichermittel (41), um zu bestimmen, ob ein Eingabewort einem vorangehenden Wort in derselben Zeile folgt, eine neue Zeile ohne Einrücken beginnt, eine Zeile überspringt oder eine neue, bezüglich vorangehender Zeilen horizontal versetzte Zeile beginnt.

8. System nach Anspruch 7, bei welchem das Vergleichermittel (41) logische Mittel aufweist, um den oberen Wert für Enden eines Eingabewortes mit dem gespeicherten maximalen unteren Wert für Enden zu vergleichen, wobei die logischen Mittel eine Ausgabe zum Überspringen einer Zeile erzeugen, wenn der obere Wert für Enden um mehr als einen vorbestimmten Betrag über den gespeicherten unteren Wert für Enden liegt.

9. System nach Anspruch 7 oder Anspruch 8, bei welchem das Vergleichermittel (41) logische Mittel aufweist, um die Differenz zwischen einem gespeicherten linken maximalen Wert für Enden und einem linken Wert für Enden eines Eingabeworts mit einem vorbestimmten Wert zu vergleichen, wobei die logischen Mittel eine Ausgabe zum Beginnen einer neuen Zeile ohne Einrücken erzeugen, wenn der Vergleich kleiner ausfällt, als der vorbestimmte Wert.

10. System nach irgendeinem der Ansprüche 7, 8 oder 9, bei welchem das Vergleichermittel (41) logische Mittel aufweist, um einen oberen Wert für Enden eines Eingabewortes mit einem gespeicherten oberen Wert für Enden eines vorangehenden Wortes zu vergleichen, wobei die logischen Mittel eine Ausgabe zum Setzen eines Eingabeworts in dieselbe Zeile, wie das vorangehende Wort erzeugen, wenn die Vergleichsergebnisse sodann ein vorbestimmter Wert sind und das linke Ende des Eingabeworts um ein vorbestimmtes Maß größer ist, als das gespeicherte rechte Ende des vorangehenden Worts.

11. System nach irgendeinem der Ansprüche 7, 8, 9 oder 10, bei welchem das Vergleichermittel einen Detektor für neue Absätze aufweist, um zu bestimmen, ob ein Eingabewort das erste Wort eines neuen Absatzes ist.

12. System nach irgendeinem vorgehenden Anspruch, bei welchem das x-y-Tablett (80) folgendes aufweist: einen interaktiven Bereich (82), der auf den Eingabestift (84) anspricht, um Aufbereitungsbefehle für eine Eingabe an ein Aufbereitungsmittel zu erzeugen und einen Bereich (83) um Ersatzwörter einzugeben.

13. System nach Anspruch 12, bei welchem das Aufbereitungsmittel folgendes aufweist:

ein Editierkoordinatenanalysator (61)-Mittel, um den Funktionsbefehl zu bestimmen, der durchgeführt werden soll, Mittel (65) zum Speichern eines Operanden des Funktionsbefehls, der durchgeführt werden soll,

logische Mittel (62, 63, 64) zum Durchführen des Operanden und

Mittel (47) zum Speichern des aufbereiteten Bildes.

14. System nach Anspruch 12 oder Anspruch 13, bei welchem das Editiermittel Mittel (67, 70) aufweist, um segmentierte Wörter des handgeschriebenen Bildes in Stellen auf dem Anzeigebildschirm zu verschieben, die sich der Position nach von den Positionen einer direkten Abbildung des x-y-Tabletts auf die Anzeige unterscheiden.

15. System nach irgendeinem der Ansprüche 12 bis 14, bei welchem das Editiermittel Mittel (66, 69) aufweist, um Teile des handgeschriebenen Bildes zu löschen.