DE2835434A1

DE2835434A1 - Video signal transmission over narrow band channel - using transformation code and displaying picture continuously during reconstruction

Info

Publication number: DE2835434A1
Application number: DE19782835434
Authority: DE
Inventors: Georg Dipl Ing Kummerfeldt; Helmut Dipl Ing Mangold; Franz Dipl Ing May
Original assignee: Licentia Patent Verwaltungs GmbH
Current assignee: Licentia Patent Verwaltungs GmbH
Priority date: 1978-08-12
Filing date: 1978-08-12
Publication date: 1980-02-21
Also published as: DE2835434C2

Abstract

The transmission systems uses transformation coding to convert samples of the picture signal into spectral coefficients which are then sent consecutively to a receiver. At the receiver the spectral coefficients are stored and continuously subjected to re-transformation. The reconstructed picture is displayed continuously during its reconstruction phase. Spectral coefficients of the lowest order are transmitted first and then those of the next highest order, and so on. The advantage lies in the picture's being displayed as soon as possible at the receiver.

Description

"Verfahren zur tbertragung von Bildsignalen über schmalbandi-"Process for the transmission of image signals over narrowband

ge tbertragungskanäle" Die Erfindung betrifft ein Verfahren zur Ubertragung von Bildsignalen über schmalbandige Ubertragungskanäle unter Verwendung einer Transformationscodierung, bei der Abtastwerte des Bildsignales blockweise in Spektralkoeffizienten gewandelt werden und die Spektralkoeffizienten zeitlich nacheinander zum Empfänger übertragen werden.transmission channels "The invention relates to a method for transmission of image signals via narrow-band transmission channels using transformation coding, converted into spectral coefficients in blocks of the sampled values of the image signal and the spectral coefficients are transmitted to the receiver one after the other will.

Ein bekanntes Verfahren, die Bandbreite von Bildsignalen zu reduzieren, ist die Transformationscodierung, wie sie beispielsweise in Proceedings of the IEEE, Vol. 60, No. 7, (Juli 1972), S. 809-820 beschrieben ist. Dabei wird jeweils eine vorgegebene Anzahl von Bildpunkte, die mehr oder weniger durch die Eigenschaften der Bildsignale voneinander statistisch abhängig sind, in eine, in der Regel kleinere Anzahl nahezu unabhängiger Koeffizienten umgewandelt. Transformationen, welche die statistischen Eigenschaften von Bildsignalen besonders gut berücksichtigen, sind die Fouriertransformation, die Cosinustransformation und die Slanttransformation. Letztere ist beispielsweise in IEEE Trans. on Communications, (August 1974), No. 8, S. 1075-1093 beschrieben.A well-known method of reducing the bandwidth of image signals is the transformation coding, as it is, for example, in the Proceedings of the IEEE, Vol. 60, No. 7, (July 1972), pp. 809-820. In each case one predetermined number of pixels that are more or less by the properties of the image signals are statistically dependent on each other, into one, usually smaller Number of nearly independent coefficients converted. Transformations that the take into account statistical properties of image signals particularly well the Fourier transform, the cosine transform and the slant transform. The latter is for example in IEEE Trans. On Communications, (August 1974), No. 8, pp. 1075-1093.

Allen Transformationen gemeinsam ist, daß die den Grauwerten des Bildes entsprechenden analogen Bildsignalrabgetastet werden, die Abtastwerte einer Analog/Digital-Wandlung unterzogen werden und Jeweils eine vorgebbare Anzahl von digital gewandelten Abtastwerten, beispielsweise die eines gesamten Bildes oder Teilbildes, als Datenblock betrachtet mittels eines Rechners entsprechend den Regeln der gewählten Transformation transformiert werden. Da in der Regel die Bildsignale schneller anfallen als der Rechner die Transformation ausführen kann, werden für die Dauer der Transformation die Bildsignale Jeweils gespeichert. Die bei der Transformation entstehenden Spektralkoeffizienten, die vom Rechner als Codeworte jeweils parallel ausgegeben werden, werden seriell mit einer dem schmalbandigen Ubertragungskanal angepaßten Geschwindigkeit übertragen und zwar in der Reihenfolge der Ordnung der Koeffizienten und empfangsseitig durch eine Rücktransformation in das ursprüngliche Bildsignal zurückverwandelt. Diese Rücktransformation wird jedoch erst dann durchgeführt, wenn sämtliche Koeffizienten eines Bildes auf der Empfangsseite empfangen worden sind. Das hat den Nachteil, daß bei einem Ubertragungskanal mit geringer Bitrate zwischen zwei übertragenen Bildern jeweils ein Abstand von mehreren Sekunden liegt und die Übertragung bewegter Bilder praktisch unmöglich ist.What all transformations have in common is that they affect the gray values of the image corresponding analog image signal are sampled, the sampled values of an analog / digital conversion are subjected and a predeterminable number of digitally converted samples, for example that of an entire image or partial image, viewed as a data block transformed by means of a computer according to the rules of the selected transformation will. Since the image signals are usually generated faster than the computer does the transformation can perform, the image signals are each for the duration of the transformation saved. The spectral coefficients resulting from the transformation, the are output in parallel as code words by the computer, are serialized with transmit a speed adapted to the narrowband transmission channel namely in the order of the order of the coefficients and on the receiving side by an inverse transformation back into the original image signal. These Inverse transformation is only carried out when all the coefficients of an image have been received on the receiving side. That has the disadvantage that in a transmission channel with a low bit rate between two transmitted Images are separated by several seconds and the transmission is more moving Pictures is practically impossible.

Der Erfindung liegt die Aufgabe zugrunde, den Stand der Technik zu verbessern, so daß empfangsseitig schon möglichst bald ein Bild empfangen werden kann, die Bildübertragung nicht länger dauert als unbedingt notwendig und die Bildübertragung möglichst gut an die Wünsche des empfangsseitigen Bildbetrachters angepaßt werden kann.The invention is based on the object of providing the prior art improve so that an image can be received as soon as possible at the receiving end can, the image transfer does not take longer than absolutely necessary and the image transfer be adapted as well as possible to the wishes of the image viewer at the receiving end can.

Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art erfindungsgemäß dadurch gelöst, daß empfangsseitig die Spektralkoeffizienten gespeichert werden und ständig eine Rücktransformation durchgeführt wird und das rekonstruierte Bild während seiner Aufbauphase ständig dargestellt wird.This task is performed in a method of the type mentioned at the beginning solved according to the invention in that the spectral coefficients are stored on the receiving side and continuously an inverse transformation is carried out and the reconstructed Image is constantly displayed during its construction phase.

Durch das erfindungsgemäße Verfahren wird der Vorteil erreicht, daß der Empfänger in kürzester Zeiten zwar gering aufgelösteS Bild übertragen bekommt, das Jedoch schon wesentliche Merkmale des Gesamtbildes erkennen läßt. Bei einer Datenrate von einigen kBit/s wird eine so schnelle Aufeinanderfolge der gering aufgelösten Bilder möglich, daß Bewegungsabläufe erkennbar werden. Dabei ergibt sich der weitere Vorteil, daß die Übertragung der Spektralkoeffizienten gegenüber Ubertragungsfehler relativ unempflindlich ist.The inventive method has the advantage that the recipient receives low-resolution images in the shortest possible time, which, however, already reveals essential features of the overall picture. At a A data rate of a few kBit / s is such a fast succession of low resolution Images are possible so that motion sequences can be recognized. This results in the other Advantage that the transmission of the spectral coefficients compared to transmission errors is relatively insensitive.

Einen in der Regel den Anforderungen des empfangsseitigen Betrachters befriedigenden Bildaufbau erhält man, wenn zunächst der Spektralkoeffizient niedrigster Ordnung, d. h.As a rule, the requirements of the receiving-side viewer A satisfactory image structure is obtained when the spectral coefficient is lowest first Order, d. H.

der Gleichstrommittelwert, dann der nächsthöheren Ordnung und sofort übertragen werden. Um eine ständige Rücktransformation und Darstellung zu ermöglichen, müssen die bereits übertragenen Spektralkoeffizienten am Empfangs ort entsprechend ihrer Ordnung gespeichert werden. Das Bild gewinnt dann während der Zeit zunehmend an Schärfe und Detailreichtum und der Betrachter ist in der Lage, rechtzeitig zu erkennen, ob das gewünschte Bild übertragen wird und kann die Übertragung dann abbrechen lassen, wenn seine Information über das Bild bereits ausreicht.the DC mean value, then the next higher order and immediately be transmitted. In order to enable constant inverse transformation and representation, must match the already transmitted spectral coefficients at the receiving location stored in their order. The picture then wins while increasingly in sharpness and richness of detail over time and the viewer is able to to recognize in time whether the desired image is being transmitted and can carry out the transmission then cancel when his information about the image is sufficient.

Es ist für natürliche Bilder typisch, daß bei der Transformation der Bildsignale ein Teil der Spektralkoeffizienten Null oder so klein sind, daß deren Übertragung nicht erforderlich ist. Es ist dann von Vorteil, wenn die Reihenfolge der zeitlichen Übertragung der Spektralkoeffizienten von der Größe des Betrages der verschiedenen Spektralkoeffizienten gesteuert wird und durch eine Adreßcodierung dem Empfänger die Ordnung des übertragenen Spektralkoeffizienten mitgeteilt wird.It is typical of natural images that when the Image signals a part of the spectral coefficients are zero or so small that their Transfer is not required. It is then beneficial if the order the temporal transmission of the spectral coefficients of the size of the amount of the various spectral coefficients is controlled and by address coding the order of the transmitted spectral coefficient is communicated to the receiver.

Hierdurch wird erreicht, daß markante Bildstrukturen möglichst schnell übertragen werden.In this way it is achieved that distinctive image structures as quickly as possible be transmitted.

Die Transformation der digital gewandelten Abtastwerte eines vollständigen Bildes in Spektralkoeffizienten ist u. U. sehr aufwendig, so daß dies nur mit teueren Rechnern und unerwunschter Verarbeitungszeit möglich ist. Es ist dann zweckmäßig, das Bild in Teilbilder zu zerlegen und die Transformation der Abtastwerte der Bildsignale der Teilbilder blockweise durchzuführen. Allein die Übertragung der Spektralkoeffizienten erster Ordnung der Teilbilder, die den Gleichstrommittelwert der Teilbilder kennzeichnen, gibt dem empfangsseitigen Betrachter bereits einen groben Überblick über das zu erwartende Bild, so daß auf diese Art und Weise mit weniger Rechneraufwand und kürzerer Verarbeitungszeit eine schnelle Bildübertragung möglich wird. Diese Art der Bildübertragung dürfte aüoh für viele Notdienste wie z. B. Polizei, Feuerwehr in- teressant sein, insbesondere da es dadurch möglich wird, bestimmte Teile des Bildes, beispielsweise den mittleren Bereich schneller aufbauen zu lassen als die übrigen.The transformation of the digitally converted samples of a complete Image in spectral coefficients is under certain circumstances very complex, so that this is only possible with expensive ones Computers and undesired processing time is possible. It is then appropriate to break down the image into partial images and the transformation of the sample values of the image signals to carry out the partial images in blocks. Only the transmission of the spectral coefficients first order of the partial images, which characterize the DC mean value of the partial images, already gives the receiving-side viewer a rough overview of this expecting picture, so that in this way with less computational effort and shorter Processing time a fast image transfer becomes possible. This type of image transfer should also be used for many emergency services such as B. Police, fire brigade in interesting especially since it makes it possible to include certain parts of the image, for example to let the middle area build up faster than the rest.

Es ist dann von Vorteil, die Menge der Spektralkoeffizienten Je Teilbild entsprechend der Leistung (Varianz) der Spektralkoeffizienten im Teilbild vorzunehmen und die ausgewählten Spektralkoeffizienten mit ihren Adressen zu übertragen.It is then of advantage to determine the number of spectral coefficients for each partial image according to the performance (variance) of the spectral coefficients in the partial image and transmit the selected spectral coefficients with their addresses.

Durch den Wegfall für das auf zubauende Bild unwichtiger Spektralkoeffizienten läßt sich auch dadurch eine schnellere Bildübertragung erzielen.By eliminating unimportant spectral coefficients for the image to be built on this also enables faster image transmission to be achieved.

Ebenfalls interessant für Notdienste dürfte es sein, zwischen Bender und Empfänger einen Rückkanal vorzusehen, so daß der Betrachter die Auswahl der Spektralkoeffizienten selbst steuern kann. Auf diese Weise ist es möglich, den jeweils für den Betrachter interessierenden Bildbereich in gewünschter Schärfe aufbauen zu lassen, was in sehr kurzer Ubertragungszeit auch über schmalbandige ftbertragungskanäle wie z. B. Telefonkanäle möglich ist.It should also be interesting for emergency services, between Bender and receiver to provide a return channel so that the viewer can choose the Can control spectral coefficients itself. In this way it is possible for each Build up the image area of interest to the viewer in the desired sharpness to let what in a very short transmission time over narrow-band transmission channels such as B. telephone channels is possible.

Die Erfindung wird nun anhand eines in einer Figur dargestellten Ausführungsbeispiels näher erläutert. Die Figur zeigt das Blockschaltbild einer Anordnung zur erfindungsgemäßen Übertragung von Bildsignalen unter Verwendung einer Transformationscodierung.The invention is now based on an embodiment shown in a figure explained in more detail. The figure shows the block diagram of an arrangement for the invention Transmission of image signals using transform coding.

Die beispielsweise von einer Fernsehkamera abgegebenen Signale werden zunächst in an sich bekannter Weise abgetastet. Die Abtastwerte sind in der Figur mit X (k, 1, m) bezeichnet und können quantisiert oder auch bereits digitalisiert vorliegen. Die Indizes k, 1, m der Abtastwerte bedeuten k n Bildpunktnummer, 1 = Zeilennummer und m r Bildnummer.The signals emitted, for example, by a television camera initially scanned in a manner known per se. The samples are in the figure with X (k, 1, m) and can be quantized or already digitized are present. The indices k, 1, m of the samples mean k n pixel number, 1 = line number and m r image number.

Liegen die Daten z. B. in digitaler Form vor, werden in einem Rechner 1 die Abtastwerte einer 2-dimensionalen Transformation unterzogen, wobei sich die eine Dimension der Transformation auf die Zeile und die zweite Dimension auf die Spalte eines Bildes bezieht. Die vom Rechner ermittelten Spektralkoeffizienten Y (u, v, m) werden nun einem Quantisierer 2 ugeführt und anschließend einem Codierer 3, der eine Adreßcodierung durchführt.Are the data z. B. in digital form, are in a computer 1 subjected the samples to a 2-dimensional transformation, the one dimension of the transformation on the row and the second dimension on the Column of an image. The spectral coefficients Y determined by the computer (u, v, m) are now fed to a quantizer 2 and then to an encoder 3, which performs address coding.

Wie bereits oben beschrieben, ist bei der Transformation der Bildsignale ein Teil der Spektralkoeffizienten Null oder so klein, daß deren Übertragung nicht erforderlich ist. Zur Datenreduktion ist daher die Auswahlsteuerung 4 am Ausgang des Rechners angbschlossen, welche die Größe des Betrages der Spektralkoeffizienten überwacht und nur bei Überschreiten eines vorgegebenen Betrages den Quantisierer 2 veranlaßt, einen quantisierten Spektralkoeffizienten an den Coder 3 abzugeben und ebenfalls durch ein Steuerzeichen den Coder 3 veranlaßt, beispielsweise den von ihm ermittelten Abstand zweier aufeinanderfolgender Spektralkoeffizienten als Adresse mit über den Ubertragungskanal 5 zu übertragen.As already described above, the transformation of the image signals some of the spectral coefficients zero or so small that their transmission is not is required. The selection control 4 is therefore at the output for data reduction of the computer, which the size of the amount of the spectral coefficients monitors and the quantizer only when a specified amount is exceeded 2 causes a quantized spectral coefficient to be sent to the coder 3 and also causes the coder 3 by a control character, for example the distance between two successive spectral coefficients determined by him as Address to be transmitted via the transmission channel 5.

Im Falle einer Zerlegung des Bildes in Teilbilder und der blockweisen Transformation der Teilbilder ermittelt die Auswahlsteuerung die Leistung der Spektralkoeffizienten in den Teilbildern und entscheidet, wie viele und welche Koeffizienten in den jeweiligen Teilbildern übertragen werden.In the case of a breakdown of the image into partial images and the blocks Transformation of the partial images, the selection control determines the performance of the spectral coefficients in the sub-images and decides how many and which coefficients in the respective Partial images are transmitted.

Empfangsseitig sorgt nun der Decodierer 6 mit seinem Speicher dafür, daß die einlaufenden Spektralkoeffizienten in der richtigen zeitlichen Reihenfolge als. Spektralkoeffizienten r (u, v, m) der Einrichtung 7, beispielsweise einem empfangsseitigen Rechner zur inversen 2-dimensionalen Transformation übergeben werden.On the receiving side, the decoder 6 with its memory ensures that that the incoming spectral coefficients in the right time Order as. Spectral coefficients r (u, v, m) of the device 7, for example transferred to a receiving-side computer for inverse 2-dimensional transformation will.

Im Laufe der Dauer der Bildübertragung wird der Speicher mit den übertragenen Spektralkoeffizienten gefüllt, wobei das wiedergegebene Bild infolge der ständigen Rücktransformation an Qualität zunimmt.In the course of the duration of the image transfer, the memory will be filled with the transferred Spectral coefficients filled, with the displayed image as a result of the constant Inverse transformation increases in quality.

Nach der Rücktransformation durch den Rechner 7 entsteht ein weitgehend den Abtastwerten X (k, 1, m) entsprechendes Signal x (k, 1, m), das im Falle quantisierter Abtastwerte über einen D/A-Wandler und Tiefpaß der empfangsseitigen Bildwiedergabe einrichtung zugeführt werden kann.After the reverse transformation by the computer 7, a largely the signal x (k, 1, m) corresponding to the samples X (k, 1, m), which in the case of quantized Samples via a D / A converter and low-pass filter of the image reproduction on the receiving side device can be supplied.

Es zeigt sich, daß das erfindungsgemäße Verfahren besonders gute Ergebnisse liefert, wenn als 2-dimensionale Transformation die Cosinustransformation verwendet wird, die beispielsweise in IEEE Trans. on Comm., Vol. 25, No. 11, Nov. 1977, S. 1329-1339 beschrieben ist.It turns out that the method according to the invention has particularly good results returns if the cosine transformation is used as the 2-dimensional transformation for example, in IEEE Trans. on Comm., Vol. 25, No. Nov. 11, 1977, pp. 1329-1339.

LeerseiteBlank page

Claims

Patent claims method for the transmission of image signals over narrowband Transmission channels using transform coding in which samples of the image signal are converted into spectral coefficients and the spectral coefficients are transmitted one after the other to the receiver, characterized in that At the receiving end, the spectral coefficients are stored and an inverse transformation is constantly carried out is carried out and the reconstructed image is constantly being used during its construction phase is pictured.

2. The method according to claim 1, characterized in that first the lowest order spectral coefficient, then the next higher order and transferred immediately.

3. The method according to claim 1, characterized in that the sequence the temporal transmission of the spectral coefficient of the Size of the amount of the various spectral coefficients is controlled and by an address coding gives the receiver the order of the transmitted spectral coefficient is communicated.

4. The method according to claim 1 and 2, characterized in that the Image is broken down into partial images and the transformation of the sample values of the image signals the partial images is carried out in blocks.

5. The method according to claim 4, characterized in that each partial image a different number of spectral coefficients is selected and transmitted will.

6. The method according to claim 5, characterized in that the amount the spectral coefficients to be transmitted per sub-image according to the power the spectral coefficient is selected in the partial image.

7. The method according to claim 5, in the event that between the transmitter and Receiver a Rfickkanal is provided, characterized in that the selection the spectral coefficient per sub-image can be controlled at the receiving end.