[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE69824554T2 - Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung - Google Patents

Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung Download PDF

Info

Publication number
DE69824554T2
DE69824554T2 DE69824554T DE69824554T DE69824554T2 DE 69824554 T2 DE69824554 T2 DE 69824554T2 DE 69824554 T DE69824554 T DE 69824554T DE 69824554 T DE69824554 T DE 69824554T DE 69824554 T2 DE69824554 T2 DE 69824554T2
Authority
DE
Germany
Prior art keywords
image
motion
sequence
images
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69824554T
Other languages
English (en)
Other versions
DE69824554D1 (de
Inventor
P. Richard KLEIHORST
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pendragon Wireless LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8229102&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE69824554(T2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of DE69824554D1 publication Critical patent/DE69824554D1/de
Publication of DE69824554T2 publication Critical patent/DE69824554T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00098—Systems or arrangements for the transmission of the picture signal via a television channel, e.g. for a series of still pictures with or without sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Description

  • BEREICH DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erzeugen eines Standbildes mit hoher Auflösung, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: das Empfangen einer Sequenz von Bildern mit einer niedrigeren Auflösung; das Schätzen von Bewegung in der genannten Sequenz von Bildern mit einer niedrigeren Auflösung mit Sub-Pixelgenauigkeit; und das Erzeugen eines Standbildes mit hoher Auflösung aus der genannten Sequenz von Bildern mit niedrigerer Auflösung und mit der genannten geschätzten Bewegung. Die vorliegende Erfindung bezieht sich ebenfalls auf eine Anordnung zum Erzeugen eines Standbildes mit hoher Auflösung, beispielsweise eine elektronische Standbild-Kamera.
  • HINTERGRUND DER ERFINDUNG
  • Ein bekanntes Verfahren zum Erzeugen eines Standbilder mit hoher Auflösung der eingangs beschriebenen Art ist in der Europäischen Patentanmeldung EP-A-0 731 600 beschrieben. Bei diesem bekannten Verfahren wird eines der Bilder mit einer niedrigeren Auflösung als Bezugsbild selektiert, und die relative Bewegung zwischen den Pixeln des Bezugsbildes und jedem der anderen Bilder wird mit Sub-Pixelgenauigkeit geschätzt. Unter Verwendung der auf diese Weise geschätzten Bewegung werden die Bilder mit einer niedrigeren Auflösung in die Hochauflösungs-Domäne hochskaliert und miteinander kombiniert zum Erzeugen des Bildes mit hoher Auflösung. Die relative Bewegung ist in Form einer Abbildungstransformation dargestellt.
  • AUFGABE UND ZUSAMMENFASSUNG DER ERFINDUNG
  • Es ist nun u.a. eine Aufgabe der vorliegenden Erfindung, ein Verfahren zu schaffen zum Erzeugen von Standbildern mit vorteilhaften Effekten in Termen der Leistung und praktischen Implementierungen.
  • Dazu umfasst das Verfahren nach der vorliegenden Erfindung die nachfolgenden Schritte, das Aussetzen der Sequenz von Bildern einer bewegungskompensierten prädiktiven Codierung, wobei Bewegungsvektoren erzeugt werden, die eine Bewegung zwischen aufeinander folgenden Bildern der genannten Sequenz darstellen; das Decodieren der genannten codierten Bilder; und das Erzeugen des Hochauflösungsbildes aus den genannten decodierten Bildern und den in dem genannten Codierungsschritt erzeugten Bewegungsvektoren.
  • Die Erzeugung eines Hochauflösungsbildes aus einer Sequenz von Bildern mit einer niedrigeren Auflösung basiert auf der Verfügbarkeit von Subpixel-Bewegungsinformation. Die Anwendung von bewegungskompensierter prädiktiver Codierung auf Basis von Bewegung zwischen aufeinander folgenden Bildern (statt einer Bewegung zwischen jedem Bild und einem festen Bezugsbild) steigert die Wahrscheinlichkeit, dass Bewegungsvektoren mit Subpixel-Genauigkeit erhalten werden. Die Leistung des Verfahrens wird auf diese Art und Weise wesentlich verbessert. Die vorliegende Erfindung bietet ebenfalls den Vorteil, dass die Sequenz bewegungskompensierter, prädiktiv codierter Bilder mit niedrigerer Auflösung eine komprimierte Darstellung des Hochauflösungsstandbildes ist. Auf entsprechende Art und Weise kann das Standbild auf effiziente Weise gespeichert und/oder übertragen werden. Weil die Bewegungsvektoren einen Teil der gespeicherten Daten bilden, kann das Hochauflösungsbild dann erhalten werden, ohne dass es notwendig ist, dass ein anderer Bewegungsschätzer vorgesehen wird. Ein weiterer Vorteil ist, dass bei der Wiedergabe der Benutzer die Erzeugung des Hochauflösungsstandbildes wählen kann oder die ursprüngliche Video-Sequenz mit niedrigerer Auflösung wiedergeben kann.
  • Vorzugsweise umfasst der Schritt der Codierung der Sequenz von Bildern die Verwendung eines MPEG-Codierers, der dazu vorgesehen ist, eine IPPP..Sequenz codierter Bilder zu erzeugen. Kosteneffektive MPEG-Codierer mit einem hohen Kompressionsverhältnis sind durchaus verfügbar.
  • Bei einer Ausführungsform der vorliegenden Erfindung wird das Hochauflösungsstandbild durch rekursive Hinzufügung eines aktuellen decodierten Bildes zu einem vorher erzeugten Bild erhalten, wobei das genannte, vorher erzeugte Bild entsprechend dem Bewegungsvektor, der mit dem aktuellen decodierten Bild assoziiert ist, einer Bewegungskompensation ausgesetzt wird. Dadurch wird erzielt, dass das Standbild in einem einzigen Bildspeicher allmählich aufgebaut wird.
  • Die vorliegende Erfindung kann ebenfalls benutzt werden zum Erzeugen eines Hochauflösungsstandbildes aus einer bereits verfügbaren (empfangenen oder aufge zeichneten) Sequenz bewegungskompensierter, prädiktiv codierter Bilder mit einer niedrigeren Auflösung, beispielsweise einem MPEG-Bitstrom.
  • KURZE BESCHREIBUNG DER ZEICHNUNG
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im vorliegenden Fall näher beschrieben. Es zeigen:
  • 1 einige Bilder zur Erläuterung des bekannten Verfahrens zum Erzeugen eines Hochauflösungsbildes,
  • 2 ein Blockschaltbild eines Systems, das das Verfahren zum Erzeugen eines Hochauflösungsbildes nach der vorliegenden Erfindung durchführt,
  • 3 und 4 einige Bilder zur Erläuterung der Wirkung des Systems aus 2.
  • BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
  • 1 zeigt einige Bilder zur Erläuterung des bekannten Verfahrens zum Erzeugen eines Hochauflösungsbildes. In dieser Figur zeigen die Bilder A1, A2 und A3 drei aufeinander folgende Phasen eines beweglichen Gegenstandes. Die Bilder B1, B2 und B3 bezeichnen die entsprechenden Pixelwerte auf einem Niederauflösungsgitter, wie dies von einem Niederauflösungs-Bildsensor erzeugt wird. In dieser Beschreibung werden Pixel einen Wert in dem Bereich 0-100 haben, wobei der Wert 0 nicht in den jeweiligen Bilddarstellungen dargestellt ist.
  • In dem Stand der Technik werden Bewegungsmengen zwischen den Pixeln eines festen Bezugsbildes und jedem der nachfolgenden Bilder berechnet. In dem in 1 dargestellten Beispiel ist das Bild B1 das Bezugsbild. Zur Vereinfachung des Beispiels wird vorausgesetzt, dass alle Pixel des Gegenstandes die gleiche Bewegungsmenge aufweisen, so dass ein einziger Bewegungsvektor für jedes nachfolgende Bild erhalten wird. Auf entsprechende Weise stellt der Bewegungsvektor m12 die Menge an Bewegung zwischen den Bildern B1 und B2 dar. Es wird vorausgesetzt, dass der Vektor den Wert m12=(1,½) ist, was eine Bewegung um 1 Pixel nach rechts und ½ Pixel nach oben bedeutet. Auf gleiche Weise bezeichnet der Bewegungsvektor m13 die Menge an Bewegung zwischen den Bildern B1 und B3. Es wird vorausgesetzt, dass dieser Vektor den Wert m13 = (1½,½) hat.
  • Die Bilder C1, C2 und C3 sind die betreffenden Versionen von Bildern B1, B2 und B3 auf dem Hochauflösungsgitter. Sie werden durch Aufwärts-Abtastung erhalten. In diesem Beispiel, wobei die Bewegungsschätzung mit Halbpixel-Genauigkeit durchgeführt wird, ist die Hochauflösung zweimal größer als die Niederauflösung, und zwar in der horizontalen sowie in der vertikalen Richtung. Die Aufwärts-Abtastung wird durch vierfache Wiederholung jedes Pixels durchgeführt.
  • Die Bilder D1, D2 und D3 sind die Bilder, die durch Rückwärtsbewegung der Bilder C1, C2 und C3 über einen Abstand entsprechend den Bewegungsvektoren erhalten worden sind. Die betreffenden Bewegungsvektoren m'12 und m'13 in der Hochauflösungs-Domäne werden durch Multiplikation der ursprünglichen Bewegungsvektoren m12 und m13 in der Niederauflösungs-Domäne durch den Auflösungsverbesserungsfaktor-2 erhalten. Auf diese Weise wird das Bild C2 um 2 Pixel nach links und um 1 Pixel nach unten verschoben und das Bild C3 wird um 3 Pixel nach links und um 1 Pixel nach unten verschoben.
  • Zum Schluss ist das Bild E das Ergebnis der Zusammenaddierung der Bilder D1, D2 und D3 und der Teilung der Summe durch 3 (die Anzahl Bilder). Wie ersichtlich, startet das Bild E zum Enthüllen von Hochauflösungseinzelheiten des ursprünglichen Gegenstandes. Je mehr weitere Bilder auf diese An und Weise verarbeitet werden, umso besser die Ähnlichkeit.
  • 2 zeigt ein Blockschaltbild eines Systems, das das Verfahren nach der vorliegenden Erfindung durchführt. Das System umfasst einen Bildsensor 1, einen bewegungskompensierten Prädiktionscodierer 2, ein Speichermedium (oder einen Übertragungskanal) 3, einen bewegungskompensierten Prädiktionsdecoder 4 und eine Prozessorschaltung 5 zum Erzeugen des Hochauflösungsbildes. Der Bildsensor empfängt Bilder Ai entsprechend den Bildern A1, A2 und A3 aus 1 und erzeugt digitalisierte Niederauflösungsbilder Bi entsprechend den Bildern B1, B2 und B3 aus 1.
  • Der bewegungskompensierte Prädiktionscodierer 2 (vorzugsweise ein Standard-MPEG-Codierer, wie die Philips integrierte Schaltung SAA7650) codiert und komprimiert die Bilder entsprechend der MPEG2 Codierungsnorm. Der Codierer umfasst einen Subtrahierer 21, einen Addierer 22, einen Frame-Speicher 23, einen Bewegungsschätzer 24 und einen Bewegungskompensator 25. Elemente die zum Verständnis der vorliegenden Erfindung nicht wesentlich sind, wie ein diskreter Kosinus-Transformator, einen Quantisierer und einen Variable-Längen-Codierer sind fortgelassen. Die Wirkung des Codierers wird kurz anhand der 3 näher erläutert. In dieser Figur sind die Eingangsbilder A1, A2 und A3 und deren Gegenhänger B1, B2 und B3 dieselben wie in 1.
  • Das erste Bild B1 der Sequenz wird autonom codiert. Bei MPEG-Codierung wird ein derartiges Bild meistens als ein I-Bild bezeichnet. In 3 zeigt das Bild D1 die Pixelwerte des autonom codierten Bildes. Das Bild wird dem Ausgang des Codierers zugeführt und auch in dem Frame-Speicher 23 gespeichert.
  • Die weiteren Bilder B2 und B3 werden prädiktiv codiert. Bei der MPEG-Codierung werden sie meistens als P-Bilder bezeichnet. Zum Codieren dieser Bilder berechnet der Bewegungsschätzer 24 die Menge an Bewegung zwischen dem aktuellen Bild Bi und dem gespeicherten vorher codierten Bild Bi-1. Meistens wird die genannte Bewegungsschätzung auf Basis der Blöcke von 16*16 Pixeln durchgeführt. Unter Verwendung des berechneten Bewegungsvektors erzeugt der Bewegungskompensator 25 ein Prädiktionsbild Ci, das von dem Bild Bi subtrahiert wird um codiert zu werden zum Bilden eines anderen Ausgangsbildes Di. Das Prädiktionsbild Ci und die codierte Differenz Di werden durch den Addierer 22 addiert und in dem Frame-Speicher 23 gespeichert.
  • Das Bild C2 in 3 ist das bewegungskompensierte Prädiktionsbild zum Codieren des Bildes B2. Wie in dem Stand der Technik wird vorausgesetzt, dass der betreffende Bewegungsvektor m12 den Wert (1,½) hat. Das Bild B2 wird auf diese Weise in Form eines Differenzbildes codiert, das als D2 in 3 dargestellt ist.
  • Auf gleiche Weise ist das Bild C3 das bewegungskompensierte Prädiktionsbild zum Codieren des Bildes B3. Es sei bemerkt, dass der Bewegungsvektor m23 für die Menge an Bewegung zwischen den Bildern B2 und B3 repräsentativ ist. Dies ist im Gegensatz zu dem Stand der Technik, wobei alle Bewegungsvektoren in Bezug auf dasselbe Bezugsbild B1 berechnet werden. In dem vorliegenden Beispiel hat der Bewegungsvektor m23 den Wert (½,0). Das Bild B3 wird nun in Form eines Differenzbildes D3 codiert.
  • In 2 werden die codierten Bilder Di gemeinsam mit den Bewegungsvektoren m in einem Speichermedium 3 gespeichert oder über einen Übertragungskanal übertragen. Daraufhin wird die ursprüngliche Sequenz von Niederauflösungsbildern durch den bewegungskompensierten Prädiktionsdecoder 4 decodiert. Auch hier sind nur die relevantesten Elemente dieses (MPEG) Decoders dargestellt, d. h. einen Addierer 41, einen Frame-Speicher 42 und einen Bewegungskompensator 43, der die Bewegungsvektoren m, wie diese von dem Codierer erzeugt werden, enthält.
  • Nach Rekonstruktion der ursprünglichen Niederauflösungsbilder wird das Hochauflösungs-Standbild rekursiv durch die Verarbeitungsschaltung 5 erzeugt. Wie in 2 dargestellt, umfasst die Verarbeitungsschaltung 5 eine Aufwärts-Abtastschaltung 51, einen Multiplizierer 52, einen Addierer 53, einen Frame-Speicher 54 und einen Bewegungskompensator 55.
  • 4 zeigt mehrere Bilder zur Erläuterung der Wirkung der Verarbeitungsschaltung. Die Bilder B1, B2 und B3 sind die decodierten Niederauflösungsbilder, die von dem Prädiktionsdetektor 4 geliefert werden. Abgesehen von Artefakten, die mit den Unzulänglichkeiten der Kompression durch den Codierer einher gehen, entsprechen sie den Bildern B1, B2 und B3 aus den 1 und 3. Die Bilder E1, E2 und E3 sind die Versionen in der Hochauflösungs-Domäne. Sie werden durch den Aufwärts-Abtaster 51 durch Pixelwiederholung geliefert.
  • In einem ersten Wiederholungsschritt liefert die Verarbeitungsschaltung 5 das erste Hochauflösungsbild G1 und führt es in den Frame-Speicher 54 ein. Weil das erste Bild ein I-Bild ist, ist das Ausgangsbild G1 dasselbe wie das Eingangsbild E1.
  • In einem zweiten Wiederholungsschritt werden das nächste Hochauflösungsbild E2 und ein bewegungskompensiertes vorhergehendes Bild F2 durch den Addierer 53 addiert. Das bewegungskompensierte Bild F2 wird durch Verschiebung des gespeicherten Bildes G1 um zwei Pixel nach rechts und um ein Pixel nach oben entsprechend dem Bewegungsvektor m'12 = (2,1) erhalten, was zweimal dem ursprünglichen Bewegungsvektor m12 entspricht. Das Bild G2 ist das Resultat dieses Wiederholungsschrittes. Die dargestellten Pixelwerte sind normalisiert worden, d. h. durch zwei geteilt, welche die bisher verarbeitete Anzahl Bilder ist. Wie ersichtlich, erscheinen die Hochauflösungseinzelheiten zuerst in der vertikalen Richtung. Es erscheinen noch keine Einzelheiten in der horizontalen Richtung, weil der ursprüngliche Bewegungsvektor m12 einen Sub-Pixel-Anteil nur in der vertikalen Richtung hat. Das Ausgangsbild G2 (ohne dass der Normalisierungsfaktor angewandt ist) wird in dem Frame-Speicher 54 gespeichert.
  • In einem dritten Wiederholungsschritt werden das nächste Hochauflösungsbild E3 und ein bewegungskompensiertes vorhergehendes Bild F3 addiert. Dieses letztere wird dadurch erhalten, dass das gespeicherte Bild G2 um ein Pixel nach rechts entsprechend dem Bewegungsvektor m'23 = (1,0) verschoben wird. Das Bild G3 ist das Ergebnis dieses Wiederholungsschrittes. Die dargestellten Pixelwerte werden nach Teilung durch 3 erhal ten, welche die Anzahl bisher verarbeiteter Bilder ist. Wie ersichtlich erscheinen nun die Hochauflösungseinzelheiten auch in der horizontalen Richtung, weil der ursprüngliche Bewegungsvektor m23 einen Sub-Pixelanteil in dieser Richtung hat.
  • Die oben beschriebenen Schritte werden für jedes weitere Bild in der Sequenz decodierter Bilder wiederholt. Je mehr aufeinander folgende P-Bilder auf diese Weise verarbeitet werden, umso besser wird das Ausgangsbild dem ursprünglichen Gegenstand gleichen.
  • Es dürfte einleuchten, dass die vorliegende Erfindung den speziellen Vorteil bietet, dass die in der Codierungsphase erhaltenen Bewegungsvektoren ebenfalls in der Standbild-Erzeugungsphase verwendet werden. Es ist nicht notwendig, einen anderen Bewegungsschätzer zu haben. Und ein Speicher für jedes Bild ist auch nicht erforderlich. Weiterhin beziehen sich die Bewegungsvektoren auf das unmittelbar vorhergehende Bild statt auf ein festes Bezugsbild. Weil Bewegung zwischen aufeinander folgenden Bildern relativ gering ist, ist die Wahrscheinlichkeit, dass man Bewegungsvektoren erhält mit einer Halb-Pixel-Genauigkeit (was für Auflösungsverdopplung wesentlich ist) deswegen wesentlich größer als bisher.
  • Die vorliegende Erfindung ermöglicht es ebenfalls, dass Standbilder als eine Sequenz komprimierter Niederauflösungsbilder übertragen oder gespeichert werden, was eine mäßige Übertragungs- oder Speicherkapazität erfordert. Weit verfügbare Standardelemente (MPEG-Codierer und -Decodierer) können verwendet werden und die Sequenz von Niederauflösungsbildern kann ggf. in Form von Bewegungsvideo wiedergegeben werden.
  • Zusammenfassend: ein Verfahren und eine Anordnung zum Erzeugen eines Hochauflösungs-Standbildes. Eine Sequenz von Niederauflösungsbildern wird einer bewegungskompensierten prädiktiven Codierung ausgesetzt, vorzugsweise durch einen MPEG-Codierer, der eine IPPP..-Sequenz codierter Bilder erzeugt. Die relativ kleinen Differenzen zwischen aufeinander folgenden Bildern, die einer Bewegung des Bildsensors oder einer Bewegung in der Szene zuzuschreiben sind, werden spürbar in Bewegungsvektoren mit einer Sub-Pixel-Genauigkeit. Das Hochauflösungsbild wird danach aus den decodierten Bildern und den von dem Codierer erzeugten Bewegungsvektoren erzeugt.
  • Die vorliegende Erfindung kann insbesondere bei elektronischen Standbildkameras mit einem Speichermedium angewandt werden. Der MPEG-Codierer sorgt für die Datenkompression und der Decoder ermöglicht ebenfalls eine Wiedergabe der ursprünglichen Bewegtbild-Sequenz.

Claims (13)

  1. Verfahren zum Erzeugen eines Hochauflösungs-Standbildes, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Empfangen einer Sequenz von Bildern mit einer niedrigeren Auflösung; – das Schätzen von Bewegung in der genannten Sequenz von Bildern mit einer niedrigeren Auflösung mit Sub-Pixelgenauigkeit; und – das Erzeugen eines Standbildes mit hoher Auflösung aus der genannten Sequenz von Bildern mit niedrigerer Auflösung und mit der genannten geschätzten Bewegung; dadurch gekennzeichnet, dass das Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Aussetzen der Sequenz von Bildern einer bewegungskompensierten prädiktiven Codierung, wobei Bewegungsvektoren erzeugt werden, die eine Bewegung zwischen aufeinander folgenden Bildern der genannten Sequenz darstellen; – das Decodieren der genannten codierten Bilder; und – das Erzeugen des Hochauflösungsbildes aus den genannten decodierten Bildern und den in dem genannten Codierungsschritt erzeugten Bewegungsvektoren.
  2. Verfahren nach Anspruch 1, wobei der Erzeugungsschritt die rekursive Addierung, in einer Hochauflösungsdomäne, eines aktuellen decodierten Bildes zu einem vorher erzeugten Bild umfasst, wobei das vorher erzeugte Bild einer Bewegungskompensation ausgesetzt wird, und zwar entsprechend dem Bewegungsvektor, der mit dem aktuellen decodierten Bild assoziiert ist.
  3. Verfahren nach Anspruch 1, wobei dieses Verfahren weiterhin den Verfahrensschritt der Speicherung der codierten Bilder auf einem Speichermedium umfasst.
  4. Verfahren nach Anspruch 1, wobei der Verfahrensschritt der Codierung der Sequenz von Bildern die Verwendung eines MPEG-Codierers umfasst, der zum Erzeugen einer IPPP..-Sequenz codierter Bilder vorgesehen ist.
  5. Verfahren zum Erzeugen eines Hochauflösungs-Standbildes aus einer Sequenz von Niederauflösungsbildern, empfangen in Form bewegungskompensierter, prädiktiv codierter Bilder und aus Bewegungsvektoren, die Bewegung zwischen aufeinander folgenden Bildern der genannten Sequenz darstellen, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Decodieren der genannten codierten Bilder; und – das Erzeugen des Hochauflösungsbildes aus den genannten decodierten Bildern und den empfangenen Bewegungsvektoren.
  6. Verfahren nach Anspruch 5, wobei der Erzeugungsschritt eine rekursive Addierung, in der Hochauflösungsdomäne, eines aktuellen decodierten Bildes zu einem vorher erzeugten Bild umfasst, wobei das genannte vorher erzeugte Bild einer Bewegungskompensation entsprechend dem Bewegungsvektor ausgesetzt wird, der mit dem aktuellen decodierten Bild assoziiert ist.
  7. Verfahren nach Anspruch 5, wobei die Sequenz bewegungskompensierter prädiktiv codierter Bilder und Bewegungsvektoren in Form eines MPEG-Video-Bitstroms mit einer IPPP..-Sequenz codierter Bilder empfangen wird.
  8. Anordnung zum Erzeugen eines Hochauflösungs-Standbildes, wobei diese Anordnung die nachfolgenden Elemente umfasst: – Mittel (1) zum Empfangen einer Sequenz von Niederauflösungsbildern; – Mittel zum Schätzen von Bewegung in der genannten Sequenz von Niederauflösungsbildern mit Sub-Pixel-Genauigkeit; und – Mittel (5) zum Erzeugen des Hochauflösungs-Standbildes aus der genannten Sequenz von Niederauflösungsbildern und den genannten Bewegungsvektoren; dadurch gekennzeichnet, dass die Anordnung weiterhin die nachfolgenden Elemente umfasst: – einen Codierer (2) um die Sequenz von Bildern einer bewegungskompensierten, prädiktiven Codierung auszusetzen, wobei dieser Codierer einen Bewegungsschätzer (24) aufweist zum Erzeugen von Bewegungsvektoren, die Bewegung zwischen aufeinander folgenden Bildern der genannten Sequenz darstellen; – einen Decoder (4) zum Decodieren der genannten codierten Bilder; wobei die Erzeugungsmittel (5) vorgesehen sind zum Erzeugen des Hochauflösungsbildes aus den genannten decodierten Bildern und den von dem Codierer (2) erzeugten Bewegungsvektoren.
  9. Anordnung nach Anspruch 8, wobei die Erzeugungsmittel Mittel (53, 54) umfassen zum rekursiven Addieren, in der Hochauflösungsdomäne, eines aktuellen decodierten Bildes zu einem vorher erzeugten Bild, wobei das vorher erzeugte Bild einer Bewegungskompensation (55) ausgesetzt wird, und zwar entsprechend dem Bewegungsvektor, der mit dem aktuellen decodierten Bild assoziiert ist.
  10. Anordnung nach Anspruch 8, weiterhin mit einem Speichermedium (3) zur Speicherung der codierten Bilder.
  11. Anordnung nach Anspruch 8, wobei der Codierer (2) ein MPEG-Codierer ist, der zum Erzeugen einer IPPP..-Sequenz codierter Bilder vorgesehen ist.
  12. Anordnung zum Erzeugen eines Hochauflösungs-Standbildes, wobei diese Anordnung die nachfolgenden Elemente umfasst: – Mittel zum Empfangen einer Sequenz von Niederauflösungsbildern in Form bewegungskompensierter, prädiktiv codierter Bilder und Bewegungsvektoren, die Bewegung zwischen aufeinander folgenden Bildern der genannten Sequenz darstellen; – einen Decoder (4) zum Decodieren der genannten codierten Bilder; und – Mittel (5) zum Erzeugen des Hochauflösungsbildes aus den genannten decodierten Bildern und den empfangenen Bewegungsvektoren.
  13. Bildaufzeichnungs- und -wiedergabeanordnung mit einer Anordnung nach Anspruch 10, und weiterhin mit einem Bildsensor (1) zum Erhalten der Niederauflösungsbilder.
DE69824554T 1997-12-22 1998-12-07 Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung Expired - Lifetime DE69824554T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP97204055 1997-12-22
EP97204055 1997-12-22
PCT/IB1998/001966 WO1999033024A1 (en) 1997-12-22 1998-12-07 Method and arrangement for creating a high-resolution still picture

Publications (2)

Publication Number Publication Date
DE69824554D1 DE69824554D1 (de) 2004-07-22
DE69824554T2 true DE69824554T2 (de) 2005-06-30

Family

ID=8229102

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69824554T Expired - Lifetime DE69824554T2 (de) 1997-12-22 1998-12-07 Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung

Country Status (6)

Country Link
US (1) US6349154B1 (de)
EP (1) EP0961991B1 (de)
JP (1) JP4863333B2 (de)
KR (1) KR100519871B1 (de)
DE (1) DE69824554T2 (de)
WO (1) WO1999033024A1 (de)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020141501A1 (en) * 1998-11-20 2002-10-03 Philips Electronics North America Corporation System for performing resolution upscaling on frames of digital video
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
JP2003501902A (ja) 1999-05-27 2003-01-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号の符号化
US6956971B1 (en) * 1999-07-20 2005-10-18 Lg Electronics Inc. Terminal and method for transporting still picture
CN1433559A (zh) * 1999-12-10 2003-07-30 杜兰德技术有限公司 分形和/或无序技术的应用改进或有关方面
KR100773501B1 (ko) * 2001-04-17 2007-11-06 엘지전자 주식회사 디지털 카메라의 영상 저장장치 및 방법
US20080036886A1 (en) * 2001-06-29 2008-02-14 Hannigan Brett T Methods For Generating Enhanced Digital Images
US7088467B1 (en) * 2001-07-06 2006-08-08 Hewlett-Packard Development Company, L.P. Digital video imaging with high-resolution still imaging capability
US7085323B2 (en) * 2002-04-03 2006-08-01 Stmicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
JP3897684B2 (ja) * 2002-11-22 2007-03-28 キヤノン株式会社 画像記録方式
JP4099578B2 (ja) * 2002-12-09 2008-06-11 ソニー株式会社 半導体装置及び画像データ処理装置
US7394969B2 (en) * 2002-12-11 2008-07-01 Eastman Kodak Company System and method to compose a slide show
JP2005039794A (ja) 2003-07-18 2005-02-10 Matsushita Electric Ind Co Ltd 表示処理方法及び表示処理装置
CN1926578B (zh) 2004-03-02 2010-12-29 皇家飞利浦电子股份有限公司 运动补偿
US7352919B2 (en) * 2004-04-28 2008-04-01 Seiko Epson Corporation Method and system of generating a high-resolution image from a set of low-resolution images
EP1631089A1 (de) * 2004-08-30 2006-03-01 Matsushita Electric Industrial Co., Ltd. Videokodierungs- und Videodekodierungsvorrichtung
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
US7856154B2 (en) * 2005-01-19 2010-12-21 The United States Of America As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
CN2804798Y (zh) * 2005-06-21 2006-08-09 吴东明 一种带磁性装置的水平尺
WO2011021913A2 (ko) * 2009-08-21 2011-02-24 에스케이텔레콤 주식회사 차분 움직임 벡터의 정밀도를 고려한 움직임 벡터 부호화/복호화 방법 및 장치, 및 그를 위한 영상처리 장치 및 방법
US20110102915A1 (en) * 2009-10-30 2011-05-05 Michael Pham Device to create high definition photos
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US9544587B2 (en) 2012-05-14 2017-01-10 Google Technology Holdings LLC Scalable video coding with enhanced base layer
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
WO2019010233A1 (en) 2017-07-05 2019-01-10 Red. Com, Llc PROCESSING VIDEO IMAGE DATA IN ELECTRONIC DEVICES
DE102019132514B3 (de) * 2019-11-29 2021-02-04 Carl Zeiss Meditec Ag Optisches Beobachtungsgerät sowie Verfahren und Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
JP2666662B2 (ja) * 1992-06-29 1997-10-22 日本ビクター株式会社 階層型符号化装置及び復号化装置
US5341174A (en) * 1992-08-17 1994-08-23 Wright State University Motion compensated resolution conversion system
JPH0715654A (ja) * 1993-06-28 1995-01-17 Ricoh Co Ltd 静止画像合成方法
CN1166170C (zh) * 1994-09-21 2004-09-08 索尼公司 图象控制装置、图象控制系统及图象控制方法
JPH08214201A (ja) * 1994-11-28 1996-08-20 Canon Inc 撮像装置
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6023535A (en) * 1995-08-31 2000-02-08 Ricoh Company, Ltd. Methods and systems for reproducing a high resolution image from sample data
US5825927A (en) * 1996-01-16 1998-10-20 Hitachi America, Ltd. Methods and apparatus for encoding video data in a manner that is well suited for decoding by regular or downconverting decoders
JPH1023426A (ja) * 1996-07-01 1998-01-23 Sony Corp 画像予測方法及び画像符号化方法
US5943445A (en) * 1996-12-19 1999-08-24 Digital Equipment Corporation Dynamic sprites for encoding video data

Also Published As

Publication number Publication date
EP0961991A1 (de) 1999-12-08
DE69824554D1 (de) 2004-07-22
WO1999033024A1 (en) 1999-07-01
EP0961991B1 (de) 2004-06-16
JP2001515679A (ja) 2001-09-18
KR20000075603A (ko) 2000-12-26
JP4863333B2 (ja) 2012-01-25
US6349154B1 (en) 2002-02-19
KR100519871B1 (ko) 2005-10-11

Similar Documents

Publication Publication Date Title
DE69824554T2 (de) Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung
DE69313692T2 (de) Kodierung und Dekodierung zur Videokompression mit automatischer Halbbild/Bild Bewegungskompensation auf der Subpixelebene
DE69221191T2 (de) Verfahren und Vorrichtung zur Prädiktiven Kodierung eines Bildsignals mit Bewegungskompensation
DE60015566T2 (de) Verfahren und vorrichtung zur komprimierung eines bewegungsvektorfeldes
DE69535228T2 (de) Bildumsetzungsvorrichtung
DE69908562T2 (de) Bewegungsvektorenextrapolation zur transkodierung von videosequenzen
DE4343211B4 (de) Adaptives Bildkompressionsverfahren und adaptive Bildkompressionsvorrichtung
DE69323123T2 (de) Kodierung und Dekodierung von Bildsignalen
DE69323541T2 (de) Verfahren und System zum Kodieren und/oder Dekodieren der Farbartsignale eines Bildsignals
DE69738264T2 (de) Videokodierungs- und Videodekodierungsvorrichtung
DE69522861T2 (de) Verfahren und Einrichtung zur Codeumwandlung von codiertem Datenstrom
DE69027785T2 (de) Einrichtung zur Zwischenbild-Vorhersagekodierung eines Videosignals
DE60014444T2 (de) Verfahren und vorrichtung zur bewegungsschätzung unter verwendung von nachbarmacroblöcken
DE69421135T2 (de) Verfahren zur vermeidung von rundungsfehlern bei der inversen transformation von transformationskoeffizienten eines bewegtbildsignals
DE69323156T2 (de) Bilddatenkomprimierungs/Dekomprimierungssystem
DE69324960T2 (de) Kodierung und Dekodierung
DE69116869T2 (de) Digitale bildkodierung mit einer zufallsabtastung der bilder
DE69233505T2 (de) Videokodierungssystem
DE69525525T2 (de) Bildverarbeitungssystem unter Verwendung von Pixel-zu-Pixel Bewegungsschätzung und Bilddezimation
DE69129595T2 (de) Systeme und Verfahren zur Kodierung alternierender Halbbilder in Zeilensprungbildsequenzen
DE69324958T2 (de) Kompression und Dekompression von Bildern
DE69330620T2 (de) Verfahren und Einrichtung zur Bildkodierung
DE19704439C2 (de) Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien
DE69417480T2 (de) Bestimmung von Bewegungsvektoren in einem Videokodierer mit Bilddezimation
DE69422564T2 (de) Verfahren zur halbpixel Bewegungskompensation in Bilddekodierung

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: IPG ELECTRONICS 503 LTD., ST. PETER PORT, GUER, GB

8328 Change in the person/name/address of the agent

Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER, 12489 BERLIN

R081 Change of applicant/patentee

Ref document number: 961991

Country of ref document: EP

Owner name: PENDRAGON WIRELESS LLC (A NEVADA MANAGED LIMIT, US

Free format text: FORMER OWNER: IPG ELECTRONICS 503 LTD., ST. PETER PORT, GB

Effective date: 20121213

R082 Change of representative

Ref document number: 961991

Country of ref document: EP

Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER, DE

Effective date: 20121213