DE69509577T2 - Anordnung zur Verminderung des Rauschens unter Verwendung von zeitvarianten Filterkoeffizienten - Google Patents
Anordnung zur Verminderung des Rauschens unter Verwendung von zeitvarianten FilterkoeffizientenInfo
- Publication number
- DE69509577T2 DE69509577T2 DE69509577T DE69509577T DE69509577T2 DE 69509577 T2 DE69509577 T2 DE 69509577T2 DE 69509577 T DE69509577 T DE 69509577T DE 69509577 T DE69509577 T DE 69509577T DE 69509577 T2 DE69509577 T2 DE 69509577T2
- Authority
- DE
- Germany
- Prior art keywords
- noise
- block
- motion
- components
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015654 memory Effects 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 17
- 238000012935 Averaging Methods 0.000 description 13
- 108010067930 structure-specific endonuclease I Proteins 0.000 description 11
- 230000002457 bidirectional effect Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
Description
- Die vorliegende Erfindung bezieht sich auf die Verringerung von Rauschen im allgemeinen, und insbesondere auf die Verringerung von Rauschen in Videosignalen. Insbesondere werden ein Verfahren und eine Vorrichtung zum Verringern von Rauschen in einem Videosignal durch die Mittelwertbildung einer Videoinformation über mehrere Vollbild-(frame) Intervalle unter Verwendung einer bewegungskompensierten Filterung des Rauschens mit zeitvarianten bzw. Zeitvariablen Gewichtungskoeffizienten offenbart.
- Die Verringerung von Rauschen (NR = Noise Reduction) in Bild-Sequenzen kann beides verbessern: Die Bildqualität und den Wirkungsgrad bzw. die Leistungsfähigkeit der nachfolgenden Videokodierung. Dies kommt daher, weil Rauschen in einer Bildsequenz unerwünschte bzw. störende nicht-korrelierte Bild-Komponenten hinzufügt, welche visuell unangenehm sind und welche den Wirkungsgrad von irgendeinem Kompressionsverfahren verringern können, welches sich auf Bild- Korrelationen von Vollbild (frame) zu Vollbild bezieht.
- Wie in einem Buch von J. S. Lim mit dem Titel "Two Dimensional Signal and Image Processing", Prentice Hall, 1990, Seiten 568 ff. ausgeführt, ist ein einfaches Verfahren zum Durchführen einer zeitlichen Filterung dasjenige durch Vollbild- Mittelwert-Bildung. Die Mittelwertbildung bei Vollbildern ist sehr effektiv beim Verarbeiten einer Sequenz bzw. Abfolge von Vollbildern, welche durch ein zufälliges Rauschen gestört bzw. verändert sind, bei welchen jedoch keine große Veränderung der Bildinformation von Vollbild zu Vollbild auftritt.
- Wie aus dem Stand der Technik wohlbekannt, gibt es verschiedene Arten, eine Mittelwertbildung eines Vollbildes durchzuführen. Obwohl die Mittelwertbildung eines Vollbildes sehr einfach und effektiv bzw. wirksam sein kann, ist eine präzise bzw. genaue Signal-Registerhaltigkeit bzw. -Übereinstimmung (signal registration) von Vollbild zu Vollbild für den Erfolg wesentlich. Bei praktischen Anwendungen, wie zum Beispiel bewegten Bildern und Fernsehen, kann sich das Bild von Vollbild zu Vollbild verändern. Teile des Bildes können sich durch einen Verschiebung oder Drehung bewegen, durch Verändern ihrer Größe oder durch Kombination der oben genannten Vorgänge. Bei einigen Systemen nach dem Stand der Technik wird die Mittelwertbildung der Vollbilder nur bei ruhenden Bereichen eines Bildes angewandt, d. h. bei solchen Bereichen, welche keine Bewegung von Vollbild (frame) zu Vollbild aufweisen. Andere Systeme nach dem Stand der Technik versuchen, die Bewegung eines Bildes von einem Vollbild zu dem nächsten zu schätzen und bezüglich dieser Bewegung zu kompensieren durch die Anwendung einer Vollbild-Mittelwertbildung, unter Verwendung von jeweils verschiedenen Teilen der zwei Vollbilder, basierend auf der geschätzten Bewegung. Um diese bewegungs-kompensierte Bild-Wiederherstellung durchzuführen, werden die Teile der Vollbilder entlang angenäherter bzw. approximierter Bewegungs-Trajektorien gemittelt.
- Ein beispielhaftes System zur Verringerung von Rauschen ist in einem Aufsatz des Erfinders beschrieben mit dem Titel "Noise Reduction Using Multi-Frame Motion Estimation, with Outlier Rejection and Trajectory Corrections", IEEE International Conference on Acoustics, Speech and Signal Processing, April 27, 1993, Seiten V- 205 bis V-208. Dieser Aufsatz erläutert ein System zur Verringerung von Video- Rauschen, bei welchem das Rauschen eines Bildes auf einer Pixel-für-Pixel-Basis verringert wird durch Berechnen eines Block-Bewegungsvektors und anschließendem Erzeugen einer korrigierten Trajektorie für jedes Pixel auf einer Vollbild-zu-Vollbild- Basis, um eng korrespondierende bzw. zusammenhängende Pixel-Werte in jedem der Mehrzahl der aufeinanderfolgenden Vollbilder zu lokalisieren. Ein im Rauschen verringertes Bild wird dann erzeugt durch die Mittelung aller Pixel-Werte auf der korrigierten Trajektorie. Dieser Aufsatz beschreibt auch eine Abbruch-Erkennung und ein Korrekturverfahren, welches das Ersetzen eines ursprünglichen Pixel-Wertes durch einen im Rauschen verringerten Pixel-Wert unter bestimmten Bedingungen unterbindet.
- Eine alternative Art, um die Verringerung des Rauschens zu erzielen, ist in einem Artikel von T. J. Dennis offenbart, mit dem Titel "Nonlinear Temporal Filter For Television Picture Noise Reduction", IEEE Proceedings, Band 127, Pt. G, Nr. 2. April 1980, Seiten 52ff. Insbesondere wird ein herkömmlicher rekursiver Inter- Frame Tiefpaß-Filter für ein 625 Zeilen 5,5 MHz monochromatisches bzw. Schwarz- Weiß-Fernsehen so modifiziert, daß jede Dämpfung von Vollbilddifferenzen unmittelbar von der Amplitude der Vollbilddifferenzen abhängt. Demzufolge dämpft der Filter einen großen Bereich einer räumlichen Interferenz, wie zum Beispiel einen Wisch- bzw. Fahneneffekt (streaking), unter der Voraussetzung, daß dieser keine Null-Frequenz oder Vollbild-Frequenz-Bestandteile enthält. Bei der Verwendung dieses Verfahrens können jedoch einige räumliche Verschlechterungen in den Bereichen des Bildes auftreten, welche eine Bewegung enthalten.
- Eine weitere Technik, um die Verringerung des Rauschens zu erzielen, ist in einem Artikel von E. Dubois u. a. offenbart mit dem Titel "Noise Reduction in Image Sequences Using Motion-Compensated Temporal Filtering", IEEE Transactions on Communications, Auflage COM-32, Nr. 7, Juli 1984, Seiten 826 ff. Insbesondere wird der Ansatz des nichtlinearen rekursiven Filterns ausgeweitet durch die Anwendung von Bewegungs-Kompensations-Techniken. Weiterhin wird eine bestimmte Vorrichtung zur Verringerung des Rauschens für die Verwendung bei NTSC zusammengesetzten bzw. aufgebauten Fernsehsignalen offenbart. Anders als bei früheren nicht-rekursiven Filtern niedriger Ordnung kann der Ansatz des nichtlinearen rekursiven Filters, welcher von Dubois beschrieben wurde, das Rauschen in einem größeren Ausmaß verringern, als Systeme zur Verringerung des Rauschens nach dem Stand der Technik.
- Es gibt jedoch praktische Beschränkungen der Fähigkeit eines Schaltkreises, um effektiv bzw. wirksam verschiedene Arten des Rauschens zu verringern.
- Ein weiteres Verfahren zur Verringerung von Bild-Rauschen wird in einem Aufsatz von T. A. Reinen beschrieben mit dem Titel "Noise Reduction in Heart Movies by Motion Compensated Filtering" SPIE, Auflage 1606, Visual Communications and Image Processing '91: Image Processing, Juli, 1991, Seiten 755-763. Dieser Aufsatz erläutert ein Verfahren zur Verwendung einer zeitlichen bewegungs-kompensierten Filterung zur Entfernung von Rauschen bei medizinischen Bild-Sequenzen bzw. Bild- Abfolgen. Dieses Verfahren setzt einen rekursiven Filter erster Ordnung ein, welcher automatisch an die Qualität der Bewegungs-Schätzung adaptiert wird, um einen Kanten-erhaltenden räumlichen Filter darzustellen bzw. zu erzeugen.
- Die EP-A-0 540 872 beschreibt ein Verfahren zur Verringerung von Rauschen. Dieses Verfahren bestimmt die mittlere absolute Differenz zwischen jedem Block in dem Referenz-Vollbild und identisch angeordneten bzw. an derselben Stelle befindlichen Blöcken in angrenzenden bzw. benachbarten Vollbildern. Eine zeitliche Mittelwertbildung wird bei den Blöcken durchgeführt, in Abhängigkeit davon, wo die mittlere absolute Differenz liegt in Bezug auf einen vorgegebenen Grenzwert bzw. eine vorgegebene Schranke. Beim Durchführen der Mittelwertbildung wird jeder Block der Bild-Bestandteile durch einen Koeffizienten gewichtet. Zunehmend bzw. fortschreitend niedrigere Gewichtungen werden Blöcken zugewiesen, welche von dem aktuellen Block der Bildbestandteile weiter entfernt sind.
- Ein anderes Verfahren zur Verringerung von Rauschen ist in der EP-A-0 578 311 beschrieben. Die Verringerung von Rauschen bei der Verarbeitung von Röntgenstrahlen wird durchgeführt unter Verwendung einer gewichteten zeitlichen Mittelwertbildung in Abhängigkeit von der Größe der Bewegung in Teilen von nachfolgenden Röntgenbildern. Ein weiteres Verringern von Rauschen wird durchgeführt durch Kombinieren einer zeitlichen Mittelwertbildung mit einer räumlichen Filterung und einer Bewegungserkennung auf einer Pixel-für-Pixel-Basis. Grenzwerte zum Unterscheiden zwischen Rauschen und Bewegung werden auf der Basis von Bildern berechnet, welche von dem Röntgenstrahl-Detektor erzeugt werden.
- Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Verringerung von Rauschen bei Videoanwendungen unter Verwendung einer zeitlich rekursiven Filterung. Bei der Verwendung dieses Verfahrens wird eine Bewegungs- Schätzvorrichtung zuerst bei einem Block von Pixeln in einem aktuellen Vollbild angewandt, um einen Block von Pixeln aus einem gespeicherten, im Rauschen verringerten Vollbild zu lokalisieren, welches verwendet werden kann, um den Block der Pixel in dem aktuellen Vollbild vorauszusagen bzw. vorauszubestimmen. Diese Blöcke der Pixel werden dann von einem bewegungs-kompensierenden bzw. bewegungs-kompensierten Prozessor zur Verringerung von Rauschen verarbeitet, welcher einen Satz von zeitvarianten bzw. sich mit der Zeit verändernden gewichteten Filterkoeffizienten für die Blöcke berechnet, und dann werden Berechnungen zur Filterung des Rauschens durchführt durch eine Mittelwertbildung der Pixel in den Blöcken, wie durch die Koeffizienten gewichtet.
- Gemäß einem anderen Aspekt der Erfindung unterbindet bzw. unterbricht ein Abbruchs-Detektor das Ersetzen eines Bewegungsblockes durch einen gemittelten Block durch Verarbeiten der Pixel-Werte, welche in dem gemittelten Block enthalten sind, um zu bestimmen, ob die Verringerung des Rauschens effektiv bzw. wirksam war. Die gemittelten Pixel-Werte werden verworfen, wenn bestimmt wurde, daß die Verringerung des Rauschens nicht effektiv bzw. wirksam war.
- Fig. 1 ist ein funktionelles Blockdiagramm eines Systems zur Verringerung von Rauschen gemäß der vorliegenden Erfindung.
- Fig. 2 ist ein Ablaufdiagramm, welches die Arbeitsweise der Bewegungs- Schätzvorrichtung, wie in Fig. 1 gezeigt, veranschaulicht, wenn diese einen Zyklus bzw. Umlauf durch jeden Geschwindigkeitsvektor in jedem Block durchläuft.
- Fig. 3 ist ein Ablaufdiagramm einer auf Block-basierenden Bewegungs- Schätzvorrichtung, welche zur Verwendung mit dem in Fig. 1 gezeigten System geeignet ist.
- Fig. 4 ist ein Ablaufdiagramm, welches die Arbeitsweise des in Fig. 1 gezeigten bewegungs-kompensierenden Prozessors zur Verringerung von Rauschen veranschaulicht, wenn dieser einen Zyklus bzw. Umlauf durch jedes Pixel in jedem Block durchläuft.
- Fig. 5 ist ein Ablaufdiagramm eines auf Blöcken basierenden bewegungskompensierenden Prozessors zur Verringerung von Rauschen, welcher für die Verwendung mit dem in Fig. 1 gezeigten System geeignet ist.
- Fig. 6 ist ein Ablaufdiagramm eines Schaltkreises zum Durchführen einer Abbruchs-Erkennung, welche für die Verwendung mit dem in Fig. 1 gezeigten System geeignet ist.
- Eine beispielhafte Ausführungsform des Systems zur Verringerung von Rauschen ist durch ein Blockdiagramm, wie in Fig. 1 gezeigt, veranschaulicht. Das Eingabe- Signal für dieses System zur Verringerung von Rauschen ist das aktuelle Vollbild (k) und das nächste Vollbild, nämlich k + 1, welches ein Vollbild-Intervall nach dem aktuellen Vollbild dargestellt bzw. angezeigt werden soll. Ein im Rauschen verringertes vorangehendes Vollbild (k - 1) wird auch über einen Speicher 70 für verarbeitete Vollbilder zur Verfügung gestellt.
- Die Erfindung wird im Bezug auf eine beispielhafte Ausführungsform beschrieben, welche einen rekursiven Filter erster Ordnung verwendet, und welche eine Bewegungs-Schätzung verwendet, welche auf Bewegungsblöcken basiert. Es wird jedoch angemerkt, daß die Erfindung unter Verwendung von rekursiven Filtern zweiter oder höherer Ordnung durchgeführt werden kann und mit der Verwendung von anderen Arten einer Bewegungsschätzung. Zum Beispiel würde eine auf Pixel basierende Bewegungsschätzung, wie in dem oben erwähnten Artikel des Erfinders offenbart, oder Bewegungsschätzwerte, welche aus Bewegungs-Vektor-Halbbildern bzw. -Feldern erzeugt wurden, gute Ergebnisse liefern.
- Bei der beispielhaften Ausführungsform der Erfindung sind die Vollbilder (frames) k und k + 1 in jeweiligen Vollbild-Speichern gespeichert (kollektiv als ein Speicher 15 gezeigt). Nur der aktuelle Block von dem Vollbild k wird an den Klassifikator 30 angelegt. Alle drei Vollbilder werden an die auf Blöcken basierendene Bewegungsschätzvorrichtung 20, den bewegungs-kompensierenden Prozessor 50 zur Verringerung des Rauschens, und den Abbruch-Detektor 60 angelegt. Der Bewegungs- Schätzvorrichtung 20 werden aufeinanderfolgende bzw. sukzessive Blöcke von zum Beispiel vier-mal-vier Pixel bzw. Bildelemente innerhalb des aktuellen Vollbildes (k) zur Verfügung gestellt. Diese Blöcke sollen als Bewegungsblöcke verwendet werden. Die Verfahrensschritte, welche nachfolgend beschrieben sind, sind für einen Bewegungsblock. Diese Schritte werden für jeden Bewegungsblock in dem Vollbild k wiederholt, und dann schreitet die Vollbild-Position so fort, daß das im Rauschen verringerte Vollbild k zu dem Vollbild k - 1 wird, und das Vollbild k + 1 wird zum Vollbild k, und ein neues Vollbild wird als ein Vollbild k + 1 zur Verfügung gestellt.
- Bei der beispielhaften Ausführungsform der Erfindung speichert ein Zählwert- Speicher 40 einen Wert, welcher bei der Berechnung des im Rauschen verringerten Pixel-Werts verwendet wird. Dieser bestimmt die Menge des Gewichts bzw. der Gewichtung, welches bei dem bewegungs-kompensierten Pixel-Wert der Vorwärts- Voraussage bzw. -Vorausbestimmung (prediction), F, bei der Berechnung des im Rauschen verringerten Pixelwertes angelegt bzw. eingesetzt werden soll. Der Zählwert stellt eine Anzahl von Pixeln dar, welche kombiniert bzw. verknüpft wurden, um ein entsprechendes im Rauschen verringertes Pixel in dem Speicher 70 für verarbeitete Vollbilder zu erzeugen.
- Die beispielhafte Ausführungsform der Erfindung kann auch Pixel aus dem aktuellen Vollbild mit nur den Pixeln von einem nachfolgenden Vollbild oder mit einer Kombination von Pixeln aus dem vorangehenden Vollbild mitteln, wie in dem Speicher 70 gespeichert, und Pixeln von dem nachfolgenden Vollbild. Der Zählwert verändert die Gewichtungen von nur denjenigen Pixeln, welche von dem Speicher 70 erhalten wurden.
- Der Speicher 70 für das verarbeitete Vollbild speichert das im Rauschen verringerte vorangegangene Vollbild. Dessen Eingabe-Pixel-Werte werden von der Ausgabe des Abbruch-Detektors 60 zur Verfügung gestellt. Die Pixel-Werte, welche in dem Speicher 70 gespeichert werden bzw. sind, werden der Bewegungs-Schätzvorrichtung 20 zur Verfügung gestellt, so daß sie für die weitere Verarbeitung verwendet werden können.
- Der Klassifikator 30 verwendet eine Kanten-Erkennung (edge detection), um ein Maß der Abweichung zu bestimmen, welches in dem aktuellen Block auftritt. Kurz ausgedrückt untersucht der Klassifikator 30 jedes Pixel in dem aktuellen Block, um eine Differenz der Größenordnung zwischen dem Pixel und denjenigen Pixeln zu bestimmen, welche daran in dem Block angrenzend bzw. benachbart sind. Wenn die Differenz größer als ein Referenzwert bzw. Referenzniveau liegt, wird das Pixel als ein Kanten-Pixel markiert. Nach dem Verarbeiten bzw. Untersuchen des gesamten Blockes modifiziert bzw. verändert der Klassifikator 30 die Werte eines Gewichtungsfaktors, w, und eines Grenzwerts, t, für den Block, basierend auf der Anzahl der Kanten in dem Block. Obwohl die beispielhafte Ausführungsform der Erfindung eine Kantenerkennung verwendet, um ein Maß einer Veränderung bzw. Abweichung in einem Block zu bestimmen, wird angemerkt, daß andere Verfahren verwendet werden können, zum Beispiel ein räumliches Filtern der Pixel in dem Block, um den Grad der Wechselstrom- bzw. AC-Energie in dem Block zu bestimmen.
- Der Gewichtungswert, w, und der Grenzwert, t, werden von dem Klassifikator 30 an die Bewegungs-Schätzvorrichtung 20 und den Abbruch-Detektor 60 übermittelt. Der Gewichtungswert, w, und der Grenzwert, t, hängen im allgemeinen von den Arten der Bilder ab, welche verarbeitet werden. Diese können wie folgt berechnet werden. Anfangswerte werden von einem Operator für w und t vorgesehen bzw. zur Verfügung gestellt. Diese Anfangswerte können bestimmt werden, indem die Werte w und t angelegt werden, wie nachfolgend unter Bezugnahme auf die Fig. 3 und 6 beschrieben, für einen Bereich von erwarteten Pixelwerten und modifizieren bzw. verändern von w und t, bis die gewünschten Ausgabewerte erhalten werden.
- Während das System zur Verringerung von Rauschen arbeitet, werden die Werte von w und t modifiziert, basierend auf der Menge der Abweichung bzw. Schwankung in dem aktuellen Block. Wenn der aktuelle Block eine große Menge einer Variation bzw. Schwankung aufweist, ist der Wert von w relativ klein und der Wert von t ist relativ groß. Wenn der Block nur eine kleine Menge einer Variation bzw. Schwankung aufweist, ist der Wert von w relativ groß und der Wert von t ist relativ klein.
- Bei der Verwendung von mehreren Versuchs- (trial) Geschwindigkeitsvektoren bestimmt die Bewegungs-Schätzvorrichtung 20, ob der beste Bewegungs-Schätzwert für den aktuellen Block vorwärts ist (d. h. eine Modifikation des entsprechenden Blocks von dem vorangegangenen Vollbild (k - 1), wie durch den aktuellen Versuchs- Bewegungsvektor bestimmt), rückwärts (d. h. als eine Modifikation des entsprechenden Blocks aus dem nächsten nachfolgenden Vollbild (k + 1), wie durch den aktuellen Versuchs-Bewegungsvektor bestimmt), oder bidirektional (d. h. als eine Modifikation des entsprechenden Blocks von dem vorangegangenen Vollbild und dem nächsten nachfolgenden Vollbild, wie durch den aktuellen Versuchs-Bewegungsvektor bestimmt.
- Der vorausbestimmende Modus wird dann zu dem Prozessor 50 zur Verringerung des Rauschens übertragen, welcher diese Information und die geeigneten Pixel bzw. Bildelemente von den geeigneten Vollbildern k - 1, k, k + 1 verwendet, um einen gemittelten Pixel-Wert für das aktuelle Vollbild zu berechnen.
- Der gemittelte Block der Pixelwerte wird dann von einem Abbruchs-Detektor 60 für die Verringerung des Rauschens verarbeitet. Der Abbruchs-Detektor 60 unterbindet bzw. unterbricht das Ersetzen von einzelnen Pixeln in dem aktuellen Vollbild (k) durch das berechnete im Rauschen verringerte Pixel, wenn die Differenz zwischen dem im Rauschen verringerten Pixel-Wert und dem Pixel-Wert, welcher ersetzt werden soll, um einen Schwellen- bzw. Grenzwert-Faktor, t, größer ist, als die Median- bzw. Mittelwert-Differenz in dem gesamten Vollbild. Wenn diese Bedingung erkannt wird, wird angenommen, daß diese anzeigt, daß die Bewegungs- Schätzvorrichtung und der bewegungs-kompensierende Prozessor zur Verringerung des Rauschens unzutreffend ein Rauschen in dem Bild erkannt bzw. festgestellt haben, anstelle einer gültigen Bildinformation.
- Obwohl diese Erfindung im Bezug auf die serielle Verarbeitung von Bildblöcken beschrieben wurde, wird festgestellt, daß die gleichen Ergebnisse erhalten werden könnten durch die parallele Verarbeitung von Bild-Blöcken. Zum Beispiel könnte die Bewegungs-Schätzung für mehrere Bild-Blöcke parallel fortschreiten bzw. durchgeführt werden und die Verarbeitungs-Schritte, welche verwendet werden, um einen Bewegungs-Schätzwert für einen gegebenen Block zu erzeugen, können parallel durchgeführt werden für verschiedene Versuchs-Bewegungsvektoren.
- Fig. 2 veranschaulicht die Art, auf welche die Bewegungs-Schätzvorrichtung 20 arbeitet, durch Wiederholen ihrer Berechnungen für jeden Geschwindigkeitsvektor in jedem Block. Bei der beispielhaften Ausführungsform der Erfindung wird ein Versuchs-Geschwindigkeitsvektor (dx, dy) von einem Geschwindigkeitsvektor- Speicher 22 bei dem Schritt 210 von der Bewegungs-Schätzvorrichtung 20 zur Verarbeitung abgerufen bzw. gelesen. Obwohl die Versuchs-Bewegungsvektoren so gezeigt bzw. ausgestellt wurden, daß sie von einem Speicher 22 zur Verfügung gestellt werden, wird festgestellt, daß diese auch durch eine andere Vorrichtung zur Verfügung gestellt werden können. Zum Beispiel können die Bewegungsvektoren in Abhängigkeit von einem vorprogrammierten Algorithmus erzeugt werden, oder diese können für jeden Block berechnet werden, basierend auf der Position des Blocks in dem Bild und den Bewegungsvektoren, welche für umgebende Blöcke erzeugt wurden.
- Nachdem der Geschwindigkeitsvektor (dx, dy) verarbeitet wurde, bei Schritt 212 durch das Verfahren zur Bewegungs-Schätzung, wird ein anderer Geschwindigkeitsvektor, bei Schritt 216, von dem Speicher 22 erhalten bzw. ausgelesen. Dies wird fortgesetzt, bis der letzte Geschwindigkeitsvektor in dem Speicher 22 verarbeitet wurde. Bei der beispielhaften Ausführungsform der Erfindung kann der Speicher 22 zum Beispiel Geschwindigkeitsvektoren speichern, welche alle möglichen Verschiebungen des aktuellen Blocks von einer halben Pixel-Position zu einer ganzzahligen N-Pixel-Position in Schritten von einer halben Pixel-Position darstellen. Alternativ kann der Speicher 22 nur wenige statistisch wahrscheinlichere Bewegungsvektoren enthalten, welche effektiv bzw. wirksam den Satz einer möglichen Blockbewegung abdecken bzw. überspannen. Wenn der letzte Bewegungsvektor verarbeitet wurde, bei Schritt 214, dann beginnt die Bewegungs-Schätzvorrichtung 20 mit der Verarbeitung eines anderen Blocks in dem aktuellen Vollbild bei Schritt 220. Bei der beispielhaften Ausführungsform der Erfindung, nachdem alle Blöcke in dem aktuellen Vollbild verarbeitet wurden, bei Schritt 218, werden die verarbeiteten Blöcke bei Schritt 222 zu dem bewegungs-kompensierenden Prozessor 50 zur Verringerung des Rauschens übertragen. Alternativ kann jeder Block zu dem Prozessor 50 in fortlaufender Reihenfolge bzw. Sequenz übertragen werden.
- Fig. 3 ist ein Ablaufdiagramm einer beispielhaften auf Block bzw. Blöcken basierenden Bewegungs-Schätzvorrichtung 212, wie in Fig. 2 gezeigt. Die Summe des quadratischen Fehlers (SSE = sum of squared error) wird für die vorangegangenen und nächsten Vollbilder durch die SSE0 Berechnungsvorrichtung bei Schritt 310 bzw. durch die SSE1 Berechnungsvorrichtung bei Schritt 312 berechnet. Wie nachfolgend beschrieben, ist jede der Berechnungsvorrichtungen mit einem jeweils unterschiedlichen der Vollbild-Speicher k -1 und k + 1 (nicht gezeigt) verschaltet, welche die Vollbilder der Videoinformation speichern, welche verwendet werden sollen, um die im Rauschen verringerten Daten für das aktuelle Vollbild zu erzeugen. Jede Berechnungsvorrichtung stellt Adressen-Werte bei dem jeweiligen Vollbild-Speicher zur Verfügung und empfängt, von bzw. aus dem Vollbild- Speicher, Datenwerte, welche bei den adressierten Stellen gespeichert sind. Jede Berechnungsvorrichtung für die Summe des quadratischen bzw. quadrierten Fehlers bestimmt, welche Pixel von dem zugeordneten Vollbild-Speicher geholt bzw genommen werden sollen, basierend darauf, um wie viele Pixel-Positionen der Zielblock in den jeweiligen Vollbildern k - 1 und k + 1 von dem aktuellen Bewegungsblock entlang des aktuellen Geschwindigkeitsvektors verschoben ist. Diese Pixel- Verschiebung basiert auf dem empfangenen Geschwindigkeits-Vektor.
- Die Summe der quadrierten Fehlerwerte für einen Block von Pixel-Werten in einem Vollbild l (d. h. k + 1 oder k - 1) entlang der Trajektorie, welche durch den angelegten Geschwindigkeitsvektor definiert ist, kann auch in Übereinstimmung mit Gleichung (1) ausgedrückt werden:
- wobei Il (pij) die Intensität des verschobenen bzw. versetzten Vollbildes l ist (d. h. Vollbild k - 1 oder Vollbild k + 1) bei der Pixel-Position pij, M ist der Satz der Pixel- Positionen in dem Bewegungsblock, pij (1) ist eine Pixel-Position in dem Vollbild l, genommen entlang des Geschwindigkeitsvektors v, relativ bzw. im Verhältnis zu dem entsprechenden Pixelwert pij (k) von dem aktuellen Vollbild k, in Übereinstimmung mit Gleichung (2).
- Pij(l) = Pij(k) + v * f(F, B) (2)
- Jede der Berechnungsvorrichtungen für die Summe des quadratischen Fehlers berechnet einen SSE-Wert für den zugeordneten Vollbildspeicher, basierend auf dem Geschwindigkeitsvektor v, wobei v = (dx, dy). Der Faktor f (F, B) ist eine Funktion der bewegungs-kompensierten Pixelwerte von Vorwärts- und Rückwärtsvorausbestimmungen, F bzw. B. Eine einfache Form dieser Funktion kann f (F, B) = l - k sein. Es wird jedoch festgestellt, daß andere Funktionen verwendet werden können, wie zum Beispiel eine, welche l mit einem Gewichtungsfaktor multipliziert, welcher sich basierend auf der Art der Bewegung verändert. Bei der Verwendung eines Faktors dieses Typs können beide, eine translatorische und eine bekannte nichttranslatorische Bewegung genau gehandhabt bzw. berücksichtigt werden. Es wird angemerkt, daß dieser Gewichtungsfaktor auch verändert werden kann, basierend auf den relativen Werten der Bewegungsvektoren, welche unmittelbar den Bewegungsvektor für den ausgewählten Block umgeben.
- SSE0 und SSE1 werden von einem Addierer summiert. Die Summe, welche von dem Addierer berechnet wurde, wird dann zu der SSE-bidirektionalen Berechnungsvorrichtung 314 übertragen, welche unter Verwendung des Gewichtungsfaktors, w, von dem Klassifikator 30, den SSE für eine bidirektionale Vorausbestimmung bzw. Voraussage bestimmt. Bei der beispielhaften Ausführungsform der Erfindung ist die bidirektionale Vorausbestimmung, SSE-bidirektional, durch die Gleichung (3) gegeben.
- SSE-bidirektional = (SSE0 + SSE1)/w (3)
- Der Wert von w wird durch den Klassifikations-Prozessor 30, wie in Fig. 1 gezeigt, bestimmt. Im allgemeinen ist dieser Wert für Blöcke größer, welche eine kleine Menge einer Abweichung bzw. Variation bzw. Schwankung aufweisen, und kleiner für Blöcke, welche eine größere Menge einer Variation bzw. Veränderung aufweisen.
- Als nächstes wird, basierend auf den Werten von SSE0, SSE1 und SSE-bidirektional, der beste Vorausbestimmungs- (predictive) Modus bestimmt. Der Wert von SSEbidirektional wird mit den Werten von SSE0 und SSE1 bei Schritt 316 verglichen. Wenn der Wert von SSE-bidirektional kleiner oder gleich zu beiden, dem Wert von SSE0 und dem Wert von SSE1 ist, wird der Vorausbestimmungs-Modus auf bidirektional bei Schritt 318 festgelegt. Wenn der Wert von SSE-bidirektional größer ist als entweder der Wert von SSE0 oder SSE1, dann wird der Wert von SSE0 mir dem Wert von SSE1 bei Schritt 320 verglichen. Wenn der Wert von SSE0 kleiner oder gleich als der Wert von SSE1 ist, wird der Vorausbestimmungs-Modus auf vorwärts eingestellt, bei Schritt 322. Wenn der Wert von SSE0 größer ist als den Wert von SSE1, wird der Vorausbestimmungs-Modus bei Schritt 324 auf rückwärts festgelegt. Bei Schritt 326 wird bestimmt, ob der Wert der Summe des quadratischen Fehlers, welcher in Verbindung mit dem Vorausbestimmungs-Modus verwendet wird, COST, welcher gleich ist zu SSE-bidirektional für den bidirektionalen Modus, zu SSE0 für den Vorwärts-Modus, und zu SSE1 für den Rückwärts-Modus, geringer ist als ein Wert MINCOST, welcher die kleinsten Kosten bzw. den kleinsten Aufwand darstellt, welcher so weit auftritt. Wenn dies so ist, werden bei Schritt 328 die Variablen MINCOST, MINVX, MINVY und MINMODE auf die jeweiligen aktuellen Werte von COST, VX, VY und MODE eingestellt. Der nächste Geschwindigkeitsvektor wird dann bei Schritt 330 verarbeitet. Nachdem der Vorausbestimmungs-Modus bestimmt wurde und alle Geschwindigkeitsvektoren in allen Blöcken verarbeitet wurden, wird die Steuerung an den bewegungskompensierenden Prozessor 50 zur Verringerung des Rauschens übertragen.
- Fig. 4 veranschaulicht die Art, auf welche der Prozessor 50 zur Verringerung des Rauschens seine Berechnungen für jedes Pixel in jedem Block wiederholt. Bei Schritt 410 wird das aktuelle Pixel p (i, j), in dem aktuellen Block zu dem Prozessor 50 übertragen zur Verarbeitung bei Schritt 412. Nachdem das Pixel p (i, j) verarbeitet wurde, wird bei Schritt 414 bestimmt, ob ein anderes Pixel in dem aktuellen Block verarbeitet werden soll. Wenn dies so ist, wird das nächste Pixel bei Schritt 416 geholt bzw. aufgegriffen, und die Regelung wird an den Schritt 410 zurückgegeben, wie oben beschrieben. Dies wird fortgesetzt, bis alle der Pixel in dem aktuellen Block verarbeitet wurden. Wenn bei Schritt 414 der aktuelle Block nicht irgendein anderes bzw. weiteres Pixel enthält, dann wird der nächste Block in dem aktuellen Vollbild bei Schritt 420 aufgegriffen und die Regelung wird an den Schritt 410 übertragen. Wenn bei Schritt 418 das aktuelle Vollbild nicht irgendeinen anderen bzw. weiteren Block enthält, dann wird die Regelung bei Schritt 422 zu dem Abbruch-Detektor 60 übertragen, wie nachfolgend unter Bezugnahme auf Fig. 6 beschrieben.
- Fig. 5 ist ein Ablaufdiagramm für einen beispielhaften, auf Blöcken basierenden bewegungs-kompensierenden Prozessor zur Verringerung des Rauschens, welcher für eine Verwendung wie bei dem Schritt 412 von Fig. 4 geeignet ist. Wie in Fig. 1 gezeigt, ist ein Zählwert-Speicher 40 mit dem Prozessor 50 zur Verringerung des Rauschens gekoppelt bzw. verschaltet. Bewegungs-kompensierte Pixelwerte zur Vorwärts- und Rückwärts-Vorausbestimmung, F bzw. B, werden anfänglich durch die Berechnungsvorrichtung 510 berechnet. Alternativ dazu können die Werte von F und B von der Bewegungs-Schätzvorrichtung 20 übermittelt werden. Der Modus wird dann bei Schritt 512 bestimmt, unter Verwendung der Information, welche von der Bewegungs-Schätzvorrichtung 20 und dem Zählwert-Speicher 40 übermittelt wurde. Wenn der Modus eine Vorwärts-Vorausbestimmung ist, bei Schritt 514, wird der im Rauschen verringerte Pixelwert durch Gleichung (4) festgelegt, bei Schritt 518, und der Zählwert wird um 1 bei Schritt 526 erhöht.
- NR (i, j) = (F(i, j) * (COUNT (i,j) - 1) + ORIG (i, j)) / COUNT (i, j) (4)
- In Gleichung (4) wird der ursprüngliche Pixelwert, ORIG, zu dem Produkt des bewegungs-kompensierten Pixel-Wertes der Vorwärts-Vorausbestimmung, F, und dem Wert, welcher in dem Zählwert-Speicher gespeichert wurde, minus 1, COUNT -1, addiert. Diese Summe wird durch den Wert geteilt, welcher in dem Zählwertspeicher gespeichert wurde, COUNT, und wird gleichgesetzt zu bzw. mit dem im Rauschen verringerten Pixelwert, NR. Wenn der Modus eine Rückwärts-Vorausbestimmung ist, wird der im Rauschen verringerte Pixelwert durch Gleichung (5) festgelegt und der Zählwert wird gleich 2 gesetzt, bei Schritt 516. Weil der Zählwertspeicher eine feste Wortlänge aufweist, ist es wünschenswert, den maximalen Wert des Zählwerts zu begrenzen. Bei der beispielhaften Ausführungsform der Erfindung setzt sich der Zählwert-Speicher 40 aus 8-Bit Worten zusammen. Entsprechend beträgt der maximale Zählwert 255.
- Berechnete Zählwerte, welche größer als 255 sind, werden auf 255 festgelegt, bevor diese in dem Speicher 40 gespeichert werden. Es wird festgestellt, daß andere Wort- Größen verwendet werden können. Wenn zum Beispiel eine Wortgröße mit 4-Bits verwendet werden würde, würde der maximale Zählwert 15 betragen.
- NR (i, j) = (ORIG(i, j) + B (i, j))/2 (5)
- In Gleichung (5) wird der ursprüngliche Pixel-Wert ORIG zu dem bewegungskompensierten Pixelwert der Rückwärts-Vorausbestimmung B addiert. Diese Summe wird durch 2 geteilt und wird gleichgesetzt zu bzw. mit dem im Rauschen verringerten Pixelwert NR. Wenn der Modus bidirektional ist und der Zählwert gleich 2 ist, wie durch Schritt 520 bestimmt, wird der im Rauschen verringerte Pixelwert durch Gleichung (6) bei Schritt 524 eingestellt und der Zählwert wird um 1 bei Schritt 526 erhöht.
- NR (i, j) = (F (i, j) + ORIG(i, j) + B(i, j)) / 3 (6)
- In Gleichung (6) wird der ursprüngliche Pixelwert ORIG zu den bewegungskompensierten Pixelwerten der Vorwärts-Vorausbestimmung bzw. Rückwärts- Vorausbestimmung F bzw. B addiert. Diese Summe wird durch 3 geteilt und wird gleichgesetzt mit dem im Rauschen verringerten Pixelwert NR. Wenn der Modus bidirektional ist und der Zählwert ungleich 2 ist, wird der Wert durch Gleichung (7) festgelegt bei Schritt 522, und der COUNT Zählwert wird um 1 bei Schritt 526 erhöht.
- NR (i, j) = ((F (i, j) * COUNT (i, j)) + ((ORIG (i, j) + B(i, j))/2))/(COUNT (i, j) + 1) (7)
- In Gleichung (7) wird der ursprüngliche Pixelwert, ORIG, zu dem bewegungskompensierten Pixelwert der Rückwärts-Vorausbestimmung, B, addiert und durch 2 geteilt. Dieser Wert wird dann zu dem Produkt des bewegungs-kompensierten Pixelwertes der Rückwärts-Vorausbestimmung, F, und dem Wert, welcher in dem Zählwert-Speicher gespeichert ist, COUNT addiert. Diese Summe wird durch den Wert geteilt, welcher in dem Zählwertspeicher gespeichert ist, plus 1, COUNT + 1, und wird gleichgesetzt mit dem im Rauschen verringerten Pixelwert NR. Nachdem der Zählwertspeicher 40 bei Schritt 528 eingestellt wurde, und die verbleibenden Pixel bei Schritt 530 verarbeitet wurden, wird dieser im Rauschen verringerte Pixelwert von dem Abbruchs-Detektor 60 empfangen.
- Fig. 6 ist ein Ablaufdiagramm eines beispielhaften Abbruch-Detektors 60, wie in Fig. 1 gezeigt. Die Pixel-Werte, welche von dem Prozessor 50 zur Verringerung des Rauschens erzeugt wurden und die Pixelwerte von dem ursprünglichen (nicht im Rauschen verringerten) Vollbild werden von der Berechnungsvorrichtung für die quadratische Differenz bei Schritt 610 empfangen. Die Differenz zwischen dem ursprünglichen Pixelwert und dem im Rauschen verringerten Pixelwert wird durch einen Addierer bestimmt. Die Ausgabe dieses Addierers wird dann quadriert. Der Ausgabe-Wert, welcher von dieser Quadrierungs-Funktion zur Verfügung gestellt wurde, der Wert sse, wird bei dem Schritt 614 angewendet bzw. verwendet. Weiterhin wird ein Wert med_sse, welcher von einer Berechnungsvorrichtung 612 für einen Median- bzw. Mittelwert einer quadrierten bzw. quadratischen Differenz zur Verfügung gestellt wird, auch bei dem Schritt 614 verwendet. Die Berechnungsvorrichtung 612 für den Median- bzw. Mittelwert bestimmt den Median von allen quadrierten Differenz-Werten, welche von der Berechnungsvorrichtung 610 für die quadrierte Differenz zur Verfügung gestellt werden. Bei der beispielhaften Ausführungsform dieser Erfindung wird der Median- bzw. Mittelwert über das gesamte Vollbild berechnet. Es wird jedoch angemerkt, daß andere Verfahren verwendet werden können, um diesen Mittelwert zu berechnen. Zum Beispiel können die Berechnungen auf den Block begrenzt werden, welcher das Pixel enthält, auf eine vorgegebene Anzahl von Blöcken, welche das Pixel umgeben, oder auf Blöcke mit Pixeln, welche einen Bereich bzw. eine Fläche von bekannten Pixelwerten abdecken bzw. belegen, zum Beispiel Blöcke, welche in einem leeren bzw. dunkelgetasteten Bereich des Bildes auftreten.
- Als nächstes wird, wie in Fig. 6 gezeigt, das Produkt des Ausgabewerts med_sse, welcher von der Berechnungsvorrichtung 612 für den Median- bzw. Mittelwert der quadratischen Differenz zur Verfügung gestellt wird, und der Abbruchs-Schwellen- bzw. -Grenzwert, t, bei Schritt 614 berechnet. Wenn das Ergebnis dieser Multiplikation größer ist als der Ausgabewert, sse, der Berechnungsvorrichtung 610 für die quadratische Differenz, dann wird der im Rauschen verringerte Pixelwert als GOOD bei Schritt 616 gekennzeichnet, und wird als der im Rauschen verringerte Pixelwert verwendet. Sonst wird der im Rauschen verringerte Pixelwert als BAD bei Schritt 618 gekennzeichnet, und die umgebenden Pixel werden bei Schritt 620 untersucht. Der Schritt 620 wird verwendet, um ein Flimmern (sparkle) zu verringern. Ein Flimmern tritt auf, wenn ein Pixel nicht bezüglich des Rauschens verringert wurde, und alle der benachbarten Pixel sind bezüglich des Rauschens verringert worden. Wenn die umgebenden Pixel alle als GOOD klassifiziert wurden, was bedeutet, daß der im Rauschen verringerte Pixelwert als der endgültige Pixelwert für jedes der umgebende Pixel verwendet wurde, dann wird der im Rauschen verringerte Wert für das fragliche Pixel als der endgültige Pixelwert bei Schritt 626 verwendet. Nachfolgend auf Schritt 626 wird das nächste Pixel ausgewählt, zur Verarbeitung durch den Abbruchs-Detektor 60.
- Dies ist ein Verfahren zur Verringerung eines Flimmerns (sparkle). Wenn mindestens eines der umgebenden Pixel nicht als GOOD klassifiziert wurde, dann wird der ursprüngliche Pixelwert, und nicht der im Rauschen verringerte Pixelwert, bei Schritt 622 verwendet, als der endgültige Pixelwert für das fragliche Pixel. Ebenso wird bei diesem Szenario bzw. Verfahren der Zählwert auf 2 zurückgesetzt und der Zählwertspeicher wird bei Schritt 624 eingestellt, wenn der im Rauschen verringerte Pixelwert verworfen wurde. Die Werte der Ausgabe-Pixels, welche von dem Abbruchs-Detektor 60 zur Verfügung gestellt wurden, werden dann in dem Vollbildspeicher gespeichert.
- Durch die Verarbeitung von mehreren Vollbildern einer Videoinformation auf die oben ausgeführte Art kann ein Rauschen im wesentlichen selbst bei Bildern verringert werden, welche große Bestandteile bzw. Komponenten in Bewegung aufweisen, ohne die Bildauflösung zu beeinträchtigen bzw. zu verschlechtern.
- Während die Erfindung unter Bezugnahme auf eine beispielhafte Ausführungsform beschrieben wurde, wird festgestellt, daß diese, wie oben umrissen, mit Abwandlungen innerhalb des Schutzbereichs der beiliegenden Ansprüche durchgeführt werden kann.
Claims (13)
1. Anordnung bzw. Vorrichtung zur Verringerung bzw. Verminderung von Rauschen
bzw. Störungen in einem Videoeingangssignal, welches eine Mehrzahl von
Videovollbildern bzw. Videorahmen (frames) umfaßt, wobei die Vorrichtung
aufweist:
a) eine Speichervorrichtung (70) für verarbeitete Vollbilder zum Speichern eines im
Rauschen verminderten bzw. verringerten Bildes;
b) eine Bewegungsschätzvorrichtung (20) zum Identifizieren bzw. Bestimmen eines
Zielblocks von Bildbestandteilen in dem Speicher (70) für verarbeitete Vollbilder,
welcher bei der Berechnung eines im Rauschen verminderten Videosignals
verwendet werden soll; und
c) eine Vorrichtung (50) für eine bewegungskompensierte bzw.
bewegungskompensierende Verringerung des Rauschens zum Berechnen des im Rauschen reduzierten
bzw. verringerten Videosignals durch:
c1) Berechnen einer Mehrzahl von bestimmten bzw. charakteristischen
zeitvarianten bzw. sich mit der Zeit verändernden gewichteten
Filterkoeffizienten für den Zielblock;
c2) Bilden eines Mittelwerts aus einer Mehrzahl von Bildbestandteilen in einem
aktuellen Block, welcher aus dem Videosignal mit den jeweiligen
Bildkomponenten des Zielblocks ausgewählt wurde bzw. wird, und zwar jeweils
mit der Mehrzahl der Koeffizienten gewichtet, wodurch
c3) ein Bewegungsblock von im Rauschen verringerten Bildbestandteilen
erzeugt wird.
2. Vorrichtung nach Anspruch 1, weiter aufweisend eine Abbruchs- bzw. Störungs-
(break down) Erkennungsvorrichtung zum Ersetzen einer jeden Komponente bzw.
eines jeden Bestandteils des aktuellen Blocks durch bzw. mit einer entsprechenden
im Rauschen verringerten Komponente bzw. Bestandteil des Bewegungsblocks,
wenn ein Maß der Verringerung des Rauschens, welches für diejenigen
Komponenten bzw. Bestandteile erhalten wurde, geteilt bzw. dividiert durch ein Referenzmaß
des Rauschens, kleiner als ein Grenzwert ist.
3. Vorrichtung nach Anspruch 2, weiter aufweisend eine Vorrichtung zur
Verringerung von Flimmern (sparkle) zum Untersuchen des aktuellen bzw. momentanen
Blocks, um Komponenten zu bestimmen, welche nicht durch im Rauschen
verringerte Komponenten ersetzt wurden, und zum Ersetzen der identifizierten bzw.
bestimmten Komponenten mit bzw. durch entsprechende im Rauschen verringerte
Komponenten von dem Bewegungsblock, wenn alle Bildkomponenten, welche
angrenzend bzw. benachbart zu den bestimmten Komponenten sind, ersetzt wurden.
4. Vorrichtung nach Anspruch 1, weiter aufweisend:
eine Zählwertspeichervorrichtung, so daß eine 1 : 1 Korrespondenz bzw.
Entsprechung vorliegt zwischen den Zählwerten und den Bildbestandteilen, wobei der
Zählwert die Anzahl der Bildbestandteile anzeigt, die verwendet wurden, um die
im Rauschen verringerte Bildkomponente bzw. Bildbestandteile zu entwickeln bzw.
erzeugen;
wobei die bewegungskompensierende, Rauschen verringernde Vorrichtung auf die
Zählwerte reagiert bzw. anspricht, welche in der Zählwertspeichervorrichtung
gehalten bzw. gespeichert werden, zum Erzeugen des Satzes der zeitvarianten,
gewichteten Filterkoeffizienten für den Zielblock.
5. Vorrichtung nach Anspruch 1, weiter aufweisend eine Klassifikationsvorrichtung
zum Bestimmen eines Maßes der Variation bzw. Abweichung bzw. Varianz,
welche in dem aktuellen Block auftritt, und zum Berechnen eines gewichteten
Werts und eines Grenzwerts, welche bei der Bewegungsschätzung und der
Erkennung des Abbruchs bzw. der Störung verwendet werden.
6. Vorrichtung nach Anspruch 1, weiter aufweisend eine Vorrichtung zum Erzeugen
bzw. Vorsehen einer Mehrzahl von Versuchsgeschwindigkeitsvektoren bei der
Bewegungsschätzvorrichtung zur Verwendung beim Identifizieren bzw. Bestimmen
des Zielblocks.
7. Vorrichtung nach Anspruch 1, weiter aufweisend eine Speichervorrichtung für
zukünftige bzw. nachfolgende Vollbilder (future frame) zum Speichern von
Bildbestandteilen, welche ein Bild darstellen, welches angezeigt werden soll nach
dem aktuellen bzw. momentanen Bild, wobei die Bewegungsschätzvorrichtung eine
Vorrichtung zum Identifizieren bzw. Bestimmen eines weiteren Blocks von
Bildbestandteilen in der Speichervorrichtung für ein zukünftiges bzw. nachfolgendes
Vollbild umfaßt, und wobei die bewegungskompensierende, Rauschen verringernde
Vorrichtung eine Vorrichtung zum Erzeugen des Bewegungsblocks der
Bildbestandteile durch Kombinieren bzw. Verknüpfen des aktuellen bzw. momentanen Blocks
der Bildbestandteile mit mindestens einem Zielblock der Bildbestandteile und dem
weiteren Zielblock der Bildbestandteile umfaßt.
8. Verfahren zum Verringern von Rauschen bzw. Störungen in einem Videosignal,
welches eine Mehrzahl von Videovollbildern bzw. Videorahmen umfaßt, wobei das
Verfahren die Schritte aufweist:
a) Speichern eines im Rauschen verringerten Bildes in einem Speicher (70) für
verarbeitete Vollbilder;
b) Identifizieren bzw. Bestimmen eines Zielblocks von Pixeln bzw. Bildelementen in
dem Vollbild (70), welcher verwendet wird beim Berechnen eines im Rauschen
verringerten Videosignals; und
c) Berechnen des im Rauschen verringerten Videosignals durch:
c1) Berechnen einer Mehrzahl von bestimmten bzw. charakteristischen
zeitvarianten bzw. sich mit der Zeit verändernden gewichteten
Filterkoeffizienten für den Zielblock;
c2) Bilden eines Mittelwerts aus einer Mehrzahl von Bildbestandteilen in einem
aktuellen Block, welcher aus dem Videosignal mit den jeweiligen
Bildkomponenten des Zielblocks ausgewählt wird, und zwar jeweils mit der
Mehrzahl der Koeffizienten gewichtet sind, wodurch
c3) ein Bewegungsblock von im Rauschen verringerten Bildbestandteilen
erzeugt wird.
9. Verfahren nach Anspruch 8, weiter aufweisend den Schritt des Ersetzens von jedem
der Bestandteile des aktuellen bzw. momentanen Blocks mit bzw. durch eine
entsprechende im Rauschen verringerte Komponente bzw. Bestandteil von dem
Bewegungsblock, wenn ein Maß der Verringerung des Rauschens, welches bei der
einen Komponente erzielt wurde, dividiert durch ein Maß des Rauschens in dem
Videosignal, niedriger als ein Grenzwert ist.
10. Verfahren nach Anspruch 9, weiter aufweisend den Schritt des Untersuchens des
momentanen bzw. aktuellen Blocks, um Komponenten bzw. Bestandteile zu
bestimmen, welche nicht ersetzt wurden durch im Rauschen verringerte
Bestandteile, und Ersetzen der bestimmten Bestandteile durch entsprechende im Rauschen
verringerte Bestandteile des Bewegungsblocks, wenn alle Bildbestandteile, welche
benachbart sind zu bzw. angrenzend sind an die bestimmten Komponenten bzw.
Bestandteile, ersetzt wurden.
11. Verfahren nach Anspruch 8, weiter aufweisend den Schritt des Bestimmens eines
Maßes der Abweichung bzw. Varianz, welche in dem aktuellen Block auftritt, und
zum Berechnen eines gewichteten Werts und eines Grenzwerts, welche bei der
Bewegungsschätzung und bei der Erkennung des Abbruchs bzw. der Störung (break
down detection) verwendet werden.
12. Verfahren nach Anspruch 11, wobei der Schritt des Bestimmens eines Maßes der
Abweichung bzw. Varianz, welche in dem aktuellen Block auftritt, den Schritt des
Bestimmens und Zählens von Bildbestandteilen umfaßt, welche Kanten in dem
momentanen Block darstellen.
13. Verfahren nach Anspruch 8, weiter aufweisend den Schritt des Vorsehens einer
Mehrzahl von Versuchsgeschwindigkeitsvektoren bei der
Bewegungsschätzvorrichtung zur Verwendung beim Bestimmen des Zielblocks.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/215,683 US5442407A (en) | 1994-03-22 | 1994-03-22 | Video signal noise reduction system using time-varying filter coefficients |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69509577D1 DE69509577D1 (de) | 1999-06-17 |
DE69509577T2 true DE69509577T2 (de) | 1999-10-07 |
Family
ID=22803944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69509577T Expired - Fee Related DE69509577T2 (de) | 1994-03-22 | 1995-03-20 | Anordnung zur Verminderung des Rauschens unter Verwendung von zeitvarianten Filterkoeffizienten |
Country Status (4)
Country | Link |
---|---|
US (1) | US5442407A (de) |
EP (1) | EP0674434B1 (de) |
JP (1) | JPH07274044A (de) |
DE (1) | DE69509577T2 (de) |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6529637B1 (en) * | 1989-05-22 | 2003-03-04 | Pixel Instruments Corporation | Spatial scan replication circuit |
US7382929B2 (en) | 1989-05-22 | 2008-06-03 | Pixel Instruments Corporation | Spatial scan replication circuit |
JPH07135663A (ja) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | 動きベクトル検出方法および動きベクトル検出装置 |
DE4417628C1 (de) * | 1994-05-19 | 1995-09-28 | Siemens Ag | Verfahren zur adaptiven Rauschverminderung für digitale Bildsequenzen |
US5654759A (en) * | 1995-02-15 | 1997-08-05 | Hitachi America Ltd. | Methods and apparatus for reducing blockiness in decoded video |
DE69611113T3 (de) * | 1995-03-06 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zur Videorauschreduktion |
US6957350B1 (en) | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
FR2751825A1 (fr) * | 1996-07-24 | 1998-01-30 | Philips Electronics Nv | Procede de filtrage temporel du bruit dans une image d'une sequence d'images numerisees et dispositif mettant en oeuvre ce procede |
JP2000502549A (ja) * | 1996-10-24 | 2000-02-29 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ノイズフィルタ処理 |
JP2923875B2 (ja) * | 1997-01-14 | 1999-07-26 | 日本電気株式会社 | 動画像符号化装置 |
US5959693A (en) * | 1997-05-07 | 1999-09-28 | General Instrument Corporation | Pixel adaptive noise reduction filter for digital video |
US6067125A (en) * | 1997-05-15 | 2000-05-23 | Minerva Systems | Structure and method for film grain noise reduction |
US6335990B1 (en) | 1997-07-03 | 2002-01-01 | Cisco Technology, Inc. | System and method for spatial temporal-filtering for improving compressed digital video |
US6535254B1 (en) * | 1997-10-31 | 2003-03-18 | Pinnacle Systems Inc. | Method and device for noise reduction |
EP0957367A1 (de) * | 1998-04-14 | 1999-11-17 | THOMSON multimedia | Verfahren zur Schätzung des Rauschpegels in einer Videosequenz |
JP4147647B2 (ja) | 1998-11-09 | 2008-09-10 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
WO2001035636A1 (en) * | 1999-11-11 | 2001-05-17 | Stmicroelectronics Asia Pacific Pte Ltd. | Spatio-temporal video noise reduction system |
US6502063B1 (en) * | 1999-12-09 | 2002-12-31 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for recursive filtering of parallel intermittent streams of unequally reliable time discrete data |
US6868190B1 (en) * | 2000-10-19 | 2005-03-15 | Eastman Kodak Company | Methods for automatically and semi-automatically transforming digital image data to provide a desired image look |
EP1209624A1 (de) * | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Verfahren zur komprimiertbildlichen artefaktreduktion |
US7092016B2 (en) * | 2001-02-09 | 2006-08-15 | Eastman Kodak Company | Method and system for motion image digital processing |
US6718069B2 (en) * | 2001-02-22 | 2004-04-06 | Varian Medical Systems, Inc. | Method and system for reducing correlated noise in image data |
DE10109585A1 (de) * | 2001-02-28 | 2002-09-05 | Philips Corp Intellectual Pty | Einrichtung zur Rauschreduktion in Bildsignalen |
US8374237B2 (en) * | 2001-03-02 | 2013-02-12 | Dolby Laboratories Licensing Corporation | High precision encoding and decoding of video images |
US7071909B2 (en) * | 2001-03-09 | 2006-07-04 | Thomson Licensing | Reducing sparkle artifacts with low brightness processing |
US20020126079A1 (en) * | 2001-03-09 | 2002-09-12 | Willis Donald Henry | Reducing sparkle artifacts with low brightness slew rate limiting |
US7119774B2 (en) * | 2001-03-09 | 2006-10-10 | Thomson Licensing | Reducing sparkle artifacts with low brightness filtering |
JP2003003979A (ja) * | 2001-06-25 | 2003-01-08 | Toshiba Kyaria Kk | 流体機械 |
US6816552B2 (en) * | 2001-07-11 | 2004-11-09 | Dolby Laboratories Licensing Corporation | Interpolation of video compression frames |
US8111754B1 (en) | 2001-07-11 | 2012-02-07 | Dolby Laboratories Licensing Corporation | Interpolation of video compression frames |
US7266150B2 (en) | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
US20030112863A1 (en) | 2001-07-12 | 2003-06-19 | Demos Gary A. | Method and system for improving compressed image chroma information |
US7995793B2 (en) * | 2001-11-07 | 2011-08-09 | Trident Microsystems (Far East) Ltd. | Occlusion detector for and method of detecting occlusion areas |
US20030156121A1 (en) * | 2002-02-19 | 2003-08-21 | Willis Donald Henry | Compensation for adjacent pixel interdependence |
AU2003246185A1 (en) * | 2002-06-25 | 2004-01-06 | Matsushita Electric Industrial Co., Ltd. | Motion detection device and noise reduction device using that |
KR100456102B1 (ko) * | 2002-09-17 | 2004-11-08 | (주)펜타마이크로 | 시간 필터링을 이용한 영상잡음 제거시 움직임 검출 장치및 그 방법 |
US7489829B2 (en) * | 2003-03-11 | 2009-02-10 | Sightic Vista Ltd. | Adaptive low-light image processing |
US7558435B2 (en) * | 2003-03-24 | 2009-07-07 | Sony Corporation | Signal processing apparatus, method of processing a signal, recording medium, and program |
US7388603B2 (en) * | 2003-06-10 | 2008-06-17 | Raytheon Company | Method and imaging system with intelligent frame integration |
WO2005011283A1 (en) * | 2003-07-09 | 2005-02-03 | Thomson Licensing S.A. | Video encoder with low complexity noise reduction |
FR2860940A1 (fr) * | 2003-10-14 | 2005-04-15 | Nextream France | Dispositif et procede de reduction de bruit d'un signal video |
US7095028B2 (en) * | 2003-10-15 | 2006-08-22 | Varian Medical Systems | Multi-slice flat panel computed tomography |
US7589326B2 (en) * | 2003-10-15 | 2009-09-15 | Varian Medical Systems Technologies, Inc. | Systems and methods for image acquisition |
US7418149B2 (en) * | 2004-07-30 | 2008-08-26 | Algolith Inc. | Apparatus and method for adaptive 3D noise reduction |
US7330218B2 (en) * | 2004-09-02 | 2008-02-12 | Samsung Electronics Co., Ltd. | Adaptive bidirectional filtering for video noise reduction |
KR100721543B1 (ko) * | 2005-10-11 | 2007-05-23 | (주) 넥스트칩 | 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템 |
JP4679372B2 (ja) * | 2006-01-20 | 2011-04-27 | 株式会社日立製作所 | 映像ノイズ削減処理装置及び映像表示装置 |
US7589796B2 (en) * | 2006-02-06 | 2009-09-15 | Vixs Systems Inc. | Video display device, video encoder, and methods for use therewith |
US7667776B2 (en) * | 2006-02-06 | 2010-02-23 | Vixs Systems, Inc. | Video display device, video encoder, noise level estimation module and methods for use therewith |
GB2443668A (en) * | 2006-11-10 | 2008-05-14 | Tandberg Television Asa | Motion-compensated temporal recursive filter |
CN100459660C (zh) * | 2006-12-14 | 2009-02-04 | 北京中星微电子有限公司 | 一种去除图像噪声的方法和装置 |
JP4321626B2 (ja) * | 2007-05-23 | 2009-08-26 | ソニー株式会社 | 画像処理方法および画像処理装置 |
WO2009098546A1 (en) * | 2008-02-06 | 2009-08-13 | Zoran (France) | Video enhancement using recursive bandlets |
US8130278B2 (en) * | 2008-08-01 | 2012-03-06 | Omnivision Technologies, Inc. | Method for forming an improved image using images with different resolutions |
US9445121B2 (en) | 2008-08-04 | 2016-09-13 | Dolby Laboratories Licensing Corporation | Overlapped block disparity estimation and compensation architecture |
US8903191B2 (en) | 2008-12-30 | 2014-12-02 | Intel Corporation | Method and apparatus for noise reduction in video |
US8497914B2 (en) * | 2009-08-10 | 2013-07-30 | Wisconsin Alumni Research Foundation | Vision system and method for motion adaptive integration of image frames |
JP2011078136A (ja) * | 2011-01-11 | 2011-04-14 | Hitachi Ltd | 映像ノイズ削減処理装置及び映像処理装置 |
JP2013157837A (ja) * | 2012-01-31 | 2013-08-15 | Nk Works Kk | 画像処理プログラムおよび画像処理装置 |
US9165345B2 (en) | 2013-03-14 | 2015-10-20 | Drs Network & Imaging Systems, Llc | Method and system for noise reduction in video systems |
US9355435B2 (en) * | 2013-03-14 | 2016-05-31 | Drs Network & Imaging Systems, Llc | Method and system for adaptive pixel replacement |
WO2014160297A2 (en) * | 2013-03-14 | 2014-10-02 | Drs Rsta, Inc. | Method and system for adaptive pixel replacement |
US10013078B2 (en) * | 2014-04-11 | 2018-07-03 | Pixart Imaging Inc. | Optical navigation device and failure identification method thereof |
US10559073B2 (en) * | 2016-03-23 | 2020-02-11 | Intel Corporation | Motion adaptive stream processing for temporal noise reduction |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2387557A1 (fr) * | 1977-04-14 | 1978-11-10 | Telediffusion Fse | Systemes de reduction de visibilite du bruit sur des images de television |
JPS592227B2 (ja) * | 1978-08-21 | 1984-01-17 | 株式会社日立製作所 | 雑音除去方式 |
US4737850A (en) * | 1985-07-03 | 1988-04-12 | Rca Corporation | Apparatus for noise reducing composite video signal |
US4658285A (en) * | 1985-09-30 | 1987-04-14 | Rca Corporation | Video signal noise reduction apparatus |
JPS6327108A (ja) * | 1986-07-21 | 1988-02-04 | Victor Co Of Japan Ltd | 映像信号のノイズ低減回路 |
DE3851786T2 (de) * | 1987-06-09 | 1995-03-09 | Sony Corp | Auswahl eines Bewegungsvektors in Fernsehbildern. |
JPH07101924B2 (ja) * | 1987-10-26 | 1995-11-01 | パイオニア株式会社 | 映像信号のノイズ除去装置 |
JPH0411466A (ja) * | 1990-04-28 | 1992-01-16 | Sony Corp | ノイズリデューサ |
JP3263960B2 (ja) * | 1991-10-22 | 2002-03-11 | ソニー株式会社 | 動きベクトル符号器および復号器 |
US5208673A (en) * | 1991-11-05 | 1993-05-04 | Matsushita Electric Corporation Of America | Noise reduction in frame transmitted video signals |
KR960015396B1 (ko) * | 1992-02-28 | 1996-11-11 | 삼성전자 주식회사 | 고정비트율 압축부호화방법 |
US5247363A (en) * | 1992-03-02 | 1993-09-21 | Rca Thomson Licensing Corporation | Error concealment apparatus for hdtv receivers |
JP3245977B2 (ja) * | 1992-06-30 | 2002-01-15 | ソニー株式会社 | ディジタル画像信号の伝送装置 |
EP0578311B1 (de) * | 1992-07-10 | 1998-12-09 | Koninklijke Philips Electronics N.V. | Röntgendurchleuchtungsgerät mit Mitteln zur Rauschreduktion |
US5329317A (en) * | 1992-09-30 | 1994-07-12 | Matsushita Electric Corporation Of America | Adaptive field/frame filter for interlaced video signals |
-
1994
- 1994-03-22 US US08/215,683 patent/US5442407A/en not_active Expired - Lifetime
-
1995
- 1995-03-20 EP EP95104082A patent/EP0674434B1/de not_active Expired - Lifetime
- 1995-03-20 JP JP7061405A patent/JPH07274044A/ja not_active Withdrawn
- 1995-03-20 DE DE69509577T patent/DE69509577T2/de not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US5442407A (en) | 1995-08-15 |
EP0674434B1 (de) | 1999-05-12 |
JPH07274044A (ja) | 1995-10-20 |
EP0674434A2 (de) | 1995-09-27 |
EP0674434A3 (de) | 1995-11-22 |
DE69509577D1 (de) | 1999-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69509577T2 (de) | Anordnung zur Verminderung des Rauschens unter Verwendung von zeitvarianten Filterkoeffizienten | |
DE69418244T2 (de) | Videorauschreduktionsystem unter Verwendung einer Mehrbild-Bewegungsabschätzung, Unterdrückung von Abweichungen und Bahnkorrektur | |
DE69328602T2 (de) | Schaltungen zur Rauschunterdrückung | |
DE69218656T2 (de) | Verfahren zur zeitlichen adaptiven Filterung von verrauschten Bildsequenzen | |
DE69415402T2 (de) | Abtastungsumwandler von Zeilensprung in ohne Zeilensprung mit einer doppelten Glättungsfunktion und Verfahren dafür | |
DE69523565T2 (de) | Verfahren, nachbearbeitungsfilter und videokompressionssystem zur unterdrückung von moskito- und blockstörungen | |
DE102004007637B4 (de) | Verfahren zum Erzeugen eines Bildes mit erhöhter Auflösung unter Verwendung einer Mehrzahl von Bildern mit niedriger Auflösung | |
DE69314630T2 (de) | Verfahren zur adaptiven schätzung von unerwüschten bild-erschütterungen in bildsequenzen von digitalen fernsehsignalen | |
EP0293644B1 (de) | Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen | |
DE60307942T2 (de) | Digitale Rauschverminderungstechniken | |
DE102011056982B4 (de) | Digitales Bildstabilisierungsverfahren mit adaptiver Filterung | |
DE69324513T2 (de) | System zur Bildherstellung und zugeordnetes Verfahren zur Minimierung von Konturen für ein quantisiertes Digitalfarbbild | |
DE69331719T2 (de) | Verfahren und Vorrichtung zur Geräuschunterdrückung | |
DE69123359T3 (de) | Videobildverarbeitung | |
DE69028946T2 (de) | Verfahren zur adaptiven Schärfung elektronischer Bilder | |
DE69031055T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE2937282C2 (de) | ||
DE69417216T2 (de) | Rauschreduktion | |
DE69217444T2 (de) | Rauschverminderung in bildübertragenen Videosignalen | |
DE69318377T2 (de) | Methode und Vorrichtung zur Erhöhung der Bildfrequenz | |
EP0645037A1 (de) | Verfahren zur detektion von änderungen in bewegtbildern | |
DE60006651T2 (de) | Verfahren, vorrichtung und verwendung zur bewertung von kodierten bildern | |
DE112005000033T5 (de) | Adaptiv gewichtetes Bewegungsabschätzungsverfahren und Bildwechselfrequenz-Wandlereinrichtung, die das Verfahren einsetzt | |
DE60217243T2 (de) | Zeitverarbeitung für eine Echtzeitmodellierung vom Verhalten des menschlichen Sehvermögensystems | |
EP0154126B1 (de) | Verfahren zur Bestimmung des Displacements von Bildsequenzen und Anordnung sowie Anwendungen hierzu |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |