[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

DE68911563T2 - Videoschalter mit unabhängiger Verarbeitung ausgewählter Videosignale. - Google Patents

Videoschalter mit unabhängiger Verarbeitung ausgewählter Videosignale.

Info

Publication number
DE68911563T2
DE68911563T2 DE68911563T DE68911563T DE68911563T2 DE 68911563 T2 DE68911563 T2 DE 68911563T2 DE 68911563 T DE68911563 T DE 68911563T DE 68911563 T DE68911563 T DE 68911563T DE 68911563 T2 DE68911563 T2 DE 68911563T2
Authority
DE
Germany
Prior art keywords
video
signal
input
video signal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE68911563T
Other languages
English (en)
Other versions
DE68911563D1 (de
Inventor
John Abt
Richard S Bannister
Ronnie D Barnett
James E Blecksmith
Richard A Frasier
Thomas A Grancey
Richard A Jackson
Neil R Olmstead
Peter D Symes
Kevin D Windrem
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grass Valley Group Inc
Original Assignee
Grass Valley Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Grass Valley Group Inc filed Critical Grass Valley Group Inc
Application granted granted Critical
Publication of DE68911563D1 publication Critical patent/DE68911563D1/de
Publication of DE68911563T2 publication Critical patent/DE68911563T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)

Description

    Allgemeiner Stand der Technik
  • Die Erfindung bezieht sich auf einen Videoschalter mit unabhängiger Verarbeitung ausgewählter Videosignale.
  • In Figur 1 wird ein herkömmliches Bildmischsystem bzw. ein Schalter in vereinfachter Blockdarstellung veranschaulicht. Der Schalter aus Figur 1 umfaßt eine Quellenauswahleinrichtung 2, die zum Beispiel von externen Videosignalquellen eine Mehrzahl von Eingangsvideosignalen empfängt und die aus diesen Eingangssignalen ausgewählte Signale an Misch/Effekt-Verstärker (M/E) 4 bereitstellt. Jeder M/E empfängt mindestens zwei Eingangsvideosignale und kombiniert diese unter der Steuerung von Signalen, die durch eine Bedienungsschnittstelle 6 bereitgestellt werden. In Figur 2 ist ein typischer M/E dargestellt, der vier Eingangsvideosignale empfängt. Die Figur 2 veranschaulicht einen M/E in funktionaler Form und stellt somit nicht unbedingt dessen physikalische Anordnung dar.
  • Bei den vier von dem M/E in Figur 2 empfangenen Eingangsvideosignalen handelt es sich um ein Titelsignal, ein Vordergrundsignal und zwei Hintergrundsignale. Dem Titelvideosignal ist ein Titelschlüssel zugeordnet, der den Bereich des Teilbilds definiert, der von einem Titelbild belegt ist und in ähnlicher Weise umfaßt das Vordergrundvideosignal einen Vordergrundschlüssel, der den Bereich des Teilbilds definiert, der von einem Vordergrundbild belegt ist. Die beiden Hintergrundsignale stellen im allgemeinen Vollbildvideosignale dar und ihnen sind keine Schlüssel zugeordnet.
  • Die Wege von den die Signale, denen Schlüssel zugeordnet sind, bereitstellenden Quellen, müssen Doppelwege darstellen, wobei ein Weg für das Videosignal und der andere Weg für den Schlüssel dient.
  • Die vier von dem in der Figur 2 dargestellten M/E empfangenen Videosignale werden in einem Hintergrundmischer 42, einem Videoschlüsselmischer 43 und einem Titelschlüsselmischer 44 kombiniert, und zwar unter der Steuerung der Signale, für die von der Bedienungsschnittstelle durch eine Hintergrundmischerregelung 45, eine Videoschlüsselmischerregelung 46 und eine Titelschlüsselmischerregelung 47 gesorgt wird. Das Ausgangsvideosignal stellt ein Bild dar, das einen Titel, ein Vordergrundbild und ein Hintergrundbild darstellt. Das Hintergrundbild kann durch ein ausgewähltes Hintergrundsignal dargestellt werden oder durch eine Mischung der beiden Hintergrundsignale. Der Titel erscheint vor dem Vordergrund und der Vordergrund erscheint vor dem Hintergrund.
  • In einem herkömmlichen Schalter wird ein Ausgangsvideosignal mit Beiträgen einer großen Anzahl von Eingangsvideosignalen (wesentlich mehr als vier) unter Verwendung mehrerer M/Es erzeugt. Jeder M/E 4 kann mehrere Videosignale empfangen und diese kombinieren und das von dem M/E gelieferte Ausgangssignal kann gemäß der Darstellung bei 8 wieder in die Quellenauswahleinrichtung eingegeben werden, so daß es als Eingabe in einen anderen M/E dient. In der Darstellung in Figur 1 ist jeder M/E 4 mit Wiedereintrittsverbindungen an jeden M/E 4 und an einen Programm/Rückstell-M/E 10 abgebildet.
  • Ein Videosignal, das ein zusammengesetztes Bild darstellt, kann dadurch erzeugt werden, daß ein Videosignal aufgezeichnet, wiedergegeben und unter Verwendung eines M/E auf eine bestimmte Weise modifiziert wird und daß das modifizierte Signal wieder aufgezeichnet wird. Dieser Ablauf der Wiedergabe, Modifizierung und Wiederaufzeichnung des Videosignals wird solange wiederholt, bis das Mischbild erhalten wird. Das Mischbild kann als sich aus verschiedenen Schichten zusammensetzend betrachtet werden, wobei einige Schichten andere Schichten teilweise verdecken und wiederum von anderen Schichten verdeckt werden, wobei die Positionen der Grenzen zwischen den sichtbaren Teilen der verschiedenen Schichten unter der Bedienungssteuerung veränderlich sind. Bei der Erzeugung eines Signals, das ein sich aus mehreren Schichten zusammengesetztes Bild darstellt, ist es wünschenswert, daß mehrere Schichten in einem einzigen Wiedergabe- und Wiederaufzeichnungsdurchlauf dem Signal zugefügt werden können, das durch das vorher aufgezeichnete Signal dargestellt wird, im Gegensatz zu dem Zusatz von nur einer Schicht bei jedem Durchlauf.
  • Herkömmliche M/Es funktionieren durch die Ausführung von einem oder mehreren Zweikanalmischungen. Jeder Mischer empfängt zwei Videosignale, z.B. das bei dem vorherigen Durchlauf aufgezeichnete Videosignal, das wiedergegeben wird und ein externes Videosignal, das mit dem vorher aufgezeichneten Signal kombiniert wird und wobei jeder Mischer abhängig von dem Mischungsregelungssignal ergänzend auf die Signale einwirkt. Wenn zum Beispiel die Amplitude des Beitrags eines Eingangsvideosignals (Video A) zu dem Ausgangssignal erhöht ist, so wird die Amplitude des Beitrags des anderen Eingangsvideosignals (Video B) unbedingt gesenkt. Somit kann die Bedienungsperson des Schalters die Wirkung einer Handlung auf ein Eingangsvideosignal nicht isoliert in Betracht ziehen, sondern die Person muß auch die Wirkung berücksichtigen, welche die gleiche Handlung auf das andere Eingangsvideosignal hat. Wenn die Bedienungsperson versucht mehrere Schichten zu manipulieren, so gestaltet es die Wechselwirkung zwischen den Schichten schwierig, dafür zu sorgen, daß der gewünschte Effekt erzielt wird.
  • EP-A-0.239.243 offenbart einen Videoschalter, bei dem eine digitale Effekteinheit mit zwei Kanälen mit einer Quellenauswahleinrichtung und einem Mischer verbunden werden kann. Der digitalen Effekteinheit werden sowohl Videosignale als auch Schlüsselsignale für jeden Kanal zugeführt. Der Mischer kann die Ausgangssignale in Abhängigkeit von extern zugeführten Prioritatssignalen nicht kombinieren.
  • Zusammenfassung der Erfindung
  • Gemäß der Verwendung in dieser Beschreibung:
  • bezeichnet "Raumbereichs-Transformation" bei der Anwendung auf ein Videosignal, die Veränderung der räumlichen Beziehung zwischen den entsprechenden Bestandteilen des Bilds, das durch dieses Videosignal dargestellt wird und umfaßt die Veränderung der Position oder der Größe des Bilds;
  • bezeichnet "Begrenzung eines Videosignals im Amplitudenbereich", eine Einschränkung der Amplitude der Signalamplitude, welche das Videosignal bildet;
  • bezeichnet "Begrenzung eines Videosignals im Raumbereich", eine Einschränkung des Videosignals auf einen räumlichen Bereich des Bilds, d.h., der anzuzeigende Teil des Bilds wird definiert;
  • bezeichnet ein "Prioritätssignal" einen beliebigen Tiefencode, der die Tiefenebene bezeichnet, die ein Teilbild in dem Ausgangsbild belegen soll; und
  • bestimmt ein einem Videosignal zugeordnetes "Schlüsselsignal" die Transparenz des durch dieses Signal dargestellten Bilds.
  • Vorgesehen ist gemäß der vorliegenden Erfindung ein Videoschalter mit einer Quellenauswahleinrichtung mit einer Mehrzahl von Eingangsanschlüssen, welche externe Videosignale von einer gleichen Anzahl von Bildquellen empfangen und mit mindestens drei Ausgangsanschlüssen, an denen ausgewählte externe Videosignale bereitgestellt werden können; mindestens drei Verarbeitungskanälen mit Eingangsanschlüssen, die mit den Ausgangsanschlüssen der Quellenauswahleinrichtung verbunden sind und wobei jeder einen entsprechenden Bildausgangsanschluß aufweist; einer bedienbaren Steuereinrichtung, um der genannten Quellenauswahleinrichtung und den genannten Verarbeitungskanälen Steuersignale zuzuführen; dadurch gekennzeichnet, daß jeder der Verarbeitungskanäle nur ein entsprechendes einzelnes Videosignal empfängt und umfassend eine Einrichtung, die gemäß eines Schlüsselsignals, das dem genannten Videosignal zugeordnet ist, auf das genannte Videosignal so wirkt, daß das genannte Videosignal mindestens entweder in dem Amplitudenbereich oder dem Raumbereich begrenzt wird, ohne eine Raumbereichs-Transformation des genannten Videosignals, wodurch das genannte einzelne Videosignal verarbeitet wird, ohne mit anderen einzelnen Videosignalen anderer Verarbeitungskanäle zusammenzuwirken; und einer Video-Kombinatoreinrichtung mit einer Mehrzahl von Videosignal-Eingangsanschlüssen, von denen jeder mit dem Videoausgangsanschluß eines entsprechenden Verarbeitungskanals gekoppelt ist, wobei die genannte Video-Kombinatoreinrichtung so funktionsfähig ist, daß sie die Ausgangssignale, die durch die Verarbeitungskanäle in Abhängigkeit von den Prioritätssignalen bereitgestellt werden, die durch die genannte bedienbare Steuereinrichtung als Reaktion auf die genannte Bedienungssteuerung zugeführt werden, so kombiniert, daß die durch die verschiedenen Eingangssignale dargestellten Bilder als Schichten in der Reihenfolge von abnehmender Priorität erscheinen.
  • Kurze Beschreibung der Zeichnungen
  • Zum besseren Verständnis der Erfindung und zur Veranschaulichung der wirksamen Ausführung dieser, wird nun unter Verwendung von Beispielen Bezug auf die beigefügten Zeichnungen genommen:
  • In den Zeichnungen zeigen:
  • FIG. 1 ein vereinfachtes Blockdiagramm eines herkömmlichen Videoschalters;
  • FIG. 2 ein Blockdiagramm eines Misch/Effekt-Verstärkers, der einen Teil des herkömmlichen Schalters bildet;
  • FIG. 3 ein Blockdiagramm eines Videoschalters, der die vorliegende Erfindung verwirklicht;
  • FIG. 4 ein genaueres Blockdiagramm eines Teils des Schalters aus Figur 3; und
  • FIG. 5 ein genaueres Blockdiagramm eines anderen Teils des Schalters aus Figur 3.
  • Genaue Beschreibung
  • Der in der Figur 3 veranschaulichte Schalter umfaßt eine Quellenauswahleinrichtung 12 und mehrere Verarbeitungskanäle 14&sub1;, 14&sub2;, ..., 14n. Die Quellenauswahleinrichtung 12 umfaßt eine Mehrzahl von Eingangsanschlüssen 16 zur Verbindung mit entsprechenden Videosignalquellen und einen Ausgangsanschluß, der mit jedem Verarbeitungskanal verbunden ist. Somit kann jeder Kanal 14 zum Empfang des an einem der Eingangsanschlüsse der Quellenauswahleinrichtung gegebenen Signals angeschlossen werden. Jeder Kanal 14 versieht einen Video-Kombinator 18 mit einem Ausgangssignal, wobei der Kombinator die von den Kanälen 14 empfangenen Signale unter der Steuerung der Prioritätssignale kombiniert, die von einer Bedienungsschnittstelle 20 empfangen werden und wobei der Kombinator ein Ausgangsvideosignal bereitstellt.
  • Bei jedem in der Figur 3 dargestellten Videoweg handelt es sich um einen Doppelweg, umfassend einen Weg für das Videosignal und einen Weg für einen zugeordneten Schlüssel. Der einem gegebenen Videosignal zugeordnete Schlüssel definiert einen begrenzten Bereich des Teilbilds. Der Schlüsselweg muß nicht immer oberhalb des Verarbeitungskanals verwendet werden, jedoch ist er ungeachtet dessen vorgesehen.
  • In dem durch das Ausgangssignal des Kombinators 18 dargestellten Mischbild erscheinen die durch die verschiedenen Eingangssignale dargestellten Bilder als Schichten mit abnehmender Priorität; das durch ein Signal mit einer bestimmten Priorität dargestellte Signal erscheint vor all den Bildern, die durch Signale mit geringerer Priorität dargestellt werden und hinter all den Bildern, die durch Signale mit höherer Priorität dargestellt werden. Bei den von den Verarbeitungskanälen 14 bereitgestellten Ausgangssignalen handelt es sich um geformte Videosignale. (Ein geformtes Videosignal ist ein Videosignal, das mit einem zugeordneten Schlüssel multipliziert worden ist und somit weist das entsprechende geformte Videosignal an jeder Stelle, an welcher der Schlüssel eine logische 0 beträgt, eine Amplitude von null auf. Ein ungeformtes Videosignal ist ein Videosignal, das nicht mit einem Schlüssel multipliziert worden ist und das somit außerhalb des durch den Schlüssel definierten Bereichs eine andere Amplitude als null aufweisen kann.) Der Wert des einem bestimmten Videosignal zugeordneten Schlüssels bestimmt die Transparenz des durch dieses Signal dargestellten Bilds; wenn der Schlüssel eine logische 1 beträgt, so ist das Bild undurchsichtig und wenn der Schlüssel eine logische 0 beträgt, so ist das Bild durchsichtig. Wenn das Bild, das durch ein Signal mit einer bestimmten Priorität dargestellt wird, wenigstens teilweise durchsichtig ist, so kann durch das Bild, das durch das Signal mit der höheren Priorität dargestellt ist, ein teilweise undurchsichtiges Bild gesehen werden, das durch ein Signal mit niedrigerer Priorität dargestellt wird.
  • In Figur 4 ist einer der Verarbeitungskanale 14 dargestellt. Gemäß der Darstellung in Figur 4 umfaßt ein kennzeichnender Verarbeitungskanal 14 einen Eingangsprozessor 141 zum Empfang eines Eingangsvideosignals in einer von verschiedenen Formen und zur Anordnung des Signals in einer zur Verarbeitung durch den Schalter geeigneten Form. Bei dem veranschaulichten Schalter wirkt der Verarbeitungskanal 14 auf die Videosignale in digitaler Bestandteilform ein. Wenn das Eingangssignal zum Beispiel in analoger Bestandteilform gegeben ist, so digitalisiert der Eingangsprozessor 141 das Videosignal und decodiert es und er digitalisiert auch das Schlüsselsignal (wenn ein solches mit dem Videosignal empfangen wird).
  • Das von dem Eingangsprozessor 141 bereitgestellte Ausgangssignal wird einem Schlüsselgenerator zugeführt, der dafür sorgt, daß zur Verarbeitung mit dem Videosignal ein Schlüssel bereitgestellt wird, wenn ein solcher nicht mit dem Videosignal empfangen worden ist, oder der Schlüsselgenerator erzeugt eine neues Schlüsselsignal, wenn eines mit dem Videosignal empfangen worden ist. Der Schlüsselgenerator kann abhängig von einem von der Bedienungsschnittstelle empfangenen Steuersignal in einem von drei Modi betrieben werden. In dem Chroma-Schlüssel-Modus erzeugt er einen Schlüssel, der den Bereich des Teilbilds definiert, über den das durch das Videosignal dargestellte Bild einen ausgewählten Farbton, z.B. blau, aufweist und er sorgt für eine Sättigung über einen ausgewählten Pegel. In dem Luminanz- Schlüssel-Modus erzeugt der Schlüsselgenerator einen Schlüssel, der den Bereich des Teilbilds definiert, über den die Luminanz des durch das Videosignal dargestellten Bilds einen ausgewählten Pegel übersteigt. In dem externen Schlüssel-Modus erzeugt der Schlüsselgenerator zwar selber keinen Schlüssel, doch überträgt er ein von einer externen Quelle empfangenes Schlüsselsignal. Wenn es sich bei dem Schlüsselsignal um ein empfangenes Vollbildsignal ohne zugeordneten Schlüssel handelt, so kann der Schlüsselgenerator einen Schlüssel erzeugen, der das Vollbild definiert. Das von dem Schlüsselgenerator gelieferte Ausgangssignal ist geformt. Wenn es sich somit bei dem von dem Schlüsselgenerator 142 empfangenen Videosignal um ein ungeformtes Videosignal handelt, so wird dieses in dem Schlüsselgenerator mit dem Schlüssel multipliziert.
  • Der Verarbeitungskanal umfaßt ferner Schaltungen zur Modifizierung des von dem Schlüsselgenerator bereitgestellten Videosignals, und zwar auf eine Art und Weise, die von der Bedienungsperson des Schalters über die Bedienungsschnittstelle 20 geregelt wird. Gemäß der Darstellung in Figur 4 können diese Schaltungen einen Rollschnittgenerator 143, einen Borderline Effektgenerator 144 (Borderline ist ein eingetragenes Warenzeichen der Grass Valley Group, Inc.) und einen digitalen Videoeffektgenerator 145 umfassen. Der Rollschnittgenerator wird zur Durchführung von Effekten verwendet, die allgemein als Überblendungen und rollende Schnitte bekannt sind. Bei einem herkömmlichen Schalter werden diese Effekte unter Verwendung eines Doppeleingangsmischers ausgeführt, der zwei Eingangsvideosignale empfängt und der ferner ein Mischungsregelungssignal empfängt, das einen Mischkoeffizienten darstellt, der zwischen 0 und 1 liegt und der Schalter ist durch Bedienung einstellbar. Der Mischer multipliziert eines der Eingangsvideosignale mit dem Mischkoeffizienten, multipliziert das andere Eingangsvideosignal mit dem Komplementärwert des Mischkoeffizienten und schafft ein Ausgangsvideosignal, welches die Summe der beiden Produkte darstellt. Die Beschaffenheit des Effekts ist von der Kurvenform des Mischungsregelungssignals abhängig. Wenn sich der Mischkoeffizient von eins bis null (oder umgekehrt) über ein Intervall verändert, das wesentlich kürzer ist als ein Vollbildintervall und wenn die Stelle in dem Teilbild, an der die Veränderung auftritt, durch das Teilbild über mehrere Vollbilder abgelenkt wird, so ist der Effekt ein rollender Schnitt von dem durch das eine Eingangsvideosignal dargestellten Bild zu dem durch das andere Eingangssignal dargestellten Bild. Wenn sich der Mischkoeffizient hingegen von eins bis null (oder umgekehrt) über ein Intervall verändert, das wesentlich länger ist als ein Vollbildintervall, so ist der Effekt eine Überblendung von einem Bild zu dem anderen.
  • Bei dem Schalter in Figur 3 werden die rollenden Schnitte und die Überblendungen durch Einstellung des Wertes für den Schlüssel bewirkt. Der Wert des einem Eingangsvideosignal zugeordneten Schlüssels bestimmt den Beitrag, den das durch das Eingangsvideosignal dargestellte Bild potentiell zu dem durch das Ausgangsvideosignal dargestellten Bild leisten kann, was der Priorität des Eingangsvideosignals unterliegt. Durch Veränderung des Wertes für den Schlüssel, können rollende Schnitte und Überblendungen erzeugt werden. Bei einem rollenden Schnitt verändert sich der Wert des Schiüssels von 0 bis 1 auf eine Art und Weise, die von dem räumlichen Muster auf dem Bildschirm abhängt und somit schaltet das von dem Rollschnittgenerator bereitgestellte Ausgangssignal zwischen dem Eingangssignal und einem Hintergrundpegel hin und her. Bei einer Überblendung wird der Wert des Schlüssels über mehrere Teilbilder von 0 bis 1 allmählich verändert und somit erhöht (oder senkt) die Transparenz des durch das entsprechende geformte Videosignal dargestellten Bilds sich progressiv und offenbart (oder verdeckt) das durch den Hintergrundpegel dargestellte Bild. Demgemäß umfaßt ein Rollschnittgenerator 143 einen Schaltkreis zur Erzeugung eines Steuerungssignals, das gegen das Schlüsselsignal multipliziert wird. Dieser Schaltkreis kann einem Schaltkreis entsprechen, der bei einem herkömmlichen Schalter zur Erzeugung des Mischungsregelungssignals, das zur Regelung der Mischung von zwei Eingangsvideosignalen verwendet wird, angewendet wird.
  • Der Borderline-Effektgenerator 144 wird normalerweise dazu verwendet, um um die Zeichen eine bildlich kontrastierende Grenze zu schaffen, wenn das Hintergrundbild, gegen das die Zeichen dargestellt sind, hohe räumliche Frequenzen und/oder eine hohe räumliche Bewegung enthält, um so die Lesbarkeit der Zeichen zu verbessern. Die Umrisse der Zeichen werden durch einen Schlüssel definiert und der Borderline-Effektgenerator definiert durch Bezug auf den Übergang zwischen einem Bereich, in dem der Schlüssel eins beträgt und einem Bereich, in dem der Schlüssel null beträgt, einen Grenzbereich. Der Borderline-Effektgenerator umfaßt einen Maskengenerator, der für das in den Grenzbereich einzusetzende Videosignal sorgt. Der in der Figur 4 dargestellte Borderline-Effektgenerator 144 funktioniert auf ähnliche Art und Weise wie ein Borderline-Effektgenerator eines herkömmlichen Schalters.
  • Der digitale Videoeffektgenerator kann dazu verwendet werden, die räumlichen Transformationen an dem Ausgangssignal durchzuführen, das durch den Borderline-Effektgenerator 144 geschaffen wird. Die Arten der räumlichen Transformationen, die unter Verwendung bekannter digitaler Videoeffektgeneratoren ausgeführt werden können, umfassen Translationen, Drehungen und Kompressionen.
  • Ein kennzeichnender Verarbeitungskanal kann Schaltkreise zur Bereitstellung zusätzlicher Effekte zu den in bezug auf die Figur 4 beschriebenen Effekten umfassen und einige Kanäle können einen größeren Umfang an Effekten aufweisen als andere Kanäle.
  • Die von den Verarbeitungskanälen 14 bereitgestellten Ausgangssignale werden dem Kombinator 18 zugeführt. Der Kombinator 18 empfängt sämtliche Videosignale und zugeordnete Schlüssel, die von den Verarbeitungskanälen 14 bereitgestellt werden und er empfängt auch Prioritätssignale von der Bedienungsschnittstelle 20 und kombiniert zur Erzeugung eines Ausgangsvideosignals die Eingangsvideosignale. Gemäß der Darstellung in Figur 5 (in der die Wege des Videosignals und des Schlüsselsignals nicht getrennt abgebildet sind) kann der Kombinator 18 durch einen n x n Video-Router 182 (wobei n die Anzahl der Verarbeitungskanäle 14 darstellt) und (n-1) Doppeleingangs-Kombinationsschaltkreise 183 verwirklicht werden. Bei einer solchen Verwicklichung des Kombinators 18, ermöglicht es der Video-Router 182, daß das von einem beliebigen der Verarbeitungskanäle 14 bereitgestellte geformte Videosignale und der zugehörige Schlüssel einem der Kombinationsschaltkreise 183 zugeführt werden. Bei jedem Kombinationsschaltkreis 183 kann es sich um eine Kombinatorzelle handeln, wie sie in der gleichzeitig anhängigen Patentanmeldung mit der laufenden Nummer 06/836.945, eingereicht am 6. März 1986, beschrieben und beansprucht ist, wobei die Offenbarung dieser Anmeldung hierin durch Verweis enthalten ist. Jede Kombinatorzelle empfängt zwei geformte Videosignale und deeren zugehörige Schlüssel und ein Prioritätssignal von der Bedienungsschnittstelle. Die beiden geformten Videosignale und ihre zugehörigen Schlüssel werden unter der Steuerung des Prioritätssignals kombiniert und die Kombinatorzelle sorgt an ihrem Ausgang für ein geformtes Videosignal und einen zugehörigen Schlüssel. Das Ausgangsvideosignal ist eine gewichtete Summe der beiden von der Kombinatorzelle empfangenen Eingangsvideosignale, wobei die Gewichtung der beiden Eingangssignale durch das Prioritätssignal bestimmt wird. Der Video-Router liefert jeweils die von der Kombinatorzelle 183&sub1; empfangenen zwei geformten Videosignale und deren zugeordnete Schlüssel. Jede andere Kombinatorzelle empfängt von dem Video-Router ein geformtes Videosignal und dessen zugeordneten Schlüssel und das Ausgangsvideosignal und dessen zugeordneten Schlüssel von der vorherigen Kombinatorzelle.
  • Die von einer der Kombinatorzellen 183&sub1;, ..., 183n-2 bereitgestellten Ausgangsvideosignale und deren zugeordnete Schlüssel können zu einem Wiedereintritts-Eingangsanschluß 22 der Quellenauswahleinrichtung 12 zurückgeführt werden, wodurch sie zur weiteren Verarbeitung dem Eingang eines anderen Verarbeitungskanals zugeführt werden können. Ein von dem Kombinator 18 bereitgestelltes, wieder eingetretenes Videosignal befindet sich natürlich in digitaler Bestandteilsform und es muß nicht von dem Eingangsprozessor des das Signal empfangenden Kanals verarbeitet werden.
  • Ein wieder eingetretenes Videosignal unterliegt durch die Verarbeitungskanäle einer Verarbeitungsverzögerung, bevor es mit einem von einem der Anschlüsse 16 empfangenen Videosignal kombiniert wird, wohingegen das letztgenannte Signal einer Verarbeitungsverzögerung durch nur einen Kanal unterliegt. Wenn ein Videosignal somit wieder eingegeben wird, so fügen die Eingangsprozessoren der Kanäle, welche die Signale direkt von den Anschlüssen 16 empfangen, d.h. ohne, daß diese wieder eingegeben werden, diesen Signalen eine zusätzliche Verarbeitungsverzögerung zu, um diese mit dem wieder eingetretenen Signal zu synchronisieren.
  • Das Ausgangsvideosignal und der zugeordnete Schlüssel, die von der letzten Kombinatorzelle 183n-1 bereitgestellt werden, werden einem Ausgangsprozessor 185 zugeführt. Das Ausgangsvideosignal des Kombinators 18 wird dem Ausgangsprozessor 185 entnommen, welcher das von der Kombinatorzelle 183n-1 empfangene Videosignal in die Form umwandelt, die von der Vorrichtung in der Reihenfolge hinter bzw. nach dem Schalter verlangt wird. Der Ausgangsprozessor 185 wandelt das von der Kombinatorzelle 183n-1 empfangene digitale Signalgemisch zum Beispiel in analoge Form um. Der Ausgangsprozessor kann das von dem Ausgangsprozessor empfangene geformte Videosignal auch in die ungeformte Form umwandeln, und zwar auf die in der gleichzeitig anhängigen Anmeldung beschriebene Art und Weise. Das von dem Ausgangsprozessor bereitgestellte Ausgangssignal kann einem Monitor zugeführt werden, um es der Bedienungsperson des Schalters zu ermöglichen, den erzielten Effekt zu beobachten.
  • Durch die Verwendung eines Verarbeitungskanals, in dem ein einzelnes Videosignal verarbeitet wird und durch die Kombination der Videosignale nach dem sie verarbeitet worden sind, kann die Bedienungsperson des Schalters dafür sorgen, daß jede Videoschicht das verlangte Erscheinungsbild aufweist, ohne daß dieses dadurch gestört wird, daß die Wechselwirkung zwischen den Videoschichten berücksichtigt werden muß.
  • Die vorliegende Erfindung ist nicht auf das bestimmte beschriebene und veranschaulichte Ausführungsbeispiel beschränkt und es können diesbezüglich Abänderungen vorgenommen werden, ohne dabei von dem Umfang der Erfindung abzuweichen, wie dieser in den anhängigen Ansprüchen bestimmt ist. Zum Beispiel ist die Erfindung nicht daraufhin beschränkt, daß der Verarbeitungskanal die bestimmten beschriebenen Funktionen ausführen kann, oder daß diese Funktionen in der beschriebenen Reihenfolge ausgeführt werden. Die Erfindung ist auch nicht auf die beschriebene Konstruktion des Kombinators eingeschränkt. Ein Kombinator kann auch auf andere Weise als unter Verwendung von Doppeleingangs- Kombinatorzellen gestaltet werden. Ein Kombinator kann auch dadurch geschaffen werden, daß in jedem Verarbeitungskanal eine Kombinatorzelle und ein Ausgangsprozessor enthalten sind, wobei die Kombinatorzellen in einer Schleife verbunden sind, und zwar auf die in der gleichzeitig anhängigen Anmeldung beschriebenen Art und Weise. Wenn für die Verwendung an dem Kombinator ein geformtes Videosignal vorausgesetzt ist, so muß diese Formung nicht in dem Schlüsselgenerator durchgeführt werden, sondern sie kann auch an einer Stelle hinter bzw. nach dem Schlüsselgenerator erfolgen, wie zum Beispiel gleich an dem Eingang des Kombinators. Es ist nur notwendig, daß diese Formung vor dem Eintreten der Kombination ausgeführt wird.

Claims (10)

1. Videoschalter mit:
einer Quellenauswahleinrichtung (12) mit einer Mehrzahl von Eingangsanschlüssen (16), welche externe Videosignale von einer gleichen Anzahl von Bildquellen empfangen und mit mindestens drei Ausgangsanschlüssen, an denen ausgewählte externe Videosignale bereitgestellt werden können;
mindestens drei Verarbeitungskanälen (14&sub1;, 14&sub2; - 14n) mit Eingangsanschlüssen, die mit den Ausgangsanschlüssen der Quellenauswahleinrichtung verbunden sind und wobei jeder einen entsprechenden Bildausgangsanschluß aufweist;
einer bedienbaren Steuereinrichtung (20), um der genannten Quellenauswahleinrichtung und den genannten Verarbeitungskanälen Steuersignale zuzuführen,
dadurch gekennzeichnet, daß jeder der Verarbeitungskanäle nur ein entsprechendes einzelnes Videosignal empfängt und umfassend eine Einrichtung (143, 144), die gemäß eines Schlüsselsignals, das dem genannten Videosignal zugeordnet ist, auf das genannte Videosignal so wirkt, daß das genannte Videosignal mindestens entweder in dem Amplitudenbereich oder dem Raumbereich begrenzt wird, ohne eine Raumbereichs-Transformation des genannten Videosignals, wodurch das genannte einzelne VideosignaI verarbeitet wird, ohne mit anderen einzelnen Videosignalen anderer Verarbeitungskanäle zusammenzuwirken; und
einer Video-Kombinatoreinrichtung (l8> mit einer Mehrzahl von Videosignal-Eingangsanschlüssen, von denen jeder mit dem Videoausgangsanschluß eines entsprechenden Verarbeitungskanals gekoppelt ist, wobei die genannte Video-Kombinatoreinrichtung so funktionsfähig ist, daß sie die Ausgangssignale, die durch die Verarbeitungskanäle in Abhängigkeit von den Prioritätssignalen bereitgestellt werden, die durch die genannte bedienbare Steuereinrichtung (20) als Reaktion auf die genannte Bedienungssteuerung zugeführt werden, so kombiniert, daß die durch die verschiedenen Eingangssignale dargestellten Bilder als Schichten in der Reihenfolge von abnehmender Priorität erscheinen.
2. Videoschalter nach Anspruch 1, dadurch gekennzeichnet, daß mindestens ein Verarbeitungskanal (14&sub1;, 14&sub2; - 14n) ferner eine Schaltung (145) umfaßt, die so auf das genannte Videosignal einwirkt, daß das genannte Videosignal in dem Raumbereich transformiert wird.
3. Videoschalter nach Anspruch 1, dadurch gekennzeichnet, daß mindestens ein Verarbeitungskanal (14&sub1;, 14&sub2; - 14n) ferner eine Schaltung (142) zur Erzeugung eines Schlüsselsignals umfaßt.
4. Videoschalter nach Anspruch 3, dadurch gekennzeichnet, daß die Schaltung (142) zur Erzeugung eines Schlüsselsignals auf das Videosignal anspricht, das einen ausgewählten Farbton darstellt.
5. Videoschalter nach Anspruch 3, dadurch gekennzeichnet, daß die Schaltung (142) zur Erzeugung eines Schlüsselsignals auf das Videosignal anspricht, das einen ausgewählten Helligkeitspegel darstellt.
6. Videoschalter nach Anspruch 3, dadurch gekennzeichnet, daß die Schaltung (142) zur Erzeugung eines Schlüsselsignals auf ein entsprechendes externes Schlüsselsignal anspricht, das von dem Verarbeitungskanal empfangen wird.
7. Videoschalter nach Anspruch 1, dadurch gekennzeichnet, daß die Quellenauswahleinrichtung mindestens einen Wiedereintrittsanschluß (22) für jeden Verarbeitungskanalausgang aufweist, zur Verbindung des Ausgangsanschlusses jedes Verarbeitungskanals (14) mit dem Eingangsanschluß mindestens eines anderen Verarbeitungskanals (14).
8. Videoschalter nach Anspruch 1, dadurch gekennzeichnet, daß die Video-Kombinatoreinrichtung (18) eine Anzahl von Videosignal-Eingangsanschlüssen aufweist, die der Anzahl der Verarbeitungskanäle (14&sub1;-14n) entspricht, sowie einen Videosignal-Ausgangsanschluß und eine Mehrzahl von Steuer- Eingangsanschlüssen (20) zum Empfang entsprechender Prioritätssignale, zur Begründung der Prioritätsbeziehungen zwischen den Videosignal-Eingangsanschlüssen.
9. Videoschalter nach Anspruch 8, umfassend n- Verarbeitungskanäle, wobei n eine Integerzahl darstellt, die größer als zwei ist und wobei die Video-Kombinatoreinrichtung (n-1) Doppeleingangs-Kombinierer (183&sub1;-183n-1) umfaßt, von denen jeder einen ersten und zweiten Signaleingangsanschluß zum Empfang entsprechender Videosignale aufweist, einen Steuer- Eingangsanschluß (20) zum Empfang eines Prioritätssignal und einen Ausgangsanschluß (22) zur Bereitstellung einer Summe der an den ersten und zweiten Signaleingangsanschlüssen empfangenen Eingangsvideosignale als ein Ausgangsvideosignal, bewertet gemäß dem an dem Steuer-Eingangsanschluß empfangenen Prioritätssignal, und die Video-Kombinatoreinrichtung umfaßt ferner einen Video- Router (182) mit n-Eingangsanschlüssen, die mit den enstprechenden Ausgangsanschlüssen der Verarbeitungskanäle verbunden sind und mit n-Ausgangsanschlüssen, wobei der Video- Router (182) funktionsfähig ist seine Eingangsanschlüsse selektiv mit seinen entsprechenden Ausgangsanschlüssen zu verbinden, wobei die ersten und zweiten Ausgangsanschlüsse des Ausgangs-Routers mit den ersten und zweiten Signaleingangsanschlüssen des ersten Doppeleingangs-Kombinierers verbunden sind, wobei der dritte bis der n-te Ausgangsanschluß des Video-Routers entsprechend mit den ersten Eingangsanschlüssen des zweiten bis (n-1)-ten Doppeleingangs-Kombinierers verbunden sind, dadurch gekennzeichnet, daß die Ausgangsanschlüsse der ersten bis (n-2)- ten Doppeleingangs-Kombinierer (183&sub1;-183n-2) mit den zweiten Eingangsanschlüssen der zweiten bis (n-1)-ten Doppeleingangs- Kombinierer verbunden sind und der Ausgangsanschluß des (n-1)-ten Doppeleingangs-Kombinierers (183n-1) ist mit dem Videosignal- Ausgangsanschluß der Video-Kombinatoreinrichtung verbunden.
10. Videoschalter nach Anspruch 8, umfassend n- Verarbeitungskanäle, wobei n eine Integerzahl darstellt, die größer als zwei ist und wobei die Videokombinatoreinrichtung (n- 1) Doppeleingangs-Kombinierer (1831'-183n-1) aufweist, von denen jeder zum Empfang entsprechender Videosignale einen ersten und zweiten Signaleingangsanschluß umfaßt, einen Steuer- Eingangsanschluß (20) zum Empfang eines Prioritätssignals und einen Ausgangsanschluß zur Bereitstellung einer Summe der an den ersten und zweiten Signaleingangsanschlüssen empfangenen Eingangsvideosignale, die gemäß dem an dem Steuer- Eingangsanschluß empfangenen Prioritätssignal bewertet sind, dadurch gekennzeichnet, daß die Ausgangsanschlüsse der ersten und zweiten Verarbeitungskanäle mit den ersten und zweiten Signaleingangsanschlüssen des ersten Doppeleingangs-Kombinierers verbunden sind und die Ausgangsanschlüsse des dritten bis n-ten Verarbeitungskanals sind entsprechend mit den ersten Eingangsanschlüssen des zweiten bis (n-1)-ten Doppeleingangs- Kombinierers verbunden und der Ausgangsanschluß des (n-1)-ten Doppeleingangs-Kombinierers ist mit dem Videosignal- Ausgangsanschluß der Video-Kombinatoreinrichtung verbunden.
DE68911563T 1988-02-19 1989-02-10 Videoschalter mit unabhängiger Verarbeitung ausgewählter Videosignale. Expired - Fee Related DE68911563T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US07/157,675 US4853784A (en) 1988-02-19 1988-02-19 Video switcher with independent processing of selected video signals

Publications (2)

Publication Number Publication Date
DE68911563D1 DE68911563D1 (de) 1994-02-03
DE68911563T2 true DE68911563T2 (de) 1994-07-07

Family

ID=22564771

Family Applications (1)

Application Number Title Priority Date Filing Date
DE68911563T Expired - Fee Related DE68911563T2 (de) 1988-02-19 1989-02-10 Videoschalter mit unabhängiger Verarbeitung ausgewählter Videosignale.

Country Status (6)

Country Link
US (1) US4853784A (de)
EP (1) EP0334475B1 (de)
JP (1) JPH01240083A (de)
AU (1) AU606248B2 (de)
CA (1) CA1295416C (de)
DE (1) DE68911563T2 (de)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8800053A (nl) * 1988-01-11 1989-08-01 Philips Nv Videoprocessorsysteem, alsmede afbeeldingssysteem en beeldopslagsysteem, voorzien van een dergelijk videoprocessorsysteem.
US4858011A (en) * 1988-04-04 1989-08-15 Jackson Richard A Video switcher system with modular architecture
DE3842361A1 (de) * 1988-12-16 1990-06-28 Philips Patentverwaltung Anordnung zum uebertragen digitaler fernsehsignale
GB2230399B (en) * 1989-04-07 1993-09-08 Sony Corp Controlling the combining of video signals
US4947256A (en) * 1989-04-26 1990-08-07 The Grass Valley Group, Inc. Adaptive architecture for video effects
US4947254A (en) * 1989-04-27 1990-08-07 The Grass Valley Group, Inc. Layered mix effects switcher architecture
US5227863A (en) * 1989-11-14 1993-07-13 Intelligent Resources Integrated Systems, Inc. Programmable digital video processing system
JPH03159491A (ja) * 1989-11-17 1991-07-09 Seiko Epson Corp マルチ画面表示システム
GB8927207D0 (en) * 1989-12-01 1990-01-31 Pro Bel Limited Digital switcher for routing signals
GB9020539D0 (en) * 1990-09-20 1990-10-31 Avesco Plc Video signal processing
JP2964631B2 (ja) * 1990-11-30 1999-10-18 ソニー株式会社 特殊効果装置
US5166797A (en) * 1990-12-26 1992-11-24 The Grass Valley Group, Inc. Video switcher with preview system
US5231499A (en) * 1991-02-11 1993-07-27 Ampex Systems Corporation Keyed, true-transparency image information combine
GB9109999D0 (en) * 1991-05-09 1991-07-03 Quantel Ltd Improvements in or relating to keying systems and methods for television image processing
US5285283A (en) * 1992-06-25 1994-02-08 The Grass Valley Group, Inc. Depth signal processing in a video switcher
US5305108A (en) * 1992-07-02 1994-04-19 Ampex Systems Corporation Switcher mixer priority architecture
US5265202A (en) * 1992-08-28 1993-11-23 International Business Machines Corporation Method and system for accessing visually obscured data in a data processing system
US5681223A (en) * 1993-08-20 1997-10-28 Inventures Inc Training video method and display
DE69526711T2 (de) 1994-11-04 2002-08-29 Matsushita Electric Industrial Co., Ltd. Bildkodierungsvorrichtung und -verfahren
US5721792A (en) * 1996-08-29 1998-02-24 Sensormatic Electronics Corporation Control of brightness of text/graphics overlay
US5982456A (en) * 1997-03-25 1999-11-09 Echolab, Inc. Digital video switcher including a general purpose processor and a control processor
DE19813077C2 (de) * 1997-04-01 2003-10-23 Bts Holding Internat Bv Breda Videosignalverarbeitungseinheit mit virtuellen Videoeingangssignalen
US5943508A (en) * 1997-07-28 1999-08-24 Tektronix, Inc. Switcher using shared decompression processors for processing both broadband and compressed video data
US6421095B1 (en) * 1999-07-29 2002-07-16 Grass Valley (Us), Inc. Key priority for a mix/effect bank having multiple keyers
US6473132B1 (en) 1999-09-09 2002-10-29 Media 100 Inc. Method and apparatus for effecting video transitions
US6243143B1 (en) 1999-09-21 2001-06-05 Media 100 Inc. Effecting video transitions between video streams
US6362854B1 (en) 1999-11-16 2002-03-26 Media 100 Inc. Effecting video transitions between video streams with a border
US6906725B2 (en) 2002-02-22 2005-06-14 L-3 Communications Corporation Apparatus and method for simulating sensor imagery
DE10236338A1 (de) * 2002-08-08 2004-02-19 Bts Media Solutions Gmbh Einrichtung zum Mischen von Videosignalen
JP4553248B2 (ja) 2002-11-15 2010-09-29 トムソン ライセンシング 字幕を組むための方法及び装置
US8737810B2 (en) * 2002-11-15 2014-05-27 Thomson Licensing Method and apparatus for cropping of subtitle elements
US7903903B1 (en) 2004-02-20 2011-03-08 Broadcast Pix, Inc. Integrated live video production system
US8456571B1 (en) 2004-02-20 2013-06-04 Broadcast Pix, Inc. Integrated live video production system
US7756118B2 (en) * 2006-04-21 2010-07-13 Utah Scientific, Inc. Video switching system utilizing a prioritized common network
US8605220B2 (en) * 2007-08-30 2013-12-10 Gvbb Holdings S.A.R.L. Generation of video transitions on an auxiliary bus using a video switcher
US8724029B2 (en) * 2011-05-26 2014-05-13 Adobe Systems Incorporated Accelerating video from an arbitrary graphical layer
JP6127964B2 (ja) 2013-12-26 2017-05-17 ソニー株式会社 信号切換装置および信号切換装置の動作制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4207596A (en) * 1978-05-15 1980-06-10 Crosspoint Latch Corp. Video special effects with cascaded control logic
US4222076A (en) * 1978-09-15 1980-09-09 Bell Telephone Laboratories, Incorporated Progressive image transmission
GB2063616B (en) * 1979-11-16 1984-06-20 Quantel Ltd Multiple picture image manipulation
US4447886A (en) * 1981-07-31 1984-05-08 Meeker G William Triangle and pyramid signal transforms and apparatus
JPS6031364A (ja) * 1983-07-30 1985-02-18 Sony Corp ミキシング装置
GB8405947D0 (en) * 1984-03-07 1984-04-11 Quantel Ltd Video signal processing systems
US4758892A (en) * 1984-04-27 1988-07-19 Ampex Corporation System for producing a video combine from multiple video images
JPS61224674A (ja) * 1985-03-29 1986-10-06 Nippon Hoso Kyokai <Nhk> 画像信号合成回路
US4694344A (en) * 1986-03-28 1987-09-15 Ampex Corporation Digital effects loop for video switchers

Also Published As

Publication number Publication date
EP0334475B1 (de) 1993-12-22
JPH01240083A (ja) 1989-09-25
EP0334475A1 (de) 1989-09-27
AU2764388A (en) 1989-08-24
US4853784A (en) 1989-08-01
DE68911563D1 (de) 1994-02-03
AU606248B2 (en) 1991-01-31
CA1295416C (en) 1992-02-04

Similar Documents

Publication Publication Date Title
DE68911563T2 (de) Videoschalter mit unabhängiger Verarbeitung ausgewählter Videosignale.
DE68926317T2 (de) Bilderzeugungsgerät
DE69708270T2 (de) Videobildmischung in einem heimkommunikationsterminal
DE69223031T2 (de) Programmierbare Bild-ausserhalb-Bild-Anzeige
DE69507716T2 (de) Graphisches menü für fernsehempfänger
DE3687522T2 (de) Bild-im-bild-fernsehempfaenger.
DE69109941T2 (de) Vorschau von Mehrfachbildern.
DE2822785C2 (de) Video-Trickeffektgenerator
DE68928744T2 (de) Verfahren zum senkrechten Filtern bei rasterabgetasteten Anzeigevorrichtungen
DE3789820T2 (de) In einem Videoumschalter eingebaute digitale Effektvorrichtung.
DE69128548T2 (de) Verbesserungen in Steuerdatenfeldern von Bildelementen
DE69419466T2 (de) Vorrichtung zum anzeigen von zeichen in einem videosystem
DE3907118C2 (de) Schaltungsanordnung zum Ausdehnen eines Steuersignals bei Videosignalverarbeitung
DE3838000C2 (de) Videoproduktionseinrichtung
DE3736195A1 (de) Raster-scan-videoanzeigegeraet
DE69007529T2 (de) Schalter für Mischeffekte.
DE2708778C3 (de) Verfahren und Vorrichtung zum Farbstanzen von Farbvideosignalen in Abhängigkeit von der wählbaren Farbart eines Farbsignals
DE68915913T2 (de) Digitalgerät für Videoeffekte.
DE3750862T2 (de) Verarbeitung von Videobildsignalen.
DE3842977C2 (de) Mischeinrichtung für Videosignale
DE69515610T2 (de) Vorrichtung zur Mischung von Videosignalen
DE4444304C2 (de) Verfahren zum Erzeugen eines zusammengesetzten Videobildes
DE3853859T2 (de) Videoeffektsystem mit videowiederholmischung und ausgangsmischung.
DE3238696C2 (de) Generator zur Bildung von Schaltsignalen zum Farbstanzen von Farbvideosignalen
DE3785871T2 (de) Vorrichtung zur Kombination von Videosignalen.

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee