DE60020957T2

DE60020957T2 - Verfahren und vorrichtung zur abstimmung von natürlichen farben

Info

Publication number: DE60020957T2
Application number: DE60020957T
Authority: DE
Inventors: Robert Gonsalves; D. Michael LAIRD
Original assignee: Avid Technology Inc
Current assignee: Avid Technology Inc
Priority date: 1999-04-16
Filing date: 2000-04-14
Publication date: 2006-05-18
Anticipated expiration: 2020-04-15
Also published as: WO2000063911A3; WO2000063911A2; CA2368487A1; EP1498900A3; EP1498900A2; DE60020957D1; US6571255B1; EP1515338A1; EP1173850B1; CA2368487C; EP1173850A2; JP2002542570A; AU4464200A; ATE298455T1

Description

HINTERGRUND
Digitales nicht-lineares Editieren (DNLE) ist ein Verfahren, durch welches digitale Medien editiert werden können. DNLE wird, wie der Name impliziert, bei digitalen Medien, welche als Daten in digitalen Medien-Dateien auf einem digitalen Medium mit wahlfreiem Zugriff gespeichert sind, ausgeführt. DNLE kann in einer nicht-linearen Art und Weise durchgeführt werden, weil auf die digitalen Medien-Dateien, in welchen die digitalen Medien gespeichert sind, wahlfrei zugegriffen werden kann. Auf diese Weise kann ein Editor auf einen Teil der digitalen Medien zugreifen, ohne dass er sequentiell durch andere Teile der digitalen Medien vorgehen muss, die in derselben Datei oder anderen digitalen Medien-Dateien gespeichert sind. Auch können mehr als ein Editor auf unterschiedliche Teile derselben digitalen Medien gleichzeitig zugreifen. Das digitale Medium kann eine digitalisierte Version eines Filmes oder Videobandes oder eines digitalen Mediums sein, welches durch Direkt- bzw. Live- Erfassung von einer Grafik oder Animations-Software-Anwendung auf einer Platte erzeugt wurde. Kommerzielle Beispiel-DNLE-Systeme beinhalten den Media Composer^® oder das Avid^® Symphony^TM Video-Produktions-System oder das NewsCutter^® Nachrichten Editier-System, erhältlich von Avid Technology, Inc. Für eine detailliertere Beschreibung von DNLE siehe Digital Nonlinear Editing, New Approaches to Editing Film and Video, Zweite Auflage, 1998 von Thomas Ohanian.
Elementare Komponenten von digitalen Medien sind Segmente, welche unten detaillierter beschrieben sind. Bei Ton- bzw. Audio-Segmenten beinhaltet jedes Segment eine Vielzahl von sequentiellen Ton- bzw. Audio-Beispielen. Bei einem Video umfasst ein Segment mindestens ein digitales Bild, wobei jedes digitale Bild ein Feld von Bildelementen, Pixel genannt, umfasst. Ein Video-Segment weist mehrere bzw. verschiedene Eigenschaften oder Merkmale auf, die digitalen Bildern eines Video-Segments zugeordnet sind. Die Merkmale beinhalten unter anderem Formatierungs-Merkmale, Farb-Merkmale, Speicherstellen-Merkmale und Quellen-Merkmale. Quellen- Merkmale definieren die Quellen- bzw. Ursprungs-Daten-Strukturen aus denen ein Segment erzeugt wird. Segmente und ihre Quellen- bzw. Ursprungs-Daten-Strukturen sind unten detaillierter beschrieben.
Formatierungs-Merkmale können beinhalten: das Farben-Format der Pixel, die Pixel-Tiefe der Pixel, die Anzahl von Zeilen und Spalten von Pixeln, landläufig auch als Bild-Größe bezeichnet, die Form der Pixel, zum Beispiel quadratisch oder nicht-quadratisch; der Typ des Video-Signals auf dem das digitale Bild übertragen wird, wurde oder werden wird; die Video-Rate bei welcher das Signal übertragen wird, wurde oder werden wird; die Abtastfrequenz, bei welcher das Video-Signal übertragen wird, wurde oder werden wird, zum Beispiel 4:2:2 oder 4:4:4; und die Pixel-Taktfrequenz, mit der die digitalen Pixel-Daten gewöhnlich in ein DNLE-System übergeben werden.
Viele von diesen Formatierungs-Merkmalen sind durch Standards definiert. Zum Beispiel gibt es in einem Standard-Quadrat-Pixel-NTSC-Bild-Format 640 Spalten und 480 Zeilen von Pixeln. Ferner werden sowohl in einem Nicht-Quadrat-Pixel-PAL-Format, als auch in einem Nicht-Quadrat-NTSC-Format Pixel-Informationen mit einer Rate von 27 MHZ übertragen.
Video-Signale können in zwei Haupt-Typen klassifiziert werden: Composite-Signale und Komponenten-Signale. Komponenten-Signale stellen einen Pixel mit Mehrfach-Farb-Komponenten dar, wobei jede Komponente einen Wert entlang einer Dimension des Farbraums definiert, in welchem die darzustellende Farbe definiert ist. Ein Composite-Video-Signal ist ein analoges Signal, welches einen Hochfrequenz-Hilfsträger verwendet, um Farb-Informationen zu kodieren. Der Hilfsträger ist eine Sinuswelle, deren Amplitude durch die Sättigung der Farbe, welche das Signal darstellt, moduliert wird, und der Farbton der Farbe ist als eine Phasendifferenz aus einem Farbsynchronsignal kodiert. Analoge Composite-Signale werden gewöhnlich zum Senden von Fernseh-Videosignalen verwendet.
Die Pixel-Tiefe eines Bildes definiert die Anzahl der Bits die erforderlich sind, um die Farbe eines Pixels auf einem computer-lesbaren Medium zu speichern. Zum Beispiel beträgt eine übliche Pixel-Tiefe für ein Komponenten-Farb-Format 24 Bits, wobei 8 Bits dazu verwendet werden, um jede Farbkomponente zu speichern.
Video- und Audiosegmente können auch Änderungsmerkmale aufweisen, die mit ihnen verbunden sind. Änderungsmerkmale von einem Segment sind Merkmale, die mit Änderungen verbunden sind, die an dem Segment von einem System-Benutzer, wie zum Beispiel einem Herausgeber bzw. Redakteur oder einem Koloristen vorgenommen wurden. Diese Änderungen können digitale Bilder und Audio- bzw. Hörbeispiele auf einem DNLE betreffen. Video- oder Bildänderungen können unter anderem Größenanpassungen eines Bildes, Tastung bzw. Keying, Panning und Scanning, Blending, Box Wipes, Dissolves, Farbeffekte, Farbkorrekturen, und andere verschiedenartige Änderungen und Effekte beinhalten, und sind den Fachleuten in DNLE bekannt. Audioänderungen beinhalten unter anderem Mischung, Sweetening, Manipulieren von Audio-Signalformen, und andere verschiedenartige Änderungen und Effekte, und sind den Fachleuten dieser Technik bekannt.
Eine Unterklasse der Videoänderung ist die Farbänderung. Farbänderung kann sowohl zur Korrektur von Farbfehlern aufgrund von Verarbeitungsfehlern, als auch zum Anpassen der Farben im Video zum künstlerischen Ausdruck durchgeführt werden. Für ein gegebenes Bild können Farbänderungen auf alle Pixel in dem Bild, oder auf Pixel eines Abschnittes des Bildes, angewendet werden. Farbänderungen können Kontrast- oder Farbverstärkungen in einem Bild beinhalten, um einem Programm ein „Gesamtaussehen" zu geben, oder Spezialeffekte auf ausgewählte Segmente anzuwenden. Andere Farbänderungen können durch einen Herausgeber bzw. Redakteur während einer Editiersitzung gemacht werden, um Probleme mit Farben oder Beleuchtung zu korrigieren, welche von der Quelle der Medien resultieren. Derartige Korrekturen können Farbbalance bzw. Farbausgleich für Kamera- und Beleuchtungsabweichungen umfassen, Korrekturen für Filmentwicklungs-Abweichungen, Anpassung von Farben und Tönen von Szene zu Szene, oder Einstellen bzw. Ausgleichen von Video-Pegeln für Abweichungen in Quellen- bzw. Ursprungsbändern, Quellstapeln, etc.
Es gibt eine Vielfalt von Farbausführungs- bzw. Farbformat-Komponenten die dazu verwendet werden, um eine Farbe darzustellen. Farbausführungs- bzw. Farbformat-Komponenten werden sowohl in Videosignal-Komponenten, als auch in digitalen Pixel-Streams verwendet. Ein digitales Bildspeicher- RGB(Rot, Grün, Blau)-Format stellt eine Farbe mit einer roten Komponente, einer grünen Komponente und einer blauen Komponente dar. Ein CMY- (Cyan, Magenta, Gelb, Schwarz) Format stellt eine Farbe mit einer Cyan-Komponente, einer Magenta-Komponente und einer Gelb-Komponente dar. CMY ist ein Format, das üblicherweise von Druckern verwendet wird. Die CMY-Komponenten sind Farbgegensätze der RGB-Komponenten. In einem dreidimensionalen Koordinatensystem stellt jede Komponente, entweder aus dem RGB-Format oder dem CMY-Format, einen Wert entlang einer Achse dar, und die Kombination der Werte definiert einen kubischen Farbraum.
Die Farb-Formate HSL (Farbton, Farbstärke, Helligkeit oder Luminanz) und HSV (Farbton, Farbstärke, Zahlenwert) stellen eine Farbe mit einer Farbton-Komponente, einer Farbstärke-Komponente und eine Luma-Komponente dar. In einem dreidimensionalen Koordinatensystem stellt die Luma-Komponente einen Wert entlang einer Luma-Achse dar, die Farbton-Komponente stellt den Winkel eines Chroma-Vektors in Bezug auf die Luma-Achse dar und die Farbstärke-Komponente stellt den Betrag des Chroma-Vektors dar. Die Kombination dieser Werte definiert einen hexagonalen, kegelförmigen Farbraum um die Luma-Achse herum.
YCrCb, YUV und YIQ sind drei Farb-Formate die jeweils eine Farbe mit einer Y-Komponente und zwei Chroma-Komponenten, Cr und Cb, U und V, oder I und Q, darstellen, die einen Chroma-Vektor definieren. In einem dreidimensionalen Koordinatensystem stellt jede Komponente entweder der YCrCb, YUV und YIQ einen Wert entlang einer Achse dar, die Kombination dieser Werte definiert einen zylinderförmigen Farbraum um die Luma-Achse herum. Die Chroma-Komponenten definieren den Chroma-Vektor. In einem Datenformat mit einer Luma-Komponente kann die Luma-Komponente unabhängig dazu verwendet werden, einen Pixel in einem Schwarzweißbild darzustellen, z.B. mit einem Schwarzweiß-Bildschirm.
Eine typische Farbänderung im HSL-Farbraum kann die Erhöhung einer Farb-Komponente oder einer Kombination von Farbkomponenten für alle Pixel in jedem digitalen Bild eines Abschnitts eines digitalen Mediums beinhalten. Typischerweise greift ein Editor auf ein Segment eines Satzes bzw. einer Komposition zu, der bzw. die den Anschnitt von Medien über eine Editor-Schnittstelle darstellen und geben die gewünschten Farbänderungen über die Editor-Schnittstelle ein. Einige Systeme erlauben es dem Editor Farbänderungen lediglich auf Abschnitten eines digitalen Bildes anzuwenden. Abschnitte eines digitalen Bildes können ebenfalls durch ein oder mehrere Pixel dargestellt werden. Zum Beispiel kann ein Editor, Tastatur oder andere Editor-Eingaben einen Abschnitt des Bildes mit einer Maus zu wählen bzw. zu markieren und für die gewählten bzw. markierten Abschnitte Farbänderungen zu definieren. Ein entsprechendes kommerzielles System für Farbänderungen ist Avid Media Illusion^TM, erhältlich von Avid Technology Inc. Die Erfindung auf die sich die vorliegende Anwendung bezieht, ist jedoch in den beigefügten Ansprüchen vorgegeben. Andere kommerzielle Software-Anwendungen können verwendet werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
In den Zeichnungen:
1 ist ein Blockdiagramm, welches die Beziehungen zwischen Ursprungs- bzw. Quellendaten-Strukturen und Ursprungs- bzw. Quellen-Medien veranschaulicht;
2a ist ein Blockdiagramm, welches die Beziehungen zwischen Kompositions- bzw. Bildzusammenstellungs-Daten-Strukturen in einer Komposition veranschaulicht;
2b ist ein Blockdiagramm, welches parallele und serielle Beziehungen zwischen den Kompositions- bzw. Bildzusammenstellungs-Daten-Strukturen von 2b (?) veranschaulicht;
3a ist ein Diagramm, welches eine Benutzerschnittstelle für ein digitales nichtlineares-Editiersystem veranschaulicht;
3b ist ein Diagramm, welches einen Medien-Abschnitt veranschaulicht;
4 ist ein Blockdiagramm, welches die Beziehungen zwischen den Ursprungs- bzw. Quellendaten-Strukturen von 2 und den Kompositions- bzw. Bildzusammenstellungs-Daten-Strukturen von 3a veranschaulicht;
5 ist eine Tabelle, welche ein Beispiel einer Beziehung veranschaulicht;
6 ist ein Blockdiagramm, welches ein Beispiel einer Ursprungs- bzw. Quellen-Farbänderung und Zusammenstellungs-Farbänderungen auf Segmente innerhalb einer Sequenz veranschaulicht;
7 ist ein Blockdiagramm, welches ein Beispiel von Ursprungs- bzw. Quell-Datenstrukturen und Zusammenstellungs-Datenstrukturen veranschaulicht;
8a ist ein Flussdiagramm, welches ein Beispiel eines Ursprungs- bzw. Quellen-Farben-Wandlers veranschaulicht;
8b ist ein Flussdiagramm, welches ein Beispiel eines Zusammensetzungs-Farben-Wandlers veranschaulicht;
9 ist ein Flussdiagramm, welches ein Beispiel eines Editierprozesses veranschaulicht, wobei eine Zusammenstellungs-Farbänderung und eine Ursprungs- bzw. Quellen-Farbänderung zur Anwendung gebracht wird;
10 ist ein Flussdiagramm, welches ein Beispiel eines Prozesses zur Identifizierung einer Ursprungs- bzw. Quell-Datenstruktur veranschaulicht, die durch ein Ursprungs- bzw. Quell-Beziehungs-Attribut definiert ist;
11 ist ein Flussdiagramm, welches ein Beispiel eines Prozesses zur Identifizierung einer Zusammensetzungs-Datenstruktur, definiert durch ein Zusammensetzungs-Beziehungs-Merkmal, veranschaulicht;
12 ist ein Datenfluss-Diagramm welches einen Media-Spieler, welcher Ursprungs- bzw. Quell-Farbänderung und Zusammensetzungs-Farbänderung realisiert;
13a ist ein Datenfluss-Diagramm welches einen Media-Spieler während eines Wiedergabes realisiert;
14 ist eine Ausführungsform einer Benutzer-Schnittstelle für Farbänderungen;
15 ist eine Veranschaulichung, wobei der Betrieb im HSL-Farbraum beschrieben wird;
16 ist ein Blockdiagramm welches ein Beispiel des Speicherns von Quellen- und Bildzusammensetzungs-Farbänderungen veranschaulicht;
17 ist eine Tabelle eines Beispiels einer Bildzusammensetzungs-Quellen-Tabelle.
DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung sollte in Verbindung mit den angehängten Zeichnungen gelesen werden, in denen gleiche Bezugsnummern gleiche Strukturen bezeichnen.
Ein übliches Merkmal, das Segmente gemeinsam haben, ist eine gemeinsame Quelle. Dieses gemeinsame Quellen-Merkmal wird hierin auch als Quellen-Verwandtschaft bezeichnet. Änderungen an Segmenten, welche eine Quellen-Verwandtschaft aufweisen, werden nun beschrieben.
Ein DNLE kann verfolgen oder Zugriff auf Informationen haben, die anzeigen, wie Segmente von Medien in einer Bildzusammenstellung durch die Quelle der Mediendaten die sie darstellen miteinander in Beziehung stehen können. Diese Information kann dazu verwendet werden um eine Änderung auf vielfache Segmente zur selben Zeit anzuwenden. Derartige Änderungen werden hierin als Quellen-Änderungen bezeichnet.
Die Beziehungen zwischen Segmenten von einem Quellen-Medium in einer Bildzusammenstellung werden durch Verweise auf Quellen-Daten-Strukturen dargestellt, welche Medien darstellen, die in Multi-Media-Bildzusammenstellungen kombiniert oder zusammengesetzt werden können. Video- und Audio-Änderungen, einschließlich Quellen-Video- und Audio-Änderungen, werden typischerweise im Rahmen von Bildzusammenstellungen definiert. Bildzusammenstellungen werden durch Bildzusammenstellungs-Daten-Strukturen oder Komponenten dargestellt. Daten-Strukturen für Quellen-Medien und Bildzusammenstellungen werden unten detaillierter beschrieben.
Beziehungen zwischen Segmenten von Medien in einer Bildzusammenstellung, die Daten-Strukturen, die diese Beziehungen darstellen, und die Beziehungen zwischen diesen Daten-Strukturen selbst, sind in einem oder mehreren U.S.-Patenten beschrieben, einschließlich U.S.-Patent Nr. 5.752.029 von Michael J. Wissner, und ausgegeben am 12. Mai 1998 mit dem Titel „ Method And Apparatus For Representing And Editing Multimedia Compositions Using References To Tracks In The Composition To Define Components Of The Composition" (The Wissner patent), U.S. Patent-Nr. 5.267.351, angemeldet am 22. Dez. 1989, von j. Reber et al. mit dem Titel "MEDIA STORAGE AND RETRIEVAL SYSTEM" (the Reber patent), U.S.Patentanmeldung Nr. 09/054.761, angemeldet am 3. April 1998 von Eric C. Peters mit dem Titel „ Computer System And Process For Transferring Multiple High Bandwith Streams Of Data Between Multiple Storage Units And Multiple Applications In A Scalable And Reliable Manner (the Peters application)". Quellen-Beziehungen und Daten-Strukturen sind ebenfalls beschrieben in dem OMF Interchange^® Specification (OMF), Version 2.1, 1997, erhältlich von dem OMF Developes' Desk of Avid Technologies, Inc., und im Internet erhältlich unter der URL: http://www.avid.com/3rdparty/omfi, und in dem „Advanced Authoring Format specification (AAF)".
Eine allgemeine Zusammenfassung von derartigen Beziehungen und Daten- Strukturen, die verwendet werden können, werden nun beschrieben.
Ein DNLE-System erlaubt einem Editor typischerweise eine Multimedia-Bildzusammenstellung zu entwerfen bzw. zu gestalten. Eine Multimedia- Bildzusammenstellung ist die Sammlung von Beziehungen zwischen zeitvariablen Mediendaten, wobei dargestellt wird, wie die Daten im Zeitablauf synchronisiert und kombiniert werden sollten. Zeitvariable Daten können zum Beispiel sein: Video- oder Audio-Daten, sind aber nicht auf derartige Daten begrenzt. Statische Daten verändern sich im Laufe der Zeit nicht, zum Beispiel unbewegte Bilder und Texte, sind eine Untermenge zeitvariabler Daten und können ebenso in Multimedia-Bildzusammenstellungen einbezogen werden. Die Daten hängen durch Gruppierung in unterschiedliche Typen von Komponenten miteinander zusammen, die Kombination aus diesen bildet eine Bildzusammenstellung. Ein Verfahren und Apparat zur Darstellung solch einer Medien-Bildzusammenstellung ist in einem oder mehreren U.S.-Patenten, einschließlich des Wisser-Patents beschrieben.
Mediendaten die in einer Zusammenstellung bzw. Komposition verwendet werden beinhalten digitalisierte Versionen von physikalischen Quellen-Medien, wie z.B. Video- oder Audio-Bänder, Compact Disk, computererzeugte Bilder, etc. Physikalische Quellen-Medien werden hierin als physikalische Medien bezeichnet. Digitalisierte Versionen von physikalischen Medien, die für Anwendungen verfügbar sind, werden hierin ebenfalls als digitale Medien-Quellen oder digitale Quellen bezeichnet. Digitale Quellen können digitale Beispiele von physikalischen Medien beinhalten oder können von Anwendungssoftware für Grafiken, Animationen oder Textverarbeitung, etc. erzeugt worden sein. Eine digitale Quelle die durch Anwendungssoftware erzeugt wurde, wird hierin als eine digital erzeugte Quelle bezeichnet. Eine digitale Quelle welche direkt digital von einem physikalischen Medium abgetastet wird, wird hierin als originale digitale Medienquelle oder als originale digitale Quelle bezeichnet. Eine digitale Quelle kann ein einzelnes Bild oder ein einzelnes Beispiel darstellen, und kann eine Kopie von oder ein Abschnitt einer anderen digitalen Quelle sein. Digitale Quellen werden in digitalen Medien-Dateien gespeichert.
Darstellungen von digitalen Quellen und Darstellungen von physikalischen Medien werden hierin als Ursprungs- bzw. Quellen-Daten-Strukturen bezeichnet. Ursprungs- bzw. Quellen-Daten-Strukturen können in Daten-Dateien, in einer Datenbank oder irgendeinem anderen Format gespeichert werden. Eine Ursprungs- bzw. Quellen-Daten-Struktur, welche eine digitale Quelle darstellt kann in demselben Medien-Datenfile gespeichert werden wie die digitale Quelle, die sie darstellt, oder in einer gesonderten Daten-Datei.
Eine Quellen-Daten-Struktur enthält Informationen, welche das Medium das sie darstellt, ob digital oder physikalisch, beschreiben. Die Informationen können enthalten: wie die digitale Quelle erzeugt wurde; eine Identifizierung des entsprechenden physikalischen Mediums; die Abtastgeschwindigkeit (und damit die Länge einer Abtastung), und die Länge jeder Abtastung in Bytes; eine Anzeige des Abschnitts des physikalischen Mediums das sie darstellen und dem Zeitversatz der Quelle physikalischer Medien für die digitale Quelle.
Mehrere digitale Quellen von denselben physikalischen Medien und ihrer entsprechenden Quellen-Daten-Strukturen können, wenn gewünscht, ebenfalls gespeichert werden. Das Speichern mehrere digitalen Quellen und Quellen-Daten-Strukturen erlaubt es der Zusammensetzung bzw. Komposition, den Austausch von Medien in unterschiedlichem Grade von visueller oder tonaler Qualität für unterschiedliche Zwecke zu unterstützen. Zum Beispiel kann eine digitale Quelle ein Qualitätsniveau aufweisen, welcher für die Ausgabe an Video-Bänder geeignet ist, wohingegen eine alternative digitale Quelle für die Darstellung in einem kleinen Fenster auf einem Computerbildschirm nützlich sein kann. Beispiele für solch ein System zum Speichern und Zugreifen auf mehrere digitale Quellen von einem einzigen physikalischen Medium sind in dem Reber-Patent und der Peters-Anwendung beschrieben. Ein kommerzielles Speichersystem, welches geeignet ist, um Medien-Daten-Dateien und Zusammenstellungs- bzw. Kompositions-Daten zu speichern, enthält das MediaShare^®-Speicher-System von Avid Technologies, Inc. Es können andere kommerzielle Systeme verwendet werden.
Eine Quellen-Daten-Struktur, Quellen-Clip genannt, stellt einen einzelnen zeitnahen Medienabschnitt dar. Wie mit anderen Quellen-Daten-Strukturen, enthält ein Quellen-Clip keine aktuellen Mediendaten der digitalen Quelle, sondern referenziert nur auf sie, zum Beispiel durch Bezugnahme auf eine Daten-Datei. Ein Quellen-Clip stellt eine digitale Quelle dar, welche eine originale digitale Quelle oder eine digital erzeugte digitale Quelle sein kann. Ein Quellen-Clip der eine originale Quelle oder eine digital erzeugte Quelle darstellt wird hierin als Original-Quellen-Clip oder als Original-Clip bezeichnet. Ein Quellen-Clip der eine digitale Quelle darstellt, welche ein Abschnitt oder eine Kopie von einer originalen digitalen Quelle oder eine digital erzeugte Quelle ist wird hierin als Unter-Clip bezeichnet. Eine Quellen-Daten-Struktur, die ein physikalisches Medium darstellt wird hierin als physikalisches Quellen-Medien-Objekt oder physikalisches Medienobjekt bezeichnet. Quellen-Clipe werden in OMF und AAF beschrieben.
Ein Quellen-Clip kann eine Quellen-Kennung enthalten, die eine andere Quellen-Daten-Struktur identifiziert, die entweder eine digitale Quelle oder ein physikalisches Medium darstellt, das den Abschnitt der Medien enthält, die von dem Quellen-Clip dargestellt wurden. Wenn der Quellen-Clip, eine digital erzeugte digitale Quelle darstellt, ist die Quellen-Kennung ein ungültiger Wert, weil die digital erzeugte digitale Quelle nicht von einer anderen Quelle abstammt. Ein Quellen-Clip, der nicht eine digital erzeugte digitale Quelle darstellt, enthält ebenfalls eine Quellen-Regelabweichung. Die Quellen-Regelabweichung legt eine Startposition relativ zu dem Medien-Abschnitt fest, der durch die Quellen-Daten-Struktur dargestellt wird, von dem der Quellen-Clip abstammt.
Wenn eine erste Quellen-Daten-Struktur hierin als abstammend von einer zweiten Quellen-Daten-Struktur bezeichnet wird, ist die zweite Quellen-Daten-Struktur die Quelle der ersten Quellen-Daten-Struktur. Wenn eine erste Quellen-Datenstruktur hierin als indirekt abstammend von einer zweiten Quellen-Datenstruktur bezeichnet wird, ist die zweite Quellen-Daten-Struktur die Quelle von mindestens einer dritten Quellen-Daten-Struktur, die die Quelle der ersten Daten-Struktur ist. „Mindestens" eine dritte Datenstruktur bedeutet, dass es mehrere Quellen-Daten-Strukturen zwischen der der ersten und der zweiten Quellen-Daten-Struktur geben kann, wobei jede Daten-Struktur von der anderen in einer Quellen-Kette zwischen der ersten und zweiten Quellen-Daten-Struktur abstammen kann. Zum Beispiel kann ein UnterClip indirekt von einem physikalischen Medien-Objekt abstammen, wie unten in Zusammenhang mit 1 beschrieben.
Eine Beispiel-Veranschaulichung von Regelabweichung ist ein Quellen-Clip, welcher eine Regelabweichung von 40 Einheiten aufweist und eine originale digitale Quelle darstellt. Der Original-Clip stammt somit von einer Daten-Struktur her, die ein physikalisches Medium darstellt, wie unten ausführlicher behandelt. Wenn die Daten-Struktur, von der der Quellen-Clip abstammt eine Regelabweichung von 100 enthält und Einheiten 100–200 von einer physikalischen Quelle darstellt, sind die 40 Einheiten, welche durch den Quellen-Clip definiert sind eine Regelabweichung von Einheit 100 der physikalischen Quelle. Die Quelle stellt somit einen Abschnitt von Medien dar, welche bei einer Einheit 40 der digitalen Quelle beginnen, und welche bei einer Einheit 140 des physikalischen Mediums enden.
Ein Quellen-Clip, welcher sich auf eine Quellen-Daten-Struktur bezieht kann sich ebenfalls auf eine andere Quellen-Daten-Struktur beziehen, welche sich jedoch ebenfalls auf eine andere Quellen-Daten-Struktur beziehen kann, etc. Dieser Typ von Mehrfachschichtung wird in dem Wissner-Patent und durch OMF beschrieben.
Ein Beispiel für solch eine vielschichtige Darstellung wird in 1 veranschaulicht. Das physikalische Medien-Objekt 48 ist eine Quellen-Daten-Struktur, die das physikalische Quellen-Medium 54 darstellt aus dem originale digitale Medien-Quellen 50 erzeugt werden. Jede originale digitale Quelle 50 kann in einer digitalen Medien-Datei gespeichert werden, wie im Reber-Patent beschrieben wird. Jede originale digitale Quelle 50 ist ein digitalisierter Abschnitt der physikalischen Medien 54, wobei jede der originalen digitalen Quellen 55 eine Digitalisierung der gesamten physikalischen Medien 54 sein kann. Für jede originale digitale Quelle 50, die aus dem physikalischen Medium 54 erzeugt wurde, wird ebenfalls ein Original-Quellen-Clip 46 erzeugt, der die originale digitale Quelle darstellt.
Andere digitale Quellen wie 52 können als Abschnitte der originalen digitalen Quelle 50 bezeichnet werden. Alternativ können andere digitale Quellen als Kopien von einer originalen digitalen Quelle 50 erzeugt werden. Für jede andere digitale Quelle 52, werden UnterClipe 44 erzeugt um die digitale Quelle 52 darzustellen. Jeder UnterClip 44 stammt von einem Original-Clip 46 ab, welcher von einem physikalischen Medien-Objekt 48 abstammen kann. Folglich kann jeder UnterClip 44 indirekt von einem physikalischen Medien-Objekt 48 abstammen.
Um das Editieren von Zusammensetzungen bzw. Kompositionen einer Vielzahl von Medien zu unterstützen, werden Kompositions-Daten-Strukturen dazu verwendet, um Informationen, die eine Komposition betreffen und Operationen, die solche Kompositions-Daten-Strukturen verarbeiten, zu organisieren und zu speichern. Die elementaren Funktionsbausteine von einer Komposition werden Komponenten genannt. Eine Komposition bzw. Zusammensetzung ist als Baum von Komponenten, einschließlich einer Wurzelkomponente, strukturiert. Eine Komponente kann oder kann nicht, abhängig von ihrem Typ, Unterkomponenten aufweisen. Eine Komponente kann als eine Funktion über die Zeit angesehen werden weil sie Informationen enthält, um den Zustand ihres Abschnitts der Komposition zu jeder Zeit innerhalb ihres Bereichs zu erzeugen. Eine
Komponente stellt somit eine zeitabhängige Sequenz von Medien-Daten oder -Quellen dar, Medien-Datenkette genannt.
Die Kompositions-Daten-Strukturen, welche verwendet werden, um die Komponenten einer Komposition darzustellen, schließen die Medien-Daten selbst aus. Die Kompositions-Daten-Strukturen beinhalten Hinweise von oder Verweise auf die Medien-Daten und Darstellungen der Beziehungen zwischen und Kombinationen von den Medien, die die Komposition erzeugen. Somit werden Kompositionen getrennt von den Medien-Daten gespeichert auf die sie verweisen, und erlauben vielen Kompositionen, dieselben Medien-Daten zu verwenden ohne sie zu vervielfachen.
Verschiedene Typen von Daten-Strukturen können kombiniert werden, um eine Komposition zu bilden. 2a veranschaulicht eine mögliche Kombination von Komponenten. Jedes Segment 6 stellt eine Sektion von Medien als eine Komponente von einer Komposition dar. Obwohl jedes Segment auch komplexere Strukturen, wie zum Beispiel eine Sequenz oder eine Titelgruppe darstellen kann, welche weiter unten diskutiert wird, stellt ein Segment, wie hierin bezeichnet, einen einzelnen zeitnahen Abschnitt von Medien im Kontext einer Komposition dar, sofern nicht anderweitig bezeichnet. Ein Segment enthält eine Quellen-Kennung welche einen Quellen-Clip festlegt.
Die Übergänge 8 sind Komponenten, welche sich zwischen zwei Segmenten in einer Sequenz von Komponenten befinden, und anzeigen, wie eine Darstellung vom Anzeigen eines Segmentes zum Anzeigen des nächsten Segmentes wechseln sollte.
Eine Sequenz 4 stellt die zeitliche Serialisierung oder Verkettung einer Sammlung von Komponenten dar. Eine Sequenz kann eine geordnete Auflistung von Segmenten definieren, welche durch Übergänge getrennt sind, und kann selbst ein Segment in einer anderen Sequenz sein. Die Reihenfolge von Segmenten in einer Sequenz definiert die Reihenfolge der Interpretierung oder des „Wiedergabes". Jede Sequenz 4 kann eine Liste von Unterkomponenten beinhalten und beinhaltet die Unterkomponenten-Kennung von jeder Unterkomponente. Ein Beispiel für ein Wiedergabe-System, welches zum Abspielen einer Komposition geeignet ist, wird im Wissner-Patent und der Peters-Anwendung und dem U.S. Patent Nr. 5.045.940, angemeldet am 22. Dezember 1989, von Eric C. Peters, mit dem Titel „ VIDEO/AUDIO TRANSMISSION SYSTEM AND METHOD " (das Peters-Patent), beschrieben. Ebenso kann ein kommerzielles Wiedergabe-System verwendet werden um Kompositionen, die das „Media Engine Video Wiedergabe-System" einsetzen abzuspielen, erhältlich von Avid Technology, Inc., enthalten im Avid^®AirPlay^® MP Wiedergabe Server-System. Es können andere kommerzielle Systeme verwendet werden.
Eine Titelgruppe definiert eine parallele Beziehung zwischen Sequenzen oder Segmenten welche durch Titel innerhalb der Titelgruppe definiert sind. Zum Beispiel kann ein Titel innerhalb einer Titelgruppe eine Audio-Sequenz oder -Segment sein, welches mit einer Video-Sequenz zu synchronisieren ist. Ein anderer Titel innerhalb der Titelgruppe kann das Video-Segment bzw. -Sequenz sein, und ein dritter Titel innerhalb der Titelgruppe kann ein Hintergrund-Video-Effekt-Segment oder -Sequenz sein welche mit dem Video-Segment oder -Sequenz zu kombinieren sind. Eine Zusammensetzung bzw. Komposition ist im Wesentlichen eine Titelgruppe bei welcher die parallelen Titel zum selben Zeitpunkt beginnen und zum selben Zeitpunkt enden.
2b veranschaulicht eine Darstellung einer Komposition 2, von der in 3a ein Standbild gezeigt werden kann, wobei Sequenzen 4 und 5 jeweils durch parallele Titel 14 und 15 dargestellt werden. Jeder Titel 14 und 15 kann als logischer Darstellungskanal betrachtet werden und ist daher ein einzelner Medien-Typ. Weil die Titel 14 und 15 Unterkomponenten von einer Sequenz 2 sind, beginnen die Sequenzen 4 und 5 zum selben Zeitpunkt und enden zum selben Zeitpunkt.
4 veranschaulicht die Beziehung zwischen Quellen-Datenstrukturen und einer Medien-Komposition. Die Komposition 2 beinhaltet 5 Titel, wobei jeder Titel eine Sequenz ist, einschließlich einer Sequenz 4, die zwei Segmente und einen Übergang beinhaltet. Sequenz 4 beinhaltet ein Segment 6, das von einem UnterClip 44 abstammt. Der UnterClip 44 stammt vom Original-Clip 46 ab, der von dem physikalischen Medien-Objekt 48 abstammt. Quellen-Clip 44 ist die Quelle von Segment 7 und von Segment 6. Segment 7 ist eine Unterkomponente von Sequenz 5. Somit ist der UnterClip 44 die Quelle von zwei Segmenten 6 und 7, welche jeweils zu zwei unterschiedlichen Sequenzen 4 und 5 gehören. Obwohl in 4 nicht gezeigt, könnte der UnterClip 44 die Quelle eines Segmentes sein, welches in einer völlig anderen Komposition verwendet wird. Dieselbe An von Beziehung zwischen Quellen-Daten-Strukturen und Kompositions-Daten-Strukturen kann auf der Original-Clip-Ebene ebenfalls zutreffend sein. Ein Original-Quellen-Clip eines physikalischen Medien-Objektes kann die Quelle von mehreren UnterClipen sein, die mit Segmenten von mehreren Kompositionen verknüpft sind.
Nachdem die verschiedenen Arten von Quellen-Beziehungen und Beispiel von Daten-Strukturen, welche diese Beziehungen darstellen beschrieben wurden und wie sie verwendet werden, um eine Komposition zu definieren, wird nun ein Beispiel einer Quellen-Medien-Änderung beschrieben.
Quellen-Medien-Änderungen bilden ein einfaches, zeitsparendes Verfahren, um eine einzige Änderung auf verschiedenen Audio- oder Video-Segmenten anzubringen, welche von einer gemeinsamen Quelle abstammen. Die gemeinsame Quelle von einem Segment kann durch Anbringen eines Quellen-Beziehungs-Parameters (Merkmals) in dem Segment bestimmt werden, welcher durch einen Editor definiert werden kann, wie unten detaillierter beschrieben wird.
5 veranschaulicht eine Tabelle 60, die mögliche Quellen-Beziehungen für Quellen-Medien-Modifikationen und mögliche Kompositions-Beziehungen für Kompositions-Medien-Änderungen aufführt. Die Tabelle 60 beinhaltet eine Quellen-Beziehungs-Spalte 62 und eine Kompositions-Beziehungs-Spalte 64.
Die Quellen-Beziehungs-Parameter können als eine Segment-Beziehung 61, eine Quellen-Clip-Beziehung 63, eine Original-Clip-Beziehung 65, eine physikalischen Medien-Beziehung 67, oder eine Quellen-Name-Beziehung 59 definiert werden. Wenn die Quellen-Beziehung als die Segment-Beziehung 61 definiert ist, wird die Änderung nur auf das aktive Segment während Wiedergabe angewendet. Ein aktives Segment, wie hierin verwendet, bedeutet entweder, dass das Segment gerade auf einem Editiersystem editiert wird, oder dass ein Segment gerade auf einem Wiedergabe-System gespielt wird. Wenn die Quellen-Beziehung als die Quellen-Clips-Beziehung 61 definiert ist, wird die Änderung während Wiedergabe auf jedes Segment angewendet, welches innerhalb irgendeiner Komposition auf dem System verwendet wird, welches von demselben Quellen-Clip wie das aktive Segment abstammt. Wenn das Quellen-Beziehungs-Merkmal als Original-Clip-Beziehung definiert ist, wird die Änderung während Wiedergabe auf jedes Segment angewendet, das direkt oder indirekt von demselben Original-Clip abstammt von dem das aktive Segment indirekt abstammt. Wenn das Quellen-Beziehungs-Merkmal als die physikalische Medien-Beziehung definiert ist, wird die Änderung auf jedes Segment, das indirekt von demselben physikalischen Medien-Objekt abstammt, angewendet, von welchem das aktive Segment indirekt abstammt.
Zum Beispiel kann ein Editor eine Quellen-Beziehung als Quellen-Clip-Beziehung definieren. Wenn ein anderer Editor feststellt, dass ein Video-Segment, welches Filmmaterial darstellt, zu dunkel ist, kann der Editor die Helligkeit bzw. Luminanz des Segments erhöhen, um das Bild aufzuhellen. Während eines Wiedergabes, kann die Erhöhung der Helligkeit auf jedes Video-Segment angewendet werden, welches von dem Quellen-Clip erzeugt wurde.
Wenn das Quellen-Beziehungs-Merkmal als Quellen-Name-Beziehung definiert ist, wird die Änderung auf jedes Segment, das denselben Namen und denselben Medien-Typ (d.h. Audio oder Video) als das aktive Segment teilt, angewendet. Die Quellen-Name-Beziehung findet in Medien-Editier-Prozessen, die einen Offline und einen Online Prozess integrieren, besondere Anwendung. Zum Beispiel macht ein Editor in einem digitalen Offline-Video-Prozess typischerweise grobe Editierungen an Bildern von einer Sequenz mit geringer Auflösung. Weiter digitalisiert der Editor editierte Offline-Sequenzen serien- bzw. stapelweise, um eine Online-Sequenz zu erzeugen, welche hoch auflösende Bilder aufweist.
In einem Beispiel dieses digitalen Offline zu Online Video-Prozesses, wenn aus der Offline-Sequenz eine Online-Sequenz gemacht wurde, wird für jedes Segment aus der Online-Sequenz, von der jedes Segment der neuen Online-Sequenz direkt abstammt, jeweils ein neuer Original-Clip erzeugt. Die Quellen-Name-Beziehung 59 lässt ein gemeinsames Merkmal zu, d.h. dass der Name zwischen Segmenten aus der Online-Sequenz immer noch existiert, die sonst wegen der serien- bzw. stapelweisen Digitalisierung keine gemeinsame Quellen-Beziehung mehr aufweisen würden. Dies wird unten in Verbindung mit 6 im Detail beschrieben.
In einem Beispiel von Quellen-Medien-Änderung, kann der Umfang des Effektes der Änderung nur auf die Sequenz oder Komposition eingeschränkt werden zu der das aktive Segment gehört. Solch eine Einschränkung kann eine Option für einen Editor oder Koloristen sein, der durch eine Benutzerschnittstelle ausgewählt wurde, oder kann eine Systemoption sein. Solch eine Einschränkung kann als eine Kombination von Quellen-Medien-Änderung und Kompositions-Medien-Änderung betrachtet werden, welche unten beschrieben wird.
Für dieses Beispiel einer eingeschränkten Quellen-Medien-Änderung wird die Änderung, welche durch einen Anwender spezifiziert wird, auf alle Segmente angewendet, die zusätzlich zur Anforderung, Teil der augenblicklichen editierten Komposition oder Sequenz zu sein, die Quellen-Beziehung erfüllen. Ob die Anforderung Teil der augenblicklichen Komposition oder Teil der aktuellen Sequenz ist, kann eine Anwender- oder System-Option sein. Den Effekt einer Quellen-Bild-Änderung einzuschränken gewährleistet, dass ein Kolorist oder Editor nicht versehentlich eine Komposition oder Sequenz modifiziert, die gerade von einem anderen Anwender editiert oder koloriert wird.
Kompositions-Medien-Änderung bietet einem Editor ein Verfahren an, eine einzelne Änderung auf mehrere Segmente innerhalb einer Komposition anzuwenden. Ein Kompositions-Beziehungs-Parameter (Merkmal) legt dem Vorfahren des aktiven Segments, das verwendet wird fest, einen gemeinsamen Vorfahren zu bestimmen. Der gemeinsame Vorfahre wird verwendet, um alle Nachfahren in der Komposition, auf die die Änderung während der Wiedergabe angewendet wird, zu bestimmen.
Bezug nehmend auf die Tabelle 60 von 5 kann der Kompositions-Beziehungs-Parameter als eine Segment-Beziehung 69, eine ausgewählte Segmente-Beziehung 71, eine Sequenz-Beziehung 73, oder eine Kompositions-Beziehung 75 definiert werden. Wenn der Kompositionsbeziehungs-Parameter als Segment-Beziehung 69 definiert wird, wird die Änderung während der Wiedergabe nur auf das aktive Segment angewendet. Wenn der Kompositions-Beziehungs-Parameter als ausgewählte Segmente-Beziehung 71 definiert wird, wird die Änderung während der Wiedergabe nur auf die ausgewählten Segmente angewendet. Wenn der Kompositions-Beziehungs-Parameter als Sequenz-Beziehung 73 definiert wird, wird die Änderung während der Wiedergabe auf alle Segmente, die von der Sequenz abstammen oder in der Sequenz enthalten sind, angewendet.
Die Kombination von Kompositions-Medien-Änderung und Quellen-Medien-Änderung, die auf ein einzelnes Segment angewendet wird, wird nun mit Bezug auf 6 beschrieben. Obwohl im folgenden Beispiel Farb-Änderung verwendet wird, gilt dieses Beispiel analog für andere Typen von Audio- und Video-Änderungen, wie zum Beispiel Audio-Mischung.
Angenommen, dass verschiedenartiges Filmmaterial von einer Film-Crew für einen Film aufgenommen wurde. In diesem Filmmaterial ist einiges Filmmaterial von Szene A, Filmmaterial von einer anderen Szene B, Filmmaterial von einer anderen Szene C und noch Filmmaterial von einer Szene D enthalten. Die Film-Editoren bzw. Filmcutter entscheiden, digitales nicht-lineares Editieren einzusetzen, um das Filmmaterial zu verbinden, nehmen Farb-Änderungen vor, und fügen Spezial-Effekte etc. hinzu, um den fertigen Film zu produzieren.
Zuerst erstellen die Editoren digitale Original-Quellen von dem Filmmaterial. Auf diese Weise werden eine digitale Original-Quelle A, eine digitale Original-Quelle B, eine digitale Original-Quelle C und eine digitale Original-Quelle D erstellt. Wie oben besprochen, wird für jeder erstellte digitale Quelle ein Original-Quellen-Clip erstellt, der die digitale Quelle darstellt. Somit werden ein Original-Quellen-Clip A, ein Original-Quellen-Clip B, ein Original-Quellen-Clip C und ein Original-Quellen-Clip D erstellt.
Die Editoren entscheiden dann, dass das Filmmaterial von Szene B in zwei getrennte Einstellungen aufgeteilt werden kann: Einstellung 1 und Einstellung 2. Auf diese Weise werden von der digitalen Original-Quelle B eine digitale Quelle für Einstellung 1 und eine digitale Quelle für Einstellung 2 erstellt. Auf die Erstellung von zwei neuen digitalen Quellen hin, wird ein Unter-Clip 2 erstellt, um die digitale Quelle der Einstellung 2 darzustellen, und es wird ein Unter-Clip 1 erstellt, um die digitale Quelle der Einstellung 1 darzustellen.
Die Editoren entscheiden dann, das Filmmaterial der verschiedenen Szenen zu kombinieren. Mittels eines digitalen nicht-linearen Editors erzeugen die Editoren eine Zusammenstellung bzw. Komposition, welche eine Sequenz 66 enthält, die ein Segment 74 enthält, welches vom Original-Clip A herstammt, ein Segment 76, welches vom Unter-Clip der Einstellung 2 herstammt, ein Segment 78, welches vom Original-Clip C herstammt, ein Segment 80, welches vom Unter-Clip der Einstellung 1 herstammt und ein Segment 82, welches vom Original-Clip D herstammt.
Mittels Quellen-Farb-Änderungen definieren die Editoren die Original-Clip-Beziehung als das Quellen-Beziehungs-Merkmal. Die Editoren erhöhen dann die Luminanz bzw. Helligkeit des Segments 76 der Einstellung 2 um 5 IRE. Weil das Quellen-Beziehungs-Merkmal auf Original-Clip-Beziehung eingestellt war, wird sowohl bei dem Segment 76 der Einstellung 2, als auch bei dem Segment 80 der Einstellung 1, die beide indirekt vom Original-Clip b abstammen, die Luminanz bzw. Helligkeit um 5 IRE erhöht, wie in Element 68 von 6 dargestellt.
Der Editor kann dann erkennen, dass alle Segmente der Sequenz 66 zu hell sind. Der Editor kann das Kompositions-Beziehungs-Merkmal auf eine Sequenz-Beziehung einstellen. Der Editor kann dann die Luminanz bzw. Helligkeit des aktiven Segments um 2 IRE verringern. Weil das Kompositions-Beziehungs-Merkmal als Sequenz-Beziehung definiert ist, wird die Luminanz bzw. Helligkeit aller Segmente innerhalb der Sequenz 66 um 2 IRE während der Wiedergabe verringert, wie in Zeile 70 in 7 gezeigt. Zeile 72 zeigt sowohl die kombinierte Farb-Änderung, als auch die Quellen-Farb-Änderung, die auf jedes Segment innerhalb der Sequenz 66 während der Wiedergabe angewendet wird.
In dem obigen Beispiel wäre die Quellen-Namen-Beziehung 59 hilfreich, wenn die Sequenz 66 eine Offline-Sequenz ist und die obigen Editierungen als Teile eines Offline-Verfahrens gemacht worden wären. Wenn die Offline-Sequenz 66 dann serien- bzw. stapelweise digitalisiert werden würde, würden neue Original-Clips für jedes der Segmente 74, 76, 78, 80, 81 der neuen Online-Sequenz erzeugt werden. Folglich könnte ein Editor die Original-Clip-Beziehung nicht länger verwenden, um eine einzelne Editierung sowohl auf das Segment 76, als auch das Segment 80 wirken zu lassen. In einem Beispiel können, angenommen der Name des ursprünglichen Quellen-Clips der Szene ist Szeneb, die neuen Quellen-Clips der Segmente 76 und 80 jeweils Szeneb.neu.01 und Szeneb.neu.02 betitelt werden. In diesem Beispiel erlaubt die Quellen-Name-Beziehung 59 einem System-Anwender, eine einzelne Editierung für beide Segmente 76 und 80 zu spezifizieren. Somit kann der Editor, wenn er erkennt, dass beide Segmente in der Online-Sequenz , die von Szene b abstammen, zu hell sind, eine Änderung von –1 IRE für jedes der Segmente 76 und 80 spezifizieren, wobei die Änderung –1 IRE auf beide Segmente angewendet wird.
Zum Beispiel greift der Editor zuerst auf das Segment 76 zu, welches vom Original-Quellen-Clip Szeneb.neu.01 abstammt und spezifiziert eine Farb-Änderung von –1 IRE. Wenn der Editor das Quelle-Name-Beziehungs-Merkmal 59 gewählt hat, bestimmt das System, dass der Quellen-Name Szeneb ist (wobei die .neu.01 Dateikennung ignoriert wird). Das System identifiziert andere Segmente, welche von Quellen-Daten-Struktur abstammen und den Namen Szeneb aufweisen, und wendet die Bild-Änderungen auf die Segmente an, die der Namenanforderung entsprechen. Im obigen Beispiel, erfüllt Segment 80 die Anforderung, und die Bild-Änderung wird darauf angewendet.
7 veranschaulicht ein Beispiel von Quellen- und Kompositions-Daten-Strukturen, die für Quellen- und Kompositions-Medien-Änderung verwendet werden können. Trotzdem beschreibt dieses Beispiel Bild-Änderungs-Beispiele von Audio-Ausschnitt-Änderung, eine innerhalb des Umfangs einer gewöhnlichen Qualifikation in der Technik des digitalen Medien-Editierens. Ein Segment 130 enthält Informationen 132 über die Sektion des Mediums, die das Segment 130 darstellt. Diese Informationen 132 können eine Quellen-Kennung 134 enthalten, eine Stamm-Kennung 136, ein Quellen-Bild-Änderungs-Merkmal 138 und Kompositions-Bild-Änderungs-Merkmale 140. Die Quellen- und Kompositions-Bild-Änderungs-Merkmale 138 und 140 können selbst in eine Vielzahl von Bild-Änderungs-Merkmalen aufgeteilt sein.
Die Quellen-Kennung 134 identifiziert die Quellen-Daten-Struktur von der das Segment 130 abstammt. Die Stamm-Kennung 136 identifiziert den Stamm des Segments in einer Komposition 158. Das Quellen-Bild-Änderungs-Merkmal 138 stellt eine Quellen-Bild-Änderung dar, die auf das Segment 130 während der Wiedergabe angewendet werden soll. Das Kompositions-Farb-Änderungs-Merkmal 140 definiert eine Kompositions-Bild-Änderung, die auf eine Sektion von Medien angewendet werden soll, die durch das Segment 130 während der Wiedergabe dargestellt wird. Es sollte beachtet werden, dass, wenn eine Quellen- oder Kompositions-Bild-Änderung nicht für eine Daten-Struktur definiert ist, ein Bild-Änderungs-Merkmal ein ungültiger Wert sein kann, oder das Bild-Änderungs-Merkmal nicht in der Daten-Struktur enthalten sein kann.
In 7 zeigt die Quellen-Kennung 134 auf eine Unter-Clip-Daten-Struktur 122. Die Unter-Clip-Datenstruktur 122 enthält Informationen 124 über den Abschnitt von Medien welche der Unter-Clip darstellt. Die Informationen 124 enthalten eine Quellen-Kennung 126 und können ein Quellen-Bild-Änderungs-Merkmal 128 enthalten, abhängig davon, ob die Quellen-Bild-Änderung für den Unter-Clip 122 während einer Editier-Session definiert wurde. Die Quellen-Kennung 126 des Unter-Clips 122 bezieht sich auf eine Original-Clip-Daten-Struktur 114. Der Original-Clip 114 enthält Informationen 116 über die digitalen Medien, die der Original-Clip 114 darstellt. Die Informationen 116 können eine Quellen-Kennung 118 enthalten und können ein Bild-Änderungs-Merkmal 120 enthalten. Wenn der Original-Clip 114 eine digital erzeugte Quelle darstellt, kann die Quellen-Kennung 118 ein ungültiger Wert sein, der anzeigt, dass der Original-Clip nicht von einer anderen Quelle abstammt.
Die Quellen-Kennung 118 des Original-Clips 114 kann sich auf ein physikalisches Medien-Objekt 106 beziehen. Das physikalische Medien-Objekt 106 enthält Informationen 108, die das physikalische Medium beschreiben, welche das physikalische Medien-Objekt 106 darstellt. Die Informationen 108 können eine Quellen-Kennung 112 enthalten und können ein Bild-Änderungs-Merkmal 110 enthalten. Die Informationen 108 enthalten eine Quellen-Kennung 112, wenn das physikalische Medium, welches die physikalischen Medien-Daten darstellt, von einem anderen physikalischen Medium erzeugt wurde. Zum Beispiel kann das physikalische Medium ein Video-Band sein, welches von einem Film durch ein Telecine-Verfahren erzeugt wurde. In einem derartigen Fall, bezieht sich die Quellen-Kennung 112 auf das physikalische Objekt, das den Film darstellt.
In dem Beispiel von 7 bezieht sich die Stamm-Kennung 136 der Segment-Daten-Struktur 130 auf eine erste Sequenz-Daten-Struktur 142. Die erste Sequenz 142 enthält Informationen 144 über die erste Sequenz 142. Die Informationen über die erste Sequenz 144 kann eine Stamm-Kennung 146 und eine Unterkomponenten-Kennung 148 enthalten. Die erste Sequenz-Information 144 würde keine Stamm-Kennung 146 enthalten, wenn die Sequenz 142 selbst eine Komposition ist, was in 8 nicht der Fall ist. Die erste Sequenz-Informationen 144 können eine gegliederte Liste aller Unterkomponenten der ersten Sequenz 142 enthalten, wobei die Reihenfolge der Unterkomponenten die Reihenfolge festlegt, in der die Unterkomponente4n während der Wiedergabe abgespielt werden. Für jede Unterkomponente, können die Informationen 144 eine Unterkomponenten-Kennung 148 enthalten.
In der Veranschaulichung von 7 identifiziert die Unterkomponenten-Kennung 148 Segment 130. Die Stamm-Kennung 146 identifiziert eine zweite Sequenz 150 von welcher die erste Sequenz 142 eine Unterkomponente ist. Die zweite Sequenz 150 enthält Informationen 152 über die Sequenz 150. Die zweite Sequenz-Informationen 152 enthalten Informationen analog derer, die für die erste Sequenz 142 beschrieben wurden, einschließlich einer Stamm-Kennung 154, die auf die Kompositions-Daten-Struktur 158 Bezug nimmt. Die zweite Sequenz-Informationen 152 würden keine Stamm-Kennung 154 enthalten, wenn die zweite Sequenz 150 selbst eine Komposition wäre, was in 8 nicht der Fall ist. Die Informationen 152 enthalten ebenfalls eine gegliederte Liste alle Unterkomponenten, wobei die Reihenfolge der Unterkomponenten die Reihenfolge der Wiedergabe der Unterkomponenten während der Wiedergabe festlegt. Für jede Unterkomponente enthalten die Informationen 152 eine Unterkomponenten-Kennung 156. Die Unterkomponenten-Kennung 156 identifiziert die erste Sequenz 142 als eine Unterkomponente der zweiten Sequenz 150. Die Stamm-Kennung 154 identifiziert die Komposition 158 als Stamm der Sequenz 150.
Komposition 158 enthält Informationen 160 über die Komposition 158. Die Kompositionsinformationen 160 enthalten die Sequenzen von jedem Titel der Komposition, wobei die Sequenzen Unterkomponenten der Komposition 158 sind. Für jede Unterkomponente der Komposition 158 enthalten die Kompositionsinformationen 160 eine Unterkomponenten-Kennung 162. Die Unterkomponenten-Kennung 162 identifiziert Sequenz 150 als eine Unterkomponente von Komposition 158.
8a ist ein Daten-Flussdiagramm, welches veranschaulicht, wie die Quellen-Daten-Strukturen, veranschaulicht in 7, verwendet werden können, um Quellen-Bild-Änderungen während einer Editier-Session zu realisieren. Ein Quellen-Bild-Änderungsbefehl 82 empfängt benutzerdefinierte Änderungen für ein aktives Segment 84 und einen Quellen-Beziehungs-Parameter 86. Mittels der benutzerdefinierten Bild-Änderungen 84 und der Merkmale 86 greift der Quellen-Bild-Änderungsbefehl 82 auf die Quellen-Daten-Strukturen 88 zu und modifiziert die Quellen-Daten-Strukturen 88 gemäß der Bild-Änderungen 84 und dem Quellen-Beziehungs-Parameter 86.
9 ist ein Flussdiagramm, welches einen Editier-Prozess veranschaulicht, bei dem eine Quellen-Bild-Änderung 186 und eine Kompositions-Bild-Änderung 188 realisiert werden. Mit Bezug auf 9 wird nun die Realisierung einer Quellen-Bild-Modifikation 186 durch den Quellen-Bild-Änderungsbefehl 82 während einer Editier-Session beschrieben. Zuerst wird in Schritt 164 ein Hinweis auf eine Bild-Änderung empfangen. Weiter kann ein Editor in Schritt 166 bestimmen, ob die Bild-Änderung eine Quellen-Bild-Änderung oder eine Kompositions-Bild-Änderung ist. Solch eine Bestimmung wird zum Beispiel durch Zugriff auf den vom Editor gewählten Bild-Änderungs-Modus gemacht. Wenn festgestellt wird, dass Quellen-Bild-Änderung angewendet werden soll, legt der Quellen-Bild-Änderungsbefehl im nächsten Schritt 178 die Quellen-Beziehung fest, die verwendet wird, um eine gemeinsame Quelle des aktiven Segments und anderer Segmente in dem System zu bestimmen. Die Quellen-Beziehung zu bestimmen kann entweder dazu verwendet werden, um auf einen Standard-Quellen-Beziehungs-Parameter zuzugreifen, oder um einen Quellen-Beziehungs-Parameter zu empfangen, der durch einen Editor definiert ist.
Weiter erkennt der Quellen-Bild-Änderungsbefehl in Schritt 180 eine Quellen-Daten-Struktur des aktiven Segments, definiert durch die Quellen-Beziehung. 10 ist ein Flussdiagramm, welches Schritt 180 mehr im Detail beschreibt, um die Quellen-Daten- Struktur zu identifizieren. Zuerst ermittelt der Quellen-Bild-Änderungsbefehl 82 in Schritt 190, ob die aktuelle Quellen-Daten-Struktur diejenige Quellen-Daten-Struktur ist, die durch die Quellen-Beziehung definiert ist. Beim ersten Schleifendurchgang, der durch die Schritte 190–194 definiert ist, ist die aktuelle Quellen-Daten-Struktur das aktive Segment. Wenn die aktuelle Quellen-Daten-Struktur die definierte Quellen-Daten-Struktur ist, ist dann der Schritt der Identifizierung der Quellen-Daten-Struktur des aktiven Segments erledigt, wie in Schritt 196 veranschaulicht. Wenn die aktuelle Datenstruktur nicht die definierte Quellen-Datenstruktur ist, dann liest der Quellen-Bild-Änderungsbefehl 82 im nächsten Schritt 192 die Quellen-Kennung der aktuellen Quellen-Datenstruktur. In Schritt 194 greift der Quellen-Bild-Änderungsbefehl dann auf die Quellen-Daten-Struktur zu, welche durch das Quellen-Beziehungs-Merkmal definiert ist.
Zum Flussdiagramm von 9 zurückkehrend, speichert der Quellen-Änderungs-Befehl im nächsten Schritt 182 eine Angabe der Quellen-Bild-Änderung in der Quellen-Daten-Struktur, welche in Schritt 180 identifiziert wurde. In einem alternativen Beispiel von Quellen-Medien-Änderung können Änderungen als ein Eintrag in einer Kompositions-Quellen-Tabelle gespeichert werden, im Gegensatz zu einer Speicherung in einer Quellen-Daten-Struktur, wie oben beschrieben. 17 ist eine beispielhafte Veranschaulichung einer Kompositions-Quellen-Tabelle 500. Jeder Eintrag 502 in der Kompositions-Daten-Tabelle umfasst zwei Teile von Daten: die Identifizierung von einer Quellen-Datenstruktur 504, für welche eine Quellen-Änderung von einem Segment innerhalb der Komposition definiert ist; und ein Merkmal 506, welches die Quellen-Änderung darstellt. Wenn eine Quellen-Modifikation für ein Segment innerhalb der Komposition definiert ist, kann ein Eintrag in der Kompositions-Quellen-Tabelle 500 gespeichert werden, welcher die Quellen-Daten-Struktur identifiziert von der das Segment abstammt, gemäß des Quellen-Beziehungs-Parameters des Segments und dem Merkmal, welches die Änderung darstellt.
Die Kompositions-Quellen-Tabelle erlaubt einer Quellen-Medien-Änderung gegenüber anderen Kompositionen auf dem System abgeschirmt zu sein, die Material von der definierten Quelle verwenden. Die Quellen-Medien-Änderung kann speziell für Segmente aus derselben Komposition definiert werden, die von einer gemeinsamen Quelle abstammen, aber nicht für alle Segmente auf dem System, welche von der gemeinsamen Quelle abstammen. Auf diese Weise werden andere Editoren nicht gezwungen Änderungen auf einer Komposition zu realisieren, die sie editieren, wobei die Änderung von einem anderen Editor definiert wurde, welcher an einer anderen Komposition arbeitet.
Ein anderer Vorteil der Verwendung der Quellen-Kompositions-Tabelle ist, dass sie einem Editor die Option anbietet, keine Änderung an der Komposition vorzunehmen. Ein Editor kann wählen, ob die Kompositions-Quellen-Tabelle 500 aktiviert werden soll. Zum Beispiel wenn ein Kolorist eine Reihe von Quellen-Farb-Änderungen für eine Komposition definiert, werden die Quellen-Daten-Strukturen und die Farb-Änderungen in Einträgen der Kompositions-Quellen-Tabelle 500 gespeichert, wie oben beschrieben. Zu einem späteren Zeitpunkt kann ein Editor auf die Komposition zugreifen, aber ohne die Tabelle zu aktivieren, und nimmt somit keine darin definierten Änderungen vor.
In diesem alternativen Beispiel für ein aktives Segment während der Wiedergabe, kann das Änderungs-System zuerst ermitteln, ob für die aktive Segment-Daten-Struktur eine Quellen-Änderung definiert ist. Wenn für eine Segment-Daten-Struktur eine Änderung definiert ist, kann die Änderung vorgenommen werden. Wenn in der aktiven Segment-Daten-Struktur keine Änderung definiert ist, kann auf die Kompositions-Quellen-Tabelle 500 zugegriffen werden. Wenn ermittelt wird, dass es für den Unter-Clip, von dem das aktive Segment abstammt einen Eintrag gibt, wird die Quellen-Änderung, die für den Unter-Clip definiert ist, auf das aktive Segment angewendet. Wenn ermittelt wird, dass es keinen Eintrag für den Unter-Clip in der Tabelle 500 gibt, wird ermittelt, ob die Tabelle 500 einen Eintrag für den Original-Clip enthält, von dem das Segment abstammt. Wenn ermittelt wird, dass es einen Eintrag für den Original-Clip von dem das aktive Segment abstammt, gibt, wird die Quellen-Änderung, die für den Original-Clip definiert ist auf das aktive Segment angewendet. Wenn ermittelt wird, dass für den Original-Clip in der Tabelle kein Eintrag vorliegt, wird ermittelt, ob die Tabelle einen Eintrag für das physikalische Medien-Objekt, von dem das Segment abstammt, enthält. Wenn ermittelt wird, dass es einen Eintrag für das physikalische Medien-Objekt gibt, von dem das aktive Segment abstammt, wird die Quellen-Änderung, die für das physikalische Medien-Objekt definiert ist, auf das aktive Segment angewendet. Obwohl das oben beschriebene alternative Beispiel in Bezug auf die gebräuchlichen Quellen-Beziehungs-Merkmale beschrieben ist, gilt dieses Beispiel auch für andere gebräuchliche Merkmale, wie zum Beispiel die oben beschriebenen Formatierungs-Merkmale und Farb-Merkmale.
Zum Beispiel kann auch anstelle der Kompositions-Quellen-Tabelle eine Kompositions-Format-Tabelle gepflegt werden. Ein Eintrag in der Format-Tabelle umfasst zwei Teile von Daten: die Identifizierung von einem gebräuchlichen Format-Merkmal; und ein Merkmal, welches die Änderungen darstellt, die für Segmente der Komposition definiert sind, welche Format-Merkmale aufweisen. Wenn eine Änderung für ein Segment innerhalb der Komposition definiert ist, kann ein Eintrag in der Kompositions-Format-Tabelle gespeichert werden, welcher die gebräuchlichen Format-Merkmale identifiziert für die die Änderung spezifiziert wurde. Die gebräuchlichen Format-Merkmale können von einem gebräuchlichen bzw. gemeinsamen Standard-Merkmal oder einem benutzerdefinierten gebräuchlichen bzw. gemeinsamen Merkmal-Parameter bestimmt werden.
In einem anderen alternativen Beispiel von Quellen-Änderung steuert der Quellen-Änderungs-Befehl 82 jedes Segment in dem System an, welches von einer Quellen-Daten-Struktur 88 abstammt, welche von dem Quellen-Beziehungs-Parameter 86 des aktiven Segments 84 ermittelt werden. Der Quellen-Bild-Änderungsbefehl 82 ändert dann jeweils jedes der angesteuerten Segmente mit der Änderung.
In einem Aspekt dieses alternativen Beispiels steuert und ändert der Quellen-Änderungs-Befehl 82 nur Segmente in der aktuellen Sequenz oder Komposition des aktiven Segments 84, welches den Quellen-Beziehungs-Parameter 86 erfüllt. Eine System-Option oder Anwender-Option kann verwendet werden um zu bestimmen, ob die Änderung auf die Sequenz oder die Komposition begrenzt ist. Das alternative Beispiel der Quellen-Bild-Änderung gilt analog für andere Typen von gebräuchlichen bzw. gemeinsamen Bild-Änderungs-Merkmalen, wobei ein Änderungsbefehl jedes Segment auf dem System ansteuert, welches die gebräuchlichen bzw. gemeinsamen Merkmale teilt und jedes Segment mit den Änderungen ändert. Die gebräuchlichen bzw. gemeinsamen Merkmale können von einem Standard oder benutzerdefinierten gebräuchlichen bzw. gemeinsamen Merkmal-Parametern bestimmt werden.
8B ist ein Datenfluss-Diagramm welches veranschaulicht, wie die Kompositions-Bild-Änderung durch einen Kompositions-Bild-Änderungsbefehl 90 realisiert werden kann. Der Kompositions-Farb-Änderungsbefehl 90 empfängt Bild-Änderungen 92, die auf das aktive Segment angewendet werden sollen. Der Kompositions-Bild-Änderungsbefehl 90 steuert dann ein Standard-Beziehungs-Merkmal an, oder empfängt ein Kompositions-Beziehungs-Merkmal 94, welches durch einen Editor definiert wurde. Der Kompositions-Farb-Änderungsbefehl steuert das die Kompositions-Datenstrukturen 96 an und ändert die Kompositions-Daten-Strukturen 96 gemäß der Bild-Änderungen 92 und dem Beziehungs-Merkmal.
Nochmals Bezug nehmend auf 9 wird nun die Realisierung von Farb-Bild-Änderungen beschrieben, welche durch den Kompositions-Bild-Änderungsbefehl 90 realisiert werden. Wie oben in Bezug auf Quellen-Bild-Änderung beschrieben, ist der erste Schritt Schritt 164, um eine Anzeige einer Bild-Änderung zu empfangen. Der digitale Medien-Editor wählt dann das Editier-System und ermittelt dann, ob in Schritt 166 Quellen-Bild-Änderung oder Kompositions-Bild-Änderung angewendet wird.
Wenn Kompositions-Bild-Änderung angewendet wird, ermittelt der Kompositions-Änderungs-Befehl in dem nächsten Schritt 168 die Kompositions-Beziehung, die verwendet wird. Die Kompositions-Beziehung ist entweder durch einen Standard-Kompositions-Parameter oder einen Kompositions-Beziehungs-Parameter definiert, welcher durch einen Editor definiert wird.
Im nächsten Schritt 170 identifiziert der Kompositions-Änderungs-Befehl die Daten-Struktur des Vorfahren des aktiven Segments, welche durch den Kompositions-Beziehungs-Parameter definiert ist.
11 bietet ein etwas detaillierteres Flussdiagramm von Schritt 170. Zuerst ermittelt der Kompositions-Änderungs-Befehl in Schritt 190, ob die aktuelle Kompositions-Daten-Struktur die Vorfahr-Daten-Struktur ist, welche durch das Kompositions-Beziehungs-Merkmal definiert ist. Beim ersten Durchlauf durch die Schleife, die durch die Schritte 198–200 definiert ist, ist die aktuelle Kompositions-Daten-Struktur das aktive Segment. Wenn die aktuelle Kompositions-Daten-Struktur die definierte Vorfahr-Daten-Struktur ist, dann ist der Schritt 170, welcher die Vorfahr-Datenstruktur identifiziert, erledigt, wie in Schritt 204 veranschaulicht. Wenn die aktuelle Kompositions-Daten-Struktur nicht der definierte Vorfahre ist, liest der nächste Schritt 200 die Stamm-Kennung der aktuellen Kompositions-Daten-Struktur. Im nächsten Schritt 202 steuert der Kompositions-Bild-Änderungsbefehl die Kompositions-Daten-Struktur an, welche durch die Stamm-Kennung identifiziert wird. Schritte 198–202 werden dann wiederholt, bis die Vorfahr-Datenstruktur, identifiziert ist, welche durch das Kompositions-Beziehungs-Merkmal definiert.
Zurückkehrend zu 9 ermittelt der Kompositions-Bild-Änderungsbefehl den Nachfahre der identifizierten Vorfahr-Daten-Struktur, zum Beispiel durch Ansteuern der Unterkomponenten-Liste der identifizierten Daten-Struktur und Ansteuern der Unterkomponenten-Kennungen für jede Unterkomponente, und durch nach unten Durchlaufen in der Komposition der identifizierten Vorfahr-Daten-Struktur. In Schritt 174 wird für jeden identifizierten Nachfahren oder Unterkomponente von der identifizierten Vorfahr-Daten-Struktur eine Anzeige der Bild-Änderung in einer Nachfahr-Daten-Struktur gespeichert. Das Durchlaufen einer Komposition, um Editier-Vorgänge an Komponenten durchzuführen ist im „Wissner-Patent beschrieben.
Ein anderer Aspekt von Quellen- und Kompositions-Medien-Änderung ist die Anwendung von Änderungen auf Segmente innerhalb einer Komposition während der Wiedergabe. 12 ist ein Datenfluss-Diagramm, welches eine Realisierung von einer Quellen- und Kompositions-Bild-Änderung während der Wiedergabe veranschaulicht. Obwohl dieses Beispiel Bild-Änderungen beschreibt, sind Beispiele mit Bezug auf Audio-Beispiel-Änderungen für Fachleute des digitalen Medien-Editierens innerhalb des Geltungsbereichs. Ein Digital Media Player 98 empfängt eine Anzeige eines Startpunktes 100 innerhalb einer Komposition. Der Startpunkt 100 kann standardmäßig der Anfang der Komposition sein, oder durch Eingabe von einem Editor in einer Benutzer-Schnittstelle definiert werden. Der Digital Media Player 98 steuert die Kompositions-Daten-Strukturen 96 an, um das Abspielen von Sektionen genau zu synchronisieren.
Wenn ein Segment innerhalb einer Komposition identifiziert ist, identifiziert der Digital Media Player Quellen-Daten-Strukturen 88 von denen das aktive Segment abstammt, und ermittelt, ob irgendwelche Quellen-Bild-Änderungs-Merkmale für diese Quellen-Daten-Strukturen 88 definiert sind. Der Digital Media Player verwendet die Quellen-Daten-Strukturen 88 ebenfalls, um die digitalen Quellen zu ermitteln, von welchen das digitale Medium 104 angesteuert werden soll. Der Digital Media Player ermittelt auch, ob das aktive Segment eine Kompositions-Daten-Änderung aufweist. Der Digital Media Player steuert dann die Quellen-Bild-Änderung und die Kompositions-Bild-Änderung auf das aktive Segment. Dieser Vorgang wird für jedes Segment der Komposition wiederholt, oder für jedes Segment, welches in einem Abschnitt der Komposition enthalten ist, welches vom Anwender ausgewählt wurde, sodass eine Sequenz von digitalen Bildern 120 erzeugt wird, wie durch die Komposition definiert. Ein Wiedergabe-System kann jeweils sequentiell Bild-Änderungen an einem Segment vornehmen. Noch spezieller kann ein Wiedergabe-System sequentiell Bild-Änderungen an einem digitalen Bild vornehmen. Solch ein System ist in einer U.S. Patentanmeldung mit dem Titel „Color Modification on a Digital Nonlinear Editing System" (die Cacciatore-Anmeldung), Anmeldungs-Nr. 09/293,259, angemeldet am 15. April 1999, von Ray Cacciatore und Rob Gonsalves.
13 ist ein Flussdiagramm, welches eine Realisierung von Quellen- und Kompositions-Bild-Änderung während der Wiedergabe veranschaulicht. In Schritt 206 steuert der Digital Medien Player 98 das nächste Segment in einer Komposition an. Weiter ermittelt der Digital Media Player, ob ein Quellen-Bild-Änderungs-Merkmal für diese Daten-Struktur definiert ist. Wenn für diese Daten-Struktur ein Quellen-Bild-Änderungs-Merkmal definiert ist, ermittelt der Digital Media Player, ob es ein temporär gespeichertes Quellen-Bild-Änderungs-Merkmal für diese aktive Segment gibt.
Es sollte beachtet werden, dass beim ersten Durchlaufen der Schleife, welche durch Schritte 208–216 definiert ist, die Quellen-Daten-Struktur das aktive Segment ist. Aus diesem Grund gibt es beim ersten Durchlaufen der Schleife, welche durch Schritte 208–216 definiert ist, kein temporär gespeichertes Bild-Änderungs-Merkmal für das aktive Segment. Alternativ kann beim ersten Durchlaufen der Schleife, welche durch Schritte 208–216 definiert ist, Schritt 210 übersprungen werden. Die Daten-Struktur, welche das temporäre Bild-Änderungs-Merkmal für das aktive Segment gespeichert hält, kann auch zwischen den Schritten 206 und 208 initialisiert werden.
Zurückkehrend zum Flussdiagramm von 13 speichert der Digital Media Player in Schritt 212 das Quellen-Bild-Änderungs-Merkmal für das aktive Segment, wenn es kein temporär gespeichertes Quellen-Bild-Änderungs-Merkmal gibt. Wenn der Digital Media Player in Schritt 210 ermittelt, dass es bereits ein temporär gespeichertes Quellen-Bild-Änderungs-Merkmal für das aktive Segment gibt, oder in Schritt 208 ermittelt, dass für diese Daten-Struktur kein Bild-Änderungs-Merkmal definiert ist, fährt der Digital Media Player mit Schritt 214 fort. In Schritt 214 ermittelt der Digital Media Player, ob es eine Quellen-Daten-Struktur gibt, von der die aktuelle Quellen-Daten-Struktur abstammt.
Wenn der Digital Media Player ermittelt, dass es eine Quellen-Daten-Struktur gibt, von der die aktuelle Quellen-Daten-Struktur abstammt, fährt der Digital Media Player mit Schritt 216 fort. In Schritt 216 steuert der Digital Media Player die Quellen-Daten-Struktur an, von der die aktuelle Quellen-Daten-Struktur abstammt. Die Schritte 208–216 werden wiederholt bis es keine Quellen-Daten-Struktur gibt, von der die aktuelle Quellen-Daten-Struktur abstammt.
Wenn es keine Quellen-Daten-Struktur gibt von der die aktuelle Quellen-Daten-Struktur abstammt, fährt der Digital Media Player mit Schritt 218 fort. In Schritt 218 ermittelt der Digital Media Player, ob es ein temporär gespeichertes Quellen-Daten-Änderungs-Merkmal für das aktive Segment gibt. Wenn es für dieses Segment eine temporär gespeichertes Quellen-Bild-Änderung gibt, wendet der Digital Media Player in Schritt 220 das temporär gespeicherte Quellen-Bild-Änderungs-Merkmal auf das aktive Segment an.
Nach Anwendung des temporär gespeicherten Quellen-Bild-Änderungs-Merkmals auf das aktive Segment, oder nach Ermittlung, dass es für dieses Segment kein temporär gespeichertes Quellen-Bild-Änderungs-Merkmal gibt, fährt der Digital Media Player mit Schritt 222 fort. In Schritt 222 ermittelt der Digital Media Player, ob für das aktive Segment eine Kompositions-Bild-Änderung definiert ist. Wenn für dieses Segment eine Kompositions-Farb-Änderung definiert ist, fährt der Digital Media Player mit Schritt 224 fort, wobei er die Kompositions-Bild-Änderung auf das aktive Segment anwendet.
Nach Anwendung der Kompositions-Bild-Änderung auf das aktive Segment, oder nach Ermittlung, dass für dieses Segment keine Kompositions-Bild-Änderung zu finden ist, fährt der Digital Media Player mit Schritt 206 fort, wobei er das nächste Segment in der Komposition ansteuert. Die Schritte 206–224 werden wiederholt, bis die gesamte Komposition oder der Abschnitt der Komposition, der von einem Anwender definiert ist gespielt worden ist.
14 ist eine Ausführungsform einer Benutzerschnittstelle 400 für digitale Medien-Änderung. Obwohl in 14 nicht gezeigt, können verschiedene Audio-Editier-Werkzeuge bzw. -Hilfsmittel und Steuerungen Teil der Benutzerschnittstelle 400 sein. Eine Drei-Bild-Anzeige 270 enthält eine aktuelle Bild-Anzeige 229, eine Vor-Bild-Anzeige 228 und eine Folge-Bild-Anzeige 230. Die aktuelle Bild-Anzeige 229 stellt ein aktives Segment von einer Sequenz dar, und die Vor-Bild-Anzeige 228 und die Folge-Bild-Anzeige 230 stellen jeweils das vorherige und das nächste Segment der Sequenz dar. Ein Bedienfeld, zum Beispiel das Bedienfeld 272 des aktuellen Bildes, kann mit jeder Bild-Anzeige verbunden werden. Für die aktuelle Bild-Anzeige zum Beispiel kann das Bedienfeld eine Vor-Segment-Taste 232, eine Folge-Segment-Taste 234, eine Unveränderte-Vor-Segment-Taste 236, eine Unveränderte-Folge-Segment-Taste 238, eine Wiedergabe-Taste 240 und eine Stopp-Taste 242 enthalten. Jedes Bild kann ebenfalls eine Bildlaufleiste enthalten, zum Beispiel die Bildlaufleiste 263 des aktuellen Bildes 229. Jede Bildlaufleiste kann eine Positionsanzeige 262 enthalten, welche die zeitliche Position des aktuellen Bildes 229 innerhalb des Segments anzeigt, welches es darstellt.
Die Drei-Bild-Anzeige 270 erlaubt dem Editor, die Effekte von Bild-Änderungen zu sehen. Wenn gewählt, ersetzt die Vor-Segment-Taste in der aktuellen Bild-Anzeige 229 das aktive Segment mit dem vorhergehenden Segment. In dem Beispiel von 14 erscheint in der aktuellen Bild-Anzeige 229 ein digitales Bild des vorhergehenden Bildes, wenn die Vor-Segment-Taste 232 gedrückt wird. Analog erscheint in der aktuellen Bild-Anzeige 229 ein digitales Bild des Folge-Segments, wenn die Folge-Bild-Taste gedrückt wird.
Während einer Editier-Session können verschiedene Bild-Änderungen definiert werden. Abhängig von den gebräuchlichen bzw. gemeinsamen Merkmal-Parametern, welche während der Editier-Session gewählt werden, können verschiedene Segmente der durch die Drei-Bild-Anzeige 270 dargestellten Sequenz durch die Bild-Änderung beeinflusst werden. Die Unveränderte-Vor-Segment-Taste 236 und die Unveränderte-Folge-Segment-Taste 238 erlauben dem Editor die Effekte einer Bild-Änderung auf eine effiziente Art und Weise zu betrachten.
Wenn die Unveränderte-Vor-Segment-Taste 236 ausgewählt wird, ersetzt ein vorheriges Segment, auf welches noch keine Bild-Änderung angewendet wurde und welches dem aktiven Segment zeitlich am nächsten liegt, das aktive Segment in der aktuellen Bild-Anzeige 229. Die Unveränderte-Segment-Taste erlaubt dem Editor schnell zu bestimmen, welche Segmente einer Sequenz nicht verändert worden sind. Lieber als wiederholt die Nächste- und Vor-Tasten 232 und 234 verwenden zu müssen, um alle Segmente in einer Sequenz durchzugehen, kann ein Editor einfach die Tasten 236 und 238 drücken, um die nächsten unveränderten Segmente zu betrachten, selbst wenn die Segmente bereits verändert worden sind.
In einer Ausführungsform der Benutzerschnittstelle 400, enthält die Benutzerschnittstelle 400 ein zweites Anzeigefenster, zum Beispiel eine zweite 3-Bild-Anzeige 700. Ein Editor oder Kolorist kann sowohl Bilder von der 3-Bild-Anzeige 270 und der 3-Bild-Anzeige 700 verwenden, um Bilder von jeder Anzeige zu editieren oder kolorieren. Zum Beispiel kann ein Editor eine Farbanpassung an einer Farbe von der Bild-Anzeige 712 in die aktuellen Bild-Anzeige 229 vornehmen. Farbanpassung wird unten noch ausführlicher beschrieben. Ein anderes Beispiel wäre, das Bild der Vor-Bild-Anzeige 228 an das Ende der Sequenz zu hängen, welches in der 3-Bild-Anzeige 700 dargestellt ist, und möglicherweise eine Abmischung zwischen dem letzten Bild von der Sequenz von 700 und dem Bild der Vor-Bild-Anzeige 228 zu definieren.
In einer anderen Ausführungsform der Benutzerschnittstelle 400, ist ein Bedienelement 702 der gebräuchlichen bzw. gemeinsamen Merkmale enthalten. Das Bedienelement 702 kann eine Entfernen-Taste 704, eine Aktualisieren-Taste 706, eine Glätten-Taste 710 und eine Mischen-Taste 708 enthalten. Die Entfernen-Taste 704 erlaubt einem System-Anwender alle vorhergehenden Änderungen zu entfernen, welche für ein bestimmtes gebräuchliches bzw. gemeinsames Merkmal der aktuellen Sequenz oder Komposition spezifiziert wurden, wobei die Änderungen jeweils während des Editierens der aktuellen Sequenz oder Komposition vorgenommen worden sind. Ein Anwender kann die Entfernen-Taste 704 auswählen und erhält dann einen Bildschirm, Pulldown-Menü, Dialogfeld, etc. angezeigt, welcher bzw. welches eine Liste von gebräuchlichen bzw. gemeinsamen Merkmalen anbietet, für das Entfernen spezifiziert werden kann. Der Anwender kann dann das gebräuchliche bzw. gemeinsame Merkmal auswählen, welches zu allen vorhergehenden Änderungen geführt hat, die für das ausgewählte gebräuchliche bzw. gemeinsame Merkmal, welches aus der aktuellen Sequenz oder Komposition entfernt wird, spezifiziert wurden.
Zum Beispiel nehme man an, dass ein Anwender vorher während des Editierens der aktuellen Sequenz Änderungen vorgenommen hat, welche die physikalische Medien-Quellen-Beziehung als das gebräuchliche bzw. gemeinsame Merkmal spezifiziert haben und die Änderungen mehrere Segmente der aktuellen Sequenz geändert haben. Wenn der Anwender die Entfernen-Taste wählt und dann die physikalische Medien-Quellen-Beziehung als das gebräuchliche bzw. gemeinsame Merkmal wählt, werden alle vorhergehenden Änderungen, welche für die physikalische Medien-Beziehung spezifiziert wurden, entfernt, oder von den Segmenten der aktuellen Sequenz, welche oben geändert wurde, rückgängig gemacht.
Die Aktualisieren-Taste 706 erlaubt einem Anwender, frühere Änderungen, welche während einer Editier-Session vorgenommen wurden, auf neue Segmente, die zu einer Se quenz oder Komposition hinzugefügt wurden, seitdem die Änderungen gemacht wurden, anzuwenden. Zum Beispiel könnte ein Anwender früher in einer Editier-Session die Helligkeit bzw. Luminanz von allen Segmenten einer Video-Sequenz, die einen gemeinsamen Quellen-Namen teilen, um 10 IRE reduziert haben. Ein Anwender könnte dann ein neues Segment zu der Sequenz hinzugefügt haben, welches ebenfalls den gemeinsamen Quellen-Namen teilt, und auf welches vorher die Helligkeitserhöhung angewendet wurde. Durch die Wahl der Aktualisieren-Taste 706 wird die vorher definierte Helligkeits- bzw. Luminanz-Erhöhung auf das neu hinzugefügte Segment angewendet, welches den gemeinsamen Quellen-Namen teilt.
Die Glätten-Taste 710 kann verwendet werden, um ein spezifiziertes gebräuchliches bzw. gemeinsames Merkmal zu einem gebräuchlichen bzw. gemeinsamen Standard-Merkmal-Parameter umzukehren. Zum Beispiel möchte ein Anwender sicher sein, dass bestimmte Editierungen nur auf das aktive Segment angewendet werden. Üblicherweise werden die Standard-Quellen-Merkmal-Parameter und Standard-Kompositions-Merkmal-Parameter als die Segment-Beziehung definiert. Somit holt die Wahl der Glätten-Taste 710 den Quellen-Beziehungs-Merkmal-Parameter und einen Kompositions-Beziehungs-Parameter zu der Segment-Beziehung zurück.
Die Mischen-Taste 708 kann beim Verbinden von Segmenten einer Sequenz mit Segmenten einer anderen Sequenz verwendet werden. Eine typische Situation in der diese Funktion verwendet werden würde ist, wenn ein Editor, der verschiedene Video-Segmente in einer Sequenz abgeglichen und verbunden hat, die Farb-Änderungen, die von einem Koloristen vorgenommen wurden, in wenigstens eines der Video-Segmente der Editoren-Sequenz integrieren will. In solch einem Beispiel könnte der Kolorist die Original-Sequenz, mit der der Editor begonnen hatte, kopiert haben und verschiedene Farb-Änderungen an jedem der Segmente vorgenommen haben. Die Mischen-Taste erlaubt es, verschiedene Änderungen, die sowohl vom Editor, als auch vom Koloristen vorgenommen wurden, in einem einzigen Schritt zu verbinden. Jedoch können Konflikte auftreten, wenn diese verschiedenen Änderungen kombiniert werden. Zum Beispiel kann der Editor eine Farb-Änderung spezifiziert haben, die den Farbton aller Bilder in der Sequenz erhöht, während der Kolorist auf der anderen Seite eine Farb-Änderung spezifiziert haben kann, die den Farbton aller Bilder in der Sequenz erniedrigt.
Es gibt verschiedene Methoden, wie diese Konflikte gelöst werden können. Eine dieser Methoden kann als Standard bestimmt werden, als System-Option gewählt werden oder durch den Anwender ausgewählt werden. Somit enthalten die Methoden, mit denen die Mischen-Taste Konflikte lösen kann: automatische Wahl der Bild-Änderungen, welche durch die Ziel-Sequenz, auf welche die Quellen-Sequenz angewendet werden soll, spezifiziert ist; automatische Wahl der Bild-Änderungen, welche durch die Quellen-Sequenz, auf welche die Ziel-Sequenz angewendet werden soll, spezifiziert ist; automatische Wahl der Bild-Änderung, die zeitlich zuerst oder zuletzt kommt, gemäß eines Zeitstempels, welcher mit der Bild-Änderung verbunden ist; oder ein Auffordern des Anwenders, zwischen den widersprüchlichen Bild-Änderungen zu wählen.
In einer Ausführungsform, welche Farb-Änderungen und Quellen- und Kompositions-Beziehungen als gebräuchliche bzw. gemeinsame Merkmal-Parameter verwendet, erlauben Farb-Funktions-Tasten einem Editor, sowohl für Quellen- als auch für Kompositions-Farb-Änderungen, Funktions-Bildschirme auszuwählen. Zum Beispiel erlaubt der Streifen bzw. Tabulator 244 einem Anwender, Farb-Funktionen für Farb-Änderungen auszuwählen, und Streifen bzw. Tabulator 246 erlaubt dem Anwender, Funktionen für Kompositions-Farb-Änderungen auszuwählen. Die Farb-Funktions-Bildschirme erlauben einem Editor spezifische Farb-Änderungs-Funktionen auszuführen. Farb-Funktions-Tasten können eine HSL-Taste 254 enthalten, eine Kanäle-Taste 252, eine Pegel-Taste 250 und eine Kurven-Taste 248. Die HSL-Taste 254 bringt einen HSL-Funktions-Bildschirm hervor, der dem Anwender erlaubt, Änderungen zu Pixel-Farben im HSL-Farbraum zu definieren, einschließlich des Definierens von Farb-Änderungen von Pixel-Farben als Funktion der Luma eines Pixels.
Kanäle-Taste 252 erlaubt einem Anwender einen Kanäle-Bildschirm anzusteuern, wobei sich Kanäle in diesem Kontext auf die roten, grünen und blauen Komponenten eines RGB-Komponenten-Formats beziehen. Der RGB-Bildschirm erlaubt einem Anwender, Werte der RGB-Komponenten als eine Funktion, eine Komponente der RGB-Komponenten, oder Kombinationen der RGB-Komponenten, zu ändern.
Die Pegel-Taste 250 erlaubt einem Anwender, einen Pegel-Bildschirm anzusteuern, in dem ein Anwender die Effekte von RGB-Farb-Änderungen auf die Luma der Pixel untersuchen kann, und die Luma der Pixel als Funktion der Luma der Pixel abändern kann. Beispiel-Ausführungsformen der Farb-Änderungen, welche auf einem Pegel-Bidschirm verfügbar sind, sind in der U.S.-Patentanmeldung „Apparatus and Method for Generating and Displaying Histograms of Color Images for Color Correction" von Robert Gonsalves, Serien-Nr. 09/293,023, angemeldet am 16. April 1999, beschrieben.
Die Kurven-Taste 248 erlaubt einem Anwender, einen Kurven-Bildschirm anzusteuern. Eine Ausführungsform eines Kurven-Bildschirms ist in Benutzerschnittstelle 400 veranschaulicht, in der die Kurven-Taste gewählt wurde. Der Kurven-Bildschirm erlaubt einem Anwender, Farb-Änderungen für eine rote, grüne oder blaue Komponente einer Farbe, oder für alle drei Komponenten der Farbe, zu definieren. Der Kurven-Bildschirm enthält ein rotes Diagramm 280, ein grünes Diagramm 282 und ein blaues Diagramm 284, um die Funktionen der einzelnen Komponenten zu definieren, und ein Master-Diagramm 286, um eine Funktion zu definieren, welche auf alle drei Farb-Komponenten angewendet wird. In jedem Diagramm stellt die horizontale Achse einen Eingabe-Wert der Funktion dar, während die vertikale Achse den Ausgabe-Wert der Funktion darstellt. Jedes Diagramm kann Kontrollpunkte enthalten, die, wenn addiert, verschoben oder gelöscht werden, eine Kurve verändern, die eine Funktion darstellt, und dadurch die Funktion ändern.
Zum Beispiel wird für das grüne Diagramm 282, durch Abändern irgendeines der Kontrollpunkte 292, 294, 296 und 298, die grüne Kurve 300 geändert, wobei dadurch eine Funktion für die grüne Komponente neu definiert wird. Die neuen Werte für die Funktionen werden mittels Interpolation bestimmt, zum Beispiel lineare Interpolation, kubische Splines oder Bezier-Kurven.
In einer Ausführungsform erlaubt der Kurven-Bildschirm der Benutzerschnittstelle 400 einem Anwender, Farbanpassungen vorzunehmen, wobei Farben von Bildern der Drei-Bild-Anzeige 270 verwendet werden, Text-Eingaben von einem Text-Eingabe-Feld, wie zum Beispiel 288, oder anderer Farb-Quellen. Zum Beispiel kann ein Anwender eine Farbe aus dem Bild auswählen, welches in der Folge-Bild-Anzeige 230 dargestellt wird und wendet dies auf das Bild in der aktuellen Bild-Anzeige 229 an. Der Kurven-Bildschirm erlaubt dem Anwender eine Vorschau des Effektes des Hinzufügens einer Farbe zu einem Bild durchzuführen, wobei die Diagramme 280, 282, 284 und 286 verwendet werden. Der Kurven-Bildschirm sieht auch eine Farbanpassungs-Vorrichtung 257 vor, welche den Editor bei der Farbanpassung unterstützt. Die Farbanpassungs-Vorrichtung 257 umfasst ein Eingabe-Muster 261 und eine Ausgabe- Muster 260. Die RGB-Werte der ausgewählten Farben für die Farbanpassung werden in den Mustern dargestellt. Die RGB-Diagramme 280, 282, 284 und 286 erlauben dem Anwender eine Vorschau dieser Farben vorzunehmen, ohne sich auf eine Änderung in den Funktionen festzulegen, welche durch diese Diagramme dargestellt werden.
Typischerweise greift ein Editor für die Quellen-Farbe auf die aktuelle Bild-Anzeige 229 zu, deren Wert in dem Eingabe-Muster 261 dargestellt ist, und wählt aus einer bekannten guten Farbe aus, deren Wert in dem Farb-Ausgabe-Muster 260 dargestellt ist. Eine bekannt gute Farbe kann durch eine Farb-Palette oder einem anderen Bild angeboten werden, wie zum Beispiel dem Bild, welches in der Vor-Bild-Anzeige 228, oder der Folge-Bild-Anzeige 230 dargestellt wurde. Die Anwender können auswählen, wie sie die Farbe anpassen möchten. Es gibt acht Auswahlmöglichkeiten, welche beinhalten: Master, R + G + B, R + G, G + B, B + G, Rot, Grün, Blau. Wenn ein Editor R + G + B als den Anpassungs-Typ auswählt, wie im Auswahl-Feld 258 der Benutzerschnittstelle 400 angezeigt, und die Farbanpassungs-Taste 256 drückt, dann wird jeweils ein neuer Kontrollpunkt zu jedem der roten, grünen und blauen Diagramme 280, 282 und 284 hinzugefügt.
Nummernzeichen oder irgendeine andere Anzeige in den Diagrammen stellen die Änderungen an diesen Diagrammen dar, die aus der Farbanpassung resultieren. Zum Beispiel stellt das Nummernzeichen 294' in dem grünen Diagramm 282 eine Änderung im Wert des Kontrollpunktes 294 dar, welche die grüne Komponenten-Funktion abändert.
In einer Ausführungsform von Farbanpassung werden der Farbton und Farbstärke der ausgegebenen Farbe automatisch eingestellt, um anzupassen, wie sich Objekte unter natürlichen Lichtumgebungen verhalten. Zum Beispiel bleiben, wenn ein Objekt von natürlichem Licht beleuchtet wird, die Verhältnisse zwischen den RGB Werten des Objekts zwischen Bereichen, welche durch das Licht stark beleuchtet werden und Bereichen, die nicht so stark beleuchtet werden, proportional.
Natürliche Farbanpassung arbeitet auf die folgende Weise. Bei einer gegebenen Quellen-Farbe R_S, G_S, B_S zum Beispiel wird die Farbe, welche in dem Eingabe-Farb-Muster 261 dargestellt ist, und eine Zielfarbe R_D, G_D, B_D zum Beispiel, welche die ausgegebene Farbe durch das Ausgabe-Farb-Muster 260 darstellt, und eine eingestellte Zielfarbe R'_D, G'_D, B'_D bestimmt.
Die Helligkeit der Quellen-Farbe Y_S kann definiert werden als: YS = 0.299·RS + 0.587·GS + 0.114·BS Gleichung 1
Eingabe Rot/Luminanz Verhältnis, ρ_RS, Eingabe Grün/Luminanz-Verhältnis, ρ_GS, und Eingabe Blau/Luminanz Verhältnis ρ_BS, können definiert werden als:
Die Helligkeit bzw. Luminanz der Ziel-Farbe, Y_D, kann definiert werden als: YD = 0.299·RD + 0.587·GD + 0.114·BD Gleichung 5
Ausgabe Rot/Luminanz Verhältnis, ρ_RD, Ausgabe Grün/Luminanz-Verhältnis, ρ_GD, und Ausgabe Blau/Luminanz Verhältnis ρ_BD, können definiert werden als:
Angepasstes Rot/Luminanz Verhältnis, ρ'_RD, angepasstes Grün/Luminanz-Verhältnis, ρ'_GD, und angepasstes Blau/Luminanz Verhältnis ρ'_BD, können definiert werden als:
In einem Farb-Unterschied-Raum, wie zum Beispiel YCbCr, stellt der Y-Wert die Luminanz und die zwei Farb-Komponenten CbCr stellen den farbwert bzw. die Chrominanz dar. Chrominanz kann durch zwei Werte definiert werden: Farbton, welcher durch den Winkel des Vektors (0, 0) → (Cb, Cr) definiert ist, und Farbstärke, welche der Betrag dieses Vektors ist und als
definiert werden kann.
15 veranschaulicht den Effekt einer natürlichen Farbanpassung im HSL-Raum. Durch Anpassen des Verhältnisses von RGB zur Luminanz, kann ein geändertes Bild den Farbton der spezifizierten Zielfarbe H_D übernehmen, behält aber die Luminanz Y_S der Quellen-Farbe. Wenn ein Zielvektor vom schwarzen Punkt zur Zielfarbe gezogen wird, wird die angepasste Farbe C'_D am Schnittpunkt dieses Zielvektors und einer Ebene, definiert durch die Quellen-Luma Y_S, angeordnet. Die Farbstärke der angepassten Farbe C'_D, entspricht dem Betrag eines angepassten Vektors, der als
definiert werden kann.
Natürliche Farbanpassung kann verwendet werden, um beliebige Kombinationen der roten, grünen und blauen Komponente anzupassen. Natürliche Anpassung mit der Master-Kurve beeinflusst nur die Luminanz. Sechs andere Kombinationen können verwendet werden: R + G, G + B, B + G, Rot, Grün und Blau. Das Verfahren der natürlichen Farbanpassung für diese Sektionen ist ähnlich der Anpassung mit allen drei RGB-Komponenten, wie oben beschrieben. Verhältnisse werden durch Teilen der ausgewählten Komponenten einer Farbe durch die gewichtete Summe der nicht ausgewählten Komponenten ermittelt. Man kann zwei Klassen dieser Auswahl betrachten: Einzel-Komponenten-Auswahl einschließlich Rot, Grün und Blau, und Zwei-Komponenten-Auswahl, einschließlich R + G, G + B und B + G.
Für Einzel-Komponenten-Auswahl bei vorgegebenen Quellen-Farb-Komponenten R_S, G_S und B_S, und den Ziel-Farb-Komponenten R_D, G_D, B_D, kann eine angepasste Ziel-Komponenten wie folgt ermittelt werden, wobei eine angepasste Rot-Komponente R'_D als Beispiel verwendet wird. Eine gewichtete Summe der grünen und blauen Quellen-Komponenten G_D und B_D nähern sich der Quellen-Luminanz Y_S an. Diese gewichtete Summe kann durch folgende Gleichung definiert werden:
Das Quelle-Rot/Luminanz-Verhältnis ρ_RS der Quellen-Farbe wird ermittelt. Das Quelle-Rot/Luminanz-Verhältnis ρ_RS kann durch folgende Gleichung beschrieben werden:
Eine gewichtete Summe der grünen und roten Ziel-Komponenten G_S und B_S kann sich an die Ziel-Luminanz Y_D annähern. Diese gewichtete Summe kann beschrieben werden durch die Gleichung:
Das Ziel-Rot/Luminanz-Verhältnis ρ_RS kann durch die folgende Gleichung beschrieben werden:
Die angepasste Rot-Komponente R'_D kann durch Verbinden der Gleichungen 12–15 ermittelt werden, um die folgende Gleichung zu erzeugen:
Für Zwei-Komponenten-Auswahl bei vorgegebenen Quellen-Farb-Komponenten R_S, G_S und B_S, und den Ziel-Farb-Komponenten R_D, G_D, B_D, kann eine angepasste Ziel-Komponente wie folgt ermittelt werden, wobei angepasste rote und blaue Komponenten R'_D und B'_D als Beispiel verwendet werden. Die grüne Quellen-Komponente nähert sich der Quellen-Luminanz Y_S an. GS = YS Gleichung 17
Ein Quellen-Rot/Luminanz-Verhältnis ρ_RS und ein Quellen-Blau/Luminanz-Verhältnis ρ_BS wird ermittelt. Diese Verhältnisse können durch die folgenden Gleichungen definiert werden:
Die grüne Komponente der Quellen-Farbe G_D kann sich der Luminanz Y_D annähern YD = GD Gleichung 20
Das Ziel-Rot/Luminanz-Verhältnis ρ_RD und das Ziel-Blau/Luminanz-Verhältnis ρ_BD werden ermittelt. Diese Verhältnisse können durch die folgenden Gleichungen definiert werden:
Gleichungen 17–22 können verbunden werden, um die angepassten Rot- und Blau-Komponenten R'_D und B'_D zu ermitteln, wie durch die folgenden Gleichungen definiert:
Somit passt natürliche Farbanpassung die Werte der ausgewählten Ziel-Farb-Komponenten als ein Produkt des Verhältnisses der Quellen- und Ziel-Luminanz der ausgewählten Komponenten und dem Wert der Ziel-Komponenten an.
16 ist ein Blockdiagramm, welches eine Beispiel-Datenstruktur veranschaulicht, welche zur Speicherung von Änderungen verwendet wird, spezifiziert für Quellen-Medien und Änderungen, spezifiziert für Kompositions-Medien. Insbesondere veranschaulicht 16 Beispiel-Quellen- und Kompositions-Farb-Änderungen 138 bzw. 140. Sowohl die Quellen- als auch die Kompositions-Änderungs-Strukturen 138 und 140 können Farb-Änderungen enthalten, spezifisch für HSL, Kanäle, Pegel und Kurven-Farb-Funktionen und Parameter. Parameter können als eine Unterklasse von Funktionen betrachtet werden, da Parameter im Wesentlichen einfache lineare Funktionen oder Konstanten sind. Sowohl Datenstruktur 138 als auch 140 können Verweise auf andere Datenstrukturen speziell für Farb-Funktionen enthalten, z.B. HSL-Änderungs-Daten-Struktur 404, Kanal-Änderungs-Daten-Struktur 406, Pegel-Änderungs-Datenstruktur 408 und Kurven-Änderungs-Daten-Struktur 410. Diese Funktionen könnten über die Benutzerschnittstelle 400 definiert worden sein, oben beschrieben in Verbindung mit 14, wobei die Farb-Funktions-Tasten 254, 252, 250 und 248 verwendet werden, um jeweils den HSL, Kanal, Pegel und Kurven-Bildschirm anzusteuern.
In 16 wird, wenn es mehrere Unter-Strukturen gibt, welche in ihrer Ausgestaltung identisch sind, nur eine der Unter-Strukturen im vollen Detail gezeigt. Elemente in einer Daten-Struktur, gefolgt von einem „ „ Buchstabe, zeigt eine Unter-Struktur an, angezeigt durch einen Pfeil zur Unter-Struktur. Zum Beispiel zeigt in der Quellen-Farb-Änderungs-Daten-Struktur 138 das neben „HSL" an, dass es eine Unter-Struktur 404 gibt, welche HSL-Änderungen definiert. Elemente, gefolgt von einem „•"-Zeichen zeigen einen Parameter mit einer Kategorie in runden Klammern an. Zum Beispiel zeigt in der Kanäle-Farb-Änderungs-Daten-Struktur 406 der • neben dem „Vorschau-Modus (num)" an, dass es einen numerischen Parameter gibt, der den Vorschau-Modus definiert, welcher von einem Anwender gewählt wurde. Elemente, gefolgt von einem „f" zeigen eine Funktion an. Funktionen können als feste Längen-Datenbereiche von Werten für Eingabe/Ausgabe-Paare gespeichert werden. Diese Werte werden verwendet, um eine Nachschlagetabelle zu berechnen, welche die Funktion definiert. Zum Beispiel zeigt in der Kurven-Farb-Änderungs-Daten-Struktur 410 das f neben „Rot (rgb)" eine Funktion für RGB-Komponenten-Kurven an. Die Verwendung von Funktionen und Nachschlagetabellen zur Definition von Farb-Änderungen wird in der U.S.-Patentanmeldung mit dem Titel „Multi-tone Representation of a Digital Image on a Digital Non-Linear Editing System" von Robert Gonsalves, angemeldet am 16. April 1999, Anmeldungs-Nr. 09/293,732 und der Cacciatore-Anmeldung beschrieben. Die Daten-Strukturen von 16 können verwendet werden, um die Koeffizienten einer Matrix oder Werte einer Nachschlagetabelle zu definieren, wie in der Cacciatore-Anmeldung beschrieben.
Eine Multimedia-Komposition kann mit einem typischen Computersystem dargestellt und editiert werden. Die Erfindung ist nicht auf einen bestimmten Computer beschränkt, der hierin beschrieben ist. Viele andere unterschiedliche Geräte können verwendet werden, um Quellen-Farb-Änderungen zu realisieren. Solch ein geeignetes Computersystem enthält eine Verarbeitungseinheit, welche eine Vielzahl von Funktionen und eine gut bekannte Art der Technik als Antwort auf Anweisungen ausführt, welche von einem Anwendungsprogramm bereitgestellt werden. Die Verarbeitungseinheit arbeitet gemäß einem Programm, als Betriebssystem bekannt, von denen in dieser Technik viele Typen bekannt sind. Die Schritte eines Anwendungsprogramms werden typischerweise in einem Speicher mit wahlfreiem Zugriff (RAM) in einer maschinen-lesbaren Form bereitgestellt, weil Programme typischerweise in Permanentspeichern wie einer Festplatte oder einer Diskette gespeichert werden. Nachdem ein Anwender ein Anwendungsprogramm ausgewählt hat, wird es von der Festplatte in den RAM geladen, und die Verarbeitungseinheit läuft durch die Sequenzen von Anweisungen des Anwendungsprogramms ab.
Das Computersystem enthält auch eine Anwender-Eingabe/Ausgabe (I/O)-Schnittstelle. Die Benutzerschnittstelle enthält typischerweise ein Anzeigegerät (nicht gezeigt), wie zum Beispiel eine Kathodenstrahlröhren (CRT)-Anzeige in einer Eingabe-Einheit (nicht gezeigt), wie zum Beispiel eine Tastatur oder Maus. Eine Vielzahl von anderen bekannten Eingabe- und Ausgabe-Einheiten können verwendet werden, wie zum Beispiel Sprach-Erzeugungs- und Erkennungs-Einheiten, Audio-Ausgabe-Einheiten, etc.
Das Computersystem enthält ebenfalls ein Video- und Audio-Daten I/O Unter-System. Solch ein Unter-System ist in der Technik gut bekannt, und die vorliegende Erfindung ist nicht auf das spezielle Unter-System begrenzt, welches hierin beschrieben wird. Der Audio-Abschnitt von Unter-Systemen enthält einen Analog-Digital(A/D)-Wandler (nicht gezeigt), welcher analoge Audio-Informationen empfängt und diese in digitale Informationen umwandelt. Die digitalen Informationen können zur Speicherung auf einer Festplatte komprimiert werden, wobei ein bekanntes Komprimierungssystem verwendet wird, um sie zu einem anderen Zeitpunkt zu verwenden. Ein typischer Video-Abschnitt des Unter-Systems enthält einen Video-Bild-Datenkomprimierer/Datenentkomprimierer (nicht gezeigt), von denen es viele in diesem Bereich gibt. Die komprimierten digitalen Informationen können auf einer Festplatte zur Verwendung zu einem späteren Zeitpunkt gespeichert werden. Ein Beispiel für solch einen Datenkomprimierer/Datenentkomprimierer ist im U.S. Patent Nr. 5,355,450 beschrieben.
Eine oder mehrere Ausgabe-Einheiten können zu einem Wiedergabe-System oder Editier-System verbunden werden. Beispiel-Ausgabe-Einheiten enthalten eine Kathodenstrahlröhren(CRT)-Anzeige, Flüssigkristall-Anzeigen (LCD) und andere Video-Ausgabe-Vorrichtungen, Drucker, Kommunikations-Vorrichtungen wie zum Beispiel ein Modem, Speicher-Vorrichtungen wie zum Beispiel eine Diskette oder Band, und Audio-Ausgabe. Eine oder mehrere Eingabe-Vorrichtungen können mit dem Editier- oder Wiedergabe-System verbunden werden. Beispiel-Eingabe-Vorrichtungen enthalten ein Keyboard, Tastaturfeld, Rollkugel, Maus, Stift und Schreibtafel, Kommunikations-Vorrichtungen, und Daten-Eingabe-Vorrichtungen wie zum Beispiel Audio und Video-Erfassungs-Vorrichtungen und -Sensoren. Die Editier- und Wiedergabe-Systeme sind nicht auf bestimmten Eingabe- und Ausgabe-Vorrichtungen begrenzt, welche in Verbindung mit dem Computer-System oder solchen darin beschriebenen verwendet werden.
Das Editier- oder Wiedergabe-System kann ein Mehrzweck-Computersystem sein, welches programmierbar ist, wobei eine Computer-Programmiersprache wie zum Beispiel „C++", Java oder andere Sprachen, wie zum Beispiel eine Skriptsprache oder selbst eine Assemblersprache verwendet wird. Das Computersystem kann auch speziell programmierte Sonderzweck-Hardware sein. In einem Mehrzweck-Computersystem ist der Prozessor typischerweise ein kommerziell erhältlicher Prozessor, wie zum Beispiel die Serie x86 und Pentium Prozessoren, erhältlich über Intel, ähnliche Vorrichtungen von AMD und Cyrix, die 680X0-Serien Mikroprozessoren, erhältlich von Motorola, und der PowerPC-Mikroprozessor von IBM. Viele andere Prozessoren sind verfügbar. Solch ein Mikroprozessor führt ein Programm aus, Betriebssystem genannt, für welches WindowsNT, Windows95 oder 98, UNIX, Linux, DOS, VMS, MacOS und OS8 Beispiele sind, welche die Ausführung von anderen Programmen steuern, sowie Zeitplanung, Fehlersuche und -Behebung, Eingabe/Ausgabe-Steuerung, Buchhaltung, Kompilierung, Speicherzuweisung, Daten-Management und Speicher-Management, und Kommunikations-Steuerung und ähnliche Dienstleistungen. Das Prozessor- und Betriebssystem definieren eine Computeraufbau, für welche Anwendungsprogramme in höheren Programmiersprachen geschrieben wurden.
Ein Speichersystem umfasst typischerweise ein computerlesbares und -beschreibbares festes Speichermedium, für welches Magnetplatten, ein Flash-Speicher und ein Band Beispiele sind. Die Platte kann herausnehmbar sein, bekannt als Diskette, oder dauerhaft, bekannt als Festplatte. Eine Platte hat eine Anzahl von Titeln, in denen Signale gespeichert sind, typischerweise in binärer Form gespeichert, d.h. eine Form wird als eine Sequenz von Einsen und Nullen interpretiert. Solche Signale können ein Anwendungsprogramm definieren, welches von einem Mikroprozessor ausgeführt werden kann, oder Informationen, welche auf einer Diskette gespeichert sind und von dem Anwendungsprogramm ausgeführt werden. Typischerweise veranlasst der Prozessor im Betrieb, dass Daten von dem nicht-volatilen Aufzeichnungsmedium in ein integriertes Schaltkreis-Element eingelesen wird, welches typischerweise ein temporärer Speicher mit wahlfreiem Zugriff ist, wie zum Beispiel ein DRAM oder SRAM. Das integrierte Schaltungs-Speicher-Element erlaubt einen schnelleren Zugriff auf die Informationen durch den Prozessor, als es eine Platte tut. Der Prozessor verarbeitet die Daten innerhalb des integrierten Schaltkreis-Speichers und kopiert dann die Daten auf die Platte, nachdem die Verarbeitung abgeschlossen ist. Eine Vielfalt von Verfahren sind bekannt, um Datenbewegungen zwischen einer Platte und dem integrierten Schaltkreis-Speicherelement zu steuern, und die Erfindung ist nicht darauf beschränkt. Die Erfindung ist nicht auf ein besonderes Speicher-System begrenzt.
Solch ein System kann in Software oder Hardware oder Firmware realisiert werden, oder einer Kombination von den Dreien. Die verschiedenen Elemente des Systems, entweder einzeln oder in Kombination, können als Computerprogramm-Produkt realisiert werden, greifbar verkörpert in einer maschinenlesbaren Speichereinheit zur Ausführung über einen Computer-Prozessor. Verschiedene Schritte von diesem Prozess können von einem Computer-Prozessor durchgeführt werden, wobei ein Programm ausgeführt wird, welches greifbar verkörpert in einem computer-lesbaren Medium ist, um durch Verarbeiten einer Eingabe und Erzeugen einer Ausgabe Funktionen auszuführen. Computer-Programmiersprachen, welche geeignet sind um solch ein System zu realisieren, enthalten prozessuale Programmiersprachen, objektorientierte Programmiersprachen und eine Kombination der beiden.
Das Wiedergabesystem oder Editiersystem, welches verwendet wird, um Quellen- oder Kompositions-Änderungen zu realisieren ist nicht auf eine bestimmte Computer-Plattform, bestimmten Prozessor, oder bestimmte Programmiersprache begrenzt. Zusätzlich kann das Computersystem ein Multi-Prozessorsystem sein oder mehrere Computer umfassen, welche über ein Computer-Netzwerk verbunden sind. Jeder Schritt der 9–11 und 13 kann ein gesondertes Modul eines Computerprogramms sein, oder kann ein gesondertes Computerprogramm sein. Solche Module können auf separaten Computern betreibbar sein.
Nachdem nun einige Ausführungsformen beschrieben worden sind, sollte für Fachleute offensichtlich sein, das das Vorhergehende als Beispiel dargestellt worden ist und lediglich veranschaulichend ist und nicht begrenzend. Zahlreiche Änderungen und andere Ausführungsformen fallen in den Geltungsbereich bzw. Umfang eines normalen Fachmanns und werden als in den Geltungsbereich der Erfindung fallend betrachtet. Insbesondere fallen zahlreiche Audio-Ausführungsformen in den Geltungsbereich bzw. Umfang eines normalen Fachmanns im Bereich des digitalen Medien-Editierens, obwohl viele der hierin vorgestellten Beispiele Änderungen an Video-Medien beschreiben.

Claims

Verfahren zur Durchführung einer natürlichen Farbanpassung, das aufweist: eine Anzeige einer Zielfarbe und eine Anzeige einer Quellen- oder Ursprungsfarbe werden empfangen, wobei die Farben durch Komponenten spezifiziert sind; ein Verhältnis von zumindest einer Annäherung zu der Luminanz der Quellen- oder Ursprungsfarbe zu zumindest einer Annäherung zu der Luminanz der Zielfarbe wird bestimmt, wobei die Luminanz oder Annäherungen an die Luminanz von jeweiligen der Komponenten ausgebildet wird; und eine eingestellte Zielfarbe wird bestimmt, zu welcher die Zielfarbe durch Berechnen, für zumindest eine Komponente, die die eingestellte Zielfarbe spezifiziert, eines Wertes zu ändern ist, der durch das Produkt des bestimmten Verhältnisses und eines Wertes für die entsprechende Komponente, die die Zielfarbe spezifiziert, definiert ist.
Verfahren nach Anspruch 1, das ferner die Verarbeitung von Farben in einem Bild aufweist, um die Zielfarbe zu der eingestellten Zielfarbe zu ändern.
Verfahren nach Anspruch 2, wobei der berechnete Wert für jede Komponente einen Steuerpunkt eines Grafen definiert, der Farbveränderungen für die Komponente repräsentiert und der Eingangswerte für die Komponente auf einer ersten Achse Werten für die Komponente auf einer zweiten Achse zuordnet.
Verfahren nach Anspruch 3, wobei das Verarbeiten des Bildes aufweist: die Farbveränderung, die durch die Grafen für jede Komponente repräsentiert wird, wird auf das Bild angewandt.
Verfahren nach Anspruch 1, das ferner aufweist: auf einer grafischen Benutzerschnittstelle wird ein erstes Muster, das die Zielfarbe darstellt, und ein zweites Muster, das angrenzend zu dem ersten Muster ist, und die Quellen- oder Ursprungsfarbe darstellt, wiedergegeben; und auf der grafischen Nutzerschnittstelle werden Werte für Komponenten wiedergegeben, die die Zielfarbe auf dem ersten Muster darstellen und Werte für Komponenten, die die Quellen- oder Ursprungsfarbe auf dem zweiten Muster darstellen.
Verfahren nach Anspruch 5, das ferner aufweist: auf der grafischen Nutzerschnittstelle wird eine Anzeige mit drei Bildern wiedergegeben, die enthält: einen ersten Bereich auf der grafischen Nutzerschnittstelle, um das Bild, das zu verändern ist, wiederzugeben, wobei das Bild von einem gegenwärtigen Segment in einer Abfolge von Segmenten ist, einen zweiten Bereich auf der grafischen Nutzerschnittstelle und benachbart zu dem ersten Bereich, um ein Bild von einem vorherigen Segment in der Abfolge vor dem gegenwärtigen Segment wiederzugeben, und einen dritten Bereich auf der grafischen Nutzerschnittstelle und benachbart zu dem ersten Bereich, um ein Bild von einem nächsten Segment in der Abfolge nach dem gegenwärtigen Segment wiederzugeben.
Verfahren nach Anspruch 6, das ferner aufweist: auf der grafischen Nutzerschnittstelle wird eine Schnittstelle wiedergegeben, die gleichzeitig mehrere Grafen wiedergibt, einschließlich eines ersten Grafen für eine Rot-Komponente, eines zweiten Grafen für eine Blau-Komponente und eines dritten Grafen für eine Grün-Komponente, wobei jeder Graf Eingangswerte für eine Farbkomponente eines Bildelementes auf einer ersten Achse Werten für die Farbkomponente für das Bildelement auf einer zweiten Achse zuordnet.
Verfahren nach Anspruch 3, das ferner aufweist: auf einer grafischen Nutzerschnittstelle wird eine Schnittstelle wiedergegeben, die gleichzeitig eine Darstellung von jedem der Grafen einschließlich eines ersten Grafen für eine Rot-Komponente, eines zweiten Grafen für eine Blau-Komponente und eines dritten Grafen für eine Grün-Komponente wiedergibt.
Computerprogrammprodukt, das ein für einen Computer lesbares Medium und Computerprogrammbefehle, die auf dem für den Computer lesbaren Medium gespeichert sind, aufweist, dass, wenn es durch einen Computer ausgeführt wird, den Computer anweist, ein Verfahren auszuführen, wie es durch einen der voranstehenden Ansprüche beansprucht wird.
Vorrichtung zur Durchführung einer natürlichen Farbanpassung an einem Bild, das Bildelemente aufweist, die durch Komponenten definiert sind, wobei jede Komponente eines Bildelementes einen Wert hat, wobei diese Mittel aufweist, um: eine Anzeige von Komponenten einer ausgewählten Zielfarbe zu empfangen, die eine erste Luminanz und Komponenten von einer Quellen- oder Ursprungsfarbe hat, die eine erste Luminanz hat; eine Einrichtung, um ein Verhältnis von zumindest einer Annährung an die zweite Luminanz zu zumindest einer Annäherung an die erste Luminanz zu bestimmten; Mittel für zumindest eine der Komponenten der ausgewählten Zielfarbe, um ein Produkt der Komponente der ausgewählten Zielfarbe und des bestimmten Verhältnisses zu bestimmen; und Mittel für die zumindest eine Komponente, die einen Grafen definiert, der Eingangswerte für die Komponenten auf einer ersten Achse Ausgangswerten für die Komponenten auf einer zweiten Achse gemäß dem Wert der Komponente für die Quellen- oder Ursprungsfarbe als einen Eingang und das bestimmte Produkt für die Komponente als einen Ausgang zuordnet; und Mittel um den Wert von jeder Komponente von jedem Bildelement in dem Bild gemäß der bestimmten Zuordnung für die Komponente einzustellen.
Vorrichtung nach Anspruch 10, wobei die Einrichtung zum Bestimmen eines Produktes der Komponente der ausgewählten Zielfarbe und des vorbestimmten Verhältnisses dazu dient, das Produkt von jeder Komponente zu bestimmen.
Vorrichtung nach Anspruch 10 oder 11, wobei die Einrichtung zum Bestimmen eines Verhältnisses dazu dient, ein Verhältnis der zweiten Luminanz zu der ersten Luminanz zu bestimmen.