ES2650541T3 - Renderización de objetos de audio de tamaño aparente en distribuciones de altavoces arbitrarias - Google Patents
Renderización de objetos de audio de tamaño aparente en distribuciones de altavoces arbitrarias Download PDFInfo
- Publication number
- ES2650541T3 ES2650541T3 ES14714882.9T ES14714882T ES2650541T3 ES 2650541 T3 ES2650541 T3 ES 2650541T3 ES 14714882 T ES14714882 T ES 14714882T ES 2650541 T3 ES2650541 T3 ES 2650541T3
- Authority
- ES
- Spain
- Prior art keywords
- audio
- virtual source
- audio object
- data
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title description 39
- 238000009826 distribution Methods 0.000 title description 6
- 238000000034 method Methods 0.000 claims abstract description 107
- 230000005236 sound signal Effects 0.000 claims abstract description 18
- 230000003068 static effect Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 39
- 238000000926 separation method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000001052 transient effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 22
- 238000004091 panning Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
Un procedimiento, que comprende: recibir (540) datos de reproducción de audio que comprenden uno o más objetos de audio, comprendiendo los objetos de audio señales de audio y metadatos asociados, incluyendo los metadatos al menos datos de posición de objeto de audio y datos de tamaño de objeto de audio; calcular (545), para un objeto de audio de los uno o más objetos de audio, valores de ganancia de fuente virtual de fuentes virtuales en ubicaciones de fuente virtual respectivas dentro de un área o volumen de objeto de audio definido por los datos de posición de objeto de audio y los datos de tamaño de objeto de audio; y calcular (550) un conjunto de valores de ganancia de objeto de audio para cada uno de una pluralidad de canales de salida en función de, al menos en parte, los valores calculados de ganancia de fuente virtual, donde cada canal de salida corresponde a al menos un altavoz de reproducción de un entorno de reproducción y cada una de dichas ubicaciones de fuente virtual corresponde a una ubicación estática respectiva dentro del entorno de reproducción.
Description
Renderización de objetos de audio de tamaño aparente en distribuciones de altavoces arbitrarias
5 Campo técnico
Esta divulgación se refiere a la creación y renderización de datos de reproducción de audio. En particular, esta divulgación se refiere a la creación y renderización de datos de reproducción de audio para entornos de reproducción, tales como sistemas de reproducción de sonido en salas de cine.
Antecedentes
Desde la introducción del cine sonoro en 1927 ha habido una constante evolución en la tecnología usada para capturar la intención artística de la banda sonora de una película y reproducirla en salas de cine. En la década de
15 1930, el sonido sincronizado en un disco dio lugar a un sonido de área variable en las películas, lo cual se mejoró aún más en la década de 1940 al introducirse las consideraciones acústicas de las salas de cine y un diseño mejorado de los altavoces, junto con la temprana introducción de la grabación multipista y la reproducción dirigible (que usa tonos de control para mover los sonidos). En la década de 1950 y de 1960, el uso de la banda magnética permitió una reproducción multicanal en las sales de cine, e introdujo canales envolventes y hasta cinco canales de pantalla en salas de teatro de gran calidad.
En la década de 1970, Dolby introdujo la reducción de ruido, tanto en la posproducción como en la película, junto con un medio económico de codificación y distribución de mezclas con 3 canales de pantalla y un canal envolvente mono. La calidad del sonido en las salas de cine se mejoró aún más en la década de 1980 con la reducción de ruido
25 de la grabación espectral (SR) Dolby y programas de certificación tales como THX. Dolby introdujo el sonido digital en el cine durante la década de 1990 con un formato de 5.1 canales que proporciona un canal de pantalla izquierdo, uno central y otro derecho, una disposición envolvente izquierda y otra derecha, así como un canal de altavoz de graves para efectos de baja frecuencia. Dolby Surround 7.1 apareció en 2010 y aumentó el número de canales envolventes al dividir los canales envolventes izquierdo y derecho existentes en cuatro "zonas".
A medida que el número de canales aumenta y la distribución de los altavoces pasa de una disposición bidimensional (2D) plana a una disposición tridimensional (3D) que incluye elevación, las tareas de crear y renderizar sonidos son cada vez más complejas. Se necesitan procedimientos y dispositivos mejorados.
35 La publicación de solicitud de patente estadounidense n.º US 2010/092014 A1 da a conocer un aparato para generar una pluralidad de señales de altavoz para una disposición de altavoces que define un espacio de reproducción. El aparato incluye una unidad de etapa previa configurada para generar una pluralidad de señales de audio de salida mediante la utilización de una o más señales de audio asociadas a una o más posiciones virtuales, donde cada señal de audio de salida está asociada a una posición de altavoz de manera que la pluralidad de señales de audio de salida duplican conjuntamente una reproducción de la(s) señal(es) de audio de entrada en la(s) posición(es) virtual(es), y una pluralidad de señales de audio de salida son más pequeñas que una pluralidad de señales de altavoz. El aparato incluye además una etapa principal configurada para obtener la pluralidad de señales de audio de salida y, además, para obtener, como una posición virtual para cada señal de audio de salida, las posiciones de los altavoces, y para generar el número de señales de altavoz para la disposición de altavoces de manera que las
45 posiciones de los altavoces se duplican como una fuente virtual mediante la disposición de altavoces.
Resumen
Algunos aspectos del contenido descrito en esta divulgación pueden implementarse en herramientas para renderizar datos de reproducción de audio que incluyen objetos de audio creados sin referencia a ningún entorno de reproducción particular. Tal y como se usa en el presente documento, el término "objeto de audio" puede referirse a un flujo de señales de audio y a metadatos asociados. Los metadatos indican al menos la posición y el tamaño aparente del objeto de audio. Sin embargo, los metadatos también pueden indicar datos de restricción de renderización, datos de tipo de contenido (por ejemplo, diálogos, efectos, etc.), datos de ganancia, datos de
55 trayectoria, etc. Algunos objetos de audio pueden ser estáticos, mientras que otros pueden tener metadatos que varían en el tiempo: tales objetos de audio pueden moverse, pueden cambiar de tamaño y/o pueden tener otras propiedades que cambien en el tiempo.
Cuando los objetos de audio se supervisan o se reproducen en un entorno de reproducción, los objetos de audio pueden renderizarse según al menos los metadatos de posición y tamaño. El proceso de renderización puede implicar calcular un conjunto de valores de ganancia de objeto de audio para cada canal de un conjunto de canales de salida. Cada canal de salida puede corresponder a uno o más altavoces de reproducción del entorno de reproducción.
65 Algunas implementaciones descritas en el presente documento implican un proceso de "configuración" que puede tener lugar antes de renderizar cualquier objeto de audio particular. El proceso de configuración, que también puede
denominarse en el presente documento primera etapa o Etapa 1, puede implicar definir múltiples ubicaciones de fuente virtual en un volumen dentro del cual los objetos de audio pueden moverse. Tal y como se usa en el presente documento, una "ubicación de fuente virtual" es una ubicación de una fuente puntual estática. Según tales implementaciones, el proceso de configuración puede implicar recibir datos de ubicación de altavoz de reproducción 5 y precalcular valores de ganancia de fuente virtual para cada una de las fuentes virtuales según los datos de ubicación de altavoz de reproducción y la ubicación de las fuentes virtuales. Tal y como se usa en el presente documento, el término "datos de ubicación de altavoz" puede incluir datos de ubicación que indican las posiciones de algunos o todos los altavoces del entorno de reproducción. Los datos de ubicación pueden proporcionarse como coordenadas absolutas de las ubicaciones de altavoz de reproducción, por ejemplo coordenadas cartesianas,
10 coordenadas esféricas, etc. Como alternativa, o adicionalmente, los datos de ubicación pueden proporcionarse como coordenadas (por ejemplo, coordenadas cartesianas o coordenadas angulares) con respecto a otras ubicaciones del entorno de reproducción, tales como "puntos de sonido óptimo" acústicos del entono de reproducción.
En algunas implementaciones, los valores de ganancia de fuente virtual pueden almacenarse y usarse durante el
15 "tiempo de ejecución", durante el cual los datos de reproducción de audio se renderizan para los altavoces del entorno de reproducción. Durante el tiempo de ejecución, para cada objeto de audio, pueden calcularse valores de ganancia de fuente virtual a partir de ubicaciones de fuente virtual dentro de un área o volumen definido por los datos de posición de objeto de audio y los datos de tamaño de objeto de audio. El proceso de calcular valores de ganancia de fuente virtual de ubicaciones de fuente virtual puede implicar calcular un promedio ponderado de
20 múltiples valores precalculados de ganancia de fuente virtual, determinados durante el proceso de configuración, para ubicaciones de fuente virtual que están dentro de un área o volumen de objeto de audio definido por el tamaño y la ubicación del objeto de audio. Un conjunto de valores de ganancia de objeto de audio para cada canal de salida del entorno de reproducción puede calcularse en función de, al menos en parte, las contribuciones calculadas de ganancia de fuente virtual. Cada canal de salida puede corresponder a al menos un altavoz de reproducción del
25 entorno de reproducción.
Por consiguiente, algunos procedimientos descritos en el presente documento implican recibir datos de reproducción de audio que incluyen uno o más objetos de audio. Los objetos de audio pueden incluir señales de audio y metadatos asociados. Los metadatos pueden incluir al menos datos de posición de objeto de audio y datos de 30 tamaño de objeto de audio. Los procedimientos pueden implicar calcular contribuciones de fuentes virtuales dentro de un área o volumen de objeto de audio definido por los datos de posición de objeto de audio y los datos de tamaño de objeto de audio. Los procedimientos pueden implicar calcular un conjunto de valores de ganancia de objeto de audio para cada uno de la pluralidad de canales de salida en función de, al menos en parte, los valores calculados de ganancia de fuente virtual. Cada canal de salida puede corresponder a al menos un altavoz de reproducción de
35 un entorno de reproducción. Por ejemplo, el entorno de reproducción puede ser un entorno de sistema de sonido de una sala de cine.
El proceso de calcular ganancias de fuentes virtuales puede implicar calcular un promedio ponderado de valores de ganancia de fuente virtual de las fuentes virtuales dentro del área o volumen de objeto de audio. Los pesos para el
40 promedio ponderado pueden depender de la posición del objeto de audio, del tamaño del objeto de audio y/o de cada ubicación de fuente virtual dentro del área o volumen de objeto de audio.
Los procedimientos también pueden implicar recibir datos de entorno de reproducción que incluyen datos de ubicación de altavoz de reproducción. Los procedimientos también pueden implicar definir una pluralidad de
45 ubicaciones de fuente virtual según los datos de entorno de reproducción y calcular, para cada una de las ubicaciones de fuente virtual, un valor de ganancia de fuente virtual para cada una de la pluralidad de canales de salida. En algunas implementaciones, cada una de las ubicaciones de fuente virtual puede corresponder a una ubicación dentro del entorno de reproducción. Sin embargo, en algunas implementaciones, al menos algunas de las ubicaciones de fuente virtual pueden corresponder a ubicaciones fuera del entorno de reproducción.
50 En algunas implementaciones, las ubicaciones de fuente virtual pueden estar separadas de manera uniforme a lo largo de los ejes x, y y z. Sin embargo, en algunas implementaciones, la separación puede no ser la misma en todas las direcciones. Por ejemplo, las ubicaciones de fuente virtual pueden tener una primera separación uniforme a lo largo de los ejes x e y y una segunda separación uniforme a lo largo de un eje z. El proceso de calcular el conjunto
55 de valores de ganancia de objeto de audio para cada uno de la pluralidad de canales de salida puede implicar cálculos independientes de contribuciones de ganancia de fuentes virtuales a lo largo de los ejes x, y y z. En implementaciones alternativas, las ubicaciones de fuente virtual pueden estar separadas de manera no uniforme.
En algunas implementaciones, el proceso de calcular el valor de ganancia de objeto de audio para cada uno de la
60 pluralidad de canales de salida puede implicar determinar un valor de ganancia (gl(xo,yo,zo;s)) para un objeto de audio de tamaño (s) que va a renderizarse en la ubicación xo,yo,zo. Por ejemplo, el valor de ganancia de objeto de audio (gl(xo,yo,zo;s)) puede expresarse como:
donde (xvs, yvs, zvs) representa una ubicación de fuente virtual, gl(xvs, yvs, zvs) representa un valor de ganancia para el canal I para la ubicación de fuente virtual xvs, yvs, zvs, y w(xvs, yvs, zvs; xo, yo, zo; s) representa una o más funciones de 5 ponderación para gl(xvs, yvs, zvs) determinadas, al menos en parte, en función de la ubicación (xo, yo, zo) del objeto de audio, el tamaño (s) del objeto de audio y la ubicación de fuente virtual (xvs, yvs, zvs).
Según algunas de estas implementaciones, gi(xvs, yvs, zvs) = gl(xvs)gl(yvs)gl(zvs), donde gl(xvs), gl(yvs) y gl(zvs) representan funciones de ganancia independientes de x, y y z. En algunas de tales implementaciones, las funciones 10 de ponderación pueden factorizarse como:
donde wx(xvs; xo; s), wy(yvs; yo; s) y wz(zvs; zo; s) representan funciones de ponderación independientes de xvs, yvs y 15 zvs. Según algunas de estas implementaciones, p puede ser una función del tamaño de objeto de audio (s).
Algunos de tales procedimientos pueden implicar almacenar en un sistema de memoria valores calculados de ganancia de fuente virtual. El proceso de calcular contribuciones de ganancia de fuentes virtuales dentro del área o volumen de objeto de audio puede implicar recuperar, del sistema de memoria, valores calculados de ganancia de 20 fuente virtual correspondientes a una posición y tamaño de objeto de audio e interpolar entre los valores calculados de ganancia de fuente virtual. El proceso de interpolación entre los valores calculados de ganancia de fuente virtual puede implicar: determinar una pluralidad de ubicaciones de fuente virtual próximas cerca de la posición de objeto de audio; determinar valores calculados de ganancia de fuente virtual para cada una de las ubicaciones de fuente virtual próximas; determinar una pluralidad de distancias entre la posición de objeto de audio y cada una de las
25 ubicaciones de fuente virtual próximas; e interpolar entre los valores calculados de ganancia de fuente virtual según la pluralidad de distancias.
En algunas implementaciones, los datos de entorno de reproducción pueden incluir datos de límite de entorno de reproducción. El procedimiento puede implicar determinar que un área o volumen de objeto de audio incluye un área 30 o volumen externo fuera de un límite del entorno de reproducción y aplicar un factor de desvanecimiento en función de, al menos en parte, el área o volumen externo. Algunos procedimientos pueden implicar determinar que un objeto de audio puede estar dentro de una distancia umbral desde un límite del entorno de reproducción y no proporcionar ninguna señal de alimentación de altavoz a altavoces de reproducción en un límite opuesto del entorno de reproducción. En algunas implementaciones, un área o volumen de objeto de audio puede ser un rectángulo, un
35 prisma rectangular, un círculo, una esfera, una elipse y/o un elipsoide.
Algunos procedimientos pueden implicar descorrelacionar al menos algunos de los datos de reproducción de audio. Por ejemplo, los procedimientos pueden implicar descorrelacionar los datos de reproducción de audio para objetos de audio que tienen un tamaño de objeto de audio que supera un valor umbral.
40 En el presente documento se describen procedimientos alternativos. Algunos de tales procedimientos implican recibir datos de entorno de reproducción que incluyen datos de ubicación de altavoz de reproducción y datos de límite de entorno de reproducción, y recibir datos de reproducción de audio que incluyen uno o más objetos de audio y metadatos asociados. Los metadatos pueden incluir datos de posición de objeto de audio y datos de tamaño de
45 objeto de audio. Los procedimientos pueden implicar determinar que un área o volumen de objeto de audio, definido por los datos de posición de objeto de audio y los datos de tamaño de objeto de audio, incluye un área o volumen externo fuera de un límite del entorno de reproducción y determinar un factor de desvanecimiento en función de, al menos en parte, el área o volumen externo. Los procedimientos pueden implicar calcular un conjunto de valores de ganancia para cada uno de una pluralidad de canales de salida en función de, al menos en parte, los metadatos
50 asociados y el factor de desvanecimiento. Cada canal de salida puede corresponder a al menos un altavoz de reproducción del entorno de reproducción. El factor de desvanecimiento puede ser proporcional al área externo.
Los procedimientos también pueden implicar determinar que un objeto de audio puede estar dentro de una distancia umbral con respecto a un límite del entorno de reproducción y no proporcionar ninguna señal de alimentación de 55 altavoz a altavoces de reproducción en un límite opuesto del entorno de reproducción.
Los procedimientos también pueden implicar calcular valores de ganancia de fuente virtual dentro del área o volumen de objeto de audio. Los procedimientos pueden implicar definir una pluralidad de ubicaciones de fuente virtual según los datos de entorno de reproducción y calcular, para cada una de las ubicaciones de fuente virtual, una ganancia de fuente virtual para cada una de una pluralidad de canales de salida. Las ubicaciones de fuente
5 virtual pueden estar, o no, separadas de manera uniforme, dependiendo de la implementación particular.
Algunas implementaciones pueden manifestarse en uno o más medios no transitorios que incluyen software almacenado en los mismos. El software puede incluir instrucciones para controlar uno o más dispositivos para recibir datos de reproducción de audio que incluyen uno o más objetos de audio. Los objetos de audio pueden incluir señales de audio y metadatos asociados. Los metadatos pueden incluir al menos datos de posición de objeto de audio y datos de tamaño de objeto de audio. El software puede incluir instrucciones para calcular, para un objeto de audio del uno o más objetos de audio, contribuciones de ganancia de fuentes virtuales dentro de un área o volumen definido por los datos de posición de objeto de audio y los datos de tamaño de objeto de audio, y para calcular un conjunto de valores de ganancia de objeto de audio para cada uno de una pluralidad de canales de salida en función
15 de, al menos en parte, las contribuciones calculadas. Cada canal de salida puede corresponder a al menos un altavoz de reproducción de un entorno de reproducción.
En algunas implementaciones, el proceso de calcular contribuciones de ganancia de fuentes virtuales puede implicar calcular un promedio ponderado de valores de ganancia de fuente virtual de las fuentes virtuales dentro del área o volumen de objeto de audio. Los pesos para el promedio ponderado pueden depender de la posición del objeto de audio, del tamaño del objeto de audio y/o de cada ubicación de fuente virtual dentro del área o volumen del objeto de audio.
El software puede incluir instrucciones para recibir datos del entorno de reproducción que incluyen datos de
25 ubicación de altavoz de reproducción. El software puede incluir instrucciones para definir una pluralidad de ubicaciones de fuente virtual según los datos de entorno de reproducción y calcular, para cada una de las ubicaciones de fuente virtual, un valor de ganancia de fuente virtual para cada una de la pluralidad de canales de salida. Cada una de las ubicaciones de fuente virtual puede corresponder a una ubicación dentro del entorno de reproducción. En algunas implementaciones, al menos algunas de las ubicaciones de fuente virtual pueden corresponder a ubicaciones fuera del entorno de reproducción.
Según algunas implementaciones, las ubicaciones de fuente virtual pueden estar separadas de manera uniforme. En algunas implementaciones, las ubicaciones de fuente virtual pueden tener una primera separación uniforme a lo largo de los ejes x e y y una segunda separación uniforme a lo largo de un eje z. El proceso de calcular el conjunto
35 de valores de ganancia de objeto de audio para cada uno de la pluralidad de canales de salida puede implicar cálculos independientes de contribuciones de ganancia de fuentes virtuales a lo largo de los ejes x, y y z.
En el presente documento se describen varios dispositivos y aparatos. Algunos de estos aparatos pueden incluir un sistema de interfaz y un sistema lógico. El sistema de interfaz puede incluir una interfaz de red. En algunas implementaciones, el aparato puede incluir un dispositivo de memoria. El sistema de interfaz puede incluir una interfaz entre el sistema lógico y el dispositivo de memoria.
El sistema lógico puede adaptarse para recibir, desde el sistema de interfaz, datos de reproducción de audio que incluyen uno o más objetos de audio. Los objetos de audio pueden incluir señales de audio y metadatos asociados.
45 Los metadatos pueden incluir al menos datos de posición de objeto de audio y datos de tamaño de objeto de audio. El sistema lógico puede estar adaptado para calcular, para un objeto de audio del uno o más objetos de audio, ganancias de fuentes virtuales dentro de un área o volumen de objeto de audio definido por los datos de posición de objeto de audio y los datos de tamaño de objeto de audio. El sistema lógico puede estar adaptado para calcular un conjunto de valores de ganancia de objeto de audio para cada uno de una pluralidad de canales de salida en función de, al menos en parte, las contribuciones de ganancia calculadas. Cada canal de salida puede corresponder a al menos un altavoz de reproducción de un entorno de reproducción.
El proceso de calcular valores de ganancia de fuentes virtuales puede implicar calcular un promedio ponderado de valores de ganancia de fuente virtual de las fuentes virtuales dentro del área o volumen de objeto de audio. Los
55 pesos para el promedio ponderado pueden depender de la posición del objeto de audio, del tamaño del objeto de audio y de cada ubicación de fuente virtual dentro del área o volumen de objeto de audio. El sistema lógico puede estar adaptado para recibir, desde el sistema de interfaz, datos de entorno de reproducción que incluyen datos de ubicación de altavoz de reproducción.
El sistema lógico puede estar adaptado para definir una pluralidad de ubicaciones de fuente virtual según los datos de entorno de reproducción y calcular, para cada una de las ubicaciones de fuente virtual, un valor de ganancia de fuente virtual para cada una de la pluralidad de canales de salida. Cada una de las ubicaciones de fuente virtual puede corresponder a una ubicación dentro del entorno de reproducción. Sin embargo, en algunas implementaciones, al menos algunas de las ubicaciones de fuente virtual pueden corresponder a ubicaciones fuera 65 del entorno de reproducción. Las ubicaciones de fuente virtual pueden estar, o no, separadas de manera uniforme, dependiendo de la implementación. En algunas implementaciones, las ubicaciones de fuente virtual pueden tener
una primera separación uniforme a lo largo de los ejes x e y y una segunda separación uniforme a lo largo de un eje
z. El proceso de calcular el conjunto de valores de ganancia de objeto de audio para cada uno de la pluralidad de canales de salida puede implicar cálculos independientes de contribuciones de ganancia de fuentes virtuales a lo largo de los ejes x, y y z.
5 El aparato también puede incluir una interfaz de usuario. El sistema lógico puede estar adaptado para recibir entradas de usuario, tales como datos de tamaño de objeto de audio, a través de la interfaz de usuario. En algunas implementaciones, el sistema lógico puede estar adaptado para escalar los datos de tamaño de objeto de audio de entrada.
10 Los detalles de una o más implementaciones del contenido descrito en esta especificación se exponen en los dibujos adjuntos y en la siguiente descripción. Otras características, aspectos y ventajas resultarán evidentes a partir de la descripción, los dibujos y las reivindicaciones. Debe observarse que las dimensiones relativas de las siguientes figuras pueden no estar dibujadas a escala.
15 Breve descripción de los dibujos
La Figura 1 muestra un ejemplo de un entorno de reproducción que tiene una configuración Dolby Surround 5.1.
La Figura 2 muestra un ejemplo de un entorno de reproducción que tiene una configuración Dolby Surround 7.1.
20 La Figura 3 muestra un ejemplo de un entorno de reproducción que tiene una configuración de sonido envolvente Hamasaki 22.2.
La Figura 4A muestra un ejemplo de una interfaz gráfica de usuario (GUI) que muestra zonas de altavoz a diferentes alturas en un entorno de reproducción virtual.
La Figura 4B muestra un ejemplo de otro entorno de reproducción.
25 La Figura 5A es un diagrama de flujo que proporciona una visión general de un procedimiento de procesamiento de audio.
La Figura 5B es un diagrama de flujo que proporciona un ejemplo de un proceso de configuración.
La Figura 5C es un diagrama de flujo que proporciona un ejemplo de un proceso en tiempo de ejecución que calcula valores de ganancia para objetos de audio recibidos según valores de ganancia precalculados para ubicaciones de 30 fuente virtual.
La Figura 6A muestra un ejemplo de ubicaciones de fuente virtual con respecto a un entorno de reproducción.
La Figura 6B muestra un ejemplo alternativo de ubicaciones de fuente virtual con respecto a un entorno de reproducción.
Las Figuras 6C a 6F muestran ejemplos que aplican técnicas de panoramización de campo cercano y de campo 35 lejano en objetos de audio situados en diferentes ubicaciones.
La Figura 6G ilustra un ejemplo de un entorno de reproducción que tiene un altavoz en cada esquina de un cuadrado que tiene una longitud de borde igual a 1.
La Figura 7 muestra un ejemplo de contribuciones de fuentes virtuales dentro de un área definida por datos de posición de objeto de audio y datos de tamaño de objeto de audio.
40 Las Figuras 8A y 8B muestran un objeto de audio en dos posiciones en un entorno de reproducción.
La Figura 9 es un diagrama de flujo que muestra un procedimiento para determinar un factor de desvanecimiento en función de, al menos en parte, qué cantidad de un área o volumen de un objeto de audio se extiende fuera de un límite de un entorno de reproducción.
La Figura 10 es un diagrama de bloques que proporciona ejemplos de componentes de un aparato de creación y/o 45 renderización.
La Figura 11A es un diagrama de bloques que representa algunos componentes que pueden usarse en la creación de contenido de audio.
La Figura 11B es un diagrama de bloques que representa algunos componentes que pueden usarse en la reproducción de audio en un entorno de reproducción.
Números de referencia y designaciones similares en los diversos dibujos indican elementos similares.
Descripción de formas de realización de ejemplo
La siguiente descripción está dirigida a ciertas implementaciones con el fin de describir algunos aspectos innovadores de esta divulgación, así como ejemplos de contextos en los que pueden implementarse estos aspectos
5 innovadores. Sin embargo, las enseñanzas del presente documento pueden aplicarse de varias maneras diferentes. Por ejemplo, mientras que varias implementaciones se describen en lo que respecta a entornos de reproducción particulares, las enseñanzas del presente documento pueden aplicarse de manera generalizada a otros entornos de reproducción conocidos, así como a entornos de reproducción que puedan introducirse en el futuro. Además, las implementaciones descritas pueden implementarse en varias herramientas de creación y/o renderización, las cuales pueden implementarse en hardware, software, firmware, etc., diverso. Por consiguiente, las enseñanzas de esta divulgación no están limitadas a las implementaciones mostradas en las figuras y/o descritas en el presente documento, sino que tienen una amplia aplicabilidad.
La Figura 1 muestra un ejemplo de un entorno de reproducción que tiene una configuración Dolby Surround 5.1. El
15 sistema Dolby Surround 5.1 se desarrolló en la década de 1990, pero esta configuración sigue utilizándose ampliamente en entornos de sistemas de sonido en salas de cine. Un proyector 105 puede estar configurado para proyectar imágenes de vídeo, por ejemplo, de una película, en la pantalla 150. Datos de reproducción de audio pueden sincronizarse con las imágenes de vídeo y procesarse por el procesador de sonido 110. Los amplificadores de potencia 115 pueden proporcionar señales de alimentación de altavoz a los altavoces del entorno de reproducción 100.
La configuración Dolby Surround 5.1 incluye una disposición envolvente izquierda 120 y una disposición envolvente derecha 125, cada una de las cuales incluye un grupo de altavoces que se activan en grupo mediante un único canal. La configuración Dolby Surround 5.1 incluye además canales diferentes para el canal de pantalla izquierdo
25 130, el canal de pantalla central 135 y el canal de pantalla derecho 140. Un canal aparte para el altavoz de graves 145 se proporciona para efectos de baja frecuencia (LFE).
En la década de 2010, Dolby ofreció mejoras en el sonido digital de salas de cine con la introducción del sistema Dolby Surround 7.1. La Figura 2 muestra un ejemplo de un entorno de reproducción que tiene una configuración Dolby Surround 7.1. Un proyector digital 205 puede configurarse para recibir datos de vídeo digital y para proyectar imágenes de vídeo en la pantalla 150. Los datos de reproducción de audio pueden procesarse por el procesador de sonido 210. Los amplificadores de potencia 215 pueden proporcionar señales de alimentación de altavoz a los altavoces del entorno de reproducción 200.
35 La configuración Dolby Surround 7.1 incluye la disposición envolvente lateral izquierda 220 y la disposición envolvente lateral derecha 225, cada una de las cuales puede activarse mediante un único canal. Al igual que la configuración Dolby Surround 5.1, la configuración Dolby Surround 7.1 incluye canales diferentes para el canal de pantalla izquierdo 230, el canal de pantalla central 235, el canal de pantalla derecho 240 y el altavoz de graves 245. Sin embargo, la configuración Dolby Surround 7.1 aumenta el número de canales envolventes al dividir los canales envolventes izquierdo y derecho de la configuración Dolby Surround 5.1 en cuatro zonas: además de la disposición envolvente lateral izquierda 220 y la disposición envolvente lateral derecha 225, se incluyen otros canales para los altavoces envolventes traseros izquierdos 224 y los altavoces envolventes traseros derechos 226. Aumentar el número de zonas envolventes dentro del entorno de reproducción 200 puede mejorar considerablemente la localización del sonido.
45 En un esfuerzo por crear un entorno más inmersivo, algunos entornos de reproducción pueden configurarse con un mayor número de altavoces, activados por un mayor número de canales. Además, algunos entornos de reproducción pueden incluir altavoces dispuestos a diferente altura, algunos de los cuales pueden estar situados por encima de la zona de asientos del entorno de reproducción.
La Figura 3 muestra un ejemplo de un entorno de reproducción que tiene una configuración de sonido envolvente Hamasaki 22.2. La configuración Hamasaki 22.2 se desarrolló en los laboratorios NHK Science & Technology Research Laboratories de Japón como el componente de sonido envolvente de la televisión de definición ultraalta. La configuración Hamasaki 22.2 proporciona 24 canales de altavoz, que pueden usarse para activar altavoces
55 dispuestos en tres capas. La capa de altavoces superior 310 del entorno de reproducción 300 puede activarse mediante 9 canales. La capa de altavoces central 320 puede activarse mediante 10 canales. La capa de altavoces inferior 330 puede activarse mediante 5 canales, dos de los cuales son para los altavoces de graves 345a y 345b.
Por consiguiente, la tendencia actual es incluir no solamente más altavoces y más canales, sino también incluir altavoces a diferente altura. A medida que el número de canales aumenta y la distribución de los altavoces pasa de una disposición 2D a una disposición 3D, las tareas de situar y renderizar sonidos son cada vez más complejas. Por consiguiente, el presente cesionario ha desarrollado varias herramientas, así como interfaces de usuario relacionadas, que aumentan la funcionalidad y/o reducen la complejidad de creación en un sistema de sonido de audio 3D. Algunas de estas herramientas se describen en detalle con referencia a las Figuras 5A a 19D de la
65 solicitud de patente provisional estadounidense n.º 61/636.102, presentada el 20 de abril de 2012 y titulada "System and Tools for Enhanced 3D Audio Authoring and Rendering" (la "solicitud de creación y renderización").
La Figura 4A muestra un ejemplo de una interfaz gráfica de usuario (GUI) que muestra zonas de altavoz a diferentes alturas en un entorno de reproducción virtual. Por ejemplo, la GUI 400 puede mostrarse en un dispositivo de visualización según las instrucciones de un sistema lógico, según las señales recibidas desde dispositivos de
5 entrada de usuario, etc. Algunos de tales dispositivos se describen posteriormente con referencia a la Figura 10.
Tal y como se usa en el presente documento con referencia a entornos de reproducción virtual tales como el entorno de reproducción virtual 404, el término "zona de altavoz" se refiere generalmente a una construcción lógica que puede tener, o no, una correspondencia de uno a uno con un altavoz de reproducción de un entorno de reproducción real. Por ejemplo, una "ubicación de zona de altavoz" puede corresponder, o no, a una ubicación de altavoz de reproducción particular de un entorno de reproducción de una sala de cine. En cambio, el término "ubicación de zona de altavoz" puede referirse normalmente a una zona de un entorno de reproducción virtual. En algunas implementaciones, un zona de altavoz de un entorno de reproducción virtual puede corresponder a un altavoz virtual, por ejemplo, a través del uso de tecnología de virtualización tal como Dolby Headphone™ (denominada en
15 ocasiones Mobile Surround™), que crea un entorno de sonido envolvente virtual en tiempo real usando un conjunto de auriculares estéreo de dos canales. En la GUI 400 hay siete zonas de altavoz 402a a una primera altura y dos zonas de altavoz 402b a una segunda altura, lo que hace un total de nueve zonas de altavoz en el entorno de reproducción virtual 404. En este ejemplo, las zonas de altavoz 1 a 3 están en la zona delantera 405 del entorno de reproducción virtual 404. El área delantera 405 puede corresponder, por ejemplo, a un área de un entorno de reproducción de sala de cine en la que está dispuesta una pantalla 150, a una zona de una casa en la que está ubicada una pantalla de televisión, etc.
En este caso, la zona de altavoz 4 corresponde, en general, a altavoces del área izquierda 410 y la zona de altavoz 5 corresponde a altavoces del área derecha 415 del entorno de reproducción virtual 404. La zona de altavoz 6
25 corresponde un área trasera izquierda 412 y la zona de altavoz 7 corresponde a un área trasera derecha 414 del entorno de reproducción virtual 404. La zona de altavoz 8 corresponde a altavoces de un área superior 420a y la zona de altavoz 9 corresponde a altavoces de un área superior 420b, que puede ser un área de techo virtual. Por consiguiente, y como se describe en mayor detalle en la solicitud de creación y renderización, las ubicaciones de las zonas de altavoz 1 a 9 mostradas en la Figura 4A pueden corresponder, o no, a las ubicaciones de altavoces de reproducción de un entorno de reproducción real. Además, otras implementaciones pueden incluir más o menos zonas de altavoz y/o alturas.
En varias implementaciones descritas en la solicitud de creación y renderización, una interfaz de usuario tal como la GUI 400 puede usarse como parte de una herramienta de creación y/o una herramienta de renderización. En 35 algunas implementaciones, la herramienta de creación y/o la herramienta de renderización pueden implementarse a través de software almacenado en uno o más medios no transitorios. La herramienta de creación y/o la herramienta de renderización pueden implementarse (al menos en parte) mediante hardware, firmware, etc., tal como el sistema lógico y otros dispositivos descritos posteriormente con referencia a la Figura 10. En algunas implementaciones de creación, una herramienta de creación asociada puede usarse para crear metadatos para datos de audio asociados. Los metadatos pueden incluir, por ejemplo, datos que indican la posición y/o la trayectoria de un objeto de audio en un espacio tridimensional, datos de restricción de zona de altavoz, etc. Los metadatos pueden crearse con respecto a las zonas de altavoz 402 del entorno de reproducción virtual 404, en lugar de con respecto a una distribución de altavoces particular de un entorno de reproducción real. Una herramienta de renderización puede recibir datos de audio y metadatos asociados, y puede calcular ganancias de audio y señales de alimentación de altavoz para un
45 entorno de reproducción. Tales ganancias de audio y señales de alimentación de altavoz pueden calcularse según un proceso de panoramización en amplitud, que puede crear la percepción de que el sonido procede de una posición P del entorno de reproducción. Por ejemplo, las señales de alimentación de altavoz pueden proporcionarse a altavoces de reproducción 1 a N del entorno de reproducción según la siguiente ecuación:
En la Ecuación 1, xi(t) representa la señal de alimentación de altavoz que va a aplicarse al altavoz i, gi representa el factor de ganancia del canal correspondiente, x(t) representa la señal de audio y t representa el tiempo. Los factores de ganancia pueden determinarse, por ejemplo, según los procedimientos de panoramización en amplitud descritos
55 en la sección 2, páginas 3 y 4 del documento de V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources (conferencia internacional de la Sociedad de Ingeniería de Audio (AES) acerca de audio virtual, sintético y de entretenimiento). En algunas implementaciones, las ganancias pueden depender de la frecuencia. En algunas implementaciones puede introducirse un retardo de tiempo sustituyendo x(t) por x(t-Δt).
En algunas implementaciones de renderización, los datos de reproducción de audio creados con referencia a las zonas de altavoz 402 pueden correlacionarse con ubicaciones de altavoz de una amplia gama de entornos de reproducción, que pueden estar una configuración Dolby Surround 5.1, una configuración Dolby Surround 7.1, una configuración Hamasaki 22.2 u otra configuración. Por ejemplo, haciendo referencia a la Figura 2, una herramienta de renderización puede correlacionar datos de reproducción de audio para las zonas de altavoz 4 y 5 con la 65 disposición envolvente lateral izquierda 220 y la disposición envolvente lateral derecha 225 de un entorno de
reproducción que tiene una configuración Dolby Surround 7.1. Los datos de reproducción de audio para las zonas de altavoz 1, 2 y 3 pueden correlacionarse con el canal de pantalla izquierdo 230, con el canal de pantalla derecho 240 y con el canal de pantalla central 235, respectivamente. Los datos de reproducción de audio para las zonas de altavoz 6 y 7 pueden correlacionarse con los altavoces envolventes traseros izquierdos 224 y con los altavoces
5 envolventes traseros derechos 226.
La Figura 4B muestra un ejemplo de otro entorno de reproducción. En algunas implementaciones, una herramienta de renderización puede correlacionar datos de reproducción de audio para las zonas de altavoz 1, 2 y 3 con altavoces de pantalla 455 correspondientes del entorno de reproducción 450. Una herramienta de renderización puede correlacionar datos de reproducción de audio para las zonas de altavoz 4 y 5 con la disposición envolvente lateral izquierda 460 y la disposición envolvente lateral derecha 465 y puede correlacionar datos de reproducción de audio para las zonas de altavoz 8 y 9 con altavoces izquierdos 470a situados por encima de la cabeza y altavoces derechos 470b situados por encima de la cabeza. Los datos de reproducción de audio para las zonas de altavoz 6 y 7 pueden correlacionarse con los altavoces envolventes traseros izquierdos 480a y con los altavoces envolventes
15 traseros derechos 480b.
En algunas implementaciones de creación, una herramienta de creación puede usarse para crear metadatos para objetos de audio. Tal y como se ha mencionado anteriormente, el término "objeto de audio" puede referirse a un flujo de señales de datos de audio y a metadatos asociados. Los metadatos pueden indicar la posición 3D del objeto de audio, el tamaño aparente del objeto de audio, restricciones de renderización, el tipo de contenido (por ejemplo, diálogo, efectos), etc. Dependiendo de la implementación, los metadatos pueden incluir otros tipos de datos, tales como datos de ganancia, datos de trayectoria, etc. Algunos objetos de audio pueden ser estáticos, mientras que otros pueden moverse. Los detalles de un objeto de audio pueden crearse o renderizarse según los metadatos asociados que, entre otras cosas, pueden indicar la posición del objeto de audio en un espacio tridimensional en un
25 instante de tiempo dado. Cuando los objetos de audio se supervisan o reproducen en un entorno de reproducción, los objetos de audio pueden renderizarse según su posición y los metadatos de tamaño según la distribución de altavoces de reproducción del entorno de reproducción.
La Figura 5A es un diagrama de flujo que proporciona una visión general de un procedimiento de procesamiento de audio. Ejemplos más detallados se describen posteriormente con referencia a la Figura 5B y siguientes. Estos procedimientos pueden incluir más o menos bloques que los mostrados y descritos en el presente documento y no se llevan a cabo necesariamente en el orden mostrado en el presente documento. Estos procedimientos pueden llevarse a cabo, al menos en parte, mediante un aparato tal como los mostrados en las Figuras 10 y 11B y descritos posteriormente. En algunas formas de realización, estos procedimientos pueden implementarse, al menos en parte,
35 mediante software almacenado en uno o más medios no transitorios. El software puede incluir instrucciones para controlar uno o más dispositivos para llevar a cabo los procedimientos descritos en el presente documento.
En el ejemplo mostrado en la Figura 5A, el procedimiento 500 comienza con un proceso de configuración que determina valores de ganancia de fuente virtual para ubicaciones de fuente virtual con respecto a un entorno de reproducción particular (bloque 505). La Figura 6A muestra un ejemplo de ubicaciones de fuente virtual con respecto a un entorno de reproducción. Por ejemplo, el bloque 505 puede implicar determinar valores de ganancia de fuente virtual de las ubicaciones de fuente virtual 605 con respecto a las ubicaciones de altavoz de reproducción 625 del entorno de reproducción 600a. Las ubicaciones de fuente virtual 605 y las ubicaciones de altavoz de reproducción 625 son simplemente ejemplos. En el ejemplo mostrado en la Figura 6A, las ubicaciones de fuente virtual 605 están
45 separadas de manera uniforme a lo largo de los ejes x, y y z. Sin embargo, en implementaciones alternativas, las ubicaciones de fuente virtual 605 pueden estar separadas de diferente manera. Por ejemplo, en algunas implementaciones, las ubicaciones de fuente virtual 605 pueden tener una primera separación uniforme a lo largo de los ejes x e y y una segunda separación uniforme a lo largo del eje z. En otras implementaciones, las ubicaciones de fuente virtual 605 pueden estar separadas de manera no uniforme.
En el ejemplo mostrado en la Figura 6A, el entorno de reproducción 600a y el volumen de fuente virtual 602a son coextensivos, de manera que cada una de las ubicaciones de fuente virtual 605 corresponde a una ubicación dentro del entorno de reproducción 600a. Sin embargo, en implementaciones alternativas, el entorno de reproducción 600 y el volumen de fuente virtual 602 pueden no ser coextensivos. Por ejemplo, al menos algunas de las ubicaciones de
55 fuente virtual 605 pueden corresponder a ubicaciones fuera del entorno de reproducción 600.
La Figura 6B muestra un ejemplo alternativo de ubicaciones de fuente virtual con respecto a un entorno de reproducción. En este ejemplo, el volumen de fuente virtual 602b se extiende fuera del entorno de reproducción 600b.
Haciendo referencia a la Figura 5A, en este ejemplo, el proceso de configuración del bloque 505 tiene lugar antes de renderizar algún objeto de audio particular. En algunas implementaciones, los valores de ganancia de fuente virtual determinados en el bloque 505 pueden almacenarse en un sistema de almacenamiento. Los valores almacenados de ganancia de fuente virtual pueden usarse durante un proceso en "tiempo de ejecución" que calcula valores de 65 ganancia de objeto de audio para objetos de audio recibidos según al menos algunos de los valores de ganancia de fuente virtual (bloque 510). Por ejemplo, el bloque 510 puede implicar calcular los valores de ganancia de objeto de
audio en función de, al menos en parte, valores de ganancia de fuente virtual correspondientes a ubicaciones de fuente virtual que están dentro de un área o volumen de objeto de audio.
En algunas implementaciones, el procedimiento 500 puede incluir un bloque opcional 515, que implica
5 descorrelacionar datos de audio. El bloque 515 puede ser parte de un proceso en tiempo de ejecución. En algunas de tales implementaciones, el bloque 515 puede implicar la convolución en el dominio de frecuencia. Por ejemplo, el bloque 515 puede implicar aplicar un filtro de respuesta finita al impulso (FIR) para cada señal de alimentación de altavoz.
En algunas implementaciones, los procesos del bloque 515 pueden llevarse a cabo, o no, dependiendo de un tamaño de objeto de audio y/o de la intención artística del autor. Según algunas de estas implementaciones, una herramienta de creación puede vincular el tamaño de objeto de audio con la descorrelación indicando (por ejemplo, a través de una bandera de descorrelación incluida en metadatos asociados) que la descorrelación debe iniciarse cuando el tamaño de objeto de audio sea mayor que o igual a un valor umbral de tamaño y que la descorrelación
15 debe interrumpirse si el tamaño de objeto de audio es menor que el valor umbral de tamaño. En algunas implementaciones, la descorrelación puede controlarse (por ejemplo, aumentarse, reducirse o inhabilitarse) según la entrada de usuario con respecto al valor umbral de tamaño y/u otros valores de entrada.
La Figura 5B es un diagrama de flujo que proporciona un ejemplo de un proceso de configuración. Por consiguiente, todos los bloques mostrados en la Figura 5B son ejemplos de procesos que pueden llevarse a cabo en bloque 505 de la Figura 5A. En este caso, el proceso de configuración empieza con la recepción de datos de entorno de reproducción (bloque 520). Los datos de entorno de reproducción pueden incluir datos de ubicación de altavoz de reproducción. Los datos de entorno de reproducción también pueden incluir datos que representan límites de un entorno de reproducción, tales como paredes, techos, etc. Si el entorno de reproducción es una sala de cine, los
25 datos de entorno de reproducción también pueden incluir una indicación de la ubicación de la pantalla.
Los datos de entorno de reproducción también pueden incluir datos que indican una correlación de canales de salida con altavoces de reproducción de un entorno de reproducción. Por ejemplo, el entorno de reproducción puede tener una configuración Dolby Surround 7.1, tal como la mostrada en la Figura 2 y descrita anteriormente. Por consiguiente, los datos de entorno de reproducción también pueden incluir datos que indican una correlación entre un canal Lss y los altavoces envolventes laterales izquierdos 220, entre un canal Lrs y los altavoces envolventes traseros izquierdos 224, etc.
En este ejemplo, el bloque 525 implica definir ubicaciones de fuente virtual 605 según los datos de entorno de
35 reproducción. Las ubicaciones de fuente virtual 605 pueden definirse dentro de un volumen de fuente virtual. En algunas implementaciones, el volumen de fuente virtual puede corresponder a un volumen dentro del cual pueden moverse objetos de audio. Como se muestra en las Figuras 6A y 6B, en algunas implementaciones, el volumen de fuente virtual 602 puede ser coextensivo con un volumen del entorno de reproducción 600, mientras que en otras implementaciones al menos algunas de las ubicaciones de fuente virtual 605 pueden corresponder a ubicaciones fuera del entorno de reproducción 600.
Además, las ubicaciones de fuente virtual 605 pueden estar, o no, separadas de manera uniforme dentro del volumen de fuente virtual 602, dependiendo de la implementación particular. En algunas implementaciones, las ubicaciones de fuente virtual 605 pueden estar separadas de manera uniforme en todas direcciones. Por ejemplo, 45 las ubicaciones de fuente virtual 605 pueden formar una cuadrícula rectangular de Nx por Ny por Nz ubicaciones de fuente virtual 605. En algunas implementaciones, el valor de N puede estar en el intervalo comprendido entre 5 y
100. El valor de N puede depender, al menos en parte, del número de altavoces de reproducción del entorno de reproducción: puede ser deseable incluir dos o más ubicaciones de fuente virtual 605 entre cada ubicación de altavoz de reproducción.
En otras implementaciones, las ubicaciones de fuente virtual 605 pueden tener una primera separación uniforme a lo largo de los ejes x e y y una segunda separación uniforme a lo largo de un eje z. Las ubicaciones de fuente virtual 605 pueden formar una cuadrícula rectangular de Nx por Ny por Mz ubicaciones de fuente virtual 605. Por ejemplo, en algunas implementaciones puede haber menos ubicaciones de fuente virtual 605 a lo largo del eje z que a lo
55 largo de los ejes x o y. En algunas de tales implementaciones, el valor de N puede estar en el intervalo comprendido entre 10 y 100, mientras que el valor de M puede estar en el intervalo comprendido entre 5 y 10.
En este ejemplo, el bloque 530 implica calcular valores de ganancia de fuente virtual para cada una de las ubicaciones de fuente virtual 605. En algunas implementaciones, el bloque 530 implica calcular, para cada una de las ubicaciones de fuente virtual 605, valores de ganancia de fuente virtual para cada canal de una pluralidad de canales de salida del entorno de reproducción. En algunas implementaciones, el bloque 530 puede implicar aplicar un algoritmo de panoramización en amplitud basada en vectores (VBAP), un algoritmo de panoramización basado en pares o un algoritmo similar para calcular valores de ganancia para fuentes puntuales ubicadas en cada una de las ubicaciones de fuente virtual 605. En otras implementaciones, el bloque 530 puede implicar aplicar un algoritmo 65 separable para calcular valores de ganancia para fuentes puntuales ubicadas en cada una de las ubicaciones de fuente virtual 605. Tal y como se usa en el presente documento, un algoritmo "separable" es uno para el que la
ganancia de un altavoz dado puede expresarse como el producto de dos o más factores que pueden calcularse por separado para cada una de las coordenadas de la ubicación de fuente virtual. Ejemplos incluyen algoritmos implementados en varios panoramizadores de consola de mezclas existentes, que incluyen, sin limitarse a, el software Pro Tools™ y panoramizadores implementados en consolas de películas digitales proporcionadas por AMS
5 Neve. A continuación se proporcionan algunos ejemplos bidimensionales.
Las Figuras 6C a 6F muestran ejemplos que aplican técnicas de panoramización de campo cercano y de campo lejano en objetos de audio situados en diferentes ubicaciones. Haciendo referencia primero a la Figura 6C, el objeto de audio está sustancialmente fuera del entorno de reproducción virtual 400a. Por lo tanto, en este caso, se aplicarán uno o más procedimientos de panoramización de campo lejano. En algunas implementaciones, los procedimientos de panoramización de campo lejano pueden basarse en ecuaciones de panoramización en amplitud basada en vectores (VBAP) conocidas por los expertos en la técnica. Por ejemplo, los procedimientos de panoramización de campo lejano pueden basarse en las ecuaciones VBAP descritas en la sección 2.3, página 4 del documento de V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources (Conferencia
15 internacional de la AES acerca de audio virtual, sintético y de entretenimiento). En implementaciones alternativas pueden usarse otros procedimientos para panoramizar objetos de audio de campo lejano y de campo cercano, por ejemplo procedimientos que implican la síntesis de planos acústicos correspondientes o de una onda esférica. El documento de D. de Vries, Wave Field Synthesis (Monografía de la AES, 1999), describe procedimientos pertinentes.
Haciendo referencia a continuación a la Figura 6D, el objeto de audio 610 está dentro del entorno de reproducción virtual 400a. Por lo tanto, en este caso, se aplicarán uno o más procedimientos de panoramización de campo cercano. Algunos de tales procedimientos de panoramización de campo cercano usarán una pluralidad de zonas de altavoz que incluyen el objeto de audio 610 en el entorno de reproducción virtual 400a.
25 La Figura 6G ilustra un ejemplo de un entorno de reproducción que tiene un altavoz en cada esquina de un cuadrado que tiene una longitud de borde igual a 1. En este ejemplo, el origen (0,0) del eje x-y coincide con el altavoz de pantalla izquierdo (L) 130. Por consiguiente, el altavoz de pantalla derecho (R) 140 tiene las coordenadas (1, 0), el altavoz envolvente izquierdo (Ls) 120 tiene las coordenadas (0, 1) y el altavoz envolvente derecho (Rs) 125 tiene las coordenadas (1, 1). La posición de objeto de audio 615 (x, y) está x unidades a la derecha del altavoz L e y unidades desde la pantalla 150. En este ejemplo, cada uno de los cuatro altavoces recibe un factor cos/sen proporcional a su distancia a lo largo del eje x y del eje y. Según algunas implementaciones, las ganancias pueden calcularse de la siguiente manera:
La ganancia global es el producto: G_1(x,y) =G_1(x) G_1(y). En general, estas funciones dependen de todas las coordenadas de todos los altavoces. Sin embargo, G_1(x) no depende de la posición y de la fuente, y G_1(y) no depende de su posición x. Para ilustrar un cálculo simple, supóngase que la posición de objeto de audio 615 es (0, 0), la ubicación del altavoz L. G_L(x) = cos(0) = 1. G_L(y) = cos(0) = 1. La ganancia global es el producto:
45 G_L(x,y)=G_L(x) G_L(y) = 1. Cálculos similares dan lugar a G_Ls = G_Rs = G_R = 0.
Puede ser deseable mezclar diferentes modos de panoramización cuando un objeto de audio entra o sale del entorno de reproducción virtual 400a. Por ejemplo, una mezcla de ganancias calculadas según procedimientos de panoramización de campo cercano y procedimientos de panoramización de campo lejano puede aplicarse cuando el objeto de audio 610 se mueve desde la ubicación de objeto de audio 615 mostrada en la Figura 6C hacia la ubicación de objeto de audio 615 mostrada en la Figura 6D, o viceversa. En algunas implementaciones, puede usarse una ley de panoramización basada en pares (por ejemplo, una ley de potencia o de seno de conservación de energía) para mezclar las ganancias calculadas según los procedimientos de panoramización de campo cercano y los procedimientos de panoramización de campo lejano. En implementaciones alternativas, la ley de panoramización
55 basada en pares puede conservar la amplitud en lugar de conservar la energía, de manera que la suma es igual a uno en lugar de que la suma de los cuadrados sea igual a uno. También es posible mezclar las señales procesadas resultantes, por ejemplo para procesar la señal de audio usando de manera independiente ambos procedimientos de panoramización y para atenuar de manera cruzada las dos señales de audio resultantes.
Haciendo de nuevo referencia a la Figura 5B, independientemente del algoritmo usado en el bloque 530, los valores de ganancia resultantes pueden almacenarse en un sistema de memoria (bloque 535) para usarse en operaciones en tiempo de ejecución.
La Figura 5C es un diagrama de flujo que proporciona un ejemplo de un proceso en tiempo de ejecución que calcula 65 valores de ganancia para objetos de audio recibidos según valores de ganancia precalculados para ubicaciones de
fuente virtual. Todos los bloques mostrados en la Figura 5C son ejemplos de procesos que pueden llevarse a cabo en el bloque 510 de la Figura 5A.
En este ejemplo, el proceso en tiempo de ejecución comienza con la recepción de datos de reproducción de audio
5 que incluyen uno o más objetos de audio (bloque 540). Los objetos de audio incluyen señales de audio y metadatos asociados, que incluyen, al menos, datos de posición de objeto de audio y datos de tamaño de objeto de audio en este ejemplo. Haciendo referencia a la Figura 6A, por ejemplo, el objeto de audio 610 se define, al menos en parte, mediante una posición de objeto de audio 615 y un volumen de objeto de audio 620a. En este ejemplo, los datos recibidos de tamaño de objeto de audio indican que el volumen de objeto de audio 620a corresponde al de un prisma rectangular. En el ejemplo, mostrado en la Figura 6B, los datos recibidos de tamaño de objeto de audio indican, sin embargo, que el volumen de objeto de audio 620b corresponde al de una esfera. Estos tamaños y formas son simplemente ejemplos; en implementaciones alternativas, los objetos de audio pueden tener otros tamaños y/o formas diversos. En algunos ejemplos alternativos, el área o volumen de un objeto de audio puede ser un rectángulo, un círculo, una elipse, un elipsoide o un sector esférico.
15 En esta implementación, el bloque 545 implica calcular contribuciones de ganancia de fuentes virtuales dentro de un área o volumen definido por los datos de posición de objeto de audio y los datos de tamaño de objetos de audio. En los ejemplos mostrados en las Figuras 6A y 6B, el bloque 545 puede implicar calcular contribuciones de ganancia de las fuentes virtuales en las ubicaciones de fuente virtual 605 que están dentro del volumen de objeto de audio 620a
o del volumen de objeto de audio 620b. Si los metadatos del objeto de audio cambian en el tiempo, el bloque 545 puede llevarse a cabo de nuevo según los nuevos valores de metadatos. Por ejemplo, si el tamaño de objeto de audio y/o la posición de objeto de audio cambia, diferentes ubicaciones de fuente virtual 605 pueden estar dentro del volumen de objeto de audio 620 y/o las ubicaciones de fuente virtual 605 usadas en un cálculo anterior pueden estar a una distancia diferente de la posición de objeto de audio 615. En el bloque 545, las contribuciones
25 correspondientes de ganancia de fuente virtual se calcularán según el nuevo tamaño y/o posición de objeto de audio.
En algunos ejemplos, el bloque 545 puede implicar recuperar, de un sistema de memoria, valores calculados de ganancia de fuente virtual para ubicaciones de fuente virtual correspondientes a una posición y tamaño de objeto de audio, e interpolar entre los valores calculados de ganancia de fuente virtual. El proceso de interpolación entre los valores calculados de ganancia de fuente virtual puede implicar determinar una pluralidad de ubicaciones de fuente virtual próximas cerca de la posición de objeto de audio, determinar valores calculados de ganancia de fuente virtual para cada una de las ubicaciones de fuente virtual próximas, determinar una pluralidad de distancias entre la posición de objeto de audio y cada una de las ubicaciones de fuente virtual próximas e interpolar entre los valores
35 calculados de ganancia de fuente virtual según la pluralidad de distancias.
El proceso de calcular contribuciones de valores de ganancia de fuentes virtuales puede implicar calcular un promedio ponderado de valores calculados de ganancia de fuente virtual para ubicaciones de fuente virtual dentro de un área o volumen definido por el tamaño del objeto de audio. Los pesos para el promedio ponderado pueden depender, por ejemplo, de la posición del objeto de audio, del tamaño del objeto de audio y de cada ubicación de fuente virtual dentro del área o volumen.
La Figura 7 muestra un ejemplo de contribuciones de fuentes virtuales dentro de un área definida por datos de posición de objeto de audio y datos de tamaño de objeto de audio. La Figura 7 ilustra una sección cruzada de un
45 entorno de audio 200a, tomada de manera perpendicular al eje z. Por consiguiente, la Figura 7 está dibujada desde la perspectiva de una persona que mira hacia abajo en el entorno de audio 200a, a lo largo del eje z. En este ejemplo, el entorno de audio 200a es el entorno de un sistema de sonido de una sala de cine que tiene una configuración Dolby Surround 7.1, tal como la mostrada en la Figura 2 y descrita anteriormente. Por consiguiente, el entorno de reproducción 200a incluye los altavoces envolventes laterales izquierdos 220, los altavoces envolventes traseros izquierdos 224, los altavoces envolventes laterales derechos 225, los altavoces envolventes traseros derechos 226, el canal de pantalla izquierdo 230, el canal de pantalla central 235, el canal de pantalla derecho 240 y el altavoz de graves 245.
El objeto de audio 610 tiene un tamaño indicado por el volumen de objeto de audio 620b, cuya área de sección
55 transversal rectangular se muestra en la Figura 7. Dada la posición de objeto de audio 615 en el instante de tiempo ilustrado en la Figura 7, 12 ubicaciones de fuente virtual 605 están incluidas en el área abarcada por el volumen de objeto de audio 620b en el plano x-y. Dependiendo de la extensión del volumen de objeto de audio 620b en la dirección z y la separación de las ubicaciones de fuente virtual 605 a lo largo del eje z, ubicaciones de fuente virtual adicionales 605s pueden estar incluidas, o no, dentro del volumen de objeto de audio 620b.
La Figura 7 indica contribuciones de ganancia de las ubicaciones de fuente virtual 605 dentro del área o volumen definido por el tamaño del objeto de audio 610. En este ejemplo, el diámetro del círculo usado para ilustrar cada una de las ubicaciones de fuente virtual 605 corresponde a la contribución de la ubicación de fuente virtual 605 correspondiente. Las ubicaciones de fuente virtual 605a que están más cerca de la posición de objeto de audio 615 65 se muestran como las más grandes, que indican la mayor contribución de las fuentes virtuales correspondientes. Las segundas contribuciones de ganancia más grandes son de fuentes virtuales en las ubicaciones de fuente virtual
605b, que son las segundas más cercanas a la posición de objeto de audio 615. Contribuciones más pequeñas son las realizadas por las ubicaciones de fuente virtual 605c, que están más alejadas de la posición de objeto de audio 615 pero aún dentro del volumen de objeto de audio 620b. Las ubicaciones de fuente virtual 605d que están fuera del volumen de objeto de audio 620b se muestran como las más pequeñas, lo que indica que, en este ejemplo, las
5 fuentes virtuales correspondientes no realizan ninguna contribución.
Haciendo referencia a la Figura 5C, en este ejemplo, el bloque 550 implica calcular un conjunto de valores de ganancia de objeto de audio para cada uno de una pluralidad de canales de salida en función de, al menos en parte, los valores calculados de ganancia de fuente virtual. Cada canal de salida puede corresponder a al menos un altavoz de reproducción del entorno de reproducción. El bloque 550 puede implicar normalizar los valores de ganancia de objeto de audio resultantes. Para la implementación mostrada en la Figura 7, por ejemplo, cada canal de salida puede corresponder a un único altavoz o a un grupo de altavoces.
El proceso de calcular el valor de ganancia de objeto de audio para cada uno de la pluralidad de canales de salida
15 puede implicar determinar un valor de ganancia (gltamaño(xo,yo,zo;s)) para un objeto de audio de tamaño (s) que va a renderizarse en la ubicación xo,yo,zo. Este valor de ganancia de objeto de audio puede denominarse algunas veces en el presente documento "contribución de tamaño de objeto de audio". Según algunas implementaciones, el valor de ganancia de objeto de audio (gltamaño(xo,yo,zo;s)) puede expresarse como:
En la Ecuación 2, (xvs, yvs, zvs) representa una ubicación de fuente virtual, gl(xvs, yvs, zvs) representa un valor de ganancia para el canal I para la ubicación de fuente virtual xvs, yvs, zvs, y w(xvs, yvs, zvs; xo, yo, zo; s) representa un peso para gl(xvs, yvs, zvs) determinado, al menos en parte, en función de la ubicación (xo, yo, zo) del objeto de audio, el
25 tamaño (s) del objeto de audio y la ubicación de fuente virtual (xvs, yvs, zvs).
En algunos ejemplos, el exponente p puede tener un valor comprendido entre 1 y 10. En algunas implementaciones, p puede ser una función del tamaño de objeto de audio s. Por ejemplo, si s es relativamente mayor, en algunas implementaciones p puede ser relativamente menor. Según algunas de tales implementaciones, p puede determinarse de la siguiente manera:
35 donde smax corresponde al valor máximo de un tamaño interno escalado de manera ascendente sinterno (descrito posteriormente) y donde un tamaño de objeto de audio s = 1 puede corresponder a un objeto de audio que tiene un tamaño (por ejemplo, un diámetro) igual a una longitud de uno de los límites del entorno de reproducción (por ejemplo, igual a la longitud de una pared del entorno de reproducción).
Dependiendo, en parte, del/de los algoritmo(s) usado(s) para calcular los valores de ganancia de fuente virtual, puede ser posible simplificar la Ecuación 2 si las ubicaciones de fuente virtual están distribuidas de manera uniforme a lo largo de un eje y si las funciones de ponderación y las funciones de ganancia pueden separarse, por ejemplo como se ha descrito anteriormente. Si estas condiciones se cumplen, entonces gl(xvs, yvs, zvs) puede expresarse como glx(xvs)gly(yvs)glz(zvs), donde glx(xvs), glx(yvs) y glz(zvs) representan funciones de ganancia independientes de
45 coordenadas x, y y z para una ubicación de fuente virtual.
Asimismo, w(xvs, yvs, zvs ; xo, yo, zo; s) puede factorizarse como wx(xvs;xo;s)wy(yvs;yo;s)wz(zvs;zo;s), donde wx(xvs; xo; s), wy(yvs; yo; s) y wz(zvs; zo; s) representan funciones de ponderación independientes de coordenadas x, y y z para una ubicación de fuente virtual. Un ejemplo de este tipo se muestra en la Figura 7. En este ejemplo, la función de ponderación 710, expresada como wx(xvs; xo; s), puede calcularse de manera independiente a partir de la función de ponderación 720, expresada como wy(yvs; xo; s). En algunas implementaciones, las funciones de ponderación 710 y 720 pueden ser funciones gaussianas, donde la función de ponderación wz(zvs; zo; s) puede ser un producto de funciones gaussianas y de coseno.
55 Si w(xvs,yvs,zvs;xo,yo,zo;s) puede factorizarse como wx(xvs;xo;s)wy(yvs;yo;s)wz(zvs;zo;s), entonces la Ecuación 2 se simplifica pasando a ser:
donde
y
5 Las funciones f pueden contener toda la información requerida según las fuentes virtuales. Si las posibles posiciones de objeto se vuelven discretas a lo largo de cada eje, puede expresarse cada función f como una matriz. Cada función f puede precalcularse durante el proceso de configuración del bloque 505 (véase la Figura 5A) y almacenarse en un sistema de memoria, por ejemplo como una matriz o como una tabla de consulta. En tiempo de
10 ejecución (bloque 510), las matrices o tablas de consulta pueden recuperarse del sistema de memoria. El proceso en tiempo de ejecución puede implicar interpolar, dados un tamaño y posición de objeto de audio, entre los valores correspondientes más próximos de estas matrices. En algunas implementaciones, la interpolación puede ser lineal.
En algunas implementaciones, la contribución de tamaño de objeto de audio ñ� puede combinarse con el
15 resultado de "casi ganancia de objeto de audio" para la posición de objeto de audio. Como se usa en el presente documento, la "casi ganancia de objeto de audio" es una ganancia calculada que está basada en la posición de objeto de audio 615. El cálculo de ganancias puede realizarse usando el mismo algoritmo usado para calcular cada uno de los valores de ganancia de fuente virtual. Según algunas de tales implementaciones, un cálculo de desvanecimiento cruzado puede realizarse entre la contribución de tamaño de objeto de audio y el resultado de casi
20 ganancia de objeto de audio, por ejemplo en función del tamaño de objeto de audio. Tales implementaciones pueden proporcionar una panoramización gradual y un crecimiento gradual de objetos de audio, y puede permitir una transición gradual entre el tamaño de objeto de audio más pequeño y el más grande. En una de estas implementaciones,
donde
implementaciones, sdesv_x = 0,2. Sin embargo, en implementaciones alternativas, sdesv_x puede tener otros valores.
35 Según algunas implementaciones, el valor de tamaño de objeto de audio puede escalarse de manera ascendente en la parte más grande de su intervalo de posibles valores. En algunas implementaciones de creación, por ejemplo, un usuario puede estar expuesto a valores de tamaño de objeto de audio susuario ∈[0,1] que están correlacionados, en el tamaño real usado por el algoritmo, con un intervalo mayor, por ejemplo el intervalo [0, smax], donde smax > 1. Esta correlación puede garantizar que cuando el tamaño se ajuste a un valor máximo por el usuario, las ganancias se
40 vuelven completamente independientes de la posición del objeto. Según algunas de estas implementaciones, tales correlaciones pueden realizarse según una función lineal orientada a elementos que conecta pares de puntos (susuario, sinterno), donde susuario representa un tamaño de objeto de audio seleccionado por el usuario y sinterno representa un tamaño de objeto de audio correspondiente determinado por el algoritmo. Según algunas de estas implementaciones, la correlación puede realizarse según una función lineal orientada a elementos que conecta
45 pares de puntos (0, 0), (0,2, 0,3), (0,5, 0,9), (0,75, 1,5) y (1, smax). En una de estas implementaciones, smax = 2,8.
Las Figuras 8A y 8B muestran un objeto de audio en dos posiciones dentro de un entorno de reproducción. En estos ejemplos, el volumen de objeto de audio 620b es una esfera que tiene un radio inferior a la mitad de la longitud o anchura del entorno de reproducción 200a. El entorno de reproducción 200a está configurado según la configuración
50 Dolby 7.1. En el instante de tiempo ilustrado en la Figura 8A, la posición de objeto de audio 615 está relativamente más cerca de la mitad del entorno de reproducción 200a. En el instante de tiempo ilustrado en la Figura 8B, la posición de objeto de audio 615 se ha acercado a un límite del entorno de reproducción 200a. En este ejemplo, el límite es la pared izquierda de una sala de cine y coincide con las ubicaciones de los altavoces envolventes laterales izquierdos 220.
55 Por razones estéticas, puede ser deseable modificar los cálculos de ganancia de objeto de audio para objetos de audio que se aproximan a un límite de un entorno de reproducción. En las Figuras 8A y 8B, por ejemplo, no se proporciona ninguna señal de alimentación a los altavoces en un límite opuesto del entorno de reproducción (en este
caso, los altavoces envolventes laterales derechos 225) cuando la posición de objeto de audio 615 está dentro de una distancia umbral desde el límite izquierdo 805 del entorno de reproducción. En el ejemplo mostrado en la Figura 8B, ninguna señal de alimentación de altavoz se proporciona a altavoces correspondientes al canal de pantalla izquierdo 230, al canal de pantalla central 235, al canal de pantalla derecho 240 o al altavoz de graves 245 cuando
5 la posición de objeto de audio 615 está dentro de una distancia de umbral (que puede ser una distancia umbral diferente) del límite izquierdo 805 del entorno de reproducción, si la posición de objeto de audio 615 está también más lejos que una distancia umbral con respecto a la pantalla.
En el ejemplo mostrado en la Figura 8B, el volumen de objeto de audio 620b incluye un área o volumen externo del límite izquierdo 805. Según algunas implementaciones, un factor de desvanecimiento para cálculos de ganancia puede basarse, al menos en parte, en la cantidad del límite izquierdo 805 que está dentro del volumen de objeto de audio 620b y/o en la cantidad del área o volumen de un objeto de audio que se extiende fuera de tal límite.
La Figura 9 es un diagrama de flujo que muestra un procedimiento para determinar un factor de desvanecimiento en
15 función de, al menos en parte, qué cantidad de un área o volumen de un objeto de audio se extiende fuera de un límite de un entorno de reproducción. En el bloque 905 se reciben datos de entorno de reproducción. En este ejemplo, los datos de entorno de reproducción incluyen datos de ubicación de altavoz de reproducción y datos de límite de entorno de reproducción. El bloque 910 implica recibir datos de reproducción de audio que incluyen uno o más objetos de audio y metadatos asociados. Los metadatos incluyen, en este ejemplo, al menos datos de posición de objeto de audio y datos de tamaño de objeto de audio.
En esta implementación, el bloque 915 implica determinar que un área o volumen de objeto de audio, definido por los datos de posición de objeto de audio y los datos de tamaño de objeto de audio, incluye un área o volumen externo fuera de un límite de entorno de reproducción. El bloque 915 también puede implicar determinar qué
25 proporción del área o volumen de objeto de audio está fuera del límite de entorno de reproducción.
En el bloque 920, se determina un factor de desvanecimiento. En este ejemplo, el factor de desvanecimiento puede basarse, al menos en parte, en el área externa. Por ejemplo, el factor de desvanecimiento puede ser proporcional al área externa.
En el bloque 925, un conjunto de valores de ganancia de objeto de audio puede calcularse para cada uno de una pluralidad de canales de salida en función de, al menos en parte, los metadatos asociados (en este ejemplo, los datos de posición de objeto de audio y los datos de tamaño de objeto de audio) y el factor de desvanecimiento. Cada canal de salida puede corresponder a al menos un altavoz de reproducción del entorno de reproducción.
35 En algunas implementaciones, los cálculos de ganancia de objeto de audio pueden implicar calcular contribuciones de ganancia de fuentes virtuales dentro de un área o volumen de objeto de audio. Las fuentes virtuales pueden corresponder a una pluralidad de ubicaciones de fuente virtual que pueden definirse con referencia a los datos de entorno de reproducción. Las ubicaciones de fuente virtual pueden estar, o no, separadas de manera uniforme. Para cada una de las ubicaciones de fuente virtual, un valor de ganancia de fuente virtual puede calcularse para cada uno de la pluralidad de canales de salida. Como se ha descrito anteriormente, en algunas implementaciones, estos valores de ganancia de fuente virtual pueden calcularse y almacenarse durante un proceso de configuración, y después recuperarse para usarse durante operaciones en tiempo de ejecución.
45 En algunas implementaciones, el factor de desvanecimiento puede aplicarse a todos los valores de ganancia de fuente virtual correspondientes a ubicaciones de fuente de virtual dentro de un entorno de reproducción. En algunas implementaciones, ñ� puede modificarse de la siguiente manera:
donde dlímite representa la distancia mínima entre una ubicación de objeto de audio y un límite del entorno de reproducción, y í� representa la contribución de fuentes virtuales a lo largo de un límite. Por ejemplo, haciendo referencia a la Figura 8B, í� puede representar la contribución de fuentes virtuales dentro del volumen de objeto de audio 620b y adyacentes al límite 805. En este ejemplo, como el de la Figura 6A, no hay fuentes virtuales situadas fuera del entorno de reproducción.
En implementaciones alternativas, ñ� puede modificarse de la siguiente manera:
donde � representa ganancias de objeto de audio basadas en fuentes virtuales ubicadas fuera de un entorno de reproducción pero dentro de un área o volumen de objeto de audio. Por ejemplo, haciendo referencia a la Figura
5 8B, � puede representar la contribución de fuentes virtuales dentro del volumen de objeto de audio 620b y fuera del límite 805. En este ejemplo, al igual que en la Figura 6B, hay fuentes virtuales situadas dentro y fuera del entorno de reproducción.
La Figura 10 es un diagrama de bloques que proporciona ejemplos de componentes de un aparato de creación y/o
10 renderización. En este ejemplo, el dispositivo 1000 incluye un sistema de interfaz 1005. El sistema de interfaz 1005 puede incluir una interfaz de red, tal como una interfaz de red inalámbrica. Como alternativa, o adicionalmente, el sistema de interfaz 1005 puede incluir una interfaz de bus serie universal (USB) u otra interfaz de este tipo.
El dispositivo 1000 incluye un sistema lógico 1010. El sistema lógico 1010 puede incluir un procesador, tal como un
15 procesador de propósito general de un solo o varios chips. El sistema lógico 1010 puede incluir un procesador de señales digitales (DSP), un circuito integrado de aplicación específica (ASIC), una matriz de puertas programables in situ (FPGA) u otro dispositivo de lógica programable, lógica de transistor o puertas discretas, componentes de hardware discretos, o combinaciones de los mismos. El sistema lógico 1010 puede estar configurado para controlar los otros componentes del dispositivo 1000. Aunque no se muestra ninguna interfaz entre los componentes del
20 dispositivo 1000 en la Figura 10, el sistema lógico 1010 puede estar configurado con interfaces para la comunicación con otros componentes. Los otros componentes pueden estar configurados, o no, para una comunicación recíproca, según sea apropiado.
El sistema lógico 1010 puede estar configurado para llevar a cabo una funcionalidad de creación y/o renderización
25 de audio que incluye, pero sin limitarse a, los tipos de funcionalidad de creación y/o renderización de audio descritos en el presente documento. En algunas de estas implementaciones, el sistema lógico 1010 puede estar configurado para funcionar, al menos en parte, según el software almacenado en uno o más medios no transitorios. Los medios no transitorios pueden incluir una memoria asociada al sistema lógico 1010, tal como una memoria de acceso aleatorio (RAM) y/o una memoria de solo lectura (ROM). Los medios no transitorios pueden incluir una memoria del
30 sistema de memoria 1015. El sistema de memoria 1015 puede incluir uno o más tipos adecuados de medios de almacenamiento no transitorios, tales como memoria flash, un disco duro, etc.
El sistema de visualización 1030 puede incluir uno o más tipos de visualización adecuados, dependiendo de la implementación de dispositivo 1000. Por ejemplo, el sistema de visualización 1030 puede incluir una pantalla de
35 cristal líquido, una pantalla de plasma, una pantalla biestable, etc.
El sistema de entrada de usuario 1035 puede incluir uno o más dispositivos configurados para aceptar entradas de un usuario. En algunas implementaciones, el sistema de entrada de usuario 1035 puede incluir una pantalla táctil superpuesta a una pantalla del sistema de visualización 1030. El sistema de entrada de usuario 1035 puede incluir 40 un ratón, una bola de seguimiento, un sistema de detección de gestos, una palanca de control, una o más GUI y/o menús presentados en el sistema de visualización 1030, botones, un teclado, conmutadores, etc. En algunas implementaciones, el sistema de entrada de usuario 1035 puede incluir el micrófono 1025: un usuario puede proporcionar comandos de voz para el dispositivo 1000 a través del micrófono 1025. El sistema lógico puede estar configurado para el reconocimiento de voz y para controlar al menos algunas operaciones del dispositivo 1000
45 según tales comandos de voz.
El sistema de suministro de energía 1040 puede incluir uno o más dispositivos de almacenamiento de energía adecuados, tales como una batería de níquel-cadmio o una batería de iones de litio. El sistema de suministro de energía 1040 puede estar configurado para recibir energía de una toma de corriente.
50 La Figura 11A es un diagrama de bloques que representa algunos componentes que pueden usarse en la creación de contenido de audio. El sistema 1100 puede usarse, por ejemplo, para la creación de contenido de audio en estudios de mezcla y/o etapas de doblaje. En este ejemplo, el sistema 1100 incluye una herramienta de creación de audio y metadatos 1105 y una herramienta de renderización 1110. En esta implementación, la herramienta de
55 creación de audio y metadatos 1105 y la herramienta de renderización 1110 incluyen interfaces de conexión de audio 1107 y 1112, respectivamente, que pueden configurarse para la comunicación a través de AES/EBU, MADI, medios analógicos, etc. La herramienta de creación de audio y metadatos 1105 y la herramienta de renderización 1110 incluyen interfaces de red 1109 y 1117, respectivamente, que pueden configurarse para enviar y recibir metadatos mediante TCP/IP o cualquier otro protocolo adecuado. La interfaz 1120 está configurada para
60 proporcionar datos de audio a los altavoces.
El sistema 1100 puede incluir, por ejemplo, un sistema de creación existente, tal como el sistema Pro Tools™, que ejecute una herramienta de creación de metadatos (es decir, un panoramizador como el descrito en el presente documento) como accesorio. El panoramizador también puede ejecutarse en un sistema autónomo (por ejemplo, un
PC o una consola de mezclas) conectado a la herramienta de renderización 1110, o puede ejecutarse en el mismo dispositivo físico que la herramienta de renderización 1110. En el segundo caso, el panoramizador y el renderizador pueden usar una conexión local, por ejemplo mediante una memoria compartida. La GUI del panoramizador también puede estar presente en un dispositivo de tipo tableta, un ordenador portátil, etc. La herramienta de renderización
5 1110 puede comprender un sistema de renderización que incluye un procesador de sonido que está configurado para ejecutar procedimientos de renderización como los descritos en las Fig. 5A a C y en la Fig. 9. El sistema de renderización puede incluir, por ejemplo, un ordenador personal, un ordenador portátil, etc., que incluya interfaces para la entrada/salida de audio y un sistema lógico apropiado.
10 La Figura 11B es un diagrama de bloques que representa algunos componentes que pueden usarse en la reproducción de audio en un entorno de reproducción (por ejemplo, en una sala de cine). El sistema 1150 incluye un servidor de sala de cine 1155 y un sistema de renderización 1160 en este ejemplo. El servidor de sala de cine 1155 y el sistema de renderización 1160 incluyen interfaces de red 1157 y 1162, respectivamente, que pueden configurarse para enviar y recibir objetos de audio a través de TCP/IP o cualquier otro protocolo adecuado. La
15 interfaz 1164 está configurada para proporcionar datos de audio a los altavoces.
Varias modificaciones en las implementaciones descritas en esta divulgación pueden resultar fácilmente evidentes a los expertos en la técnica. Los principios generales definidos en el presente documento pueden aplicarse a otras implementaciones sin apartarse del espíritu o el alcance de esta divulgación. Por tanto, las reivindicaciones no están
20 limitadas a las implementaciones mostradas en el presente documento, sino que se les concede el alcance más amplio coherente con esta divulgación, los principios y características novedosas descritos en el presente documento.
Claims (20)
- REIVINDICACIONES1. Un procedimiento, que comprende:5 recibir (540) datos de reproducción de audio que comprenden uno o más objetos de audio, comprendiendo los objetos de audio señales de audio y metadatos asociados, incluyendo los metadatos al menos datos de posición de objeto de audio y datos de tamaño de objeto de audio;calcular (545), para un objeto de audio de los uno o más objetos de audio, valores de ganancia de fuente virtual de fuentes virtuales en ubicaciones de fuente virtual respectivas dentro de un área o volumen de objeto10 de audio definido por los datos de posición de objeto de audio y los datos de tamaño de objeto de audio; ycalcular (550) un conjunto de valores de ganancia de objeto de audio para cada uno de una pluralidad de canales de salida en función de, al menos en parte, los valores calculados de ganancia de fuente virtual, donde cada canal de salida corresponde a al menos un altavoz de reproducción de un entorno de reproducción y cada una de dichas ubicaciones de fuente virtual corresponde a una ubicación estática15 respectiva dentro del entorno de reproducción.
- 2. El procedimiento según la reivindicación 1, en el que el proceso de calcular el conjunto de valores de ganancia de objeto de audio implica calcular un promedio ponderado de valores de ganancia de fuente virtual de las fuentes virtuales dentro del área o volumen de objeto de audio.
- 3. El procedimiento según la reivindicación 2, en el que los pesos para el promedio ponderado dependen de la posición del objeto de audio, del tamaño del objeto de audio y de cada ubicación de fuente virtual dentro del área o volumen del objeto de audio.25 4. El procedimiento según la reivindicación 1, que comprende además:recibir datos de entorno de reproducción que incluyen datos de ubicación de altavoz de reproducción.
- 5. El procedimiento según la reivindicación 4, que comprende además:30 definir una pluralidad de ubicaciones de fuente virtual según los datos de entorno de reproducción; y calcular, para cada una de las ubicaciones de fuentes virtual, un valor de ganancia de fuente virtual para cada uno de la pluralidad de canales de salida.35 6. El procedimiento según la reivindicación 5, en el que al menos algunas de las ubicaciones de fuente virtual corresponden a ubicaciones fuera del entorno de reproducción.
- 7. El procedimiento según la reivindicación 5, en el que las ubicaciones de fuente virtual están separadas de manerauniforme a lo largo de los ejes x, y y z. 40
-
- 8.
- El procedimiento según la reivindicación 5, en el que las ubicaciones de fuente virtual tienen una primera separación uniforme a lo largo de los ejes x e y y una segunda separación uniforme a lo largo de un eje z.
-
- 9.
- El procedimiento según la reivindicación 7 o la reivindicación 8, en el que el proceso de calcular el conjunto de
45 valores de ganancia de objeto de audio para cada uno de la pluralidad de canales de salida implica cálculos independientes de valores de ganancia de fuente virtual de fuentes virtuales a lo largo de los ejes x, y y z. - 10. El procedimiento según la reivindicación 5, en el que las ubicaciones de fuente virtual están separadas demanera no uniforme. 50
- 11. El procedimiento según la reivindicación 4, que comprende además almacenar en un sistema de memoria valores calculados de ganancia de fuente virtual.
- 12. El procedimiento según la reivindicación 11, en el que el proceso de calcular el conjunto de valores de ganancia 55 de objeto de audio implica:recuperar, del sistema de memoria, valores calculados de ganancia de fuente virtual correspondientes a una posición y tamaño de objeto de audio; einterpolar entre los valores calculados de ganancia de fuente virtual.
- 13. El procedimiento según la reivindicación 1, en el que el área o volumen de objeto de audio es al menos uno de entre un rectángulo, un prisma rectangular, un círculo, una esfera, una elipse o un elipsoide.
- 14. El procedimiento según la reivindicación 1, en el que el entorno de reproducción comprende un entorno de sistema de sonido de una sala de cine.
- 15. El procedimiento según la reivindicación 1, que comprende además descorrelacionar al menos algunos de los 5 datos de reproducción de audio.
- 16. El procedimiento según la reivindicación 1, que comprende además descorrelacionar los datos de reproducción de audio para objetos de audio que tienen un tamaño de objeto de audio que supera un valor umbral.10 17. El procedimiento según la reivindicación 1, en el que los datos de entorno de reproducción incluyen datos de límite de entorno de reproducción, que comprende además:determinar que el área o volumen de objeto de audio incluye un área o volumen externo fuera de un límite de entorno de reproducción; y15 aplicar un factor de desvanecimiento en función de, al menos en parte, el área o volumen externo.
- 18. El procedimiento según la reivindicación 1, que comprende además:recibir datos de entorno de reproducción que incluyen datos de ubicación de altavoz de reproducción y datos de límite de entorno de reproducción;20 determinar que el área o volumen de objeto de audio incluye un área o volumen externo fuera de un límite de entorno de reproducción; ydeterminar un factor de desvanecimiento en función de, al menos en parte, el área o volumen externo,donde calcular el conjunto de valores de ganancia de la pluralidad de canales de salida también se basa en los metadatos asociados y el factor de desvanecimiento.
-
- 19.
- El procedimiento según la reivindicación 18, en el que el factor de desvanecimiento es proporcional al área externa.
-
- 20.
- El procedimiento según la reivindicación 18, que comprende además:
30 determinar que un objeto de audio está dentro de una distancia umbral con respecto a un límite de entorno de reproducción; yno proporcionar ninguna señal de alimentación de altavoz a altavoces de reproducción en un límite opuesto del entorno de reproducción. - 21. El procedimiento según la reivindicación 18, que comprende además:definir una pluralidad de ubicaciones de fuente virtual según los datos de entorno de reproducción; y calcular, para cada una de las ubicaciones de fuente virtual, una ganancia de fuente virtual para cada uno de 40 una pluralidad de canales de salida.
- 22. Un medio no transitorio que tiene software almacenado en el mismo, incluyendo el software instrucciones para controlar al menos un aparato para llevar a cabo el procedimiento según una cualquiera de las reivindicaciones anteriores.
- 23. Un aparato (1000), que comprende:un sistema de interfaz (1005); yun sistema lógico (1010) adaptado para controlar el aparato para llevar a cabo el procedimiento según una 50 cualquiera de las reivindicaciones anteriores.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201330461 | 2013-03-28 | ||
| ES201330461 | 2013-03-28 | ||
| US201361833581P | 2013-06-11 | 2013-06-11 | |
| US201361833581P | 2013-06-11 | ||
| PCT/US2014/022793 WO2014159272A1 (en) | 2013-03-28 | 2014-03-10 | Rendering of audio objects with apparent size to arbitrary loudspeaker layouts |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2650541T3 true ES2650541T3 (es) | 2018-01-19 |
Family
ID=51625134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES14714882.9T Active ES2650541T3 (es) | 2013-03-28 | 2014-03-10 | Renderización de objetos de audio de tamaño aparente en distribuciones de altavoces arbitrarias |
Country Status (18)
| Country | Link |
|---|---|
| US (7) | US9674630B2 (es) |
| EP (3) | EP3282716B1 (es) |
| JP (6) | JP5897778B1 (es) |
| KR (6) | KR101619760B1 (es) |
| CN (4) | CN105075292B (es) |
| AU (6) | AU2014241011B2 (es) |
| BR (4) | BR122017004541B1 (es) |
| CA (1) | CA2898885C (es) |
| ES (1) | ES2650541T3 (es) |
| HK (5) | HK1249688A1 (es) |
| IL (6) | IL290671B2 (es) |
| IN (1) | IN2015MN01790A (es) |
| MX (1) | MX342792B (es) |
| MY (1) | MY172606A (es) |
| RU (3) | RU2630955C9 (es) |
| SG (1) | SG11201505429RA (es) |
| UA (1) | UA113344C2 (es) |
| WO (1) | WO2014159272A1 (es) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6169718B2 (ja) | 2012-12-04 | 2017-07-26 | サムスン エレクトロニクス カンパニー リミテッド | オーディオ提供装置及びオーディオ提供方法 |
| KR101619760B1 (ko) * | 2013-03-28 | 2016-05-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링 |
| US20170086005A1 (en) * | 2014-03-25 | 2017-03-23 | Intellectual Discovery Co., Ltd. | System and method for processing audio signal |
| KR20160020377A (ko) * | 2014-08-13 | 2016-02-23 | 삼성전자주식회사 | 음향 신호를 생성하고 재생하는 방법 및 장치 |
| PL3089477T3 (pl) * | 2015-04-28 | 2018-11-30 | L-Acoustics Uk Limited | Aparat do reprodukcji wielokanałowego sygnału audio i sposób generowania wielokanałowego sygnału audio |
| EP3314916B1 (en) * | 2015-06-25 | 2020-07-29 | Dolby Laboratories Licensing Corporation | Audio panning transformation system and method |
| US9847081B2 (en) | 2015-08-18 | 2017-12-19 | Bose Corporation | Audio systems for providing isolated listening zones |
| US9913065B2 (en) | 2015-07-06 | 2018-03-06 | Bose Corporation | Simulating acoustic output at a location corresponding to source position data |
| US9854376B2 (en) * | 2015-07-06 | 2017-12-26 | Bose Corporation | Simulating acoustic output at a location corresponding to source position data |
| WO2017085562A2 (en) * | 2015-11-20 | 2017-05-26 | Dolby International Ab | Improved rendering of immersive audio content |
| EP3174316B1 (en) * | 2015-11-27 | 2020-02-26 | Nokia Technologies Oy | Intelligent audio rendering |
| WO2017098772A1 (ja) * | 2015-12-11 | 2017-06-15 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| AU2017210021B2 (en) * | 2016-01-19 | 2019-07-11 | Sphereo Sound Ltd. | Synthesis of signals for immersive audio playback |
| US9949052B2 (en) | 2016-03-22 | 2018-04-17 | Dolby Laboratories Licensing Corporation | Adaptive panner of audio objects |
| US11184579B2 (en) | 2016-05-30 | 2021-11-23 | Sony Corporation | Apparatus and method for video-audio processing, and program for separating an object sound corresponding to a selected video object |
| US10779106B2 (en) | 2016-07-20 | 2020-09-15 | Dolby Laboratories Licensing Corporation | Audio object clustering based on renderer-aware perceptual difference |
| EP3293987B1 (en) * | 2016-09-13 | 2020-10-21 | Nokia Technologies Oy | Audio processing |
| WO2018056780A1 (ko) * | 2016-09-23 | 2018-03-29 | 지오디오랩 인코포레이티드 | 바이노럴 오디오 신호 처리 방법 및 장치 |
| US10297162B2 (en) * | 2016-12-28 | 2019-05-21 | Honeywell International Inc. | System and method to activate avionics functions remotely |
| CN110383856B (zh) | 2017-01-27 | 2021-12-10 | 奥罗技术公司 | 用于平移音频对象的处理方法和系统 |
| WO2018202642A1 (en) | 2017-05-04 | 2018-11-08 | Dolby International Ab | Rendering audio objects having apparent size |
| CN110603821A (zh) | 2017-05-04 | 2019-12-20 | 杜比国际公司 | 渲染具有表观大小的音频对象 |
| US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
| EP3713255A4 (en) * | 2017-11-14 | 2021-01-20 | Sony Corporation | SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM |
| KR102561608B1 (ko) * | 2017-12-12 | 2023-08-01 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 그리고 프로그램 |
| JP7146404B2 (ja) * | 2018-01-31 | 2022-10-04 | キヤノン株式会社 | 信号処理装置、信号処理方法、及びプログラム |
| WO2019189399A1 (ja) | 2018-03-30 | 2019-10-03 | 住友建機株式会社 | ショベル |
| US11617050B2 (en) | 2018-04-04 | 2023-03-28 | Bose Corporation | Systems and methods for sound source virtualization |
| US11503419B2 (en) | 2018-07-18 | 2022-11-15 | Sphereo Sound Ltd. | Detection of audio panning and synthesis of 3D audio from limited-channel surround sound |
| EP3846501A4 (en) * | 2018-08-30 | 2021-10-06 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
| US11503422B2 (en) * | 2019-01-22 | 2022-11-15 | Harman International Industries, Incorporated | Mapping virtual sound sources to physical speakers in extended reality applications |
| EP3761672B1 (en) * | 2019-07-02 | 2023-04-05 | Dolby International AB | Using metadata to aggregate signal processing operations |
| JP7326583B2 (ja) * | 2019-07-30 | 2023-08-15 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 再生機能が異なる装置を横断したダイナミクス処理 |
| GB2587371A (en) * | 2019-09-25 | 2021-03-31 | Nokia Technologies Oy | Presentation of premixed content in 6 degree of freedom scenes |
| US11483670B2 (en) * | 2019-10-30 | 2022-10-25 | Sonos, Inc. | Systems and methods of providing spatial audio associated with a simulated environment |
| WO2021098957A1 (en) * | 2019-11-20 | 2021-05-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object renderer, methods for determining loudspeaker gains and computer program using panned object loudspeaker gains and spread object loudspeaker gains |
| CN114930876B (zh) | 2019-12-02 | 2023-07-14 | 杜比实验室特许公司 | 用于从基于声道的音频到基于对象的音频的转换的系统、方法和装置 |
| EP4074078A1 (en) * | 2019-12-12 | 2022-10-19 | Liquid Oxigen (Lox) B.V. | Generating an audio signal associated with a virtual sound source |
| US20230019535A1 (en) | 2019-12-19 | 2023-01-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Audio rendering of audio sources |
| KR20210142382A (ko) * | 2020-05-18 | 2021-11-25 | 에스케이하이닉스 주식회사 | 그리드 게인 계산 회로, 이미지 센싱 장치 및 그 동작방법 |
| CN112135226B (zh) * | 2020-08-11 | 2022-06-10 | 广东声音科技有限公司 | Y轴音频再生方法以及y轴音频再生系统 |
| US11982738B2 (en) | 2020-09-16 | 2024-05-14 | Bose Corporation | Methods and systems for determining position and orientation of a device using acoustic beacons |
| US11696084B2 (en) | 2020-10-30 | 2023-07-04 | Bose Corporation | Systems and methods for providing augmented audio |
| US11700497B2 (en) | 2020-10-30 | 2023-07-11 | Bose Corporation | Systems and methods for providing augmented audio |
| US11750745B2 (en) | 2020-11-18 | 2023-09-05 | Kelly Properties, Llc | Processing and distribution of audio signals in a multi-party conferencing environment |
| GB2607885B (en) * | 2021-06-11 | 2023-12-06 | Sky Cp Ltd | Audio configuration |
| CN113596673B (zh) * | 2021-07-14 | 2024-07-30 | 杭州泽沃电子科技有限公司 | Ar眼镜扬声器的定向发声方法、装置和发声设备 |
| GB2613558A (en) * | 2021-12-03 | 2023-06-14 | Nokia Technologies Oy | Adjustment of reverberator based on source directivity |
| CN114173256B (zh) * | 2021-12-10 | 2024-04-19 | 中国电影科学技术研究所 | 一种还原声场空间及姿态追踪的方法、装置和设备 |
| CN115103293B (zh) * | 2022-06-16 | 2023-03-21 | 华南理工大学 | 一种面向目标的声重放方法及装置 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2343347B (en) * | 1998-06-20 | 2002-12-31 | Central Research Lab Ltd | A method of synthesising an audio signal |
| CA2311817A1 (en) * | 1998-09-24 | 2000-03-30 | Fourie, Inc. | Apparatus and method for presenting sound and image |
| US8363865B1 (en) | 2004-05-24 | 2013-01-29 | Heather Bottum | Multiple channel sound system using multi-speaker arrays |
| EP1691348A1 (en) | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
| WO2006091540A2 (en) * | 2005-02-22 | 2006-08-31 | Verax Technologies Inc. | System and method for formatting multimode sound content and metadata |
| DE102005008366A1 (de) * | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten |
| DE102006053919A1 (de) * | 2006-10-11 | 2008-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert |
| JP4973919B2 (ja) * | 2006-10-23 | 2012-07-11 | ソニー株式会社 | 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム |
| KR101146841B1 (ko) * | 2007-10-09 | 2012-05-17 | 돌비 인터네셔널 에이비 | 바이노럴 오디오 신호를 생성하기 위한 방법 및 장치 |
| EP2056627A1 (en) * | 2007-10-30 | 2009-05-06 | SonicEmotion AG | Method and device for improved sound field rendering accuracy within a preferred listening area |
| RU2439717C1 (ru) * | 2008-01-01 | 2012-01-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ и устройство для обработки звукового сигнала |
| EP2146522A1 (en) * | 2008-07-17 | 2010-01-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating audio output signals using object based metadata |
| JP5326910B2 (ja) * | 2009-01-20 | 2013-10-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| WO2011044153A1 (en) * | 2009-10-09 | 2011-04-14 | Dolby Laboratories Licensing Corporation | Automatic generation of metadata for audio dominance effects |
| TWI557723B (zh) * | 2010-02-18 | 2016-11-11 | 杜比實驗室特許公司 | 解碼方法及系統 |
| CN108989721B (zh) * | 2010-03-23 | 2021-04-16 | 杜比实验室特许公司 | 用于局域化感知音频的技术 |
| JP5655378B2 (ja) | 2010-06-01 | 2015-01-21 | ヤマハ株式会社 | 音像制御装置、およびプログラム |
| US20110317841A1 (en) * | 2010-06-25 | 2011-12-29 | Lloyd Trammell | Method and device for optimizing audio quality |
| KR101747299B1 (ko) * | 2010-09-10 | 2017-06-15 | 삼성전자주식회사 | 데이터 객체 디스플레이 방법 및 장치와 컴퓨터로 읽을 수 있는 저장 매체 |
| WO2013006322A1 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | Sample rate scalable lossless audio coding |
| TWI701952B (zh) * | 2011-07-01 | 2020-08-11 | 美商杜比實驗室特許公司 | 用於增強３ｄ音頻編輯與呈現之設備、方法及非暫態媒體 |
| UA107304C2 (uk) * | 2011-07-01 | 2014-12-10 | Система та інструментальні засоби для удосконаленої авторської розробки та представлення тривимірних аудіоданих | |
| ES2871224T3 (es) * | 2011-07-01 | 2021-10-28 | Dolby Laboratories Licensing Corp | Sistema y método para la generación, codificación e interpretación informática (o renderización) de señales de audio adaptativo |
| JP6169718B2 (ja) * | 2012-12-04 | 2017-07-26 | サムスン エレクトロニクス カンパニー リミテッド | オーディオ提供装置及びオーディオ提供方法 |
| US9338420B2 (en) * | 2013-02-15 | 2016-05-10 | Qualcomm Incorporated | Video analysis assisted generation of multi-channel audio data |
| KR101619760B1 (ko) * | 2013-03-28 | 2016-05-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링 |
| RS1332U (en) | 2013-04-24 | 2013-08-30 | Tomislav Stanojević | FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS |
-
2014
- 2014-03-10 KR KR1020157022091A patent/KR101619760B1/ko active IP Right Grant
- 2014-03-10 EP EP17189305.0A patent/EP3282716B1/en active Active
- 2014-03-10 KR KR1020237033165A patent/KR102712214B1/ko active IP Right Grant
- 2014-03-10 JP JP2015557240A patent/JP5897778B1/ja active Active
- 2014-03-10 CN CN201480009029.4A patent/CN105075292B/zh active Active
- 2014-03-10 US US14/770,709 patent/US9674630B2/en active Active
- 2014-03-10 ES ES14714882.9T patent/ES2650541T3/es active Active
- 2014-03-10 BR BR122017004541-5A patent/BR122017004541B1/pt active IP Right Grant
- 2014-03-10 CN CN201710507397.7A patent/CN107465990B/zh active Active
- 2014-03-10 KR KR1020247031775A patent/KR20240146098A/ko active Application Filing
- 2014-03-10 CN CN201710508250.XA patent/CN107426666B/zh active Active
- 2014-03-10 KR KR1020207027124A patent/KR102332632B1/ko active IP Right Grant
- 2014-03-10 EP EP14714882.9A patent/EP2926571B1/en active Active
- 2014-03-10 BR BR122022005104-9A patent/BR122022005104B1/pt active IP Right Grant
- 2014-03-10 IL IL290671A patent/IL290671B2/en unknown
- 2014-03-10 CN CN201710507398.1A patent/CN107396278B/zh active Active
- 2014-03-10 MX MX2015010786A patent/MX342792B/es active IP Right Grant
- 2014-03-10 BR BR112015018993-8A patent/BR112015018993B1/pt active IP Right Grant
- 2014-03-10 AU AU2014241011A patent/AU2014241011B2/en active Active
- 2014-03-10 KR KR1020217038313A patent/KR102586356B1/ko active IP Right Grant
- 2014-03-10 EP EP19209073.6A patent/EP3668121A1/en active Pending
- 2014-03-10 CA CA2898885A patent/CA2898885C/en active Active
- 2014-03-10 SG SG11201505429RA patent/SG11201505429RA/en unknown
- 2014-03-10 WO PCT/US2014/022793 patent/WO2014159272A1/en active Application Filing
- 2014-03-10 MY MYPI2015702477A patent/MY172606A/en unknown
- 2014-03-10 BR BR122022005121-9A patent/BR122022005121B1/pt active IP Right Grant
- 2014-03-10 RU RU2015133695A patent/RU2630955C9/ru active
- 2014-03-10 IN IN1790MUN2015 patent/IN2015MN01790A/en unknown
- 2014-03-10 KR KR1020167009972A patent/KR102160406B1/ko active IP Right Grant
- 2014-03-10 IL IL309028A patent/IL309028A/en unknown
- 2014-10-03 UA UAA201508054A patent/UA113344C2/uk unknown
-
2015
- 2015-07-05 IL IL239782A patent/IL239782A/en active IP Right Grant
-
2016
- 2016-01-05 AU AU2016200037A patent/AU2016200037B2/en active Active
- 2016-03-02 JP JP2016040424A patent/JP6250084B2/ja active Active
- 2016-03-09 HK HK18108969.0A patent/HK1249688A1/zh unknown
- 2016-03-09 HK HK16102688.5A patent/HK1215339A1/zh unknown
- 2016-05-29 IL IL245897A patent/IL245897B/en active IP Right Grant
-
2017
- 2017-05-03 US US15/585,935 patent/US9992600B2/en active Active
- 2017-09-01 RU RU2017130902A patent/RU2742195C2/ru active
- 2017-11-21 JP JP2017223243A patent/JP6607904B2/ja active Active
-
2018
- 2018-02-12 US US15/894,626 patent/US10652684B2/en active Active
- 2018-04-12 HK HK18104778.0A patent/HK1245557B/zh unknown
- 2018-04-26 AU AU2018202867A patent/AU2018202867B2/en active Active
- 2018-05-04 HK HK18105763.4A patent/HK1246552B/zh unknown
- 2018-05-07 HK HK18105823.2A patent/HK1246553A1/zh unknown
-
2019
- 2019-04-17 IL IL266096A patent/IL266096B/en unknown
- 2019-10-21 JP JP2019191956A patent/JP6877510B2/ja active Active
-
2020
- 2020-01-20 AU AU2020200378A patent/AU2020200378B2/en active Active
- 2020-05-07 US US16/868,861 patent/US11019447B2/en active Active
-
2021
- 2021-01-15 RU RU2021100772A patent/RU2764227C1/ru active
- 2021-04-27 JP JP2021074974A patent/JP7280916B2/ja active Active
- 2021-05-24 US US17/329,094 patent/US11564051B2/en active Active
- 2021-10-07 IL IL287080A patent/IL287080B/en unknown
- 2021-11-02 AU AU2021261862A patent/AU2021261862B2/en active Active
-
2023
- 2023-01-20 US US18/099,658 patent/US11979733B2/en active Active
- 2023-05-12 JP JP2023079069A patent/JP7571192B2/ja active Active
-
2024
- 2024-02-01 AU AU2024200627A patent/AU2024200627A1/en active Pending
- 2024-04-01 US US18/623,762 patent/US20240334145A1/en active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2650541T3 (es) | Renderización de objetos de audio de tamaño aparente en distribuciones de altavoces arbitrarias | |
| ES2932665T3 (es) | Aparato para renderizar audio, método y medios de almacenamiento para él |