ES2328714T3

ES2328714T3 - Conmutacion sin interrupciones entre unidades de acceso aleatorio multiplexadas en un flujo multimedia de visualizacion multiangulo.

Info

Publication number: ES2328714T3
Application number: ES05748423T
Authority: ES
Inventors: Tadamasa Toma; Tomoyuki Okada; Shinya Kadono
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2004-06-02
Filing date: 2005-06-01
Publication date: 2009-11-17
Anticipated expiration: 2025-06-01
Also published as: EP2180712A3; EP2051532B1; TWI323602B; JP4071812B2; TWI323123B; WO2005120078A1; CN101594541A; CN101707702B; EP2180713A2; KR101097659B1; EP2180711A3; CN101594530A; CN1965588A; US20100046638A1; EP2180711A2; US7526031B2; KR20100033444A; US7856062B2; DE602005016242D1; EP2051532A1

Abstract

Un aparato (100A, 100B) de multiplexación para multiplexar uno o más flujos codificados con otra información, incluyendo los flujos codificados imágenes codificadas con relación a cada unidad de acceso accesible de manera aleatoria, comprendiendo dicho aparato de multiplexación: una primera unidad (17, 41) de determinación que puede hacerse funcionar para determinar cantidades de retardo de manera que las cantidades de retardo de dos unidades de acceso que van a descodificarse en secuencia entre las unidades de acceso de los flujos codificados sean iguales entre sí, siendo las cantidades de retardo un retardo de tiempo desde un tiempo de descodificación de una primera imagen en un orden de descodificación hasta un tiempo de visualización de una primera imagen en un orden de visualización; una unidad (15, 42) de generación que puede hacerse funcionar para codificar las imágenes incluidas en las unidades de acceso y para generar el uno o más flujos codificados según las cantidades de retardo determinadas por dicha primera unidad (17, 41) de determinación; y una unidad (18) de multiplexación que puede hacerse funcionar para multiplexar el uno o más flujos codificados generados por dicha unidad (15, 42) de generación y la otra información, caracterizado porque la otra información incluye un indicador que indica si las dos unidades de acceso pueden conectarse entre sí sin interrupciones y el indicador se determina dependiendo de si las cantidades de retardo de las dos unidades de acceso son iguales entre sí.

Description

Conmutación sin interrupciones entre unidades de acceso aleatorio multiplexadas en un flujo multimedia de visualización multiángulo.

Campo técnico

La presente invención se refiere a un aparato de multiplexación para multiplexar uno o más flujos codificados que incluyen imágenes codificadas con otra información para generar datos multiplexados y a un aparato de desmultiplexación para desmultiplexar los datos multiplexados. La presente invención se refiere especialmente a un aparato de multiplexación y a un aparato de desmultiplexación que pueden realizar una reproducción especial tal como una reproducción multiángulo o similar.

Técnica anterior

Recientemente ha llegado la era multimedia en la que el sonido, las imágenes y otros valores de píxel están integrados en un solo medio, y los medios de información convencionales como herramientas de comunicación tales como periódicos, revistas, televisión, radio y teléfono se consideran objetivos multimedia. Generalmente, el término multimedia se refiere a una forma de representación simultánea no sólo de caracteres, sino también de gráficos, sonido y especialmente imágenes. Con el fin de tratar los medios de información convencionales descritos anteriormente como medios multimedia, es necesario representar la información de manera digital.

Sin embargo, no es viable procesar directamente una gran cantidad de información de manera digital usando los medios de información convencionales descritos anteriormente porque, cuando se calcula la cantidad de datos de cada medio de información descrito anteriormente como cantidad de datos digitales, la cantidad de datos por carácter es de 1 a 2 bytes mientras que la del sonido por segundo no es inferior a 64 kbits (calidad de voz telefónica) y la de las imágenes en movimiento por segundo no es inferior a 100 Mbits (calidad de recepción de televisión actual). Por ejemplo, un teléfono con televisión ya resulta comercialmente práctico gracias a la red digital de servicios integrados (RDSI) con una velocidad de transmisión de 64 kbps a 1,5 Mbps, pero es imposible transmitir imágenes en movimiento de una cámara de televisión ya que utilizan la RDSI.

Por eso es necesaria una técnica de compresión de información. Por ejemplo, una norma de técnicas de compresión de imágenes en movimiento de H.261 o H.263, que recomienda el Sector de Normalización de las Telecomunicaciones de la Unión Internacional de Telecomunicaciones (ITU-T, International Telecommunication Union-Telecommunication Standardization Sector) se utiliza para los teléfonos con televisión. Además, con la técnica de compresión de información de la norma MPEG-1, es posible almacenar información de imágenes junto con información de sonido en un cd convencional (disco compacto) de música.

En este documento, el grupo de expertos en imágenes en movimiento (MPEG, Moving Picture Experts Group) es una norma internacional para comprimir digitalmente señales de imagen en movimiento y se ha normalizado mediante la ISO/IEC (Organización Internacional de Normalización/Comisión Electrotécnica Internacional, Internacional Standardization Organization/International Engineering Consortium). MPEG-1 es la norma para comprimir señales de imagen en movimiento hasta 1,5 Mbps, es decir, para comprimir información de señales de televisión hasta una centésima parte aproximadamente. Además, la calidad que ofrece la norma MPEG-1 es un nivel medio que puede realizarse a una velocidad de transmisión de 1,5 Mbps aproximadamente. Por tanto, MPEG-2 está normalizada para satisfacer la necesidad de una mayor calidad de imagen y comprime señales de imagen en movimiento de 2 a 15 Mbps. En la actualidad, el grupo de trabajo (ISO/IEC JTC1/SC29/WG11), que normalizó MPEG-1 Y MPEG-2, ha normalizado MPEG-4 con un mayor índice de compresión. La norma MPEG-4 (i) consigue un mayor índice de compresión que el de la norma MPEG-1 y la norma MPEG-2, (ii) permite codificar, descodificar y realizar operaciones con relación a cada objeto y (iii) realiza nuevas funciones necesarias en esta era multimedia. El objeto inicial de la norma MPEG-4 es normalizar un procedimiento de codificación de imágenes con bajas velocidades binarias, pero el objeto se extiende a un procedimiento de codificación de propósito general de imágenes entrelazadas con altas velocidades binarias. Posteriormente, ISO/IEC e ITU-T, de manera conjunta, han normalizado MPEG-4 AVC (Codificación de vídeo avanzada, Advanced Video Coding) como un procedimiento de codificación de imágenes de próxima generación con un alto índice de compresión. Se espera que se utilice en los aparatos de discos ópticos de próxima generación o en la radiodifusión para terminales móviles.

Generalmente, en la codificación de imágenes en movimiento, la cantidad de información se comprime reduciendo redundancias temporales y espaciales. En la codificación de predicción entre imágenes que tiene como objetivo reducir las redundancias temporales, se realiza una estimación de movimiento y una generación de imágenes de predicción en relación a cada bloque con referencia a una imagen anterior o a una imagen posterior, y la codificación se realiza con el valor diferencial entre la imagen de predicción obtenida y la imagen que va a codificarse. En este documento, el término "imagen" representa a una imagen. En una imagen progresiva, una imagen se refiere a una trama, pero en una imagen entrelazada se refiere a una trama o a un campo. Una "imagen entrelazada" descrita en este documento se refiere a una trama compuesta por dos campos con un ligero retardo de tiempo. En los procesos de codificación y de descodificación de imágenes entrelazadas, es posible procesar una trama tal y como es, como dos campos, o con relación a cada trama o con relación a cada campo de cada bloque de una trama.

La imagen para realizar una codificación de intrapredicción sin hacer referencia a ninguna imagen de referencia se denomina imagen intracodificada (imagen I). Además, la imagen para realizar una codificación de interpredicción haciendo referencia solamente a una imagen se denomina imagen codificada predictiva (imagen P). Además, la imagen para realizar una codificación de interpredicción haciendo referencia simultáneamente a dos imágenes de referencia se denomina imagen codificada bipredictiva (imagen B). Una imagen B puede hacer referencia a dos imágenes seleccionadas como una combinación arbitraria de una imagen anterior y de una imagen posterior en el tiempo de visualización. Tales dos imágenes de referencia pueden especificarse con relación a cada bloque, siendo el bloque una unidad básica de codificación y descodificación. Estas imágenes de referencia se distinguen entre sí de la siguiente manera: la imagen de referencia descrita con anterioridad en el flujo de bits codificado se denomina primera imagen de referencia y la otra imagen de referencia descrita posteriormente se denomina segunda imagen de referencia. Obsérvese que tales imágenes de referencia deben haberse codificado o descodificado previamente con el fin de codificar o descodificar una imagen I, imágenes P e imágenes B.

La codificación de intrapredicción de compensación de movimiento se usa para codificar imágenes P e imágenes B. La codificación de intrapredicción de compensación de movimiento es un procedimiento de codificación de intrapredicción en el que se aplica compensación de movimiento. La compensación de movimiento es un procedimiento para mejorar la precisión de predicción y para reducir la cantidad de datos estimando la cantidad de movimiento (denominada en lo sucesivo vector de movimiento) de cada bloque de una imagen y realizando una codificación de predicción considerando el vector de movimiento. Por ejemplo, la cantidad de datos se reduce estimando los vectores de movimiento de las imágenes que van a codificarse y codificando cada predicción residual entre cada valor de predicción que se modifica por la cantidad de cada vector de movimiento y cada imagen actual que va a codificarse. En el caso de este procedimiento, puesto que se necesita la información del vector de movimiento en la descodificación, los vectores de movimiento también se codifican y se graban o se transmiten. Los vectores de movimiento se calculan con relación a cada bloque de macro. De manera más específica, los vectores de movimiento se calculan estableciendo el bloque de macro de una imagen que va codificarse, moviendo el bloque de macro de una imagen de referencia dentro del alcance de búsqueda y encontrando la ubicación del bloque de referencia que está más cerca del bloque estándar.

Las figs. 1A y 1B son, respectivamente, diagramas estructurales de flujos MPEG-2 convencionales.

Tal y como se muestra en la fig. 1B, un flujo MPEG-2 presenta una estructura jerárquica que se describirá a continuación. Un flujo está compuesto de un grupo de imágenes (denominado en lo sucesivo GOP (group of pictures)). La utilización de un GOP como una unidad básica en el procesamiento de codificación permite editar una imagen en movimiento o realizar un acceso aleatorio. Un GOP está formado por una imagen I, imágenes P e imágenes B. Un flujo, un GOP y una imagen incluyen adicionalmente una señal síncrona (sinc) que indica una separación entre unidades y una cabecera que indica los datos comunes de las unidades, siendo las unidades en este caso un flujo, un GOP y una imagen, respectivamente.

Las figs. 2A y 2B muestran respectivamente ejemplos que indican cómo realizar la codificación de predicción entre imágenes que se utiliza en MPEG-2.

Las imágenes ensombrecidas en diagonal de la figura son aquellas imágenes a las que hacen referencia otras imágenes. Tal y como se muestra en la fig. 2A, en la codificación de predicción en MPEG-2, las imágenes P (P0, P6, P9, P12 y P15) pueden hacer referencia solamente a una única imagen seleccionada como una imagen I o como una imagen P inmediatamente anteriores en el tiempo de visualización. Además, las imágenes B (B1, B2, B4 B5, B7, B8, B10, B11, B13, B14, B16, B17, B19 y B20) pueden hacer referencia a dos imágenes seleccionadas como una combinación de una imagen I o una imagen P inmediatamente anteriores y como una imagen I o una imagen P inmediatamente posteriores. Además, se determina el orden en el que las imágenes se colocarán en un flujo. Las imágenes I y una imagen P se colocan en el orden del tiempo de visualización y cada imagen B se coloca inmediatamente después de una imagen I que se visualiza inmediatamente después de la imagen B o inmediatamente después de una imagen P. Como un ejemplo estructural de un GOP, tal y como se muestra en la fig. 2B, las imágenes desde I3 hasta B14 se agrupan en un único GOP.

Las figs. 3A y 3B muestran, respectivamente, el orden de descodificación, el orden de visualización y las cantidades de retardo que se producen entre el tiempo de descodificación y el tiempo de visualización de una estructura GOP usada en un flujo MPEG-2.

En este caso, el flujo MPEG-2 tiene una velocidad de trama fija y las imágenes B se descodifican y se visualizan simultáneamente. En un flujo MPEG-2, tal y como se muestra en las figs. 3A y 3B, la cantidad de retardo, que es el retardo de tiempo desde el tiempo de descodificación de la primera imagen del GOP hasta el tiempo de visualización de la primera imagen, es equivalente a una trama o a dos campos como máximo. Esta cantidad de retardo se denominará en lo sucesivo retardo de trama, y la longitud de un retardo de trama se contará por tramas (una trama corresponde a dos campos). Los aparatos de discos ópticos, tales como un disco versátil digital (DVD), utilizan la norma MPEG-2 la cual define que los retardos de trama se fijen a una trama. Obsérvese que las cantidades de retardo pueden cambiar en el momento de la conversión, tal como al visualizar, a 60 Hz, los flujos que se han codificado a 24 Hz. Puesto que es posible determinar las cantidades de retardo de acuerdo con la visualización de los flujos codificados según la velocidad de trama, posteriormente se describirá un caso de visualización de flujos codificados según la velocidad de trama.

La fig. 4 es un diagrama estructural de un flujo MPEG-4 AVC. No hay un concepto equivalente a un GOP en MEPG-4 AVC. Sin embargo, puesto que es posible generar una unidad de acceso accesible de manera aleatoria equivalente a un GOP segmentando datos en una unidad de una imagen especial que puede descodificarse sin depender de otras imágenes, la unidad se denominará en lo sucesivo RAU (unidad de acceso aleatorio, Random Access Unit).

Hay dos tipos de imágenes I en MPEG-4 AVC. Éstas son un refresco de descodificador instantáneo (IDR, Instantaneous Decoder Refresh) y el resto. Una imagen IDR es la imagen I que puede descodificar todas las imágenes posteriores a la imagen IDR en un orden de descodificación sin hacer referencia a las imágenes anteriores a la imagen IDR en el orden de descodificación. Una imagen IDR se corresponde con la primera imagen I de un GOP cerrado MPEG-2. En el caso de una imagen I que no sea una imagen IDR, una imagen posterior a la imagen I en el orden de descodificación puede hacer referencia a una imagen anterior a la imagen I en el orden de descodificación. Además, es posible formar una estructura tal como un GOP abierto en MPEG-2 colocando una imagen I que no sea una imagen IDR al principio de una unidad de acceso aleatorio RAU y limitando la estructura de imágenes predictiva de la unidad de acceso aleatorio RAU.

La fig. 5 es un ejemplo de una estructura de predicción de imágenes de un flujo MPEG-4 AVC.

Puesto que MPEG-4 AVC permite estructuras de predicción flexibles, la imagen P2 puede hacer referencia a la imagen I8, por ejemplo. En el ejemplo de la fig. 5, puesto que la visualización se inicia después de la imagen I8 y la imagen P2 se descodifica primero, el retardo de trama pasa a ser de dos tramas. Puesto que las estructuras de predicción son flexibles de esta manera, los retardos de trama no están limitados a un máximo como en el caso de MPEG-2. Esto significa que los retardos de trama son variables dependiendo de las estructuras de predicción. Por lo tanto, es imposible realizar una reproducción bajo la condición de que los retardos de trama se fijen en una trama.

Los medios por paquetes tales como los DVD tienen una función de reproducción especial tal como (i) una reproducción en la que partes particulares del mismo flujo se reproducen de manera selectiva o en la que diferentes flujos pueden reproducirse de manera continua y (ii) una reproducción multiángulo en la que la reproducción se realiza cambiando flujos con un ángulo diferente. La unidad básica para usar una función de este tipo es un GOP de MPEG-2 y una unidad de acceso aleatorio RAU de MPEG-4 AVC.

Las figs. 6A a 6C muestran un ejemplo de cambios de flujos que se reproducen en MPEG-2. Las figs. 6A a 6C muestran respectivamente los GOP incluidos en los flujos 1, 2 y 3. En este caso, los flujos que van a reproducirse cambian desde el flujo 1 al flujo 2 descodificando GOP 2-1 después de GOP 1-1. Esto hace posible realizar la reproducción a una velocidad fija sin permitir que se produzca una interrupción en el tiempo de visualización ya que las cantidades de retardo de trama son de una trama tanto en el GOP1-1 como en el GOP2-1. Asimismo, es posible cambiar desde el flujo 1 al flujo 3 descodificando GOP3-1 después de GOP1-1.

De manera convencional, se han propuesto diversas técnicas, como las descritas anteriormente, relacionadas con la codificación, multiplexación, descodificación y desmultiplexación de imágenes en movimiento. (Por ejemplo, se hace referencia a la publicación de solicitud de patente japonesa abierta a consulta por el público número 2003-18549).

La fig. 7 es un diagrama de flujo que muestra el funcionamiento de un aparato de multiplexación convencional para codificar y multiplexar datos de imágenes en movimiento.

Primero, en la etapa 101 y en la etapa 102, el aparato de multiplexación codifica uno o más flujos. A continuación, en la etapa 103, genera información de gestión y después avanza hasta la etapa 104. La información de gestión incluye la información para acceder al flujo generado en la etapa 101, información que indica los datos que van a reproducirse en el momento de una reproducción especial tal como una reproducción multiángulo o similar. Después, en la etapa 104, multiplexa la información de gestión con datos de flujo y transmite los datos multiplexados.

La fig. 8 es un diagrama de bloques que muestra la estructura de un aparato de multiplexación convencional.

El aparato 800 de multiplexación incluye una unidad 11 de codificación, una memoria 12, una unidad 13 de generación de información de gestión y una unidad 14 de multiplexación.

La unidad 11 de codificación codifica los datos de imagen en movimiento introducidos Ventrada y almacena los datos codificados FlujEntrada en la memoria 12.

La unidad 13 de generación de información de gestión lee los datos codificados de la memoria 12 como datos leídos FlujSalida 1, genera base de información de gestión y transmite la base de información de gestión a la unidad 14 de multiplexación. Obsérvese que la base de información de gestión no incluye la información relacionada con los retardos de las trama.

La unidad 14 de multiplexación multiplexa (i) la base de información de gestión, (ii) los datos leídos FljSalida 2 que se han leído de la memoria 12 e (iii) información adicional InfAd tal como información de configuración que ha establecido el usuario y que se obtiene por separado con respecto al flujo, y después transmite los datos multiplexados DatMux. En este caso, la información adicional InfAd puede no utilizarse si no fuera necesario. Además, los datos leídos FljSalida 2 pueden empaquetarse usando un esquema tal como los flujos de transporte (TS, Transport Streams) o los flujos de programa (PS, Program Streams) de MPEG-2, u otro esquema predeterminado por la aplicación, y después se multiplexan. Por ejemplo, en la norma del disco Blu-ray (BD, Blu-ray disc), los datos leídos FljSalida 2 se multiplexan usando un esquema en el que se añade una cabecera de 4 bytes a paquetes TS de MPEG-2 denominados paquetes fuente, y después se almacenan.

La fig. 9A muestra un ejemplo estructural de los datos multiplexados transmitidos desde el aparato 800 de multiplexación.

Tal y como se muestra en la fig. 9A, la información de gestión y uno o más flujos codificados están almacenados en los datos multiplexados. Además, tratar cada flujo como uno o más fragmentos hace posible realizar diversos procedimientos de reproducción tales como la reproducción resumida (digest playback) y la reproducción multiángulo. En este caso, un fragmento muestra una imagen o una secuencia de imágenes de una unidad de acceso aleatorio RAU o una secuencia de unidades de acceso aleatorio RAU del mismo flujo, y el fragmento y el flujo pueden ser el mismo. Las figs. 9B y 9C muestran ejemplos de reproducción. Específicamente, la fig. 9B muestra un ejemplo de reproducción multiángulo. Si el flujo 1 y el flujo N almacenan respectivamente vídeo en un ángulo diferente, es posible reproducir el fragmento N-2 del flujo N cambiando los ángulos después del fragmento 1-1 del flujo 1 y volver a la reproducción del flujo 1 después de finalizar la reproducción del fragmento N-2. La fig. 9C muestra un ejemplo de reproducción resumida. Es posible, por ejemplo, reproducir escenas típicas reproduciendo de manera selectiva el fragmento 1-1 y el fragmento 1-M del flujo 1.

La fig. 10 es un diagrama de flujo que muestra el funcionamiento de un aparato de desmultiplexación convencional que desmultiplexa los datos multiplexados para obtener los datos codificados y que reproduce los datos codificados.

Primero, en la etapa S201, el aparato de desmultiplexación desmultiplexa los datos multiplexados para obtener información de gestión, obtiene la información relacionada con uno o más fragmentos que van a reproducirse y después avanza hasta la etapa 204. La información relacionada con los fragmentos incluye el tiempo de inicio o el tiempo de finalización de los fragmentos, información de acceso utilizada para acceder a los datos codificados de los fragmentos, etc. En la etapa 204 y en la etapa 205, el aparato de desmultiplexación descodifica y visualiza imágenes de los fragmentos hasta las últimas imágenes de los fragmentos. En este caso, si una instrucción que indica la finalización de la reproducción se genera mediante una acción del usuario o de manera similar, la reproducción finaliza cuando la instrucción se hace válida.

La fig. 11 es un diagrama de bloques que muestra la estructura de un aparato 900 de desmultiplexación convencional.

El aparato 900 de desmultiplexación incluye una unidad 21 de desmultiplexación de información de gestión, una unidad 22 de análisis de información de fragmento, una unidad 24 de descodificación y una unidad 26 de visualización.

La unidad 21 de desmultiplexación de información de gestión lee los datos multiplexados DatMux de un medio de grabación de datos multiplexados, tal como un disco óptico, analiza la información de gestión y determina los fragmentos que van a reproducirse según la instrucción de usuario o según un procedimiento predeterminado. Después, la unidad 21 de desmultiplexación de información de gestión transmite, a la unidad 22 de análisis de información de fragmento, la información de fragmento Fragmento que es la información relacionada con determinados fragmentos.

La unidad 22 de análisis de información de fragmento transmite, a la unidad 24 de descodificación, información de acceso acs usada para acceder a las imágenes que constituyen los fragmentos. Por otro lado, la unidad 24 de descodificación lee los datos de vídeo DatV del medio de grabación de datos multiplexados basándose en la información de acceso acs, descodifica los datos leídos y transmite el resultado de la descodificación SalidaDesc a la unidad 26 de visualización. La unidad 26 de visualización visualiza los resultados de la descodificación en el orden de visualización.

MPEG-4 AVC permite estructuras de predicción flexibles y, por tanto, los retardos de trama de los fragmentos son variables. Puesto que un aparato de desmultiplexación convencional cambia los fragmentos sin considerar los retardos de trama de los fragmentos, se produce una interrupción en un intervalo de visualización de imágenes en el momento de cambiar los fragmentos con un retardo de trama diferente.

Las figs. 12A a 12C muestran un ejemplo de cambiar desde el fragmento con un retardo de una trama hasta la trama con un retardo de dos tramas.

La fig. 12A muestra la unidad de acceso aleatorio RAU1-1 del flujo 1 con un retardo de una trama, mientras que la fig. 12B muestra la unidad de acceso aleatorio RAU2-1 del flujo 2 con un retardo de dos tramas. En este caso, la fig. 12C muestra la secuencia en el tiempo de la descodificación y la visualización en el momento de reproducir la RAU2-1 después de la RAU1-1.

Puesto que el retardo de trama de la RAU1-1 es de una trama, cuando se visualiza la imagen P15, que es la última en el orden de descodificación de la RAU1-1, se descodifica la imagen I8, que es la primera imagen de la RAU2-1. Sin embargo, puesto que el retardo de trama de la RAU2-1 es de dos tramas, cuando se descodifica la imagen P2, que es la segunda imagen en el orden de descodificación, todavía no ha empezado la visualización de las imágenes de la RAU2-1. Por lo tanto, no se visualiza ninguna imagen cuando se descodifica la imagen P2. Por consiguiente, se produce una interrupción en el intervalo de visualización entre la imagen P15 y la imagen B0.

Asimismo, en el caso de reproducir la unidad de acceso aleatorio RAU1-1 después de la unidad de acceso aleatorio RAU2-1, se produce una interrupción en el intervalo de descodificación que visualiza las imágenes de manera continua. Dicho de otro modo, se produce un solapamiento en el intervalo de visualización. En lo sucesivo, una interrupción en el orden de visualización significa una discontinuidad en una conexión que se produce en los casos en los que aumenta y disminuye la cantidad de retardo de trama en una conexión.

El documento US 6.049.569 desvela un procedimiento para codificar un flujo de bits de vídeo digital que incluye una pluralidad de imágenes codificadas de manera sucesiva. El procedimiento incluye las etapas de generar un punto de entrada sin interrupciones según una regla expresada como dd_{f-lp} \leq mínimo {DD_{thr-ip}, (B_{d}/r_{n-ip})}, donde dd_{f-lp} representa la cantidad de tiempo que un primer byte del flujo de bits de vídeo digital después del punto de entrada sin interrupciones debe permanecer en una memoria intermedia de descodificador antes de descodificarse; B_{d} es el tamaño de la memoria intermedia de descodificador; r_{n-ip} es la velocidad binaria a la que el flujo de bits de vídeo digital se codifica normalmente en el punto de entrada sin interrupciones; y DD_{thr-ip} representa un umbral de retardo de descodificación mínimo preestablecido para los puntos de entrada sin interrupciones, donde DD_{thr-ip} se define como DD_{thr-ip} = ((MSR/r_{n-ip})*SDD) + T_{p-l}*(1-(MSR/r_{n-ip}), donde T_{p-l} es un tiempo necesario para visualizar una imagen que empieza a visualizarse en el momento de descodificar la última imagen antes del punto de entrada sin interrupciones; SDD es un retardo de descodificación de unión preestablecido; y MSR es una velocidad de unión máxima preestablecida; y de insertar posteriormente el punto de entrada sin interrupciones en un primer punto del flujo de bits de vídeo digital en el que otro flujo de bits de vídeo digital puede unirse al flujo de bits de vídeo digital. El procedimiento también incluye las etapas de generar un punto de salida sin interrupciones según una regla expresada como DD_{thr-op} \leq dd_{f-op} \leq (B_{d}/r_{n-op}), donde dd_{f-op} representa la cantidad de tiempo que un primer byte del flujo de bits de vídeo digital después del punto de salida sin interrupciones debe permanecer en una memoria intermedia de descodificador antes de descodificarse; r_{n-op} es la velocidad binaria a la que se codifica normalmente el flujo de bits de vídeo digital en el punto de salida sin interrupciones; y DD_{thr-op} representa un umbral de retardo de descodificación mínimo preestablecido para puntos de salida sin interrupciones, donde DD_{thr-op} se define como DD_{thr-op} = ((MSR/r_{n-op})*SDD)-T_{p-o}*((MSR/r_{n-op})-1), donde T_{p-o} es un tiempo necesario para visualizar una imagen que empieza a visualizarse en el momento de descodificar la última imagen antes del punto de salida sin interrupciones; y de insertar posteriormente el punto de salida sin interrup-
ciones en un primer punto del flujo de bits de vídeo digital en el que puede unirse a otro flujo de bits de vídeo digital.

Tal y como se ha descrito hasta ahora, los aparatos de multiplexación y de desmultiplexación convencionales tienen el problema de que un usuario que ve una imagen en movimiento no queda satisfecho debido a que el aparato de desmultiplexación convencional no puede visualizar las imágenes correspondientes a la parte en la que se cambian fragmentos con un retardo de trama diferente, manteniendo una trama fija.

La presente invención tiene como finalidad resolver el problema descrito anteriormente. Un objeto de la presente invención es proporcionar un aparato de multiplexación para multiplexar el flujo codificado con otra información para generar datos multiplexados y un aparato de desmultiplexación para desmultiplexar los datos multiplexados para reproducir el flujo codificado de manera que el usuario quede satisfecho incluso en el momento de realizar cualquier reproducción especial tal como una reproducción multiángulo.

Descripción de la invención

Para conseguir el objeto descrito anteriormente, se proporciona el aparato de multiplexación, de la presente invención, definido en la reivindicación 1.

De esta manera, se generan flujos codificados de manera que las cantidades de retardo (retardos de trama) de dos unidades de acceso (tales como fragmentos) sobre las que se realiza una reproducción especial sean iguales entre sí. Por lo tanto, no se produce ninguna interrupción en la conexión de estas unidades de acceso cuando estas unidades de acceso se descodifican en secuencia. Dicho de otro modo, estas unidades de acceso están conectadas entre sí sin interrupciones en el momento de una reproducción especial. Esto significa que las velocidades de trama se vuelven invariables. Por consiguiente, es posible que un usuario que vea una imagen en movimiento formada por estas unidades de acceso quede satisfecho. En este caso, por ejemplo, los flujos codificados se generan de manera que las cantidades de retardo de estas dos unidades de acceso se ajusten a cantidades de retardo predeterminadas si las cantidades de retardo se predeterminan según la norma de funcionamiento de un programa de aplicación.

De esta manera, el aparato de desmultiplexación puede obtener fácilmente las cantidades de retardo de estas dos unidades de acceso a través de la información de retardo si la información de retardo (información de retardo de trama) indica cantidades de retardo. Además, el aparato de desmultiplexación puede obtener fácilmente las cantidades de retardo de estas dos unidades de acceso si un indicador, como información de retardo, indica que las cantidades de retardo de estas dos unidades de acceso son iguales entre sí. Por consiguiente, es posible hacer que el aparato de desmultiplexación realice un proceso de desmultiplexación más adecuado.

Además, en el segundo aspecto de la presente invención, la unidad de codificación puede generar los flujos codificados de manera que no se produzca ninguna interrupción en una conexión de las dos unidades de acceso en todas las unidades de acceso incluidas en los flujos codificados, siendo la conexión un punto de cambio de ángulos.

Puesto que estas dos unidades de acceso tienen un ángulo diferente, no se produce ninguna interrupción en la conexión de estas unidades de acceso cuando estas unidades de acceso se descodifican en secuencia como en el caso descrito anteriormente. Dicho de otro modo, estas unidades de acceso se conectan de una manera multiángulo y sin interrupciones. Esto significa que las velocidades de trama son invariables. Por consiguiente, es posible que un usuario que vea una imagen en movimiento formada por estas unidades de acceso quede satisfecho.

Además, con el fin de conseguir el objeto descrito anteriormente, el aparato de desmultiplexación de la presente invención desmultiplexa datos multiplexados, incluyendo los datos multiplexados: (i) flujos codificados que incluyen imágenes codificadas en una unidad de una unidad de acceso accesible de manera aleatoria; y (ii) información de retardo relacionada con las cantidades de retardo de dos unidades de acceso predeterminadas de todas las unidades de acceso, siendo cada cantidad de retardo un retardo de tiempo desde cuando una primera imagen se descodifica en un orden de descodificación hasta cuando una primera imagen se visualiza en un orden de visualización, e incluyendo el aparato de desmultiplexación: una unidad de desmultiplexación de información de retardo para desmultiplexar los datos multiplexados para obtener la información de retardo; y una unidad de reproducción para descodificar y reproducir las unidades de acceso en secuencia según la información de retardo obtenida cuando la unidad de desmultiplexación de información de retardo haya desmultiplexado los datos multiplexados.

En un caso de ejemplo en el que los flujos codificados se generan de manera que las cantidades de retardo de estas dos unidades de acceso (tales como fragmentos) sobre las que se realiza una reproducción especial, es posible descodificar y reproducir estas dos unidades de acceso en secuencia sin permitir que se produzca una interrupción en la conexión de estas dos unidades de acceso en el momento de una reproducción especial. Dicho de otro modo, es posible conectar estas unidades de acceso sin interrupciones. Esto significa que es posible hacer invariables las velocidades de trama. Por consiguiente, también es posible que un usuario que vea la imagen en movimiento formada por estas unidades de acceso quede satisfecho. Además, en un caso de ejemplo en el que las cantidades de retardo se indican mediante la información de retardo (información de retardo de trama), es posible obtener fácilmente las cantidades de retardo de estas dos unidades de acceso a través de la información de retardo. Además, si la información de retardo se indica usando un indicador, es posible obtener fácilmente la información que indica que las cantidades de retardo de estas dos unidades de acceso son iguales entre sí. Por consiguiente, es posible realizar un procesamiento de desmultiplexación más adecuado.

Además, con el fin de conseguir el objeto descrito anteriormente, en el procedimiento de multiplexación de la presente invención, se codifica una imagen en movimiento y la imagen en movimiento codificada se multiplexa con información de gestión, incluyendo el procedimiento de multiplexación las características definidas en la reivindicación 4.

Además, la información de gestión puede incluir los retardos de trama de los flujos codificados.

Además, la información de gestión puede incluir el valor máximo de los retardos de trama de los flujos codificados.

Además, la información de gestión puede incluir los retardos de trama iguales como retardos de trama comunes en los flujos codificados cuando los retardos de trama son iguales entre sí.

Además, la información de gestión puede incluir los retardos de trama basándose en una unidad de reproducción formada por estas unidades de acceso aleatorio.

Además, el procedimiento de desmultiplexación de la presente invención es el procedimiento de desmultiplexación para desmultiplexar los datos multiplexados según el procedimiento de multiplexación y para reproducir los datos desmultiplexados resultantes. El procedimiento de desmultiplexación incluye: obtener los retardos de trama de los flujos codificados a los que pertenecen estas unidades de acceso de aleatorio que van a reproducirse; determinar los retardos de trama en el momento de la reproducción según los retardos de trama obtenidos; y reproducir las imágenes incluidas en estas unidades de acceso aleatorio según los retardos de trama determinados.

Además, durante la determinación de los retardos de trama, estas unidades de acceso aleatorio que siguen a la unidad de acceso aleatorio actual pueden reproducirse con los retardos de trama iguales al retardo de trama de la unidad de acceso aleatorio que acaba de reproducirse como la unidad de acceso aleatorio actual.

Obsérvese que la presente invención puede realizarse no solo como el aparato de multiplexación, el aparato de desmultiplexación, el procedimiento de multiplexación y el procedimiento de desmultiplexación que se han descrito anteriormente, sino también como un programa para el aparato de multiplexación y el aparato de desmultiplexación, un medio de grabación para almacenar el programa y los datos multiplexados generados por el aparato multiplexado.

Hasta este momento, puesto que la presente invención hace posible garantizar una visualización con una velocidad de trama fija incluso durante una reproducción especial, es posible hacer que un usuario quede satisfecho. Especialmente, la presente invención hace posible mejorar la calidad de reproducción de un medio por paquetes y, por lo tanto, es sumamente práctica.

Información adicional acerca de los antecedentes técnicos de esta solicitud

La descripción de la solicitud de patente japonesa número 2004-165030 presentada el 2 de junio de 2004, incluyendo su memoria descriptiva, dibujos y reivindicaciones, se incorpora en su totalidad en este documento como referencia.

Breve descripción de los dibujos

Estos y otros objetos, ventajas y características de la invención se harán evidentes a partir de la siguiente descripción de la misma tomada junto con los dibujos adjuntos que ilustran una realización específica de la invención. En los dibujos:

las figs. 1A y 1B son ilustraciones de la estructura de un flujo MPEG-2;

las figs. 2A y 2B son ilustraciones de las estructuras de un GOP de un flujo MPEG-2;

las figs. 3A y 3B son ilustraciones de retardos de trama en flujos MPEG-2;

la fig. 4 es un diagrama que muestra la estructura de un flujo MPEG-4 AVC;

la fig. 5 es un diagrama que muestra un ejemplo de una estructura de predicción del flujo MPEG-4 AVC;

las figs. 6A a 6C son diagramas que muestran ejemplos de cómo se cambian fragmentos en los flujos MPEG-4 AVC;

la fig. 7 es un diagrama de flujo que muestra el funcionamiento de un aparato de multiplexación convencional;

la fig. 8 es un diagrama de bloques que muestra la estructura del aparato de multiplexación convencional;

las figs. 9A a 9C son diagramas que muestran ejemplos de estructuras de los datos transmitidos desde el aparato de multiplexación convencional;

la fig. 10 es un diagrama de flujo que muestra el funcionamiento del aparato de multiplexación convencional;

la fig. 11 es un diagrama de bloques que muestra la estructura del aparato de multiplexación convencional;

las figs. 12A a 12C son diagramas que muestran ejemplos de los problemas que se producen en el momento de reproducir los datos multiplexados transmitidos por el aparato de multiplexación convencional;

la fig. 13 es un diagrama de flujo que muestra el funcionamiento del aparato de multiplexación en una primera realización de la presente invención;

la fig. 14 es un diagrama de bloques que muestra el aparato de multiplexación en la primera realización de la presente invención;

las figs. 15A a 15E son diagramas que muestran ejemplos de estructuras de datos transmitidas por el aparato de multiplexación en la primera realización de la presente invención;

la fig. 16 es un diagrama de flujo que muestra el funcionamiento del aparato de multiplexación en una segunda realización de la presente invención;

la fig. 17 es un diagrama de bloques del aparato de multiplexación en la segunda realización de la presente invención;

la fig. 18 es un diagrama de flujo que muestra el funcionamiento del aparato de desmultiplexación en una tercera realización de la presente invención;

la fig. 19 es un diagrama de flujo que muestra el funcionamiento del aparato de desmultiplexación en el momento de determinar un retardo de trama durante la reproducción en la tercera realización de la presente invención;

las figs. 20A a 20D son diagramas que muestran los ejemplos de funcionamiento del aparato de desmultiplexación en el momento de determinar un retardo de trama durante la reproducción en la tercera realización de la presente invención;

la fig. 21 es un diagrama de bloques que muestra el aparato de desmultiplexación en la tercera realización de la presente invención;

la fig. 22 es un diagrama que muestra la jerarquía de datos de un HD-DVD;

la fig. 23 es un diagrama que muestra la estructura del espacio lógico de un HD-DVD;

la fig. 24 es un diagrama que muestra la estructura de un archivo de información VOB;

la fig. 25 es una ilustración de un mapa de tiempos;

la fig. 26 es un diagrama que muestra la estructura de un archivo de lista de reproducción;

la fig. 27 es un diagrama que muestra la estructura de un archivo de programa correspondiente a una lista de reproducción;

la fig. 28 es un diagrama que muestra la estructura de un archivo de información de gestión de un disco BD;

la fig. 29 es un diagrama que muestra la estructura de un archivo de programa para grabar un manejador de eventos globales;

la fig. 30 es un diagrama de bloques que muestra la estructura de diseño de un reproductor HD-DVD; y

las figs. 31A y 31B son ilustraciones que muestran la estructura de un medio de grabación sobre el que se graba el programa que realiza el procedimiento de multiplexación y el procedimiento de desmultiplexación de la presente invención; y

la fig. 31C es una ilustración de la estructura para grabar y reproducir el programa del disco flexible.

\vskip1.000000\baselineskip

Mejor modo de llevar a cabo la invención

A continuación se describirán realizaciones de la presente invención con referencia a las figuras.

Primera realización

La fig. 13 es un diagrama de flujo que muestra el funcionamiento del aparato de multiplexación en una primera realización de la presente invención. El aparato de multiplexación transmite datos multiplexados que pueden indicar información de retardo de trama del flujo codificado que va a almacenarse en los datos multiplexados.

Primero, en la etapa 301, el aparato de multiplexación genera flujos codificados MPEG-4 AVC. En la etapa 302, obtiene retardos de trama del flujo codificado generado en la etapa 301 y avanza hasta la etapa 303. En la etapa 303, considera si ya se han generado o no todos los flujos codificados que van a almacenarse en los datos multiplexados y repite el procesamiento de la etapa 301 y de la etapa 302 hasta que se hayan generado todos los flujos codificados. En la etapa 304, genera información de retardo de trama que ha de almacenarse como información de gestión de datos multiplexados y avanza hasta la etapa 305. En la etapa 305 genera información de gestión que indica información de retardo de trama además de la información generada por un aparato de multiplexación convencional. Por último, en la etapa 306, multiplexa los flujos codificados generados en la etapa 301 con la información de gestión generada en la etapa 305 y después transmite los datos multiplexados.

La fig. 14 es un diagrama de bloques que muestra la estructura del aparato de multiplexación en la primera realización de la presente invención.

El aparato 100A de multiplexación incluye una unidad 15 de codificación, una memoria 12, una unidad 16 de generación de información de gestión, una unidad 17 de obtención de retardo de trama y una unidad 18 de multiplexación.

Obsérvese que a los componentes descritos anteriormente del aparato 100A de multiplexación de esta realización se les asignan los mismos números de referencia que los componentes del aparato de multiplexación convencional de la figura 8 y tales componentes no se describirán de nuevo.

La unidad 15 de codificación codifica los datos de imagen en movimiento introducidos Ventrada y almacena los datos codificados FljEntrada resultantes en la memoria 12. Además transmite, a la unidad 17 de obtención de retardo de trama, el retardo de trama RtdTrm de los datos codificados FljEntrada.

La unidad 17 de obtención de retardo de trama genera información de retardo InfRtd que ha de almacenarse en la información de gestión como información de retardo de trama y después la transmite a la unidad 16 de generación de información de gestión.

La unidad 16 de generación de información de gestión genera base de información de gestión basándose en el resultado del análisis de los datos codificados FljEntrada leídos de la memoria 12 como datos leídos FljSalida 1 y en la información de retardo InfRtd y después la transmite a la unidad 18 de multiplexación.

\newpage

La unidad 18 de multiplexación multiplexa la base de información de gestión, los datos leídos FljSalida 2 leídos de la memoria 12 y la información adicional InfAd, que es información de configuración del usuario que se obtiene por separado con respecto a los datos codificados, y después transmite los datos multiplexados DatMux. Obsérvese que el retardo de trama en el momento de la codificación puede limitarse a un valor predeterminado o inferior, estableciendo la unidad 15 de codificación el retardo de trama.

Las figs. 15A a 15E muestran un ejemplo estructural de los datos multiplexados transmitidos por el aparato 100A de multiplexación.

Los datos multiplexados muestran información de retardo de trama de fragmentos que van a almacenarse en los datos multiplexados tal como muestra la fig. 15A. En este caso, se almacenan N números de fragmentos en los datos multiplexados y los retardos de trama van desde el retardo 1 hasta el retardo N. Obsérvese que los fragmentos respectivos pueden ser la unidad que indica diferentes zonas del mismo flujo codificado o pueden ser los fragmentos que pertenecen a diferentes flujos codificados.

Las figs. 15B a 15D muestran ejemplos de información de retardo de trama. La fig 15B almacena retardos de trama de fragmentos respectivos como información de tabla. La fig. 15C muestra el valor máximo de retardos de trama de los fragmentos. Como valor máximo puede mostrarse el valor máximo entre los retardos de trama de todos los fragmentos que van a almacenarse en los datos multiplexados o puede mostrarse, según una lista de reproducción, el valor máximo entre los retardos de trama de los fragmentos que van a reproducirse en secuencia. Además, un valor predeterminado puede mostrarse como el valor máximo. La fig. 15D muestra el valor de retardo de trama que va a usarse de manera común entre los respectivos fragmentos. Si los retardos de trama de los respectivos fragmentos son variables, pueden mostrarse estos valores. Además, si los retardos de trama de los respectivos fragmentos son invariables, pueden mostrarse retardos de trama usados en el momento de la reproducción. La fig. 15E muestra si los retardos de trama de los fragmentos son iguales entre sí o no. Por ejemplo, se almacena la información de indicador que indica si estos retardos de trama son iguales entre sí o no. Obsérvese que la información mostrada en las figs. 15B a 15D puede usarse de manera combinada.

Obsérvese que puede mostrarse la información de retardo de trama relacionada solamente con fragmentos particulares. En primer lugar, es posible mostrar la información de retardo de trama relacionada con fragmentos que van a usarse para una reproducción multiángulo o para una reproducción resumida según el procedimiento de reproducción de los fragmentos. Además, es posible establecer el retardo de trama según el atributo de la primera unidad de acceso aleatorio de un fragmento. Por ejemplo, si se define que se cambien los ángulos en una imagen IDR, puede mostrarse información de retardo de trama relacionada solamente con un fragmento cuya primera unidad de acceso aleatorio sea una imagen IDR. Además, la información de retardo de trama solo puede mostrarse en el caso de una reproducción resumida en la que se garantice que los fragmentos estén conectados entre sí sin interrupciones.

Además, la información de retardo de trama de los flujos codificados que van a almacenarse en los datos multiplexados puede mostrarse sin mostrar directamente la información de retardo de trama de los respectivos fragmentos. En este momento, es posible mostrar retardos de trama de los respectivos fragmentos asociando el flujo codificado al que pertenece cada fragmento con la información que indica los retardos de trama del flujo codificado. Este procedimiento puede usarse tanto (i) si los retardos de trama de los respectivos fragmentos del mismo flujo codificado son invariables y (ii) si se muestra el valor máximo de los retardos de trama de los fragmentos incluidos en el mismo flujo codificado.

En caso de usar una norma de aplicación, tal como el disco Blu-Ray (BD) o un (HD)-DVD de alta definición, para la que se define que los retardos de trama deberían ser iguales entre sí o para la que se define el valor máximo o un valor predeterminado entre retardos de trama, debería observarse que los retardos de trama pueden no almacenarse como información de gestión porque una norma de aplicación de este tipo muestra la información relacionada con los retardos de trama.

Además, en caso de recibir datos multiplexados a través de un red usando un protocolo tal como el protocolo TS o el protocolo de transmisión en tiempo real (RTP, Real-time Transmission Protocol), la información de retardo de trama puede obtenerse como información de control de reproducción. Por ejemplo, en caso de usar el protocolo de descripción de sesión (SDP, Session Description Protocol) en el momento de notificar a un terminal de reproducción la información de control de reproducción, es posible describir la información de retardo de trama en el SDP. Además, los retardos de trama pueden notificarse al terminal de reproducción indicando la información de retardo de trama en un lenguaje de descripción de escenas tal como el lenguaje de integración de multimedia sincronizada (SMIL, Synchronized Multimedia Integration Language).

Además, la información de retardo de trama puede indicarse con relación a cada acceso aleatorio. Además, la información de retardo de trama puede indicarse en el flujo codificado, por ejemplo, añadiéndola a la primera imagen de una unidad de acceso aleatorio RAU.

La información de retardo de trama se indica mediante la información de gestión de los datos multiplexados que van a transmitirse por el aparato de multiplexación de esta manera. Por lo tanto, ajustando los retardos de trama en el momento de reproducir los datos de multiplexación es posible reproducir el flujo codificado sin permitir que se produzca una interrupción en la visualización en el momento de cambiar los fragmentos.

Segunda realización

La fig. 16 es un diagrama de flujo que muestra el funcionamiento del aparato de multiplexación en una segunda realización de la presente invención.

Primero, en la etapa 401, el aparato de multiplexación establece el valor del retardo de trama usado de manera común en el flujo codificado que va a almacenarse en los datos multiplexados. En la etapa 402, genera flujos codificados MPEG-4 AVC basándose en el retardo de trama que se ha establecido en la etapa 401. En la etapa 403, considera si ya se han generado todos los flujos codificados que van a almacenarse en los datos multiplexados y repite el procesamiento de la etapa 402 hasta que todos los flujos codificados estén codificados. En la etapa 404, genera información de retardo de trama que ha de almacenarse como información de gestión de los datos multiplexados y después avanza hasta la etapa 405. En la etapa 405 genera información de gestión que indica información de retardo de trama además de la información generada por el aparato de multiplexación convencional. Por último, en la etapa 406, multiplexa los flujos codificados generados en la etapa 401 y la información de gestión generada en la etapa 405 y después transmite los datos multiplexados resultantes.

La fig. 17 es un diagrama de bloques que muestra la estructura del aparato de multiplexación en la segunda realización de la presente invención.

El aparato 100B de multiplexación incluye una unidad 41 de determinación de retardo de trama, una unidad 42 de codificación, una memoria 12, una unidad 16 de generación de información de gestión y una unidad 18 de multiplexación.

Obsérvese que a los componentes descritos anteriormente del aparato 100B de multiplexación de esta realización se les asignan los mismos números de referencia que los componentes de aparato de multiplexación convencional de la figura 8, y tales componentes no se describirán de nuevo.

La unidad 41 de determinación de retardo de trama determina el retardo de trama del flujo codificado y transmite información de retardo InfRtd a la unidad 42 de codificación y a la unidad 16 de generación de información de gestión. El retardo de trama determinado en este caso puede ser el valor predeterminado por una norma de aplicación o puede establecerse para el aparato de multiplexación o por un usuario.

La unidad 42 de codificación codifica los datos de imagen en movimiento introducidos Ventrada basándose en el retardo de trama indicado por la información de retardo InfRtd y después almacena los datos codificados FljEntrada en la memoria 12. Dicho de otro modo, la unidad 42 de codificación como ésta genera uno o más datos codificados FljEntrada haciendo que los retardos de trama en una unidad de una unidad de acceso aleatorio sean iguales entre sí de manera que no se produzca ninguna interrupción en la conexión de estas unidades de acceso cuando dos unidades de acceso particulares, que son unidades de acceso (datos codificados o fragmentos) incluidas en uno o más datos codificados FljEntrada, se descodifiquen en secuencia. Obsérvese que impedir que se produzca una interrupción en la conexión de estas unidades de acceso en el momento de la descodificación significa impedir que se produzca una interrupción en un intervalo de visualización de imágenes e impedir que se produzca un solapamiento en un intervalo de descodificación de imágenes.

La unidad 16 de generación de información de gestión genera base de información de gestión basándose en el resultado del análisis de los datos codificados FljSalida1 leídos de la memoria 12 y en la información de retardo InfRtd, y después transmite la base de información de gestión a la unidad 18 de multiplexación.

La unidad 18 de multiplexación multiplexa (i) base de gestión, (ii) datos leídos FljSalida2 que se han leído de la memoria 12 e (iii) información adicional InfAd, tal como información de configuración de un usuario que se obtiene por separado con respecto a los datos codificados, y después transmite los datos multiplexados DatMux resultantes.

Obsérvese que si el retardo de trama se define previamente por una norma de aplicación o similar, el aparato 100B de multiplexación puede tener una estructura que excluya a la unidad 41 de determinación de retardo de trama, y la unidad 42 de codificación puede realizar un procesamiento de codificación basándose, en cambio, en un retardo de trama fijo. Bajo la condición de que los retardos de trama sean invariables en un flujo codificado, es posible determinar un retardo de trama en el momento de la reproducción sin que la información de gestión incluya información de retardo de trama. Por lo tanto, no es necesario indicar siempre la información de retardo de trama en la información de gestión.

Puesto que los retardos de trama del flujo codificado que va a almacenarse en los datos multiplexados son invariables de esta manera en el caso de datos multiplexados transmitidos por el aparato de multiplexación, los retardos de trama de los respectivos fragmentos también son invariables. Por lo tanto, es posible reproducir flujos codificados sin interrupciones en la visualización sin ajustar los retardos de trama en el momento de empezar la reproducción incluso si se cambian los fragmentos.

Obsérvese que puede usarse un esquema de codificación diferente al MPEG-4 AVC en las realizaciones descritas anteriormente siempre que defina que los retardos de trama sean variables.

Además, los retardos de trama de estas unidades de acceso aleatorio (flujos codificados o fragmentos) que van a reproducirse en secuencia en una conexión sin interrupciones o en una reproducción multiángulo sin interrupciones pueden hacerse invariables. En este caso, conexión sin interrupciones significa conectar fragmentos incluidos en el mismo flujo o en flujos diferentes sin interrupciones. Además, reproducción multiángulo sin interrupciones significa conectar fragmentos, cuyos ángulos son diferentes entre sí, incluidos en los flujos codificados y cambiar estos ángulos. Por ejemplo, la reproducción puede realizarse usando un ángulo durante el periodo de tiempo desde el momento de inicio hasta el segundo 30 y seleccionando diversos ángulos durante el periodo de tiempo desde el segundo 30 hasta el segundo 60. En este momento, cada uno de los fragmentos que muestra un ángulo diferente tiene el mismo retardo de trama. Además, el retardo de trama por ángulo puede hacerse invariable independientemente de que sea posible realizar una reproducción multiángulo sin interrupciones. Esto se debe a que la calidad de reproducción no se vuelve invariable si los retardos de trama varían en una unidad de un ángulo en el momento de la reproducción multiángulo. Obsérvese que tal conexión sin interrupciones o que tal reproducción multiángulo sin interrupciones puede realizarse en los flujos codificados.

Obsérvese que puede requerirse que cada unidad de acceso usada en una conexión sin interrupciones o en una reproducción multiángulo satisfaga la siguiente condición: una imagen arbitraria de una primera unidad de acceso puede descodificarse sin la referencia a una imagen de una segunda unidad de acceso descodifica antes que la primera unidad de acceso. Una unidad de acceso como ésta se corresponde con un GOP cerrado de MPGEG-2 o con una unidad de acceso aleatorio RAU que empieza con una imagen IDR en MPEG-4 AVC. Por lo tanto, pueden hacerse invariable los retardos de trama de las unidades de acceso cuyas imágenes constituyentes puedan descodificarse haciendo referencia a una imagen dentro de las mismas unidades de acceso.

Además, si se hacen invariables los retardos de trama, descritos anteriormente, de estas unidades de acceso que van a reproducirse en secuencia en una conexión sin interrupciones o similar, el aparato de multiplexación considera previamente si debería realizarse una conexión sin interrupciones o una reproducción multiángulo sin interrupciones en estas unidades de acceso que deberían generarse. Después, si el aparato de multiplexación considera que estas unidades de acceso deberían ser el objetivo, realiza la descodificación de manera que los retardos de trama de las unidades de acceso aleatorio objetivo sean iguales entre sí para generar un flujo codificado. Por ejemplo, si se realiza una conexión sin interrupciones o similar en dos flujos codificados, genera el flujo codificado posterior de manera que los retardos de trama del flujo codificado posterior sean iguales a los retardos de trama del flujo codificado anterior.

Además, la información de retardo de trama incluida en la base de información de gestión puede indicar que los retardos de trama para unidades de acceso particulares (flujos codificados o fragmentos), tales como una conexión sin interrupciones, son comunes. Además, puede haber un indicador que indique que la unidad de acceso puede convertirse en un objetivo de una conexión sin interrupciones, de una reproducción multiángulo o similar. Un indicador como éste se almacena en una lista de reproducción, en un mapa de tiempos o similar, como información que indica el atributo de conexión.

Tercera realización

La fig. 18 es un diagrama de flujo que indica el funcionamiento del aparato de desmultiplexación en una tercera realización de la presente invención. El aparato de desmultiplexación introduce y reproduce los datos multiplexados generados por el aparato de desmultiplexación de la primera y de la segunda realización.

Primero, en la etapa 501, el aparato de desmultiplexación desmultiplexa los datos multiplexados para obtener la información de gestión y obtiene la información relacionada con los fragmentos que van a reproducirse. Los fragmentos que van a reproducirse se determinan según el orden de reproducción predeterminado por una instrucción de usuario o en una lista de reproducción de la información de gestión o similar.

Después, en la etapa 502, obtiene información de retorno de trama de los fragmentos determinados como los fragmentos que van a reproducirse en la etapa 501 y avanza hasta la etapa 503. En la etapa 503 determina el retardo de trama en el momento de reproducir los fragmentos basándose en la información de retardo de trama obtenida en la etapa 502.

En la etapa 504 y en la etapa 505 descodifica y visualiza las imágenes de los fragmentos hasta las últimas imágenes de los fragmentos. En este caso, si la finalización de la reproducción se determina a través de una operación de usuario, la reproducción finaliza cuando la instrucción se vuelve válida. Obsérvese que los retardos de trama solo pueden determinarse cuando se cambian los fragmentos que pertenecen a diferentes flujos codificados, de la etapa 501 a la etapa 503.

La fig. 19 es un diagrama de flujo que muestra el funcionamiento en el momento de determinar retardos de trama durante la reproducción en la etapa 503 de la fig. 18.

Primero, en la etapa 601, el aparato de desmultiplexación considera si los retardos de trama de los flujos codificados almacenados en los datos desmultiplexados son invariables o no. Si los retardos de trama son invariables, avanza hasta la etapa 603. Por el contrario, si los retardos de trama son variables, avanza hasta la etapa 602.

\newpage

En la etapa 603, determina reproducir los flujos codificados de los datos multiplexados con un retardo de trama común. En la etapa 602, considera si los retardos de trama de los fragmentos que van a reproducirse en secuencia son invariables o no. Si los retardos de trama son invariables, avanza hasta la etapa 604. Por el contrario, si los retardos de trama son variables, avanza hasta la etapa 605. En la etapa 604, determina reproducir los flujos codificados basándose en el retardo de trama del primer fragmento en la reproducción. En la etapa 605 determina ajustar los retardos de trama en la reproducción. A continuación se describen procedimientos disponibles para ajustar los retardos de trama en la reproducción.

1.: Ajustar al retardo de trama máximo entre los retardos de trama de los fragmentos que van a reproducirse.

2.: Ajustar al retardo de trama del fragmento reproducido inmediatamente antes.

3.: Usar un retardo de trama predeterminado.

\vskip1.000000\baselineskip

El primer procedimiento es especialmente eficaz si pueden predeterminarse los fragmentos que van a reproducirse. El segundo procedimiento es especialmente eficaz si los fragmentos que van a reproducirse se cambian dinámicamente mediante una instrucción de usuario. El tercer procedimiento también es eficaz si el valor máximo de los retardos de trama puede obtenerse a partir de la información de gestión de los datos multiplexados o de la información del flujo codificado o mediante una norma de aplicación. Además, pueden usarse retardos de trama predeterminados para el aparato.

La fig. 20C y 20D muestran los ejemplos del primer y del segundo procedimiento, respectivamente. La fig. 20C muestra el ejemplo de reproducir el fragmento 2 con un retardo de dos tramas después del fragmento 1 con un retardo de una trama. En este caso, el retardo de trama en el momento de reproducir el fragmento 1 es de dos tramas. La fig. 20D muestra el ejemplo en el que un usuario cambia al fragmento 1, que tiene un retardo de una trama, mientras está reproduciéndose el fragmento 2 con un retardo de dos tramas. En este momento, el retardo de trama del fragmento 1 es originalmente de una trama, pero se reproduce con la premisa de que el retardo de trama del fragmento 1 sea de dos tramas según el retardo de trama del fragmento 2. Determinar el retardo de trama de esta manera hace posible reproducir un flujo codificado sin permitir que se produzca una interrupción en un intervalo de visualización en la posición en la que se realiza el cambio entre el fragmento 1 y el fragmento 2.

Obsérvese que puede haber un caso en el que la información de retardo de trama no se muestre en los datos de desmultiplexación si los retardos de trama del flujo codificado de los datos multiplexados son iguales entre sí, tal y como se muestra en la segunda realización. El procesamiento de la etapa 502 no es necesario en caso de reproducir datos multiplexados de esta manera. Además, es preferible ajustar al retardo de trama del primer fragmento de la reproducción en caso de determinar también el retardo de trama en el momento de iniciar la visualización en la etapa 503.

Además, el aparato de desmultiplexación siempre puede reproducir los datos multiplexados basándose en el valor máximo predefinido si el valor máximo de los retardos de trama se define por una norma de aplicación o similar.

La fig. 21 es un diagrama de bloques que muestra la estructura del aparato de desmultiplexación de una tercera realización.

El aparato 200 de desmultiplexación incluye una unidad 51 de desmultiplexación de información de gestión, una unidad 52 de análisis de información de fragmento, una unidad 53 de determinación de retardo de trama, una unidad 24 de descodificación y una unidad 54 de visualización.

La unidad 51 de desmultiplexación de información de gestión lee los datos multiplexados DatMux de un medio de grabación de datos multiplexados, tal como un disco óptico, analiza la información de gestión y determina los fragmentos que van a reproducirse según una instrucción de usuario o un procedimiento predeterminado. Después, la unidad 51 de desmultiplexación de información de gestión transmite información de fragmento Fragmento, que es la información relacionada con los fragmentos determinados, a la unidad 52 de análisis de información de fragmento.

La unidad 52 de análisis de información de fragmento transmite la información de acceso acs, usada para acceder a las imágenes que constituyen los fragmentos, a la unidad 24 de descodificación. Además, la unidad 52 de análisis de información de fragmento obtiene información de retardo Rtd de los fragmentos que van a reproducirse y la transmite a la unidad 53 de determinación de retardo de trama.

La unidad 24 de descodificación lee datos de vídeo DatV de un medio de grabación de datos multiplexados basándose en la información de acceso acs, descodifica los datos de vídeo DatV y después transmite el resultado de la descodificación SalidaDesc a la unidad 54 de visualización.

La unidad 53 de determinación de retardo de trama determina el retardo de trama en el momento de la reproducción y transmite el retardo T a la unidad 54 de visualización.

\newpage

La unidad 54 de visualización muestra las imágenes según el retardo T. Obsérvese que puede haber un caso en el que la información de retardo de trama no se muestre en los datos multiplexados si los retardos de trama del flujo codificado de los datos multiplexados son iguales entre sí, tal y como se muestra en la segunda realización. El aparato de desmultiplexación puede tener una estructura que excluya a la unidad 53 de determinación de retardo de trama en caso de reproducir los datos multiplexados de esta manera.

Además, un retardo de trama en una conexión puede ser variable si no se garantiza una conexión sin interrupciones aunque un retardo de trama de una unidad de reproducción continua mostrada en una lista de reproducción o similar sea invariable cuando se realice una conexión sin interrupciones o una reproducción multiángulo con estas unidades de acceso. Si la información de gestión de los datos multiplexados no incluye información que indique un retardo de trama en este punto, el retardo de trama de la unidad de acceso puede obtenerse en la unidad 24 de descodificación y el retardo de trama obtenido puede introducirse en la unidad 53 de determinación de retardo de trama. En este caso, en la zona de reproducción donde el retardo de trama es invariable, el retardo de trama se determina según el retardo de trama de la primera unidad de acceso en un orden de reproducción. Por el contrario, en la zona de reproducción donde el retardo de trama es variable, la unidad de determinación de retardo de trama ajusta el retardo de trama en el momento de la reproducción. Obsérvese que es posible aplicar el mismo retardo de trama que el valor máximo del retardo de trama determinado en una norma de aplicación o similar en cualquiera de los casos descritos anteriormente.

Cuarta realización

Funciones como la reproducción multiángulo y la reproducción resumida son especialmente importantes para que los aparatos de disco óptico reproduzcan medios por paquetes. En este caso se describirá un ejemplo en el que los datos multiplexados transmitidos desde los aparatos de multiplexación de la primera y de la segunda realización están grabados en un disco Blu-ray (BD), que es un disco óptico de próxima generación.

Primero se describirá un formato de grabación de una BD-ROM.

La fig. 22 es un diagrama que indica la estructura de la BD-ROM, especialmente las estructuras de un disco 104 BD, que es un medio de disco, y de los datos almacenados en el disco. Los datos almacenados en el disco 114 BD incluyen datos 103 AV, información 102 de gestión BD, tal como información de gestión relacionada con los datos AV y con una secuencia de reproducción AV, y un programa 101 de reproducción BD para la interactividad. En este caso, para un mejor entendimiento, la descripción del disco BD se realizará con relación a la aplicación AV para la reproducción de contenidos visuales y de audio de las películas, pero una descripción similar puede realizarse con relación a otro uso.

La fig. 23 es un diagrama que muestra la estructura de un archivo de directorio de datos lógicos almacenados en el disco BD descrito anteriormente. Un disco BD presenta una zona de grabación desde su radio más interno hasta su radio más externo como, por ejemplo, un DVD, un CD, etc., y presenta un espacio de direcciones lógicas para almacenar datos lógicos entre la zona de carga de datos del radio más interno y la zona de lectura de datos en el radio más externo. Además, dentro de la zona de carga de datos, hay una zona especial que puede leerse solamente mediante un dispositivo denominado zona de corte de ráfagas (BCA, Burst Cutting Area). Como esta zona no puede leerse desde la aplicación, puede usarse, por ejemplo, como una técnica de protección de los derechos de autor.

La información del sistema de archivos (volumen) está almacenada al principio del espacio de direcciones lógicas y los datos de aplicación, tales como datos de vídeo, también están almacenados ahí. Tal y como se describe en la técnica anterior, un sistema de archivos es, por ejemplo, el UDF o el ISO9660, y permite leer los datos lógicos almacenados usando una estructura de directorios o un a estructura de archivos como la de un PC convencional.

En esta realización, al igual que la estructura de directorios y la estructura de archivos del disco BD, el directorio BDVIDEO está situado inmediatamente por debajo del directorio de ruta (RAÍZ). Este directorio es un directorio que almacena datos tales como contenidos AV o información de gestión (101, 102 y 103 que se describen en la fig. 22) que se manipulan en el BD.

Por debajo del directorio BDVIDEO están grabados los siguientes siete archivos.

(i): BD.INFO (el nombre del archivo es fijo) que es un elemento de "información de gestión BD" y es un archivo que almacena la información relacionada con todo el disco BD. El reproductor BD lee primero este archivo.

(ii): BD.PROG (el nombre del archivo es fijo) que es uno de los "programas de reproducción BD" y es un archivo que almacena la información de control de reproducción relacionada con todo el disco BD.

(iii): XXX.PL ("XXX" es variable y la extensión "PL" es fija) que es un elemento de "información de gestión BD" y es un archivo que almacena la información de lista de reproducción que es un escenario (secuencia de reproducción). Cada lista de reproducción tiene un archivo.

\newpage

(iv): XXX.PROG ("XXX" es variable y la extensión "PROG" es fija) que es uno de los "programas de reproducción BD" y es un archivo que almacena la información de control de reproducción preparada con relación a cada lista de reproducción. La lista de reproducción correspondiente se identifica según un nombre de cuerpo de archivo (que se corresponde con "XXX").

(v): YYY.VOB ("YYY" es variable y la extensión "VOB" es fija) que es uno de los "datos AV" y es un archivo que almacena el VOB (el mismo que el VOB descrito en la técnica anterior). Cada VOB tiene un archivo.

(vi): YYY.VOBI ("YYY" es variable y la extensión "VOBI" es fija) que es un elemento de "información de gestión BD" y es un archivo que almacena la información de gestión de flujo relacionada con el VOB, es decir, los datos AV. La lista de reproducción correspondiente se identifica según un nombre de cuerpo de archivo (que se corresponde con "YYY").

(vii): ZZZ.PNG ("ZZZ" es variable y la extensión "PNG" es fija) que es uno de los "datos AV" y es un archivo que almacena datos de imagen PNG (que es un formato de imágenes normalizado por W3C y denominado "ping") para formar los subtítulos y los menús. Cada imagen PNG tiene un archivo.

\vskip1.000000\baselineskip

La estructura de los datos de navegación BD (información de gestión BD) se describirá con referencia a las figs. 24 a 29.

La fig. 24 es un diagrama que muestra la estructura interna de un archivo de información de gestión VOB ("YYY. VOBI").

La información de gestión VOB presenta la información de atributo de flujo (Atributo) del VOB y un mapa de tiempos (MAPT). El atributo de flujo presenta un atributo de vídeo (Vídeo) y atributos de audio (Audio#0 a Audio#m) por separado. Especialmente en el caso del flujo de audio, como un VOB tiene una pluralidad de flujos de audio al mismo tiempo, la presencia o ausencia de un campo de datos se indica mediante el número (Número) de flujos de audio.

A continuación se describen los atributos de vídeo (Vídeo) almacenados en los campos respectivos y los valores que los campos respectivos pueden tener.

(i): formato de compresión (Codificación): MPEG-1; MPEG-2; MPEG-4; y MPEG-4 AVC (codificación de vídeo avanzada)

(ii): resolución (Resolución): 1920 x 1080; 1440 x 1080; 1280 x 720; 720 x 480; y 720 x 565.

(iii): relación de aspecto (Aspecto): 4 a 3; y 16 a 9.

(iv): velocidad de trama (VelocidadTrama): 60; 59,94 (60/1,001); 50; 30; 29,97 (30/1,001); 25; 24 y 23,976 (24/1,001).

\vskip1.000000\baselineskip

A continuación se describen los atributos de audio (Audio) almacenados en los campos respectivos y los valores que los campos respectivos que pueden tener.

(i): formato de compresión (Codificación):AC3; MPEG-1; MPEG-2; y LPCM.

(ii): el número de canales (Cnl): 1 a 8

(iii): atributo de lenguaje (Lenguaje):

\quad: El mapa de tiempos (MAPT) es una tabla que almacena la información con relación a los VOBU y tiene el número de VOBUs que tiene el VOB y los elementos respectivos de información VOBU (VOBU#1 a VOBU#n). Los elementos respectivos de información VOBU incluyen I_inicial que es la dirección (la dirección inicial de una imagen I) del primer paquete TS de un VOBU y una dirección de desvío (I_final) a la dirección final de la imagen I, y el tiempo de inicio de reproducción (PTS, playback starting time) de la imagen I.

\vskip1.000000\baselineskip

La fig. 25 es un diagrama que ilustra los detalles de la información VOBU.

Tal y como se conoce ampliamente, cuando puede realizarse una compresión con una velocidad binaria variable en el flujo de vídeo MPEG con el fin de grabar el flujo de vídeo con una alta calidad, no hay proporcionalidad entre el tiempo de reproducción y el tamaño de los datos. Por otro lado, cuando se realiza una compresión con una velocidad binaria fija según AC3, que es una norma de compresión de audio, la relación entre el tiempo y la dirección puede obtenerse a partir de una expresión primaria. Sin embargo, en el caso de los datos de vídeo MPEG, cada trama tiene un tiempo de visualización fijo, por ejemplo, una trama tiene un tiempo de visualización de 1/29,97 segundos en el caso de NTSC, pero el tamaño de los datos después de comprimir cada trama cambia significativamente dependiendo de las características de la imagen o del tipo de imagen usado en la compresión, tal como una imagen I, una imagen P o una imagen B. Por lo tanto, en el caso de un flujo de vídeo MPEG, es imposible representar la relación entre el tiempo y la dirección usando una expresión primaria.

Tal y como puede esperarse, es imposible representar la relación entre el tiempo y el tamaño de los datos usando una expresión primaria en un flujo de sistema MPEG en el que los datos de vídeo MPEG están multiplexados, es decir, son un VOB. Por lo tanto, un mapa de tiempos (MAPT) asocia el tiempo con la dirección en un VOB.

De esta manera, si se proporciona información de tiempo, se busca en primer lugar el VOBU al que pertenece el tiempo (siguiendo los PTS de los VOBU en orden), el PTS inmediatamente anterior al tiempo pasa al VOBU que un MAPT tiene (la dirección especificada por I_inicial), se inicia la descodificación con la primera imagen I del VOBU y se inicia la visualización con la imagen correspondiente al tiempo.

A continuación se describirá la estructura interna de una información de lista de reproducción ("XXX.PL") con referencia a la fig. 26.

La información de lista de reproducción incluye una lista de celdas (ListaCeldas) y una lista de eventos (ListaEventos).

La lista de celdas (ListaCeldas) es una secuencia de celdas de reproducción de la lista de reproducción y las celdas se reproducen en el orden de descripción indicado en esta lista. Los contenidos de la lista de celdas (ListaCeldas) es el número de celdas (Número) y la información de cada celda (celda#1 a Celda#n).

La información de celda (Celda#) tiene un nombre de archivo VOB (NombreVOB), un tiempo de inicio (Entrada) y un tiempo de finalización (Salida) en el VOB, y subtítulos (Subtítulos). El tiempo de inicio (Entrada) y el tiempo de finalización (Salida) se representan como un número de trama en cada VOB. Es posible obtener la dirección de los datos VOB necesarios para la reproducción usando el mapa de tiempos descrito anteriormente (MAPT).

La tabla de subtítulos (TablaSubtítulos) es una tabla que almacena la información de subtítulos que se reproduce de manera síncrona con el VOB. Como en el caso del audio, se incluyen diversas lenguas en los subtítulos. La primera información de la tabla de subtítulos (TablaSubtítulos) incluye el número de lenguas (Número) y las siguientes tablas (Lengua#1 a Lengua#k) preparadas en una unidad de una lengua.

Cada tabla de lengua (Lengua#) incluye información de la lengua (Leng), el número (Número) de elementos de información de subtítulo de los subtítulos que van a visualizarse por separado, e información de subtítulo (Frase#1 a Frase#j) de los subtítulos que van a visualizarse por separado. La información de subtítulo (Frase#) incluye un nombre de archivo de datos de imagen (Nombre), el tiempo de inicio de visualización de subtítulo (Entrada), el tiempo de finalización de visualización de subtítulo (Salida) y una posición de visualización de subtítulo (Posición).

La lista de eventos (ListaEventos) es una tabla que define cada evento que se produce en la lista de reproducción. La lista de eventos incluye el número de eventos (Número) y eventos respectivos (Evento#1 a Evento#m). Cada evento (Evento#) incluye un tipo de evento (Tipo), un ID de evento (ID), un tiempo de aparición de evento (Tiempo) y una duración de evento (Duración).

La fig. 27 es una tabla manejadora de eventos ("XXX.PROG") que tiene un manejador de eventos (es decir, un evento de tiempo y un evento de usuario para la selección de menú) preparado con relación a cada lista de reproducción.

La tabla manejadora de eventos incluye el número de programas/manejadores de eventos definidos (Número) y los programas/manejadores de eventos respectivos (Programa#1 a Programa#n). Los contenidos de cada programa/manejador de eventos (Programa#) es la definición del inicio de un manejador de eventos (etiqueta <event_
handler>) y el ID de manipulador de eventos (ID) que está relacionado con el ID de evento descrito anteriormente y, a continuación, el programa descrito entre "{}" después de Function. El evento (Evento#1 a Evento#m) almacenado en la lista de eventos (ListaEventos) del archivo "XXX.PL" descrito anteriormente se especifica usando un ID (ID) del manejador de eventos del archivo "XXX.PROG".

A continuación se describirá la estructura interna de la información relacionada con todo el disco BD ("BD.INFO") con referencia a la fig. 28.

La información relacionada con todo el disco BD incluye una lista de títulos (ListaTítulos) y una tabla de eventos para eventos globales (ListaEventos).

La lista de títulos (ListaTítulos) incluye el número de títulos de un disco (Número) y los elementos de información de título (Título#1 a Titulo#n) después del número de títulos. Los elementos respectivos de la información de título (Título#) incluyen una tabla de listas de reproducción incluida en el título (TablaLR) y una lista de capítulos en el título (ListaCapítulos). La tabla de listas de reproducción (TablaLR) incluye el número de listas de reproducción en el título (Número) y nombres de listas de reproducción (Nombre) que son los nombres de archivo de las listas de reproducción.

La lista de capítulos (ListaCapítulos) incluye el número de capítulos incluidos en el título (Número) y elementos de información de capítulo (Capítulo#1 a Capítulo#n). Cada elemento de información de capítulo (Capítulo#) incluye una tabla de celdas (TablaCeldas) incluida en el capítulo, y la tabla de celdas (TablaCeldas) incluye el número de celdas (Número) y elementos de información de entrada de celda (EntradaCelda#1 a EntradaCelda#k). La información de entrada de celda (EntradaCelda#) incluye el nombre de lista de reproducción incluyendo la celda y el número de celda en la lista de de reproducción.

La lista de eventos (ListaEventos) incluye el número de eventos globales (Número) y elementos de información de evento global. Debe observarse que el evento global que va a definirse en primer lugar se denomina primer evento (PrimerEvento) y es el evento al que se llama en primer lugar después de que el disco BD se haya introducido en un reproductor. La información de evento para un evento global sólo tiene un tipo de evento (Tipo) y un ID de evento (ID).

La fig. 29 es una tabla ("BD.PROG") de un programa de un manejador de eventos globales. Los contenidos de esta tabla son los mismos que los contenidos de la tabla manejadora de eventos descrita en la fig. 27.

En caso de multiplexar datos de salida de los aparatos de multiplexación de la primera y de la segunda realización usando el formato BD-ROM anterior, un VOBU está formado por una o más unidades de acceso aleatorio RAU y el orden de reproducción de los fragmentos se especifica se especifica en una lista de reproducción. En este caso, la información de visualización de trama puede mostrarse mediante la información de gestión BD. Por ejemplo, la información de retardo de trama puede almacenarse en elementos de reproducción de una lista de reproducción o en una tabla que indique información de acceso, tal como un mapa EP. Además, la información de retardo de trama puede almacenarse en una tabla que indique la información de atributos del flujo codificado. Además, en caso de indicar (i) el valor máximo de los retardos de trama del flujo codificado que va a almacenarse en los datos multiplexados, (ii) el retardo de trama común entre todos los flujos codificados, o similar, los retardos de trama pueden indicarse como información más importante que la información relacionada con los respectivos flujos codificados.

Obsérvese que el orden de reproducción de los fragmentos puede determinarse según información diferente a la lista de reproducción o en un orden predeterminado.

Obsérvese que la información de acceso, tal como un mapa EP, puede almacenarse en una tabla como datos binarios o en forma de datos de texto como XML (lenguaje de marcas extensible, Extensible Markup Language) y similar.

Quinta realización

La fig. 30 es un diagrama de bloques que muestra a grandes rasgos la estructura funcional de un reproductor que reproduce un disco BD según una quinta realización.

Los datos del disco 201 BD se leen a través de un lector 202 óptico. Los datos leídos se transmiten a una memoria exclusiva dependiendo de los tipos de los datos respectivos. El programa de reproducción BD (los contenidos de "BD.PROG" o "XXX.PROG") se transmiten a una memoria 203 de programa. Además, la información de gestión BD ("BD.INFO", "XXX.PL" o "YYY.VOBI") se transmite a una memoria 204 de información de gestión. Además, los datos AV ("YYY.VOB" o "ZZZ.PNG") se transmiten a una memoria 205 AV.

El programa de reproducción BD grabado en la memoria 203 de programas se procesa mediante una unidad 206 de procesamiento de programas. Además, la información de gestión BD grabada en la memoria 204 de información de gestión se procesa mediante la unidad 207 de procesamiento de información de gestión. Además, los datos AV grabados en la memoria 205 AV se procesan mediante una unidad 208 de procesamiento de presentación.

La unidad 206 de procesamiento de programas recibe la información de las listas de reproducción que van a reproducirse mediante la unidad 207 de procesamiento de información de gestión y la información de evento, tal como el momento de ejecución del programa, y realiza el procesamiento del programa. Además, es posible cambiar dinámicamente las listas de reproducción que va a reproducir el programa. Esto puede realizarse enviando una instrucción de reproducción de las listas de reproducción a la unidad 207 de procesamiento de información de gestión. La unidad 206 de procesamiento de programas recibe un evento de un usuario, dicho de otro modo, recibe una petición a través de un controlador remoto y, si hay un programa correspondiente al evento del usuario, ejecuta el programa.

La unidad 207 de procesamiento de información de gestión recibe una instrucción desde la unidad 206 de procesamiento de programas, analiza las listas de reproducción y la información de gestión de los VOB correspondientes a las listas de reproducción y ordena a la unidad 208 de procesamiento de presentación que reproduzca los datos AV objetivo. Además, la unidad 207 de procesamiento de información de gestión recibe la información de tiempo estándar desde la unidad 208 de procesamiento de presentación y ordena a la unidad 208 de procesamiento de presentación que detenga la reproducción de los datos AV basándose en la información de tiempo. Además, la unidad 207 de procesamiento de información de gestión genera un evento para notificar a la unidad 206 de procesamiento de programas acerca del momento de la ejecución del programa.

La unidad 208 de procesamiento de presentación tiene un descodificador que puede procesar vídeo, audio, subtítulos/imágenes (imágenes fijas), respectivamente. Descodifica y transmite los datos AV según una instrucción de la unidad 207 de procesamiento de información de gestión. En el caso de los datos de vídeo y de los subtítulos/imágenes, éstos se descodifican y después se representan en sus respectivos planos exclusivos, es decir, el plano 210 de vídeo y el plano 209 de imagen. Después, la unidad 211 de procesamiento de síntesis realiza el procesamiento de síntesis del vídeo y transmite el vídeo a un dispositivo de visualización tal como una televisión.

La unidad 208 de procesamiento de presentación interpreta la operación de usuario que solicita una reproducción multiángulo o una reproducción resumida en el momento de una reproducción multiángulo o una reproducción resumida, y notifica a la unidad 207 de procesamiento de información de gestión acerca de la información relacionada con un punto de cambio de ángulo o similar. La unidad 207 de procesamiento de información de gestión determina el retardo de trama en el momento de la reproducción basándose en la información de retardo de trama de los fragmentos que van a reproducirse y notifica el retardo de trama a la unidad de procesamiento de presentación.

Obsérvese que la información de acceso, tal como un mapa EP, puede almacenarse en una tabla como datos binarios y también puede estar un formato de texto tal como XML (lenguaje de marcas extensible).

Sexta realización

Además, es posible ejecutar fácilmente el procesamiento mostrado en las respectivas realizaciones en un sistema informática independiente grabando el programa para realizar el procedimiento de multiplexación y el procedimiento de desmultiplexación mostrados en las realizaciones descritas anteriormente en un medio de grabación tal como un disco flexible.

La fig. 31C es una ilustración de cómo el sistema informático ejecuta el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento de esta realización usando un programa grabado en un medio de grabación tal como un disco flexible.

La fig. 31A muestra un ejemplo de un formato físico de un disco flexible como un medio de grabación. La fig. 31B muestra un disco flexible, la vista frontal y la vista en sección transversal de la apariencia del disco flexible. Un disco flexible (DF) está dentro de una envoltura F y una pluralidad de pistas (Pst) están formadas de manera concéntrica sobre la superficie del disco desde el radio más externo hasta el radio más interno del disco, y cada pista está dividida en 16 sectores (Se) en la dirección angular. Por lo tanto, en el caso del disco flexible que almacena el programa descrito anteriormente, el programa se graba en una zona asignada para ello del disco flexible (DF).

Además, la fig. 31C muestra la estructura para grabar y reproducir el programa del disco flexible. En caso de grabar el programa anterior para realizar el procedimiento de multiplexación y el procedimiento de desmultiplexación en el disco flexible DF, un sistema informático SI escribe el programa en el disco flexible a través de una unidad de disco flexible. Además, en caso de construir un aparato de multiplexación y un aparato de desmultiplexación para realizar el procedimiento de multiplexación y el procedimiento de desmultiplexación usando el programa del disco flexible, el programa se lee desde el disco flexible a través de la unidad de disco flexible y se transmite al sistema informático.

Obsérvese que la descripción anterior se ha realizado usando un disco flexible como un medio de grabación, pero el programa puede grabarse en un disco óptico. Además, un medio de grabación no está limitado a éste, sino que puede usarse otro medio de grabación tal como una tarjeta de circuito integrado, una casete ROM, siempre que pueda grabar el programa.

Hasta este momento, el aparato de multiplexación, el aparato de desmultiplexación, el reproductor de disco BD, etc., relacionados con la presente invención se han descrito según las respectivas realizaciones descritas anteriormente, pero la presente invención no está limitada a estas realizaciones. La presente invención incluye variaciones de estas realizaciones que un experto en la materia podría concebir siempre que estén dentro del alcance del contenido de la presente invención.

Por ejemplo, lo que se expone a continuación está incluido en la presente invención: (i) un aparato de grabación de disco óptico que incluye un aparato de multiplexación en esta realización; un aparato de envío de imágenes en movimiento; un aparato de radiodifusión de televisión digital; un servidor web, un aparato de comunicación: un terminal de información móvil y similar; y (ii) un aparato de recepción de imágenes en movimiento que incluye un aparato de desmultiplexación en esta realización; un aparato de recepción de radiodifusión de televisión digital; un aparato de comunicación; un terminal de información móvil y similar.

Obsérvese que los respectivos bloques funcionales de los diagramas de bloques (fig. 14, fig. 17, fig 21 y similares) están realizados normalmente como una integración a gran escala (LSI, Large Scale Integration), es decir, como un circuito integrado. Cada uno de ellos puede estar contenido en un chip. Además, uno, algunos o todos ellos pueden integrarse en un chip (por ejemplo, bloques funcionales distintos a una memoria pueden integrarse en un chip).

En este caso, el circuito se denomina LSI pero puede denominarse circuito integrado (IC, Integrated Circuit), sistema LSI, super LSI o ultra LSI dependiendo del grado de integración.

Además, el procedimiento de fabricación de un circuito de integración no está limitado a éste, sino que puede realizarse un circuito exclusivo o un procesador general. Además, es posible usar una matriz de puertas programables por campo (FPGA, Field Programmable Gate Array) que puede programarse después de realizar una LSI o un procesador reconfigurable que puede reconfigurar la conexión o configuraciones de la celda de circuito dentro de la LSI.

Además, cuando un procedimiento de fabricación de un circuito integrado que sustituye a una LSI se concibe como resultado del desarrollo de la técnica de semiconductores o del surgimiento de una técnica derivada, los bloques funcionales pueden integrarse usando una técnica de este tipo como norma. Es probable que la biotécnica, o similar, pueda adaptarse.

Además, entre los respectivos bloques funcionales, solamente el medio para almacenar datos que van a codificarse o grabarse, puede configurarse por separado sin integrarse en un chip.

Aunque anteriormente sólo se ha descrito en detalle una realización a modo de ejemplo de esta invención, los expertos en la materia apreciarán rápidamente que son posibles muchas modificaciones en la realización a modo de ejemplo sin apartarse sustancialmente de las enseñanzas novedosas y de las ventajas de esta invención. Por consiguiente, todas esas modificaciones están incluidas dentro del alcance de esta invención.

Aplicabilidad industrial

El procedimiento de multiplexación y el procedimiento de desmultiplexación de la presente invención pueden aplicarse a aparatos genéricos que tengan una función de reproducción especial tal como la reproducción multiángulo y la reproducción resumida y, por tanto, son especialmente eficaces en la reproducción de medios por paquetes en los que se multiplexa un flujo codificado MPEG-4 AVC.

Claims

1. Un aparato (100A, 100B) de multiplexación para multiplexar uno o más flujos codificados con otra información, incluyendo los flujos codificados imágenes codificadas con relación a cada unidad de acceso accesible de manera aleatoria, comprendiendo dicho aparato de multiplexación:

una primera unidad (17, 41) de determinación que puede hacerse funcionar para determinar cantidades de retardo de manera que las cantidades de retardo de dos unidades de acceso que van a descodificarse en secuencia entre las unidades de acceso de los flujos codificados sean iguales entre sí, siendo las cantidades de retardo un retardo de tiempo desde un tiempo de descodificación de una primera imagen en un orden de descodificación hasta un tiempo de visualización de una primera imagen en un orden de visualización;

una unidad (15, 42) de generación que puede hacerse funcionar para codificar las imágenes incluidas en las unidades de acceso y para generar el uno o más flujos codificados según las cantidades de retardo determinadas por dicha primera unidad (17, 41) de determinación; y

una unidad (18) de multiplexación que puede hacerse funcionar para multiplexar el uno o más flujos codificados generados por dicha unidad (15, 42) de generación y la otra información,

caracterizado porque la otra información incluye un indicador que indica si las dos unidades de acceso pueden conectarse entre sí sin interrupciones y el indicador se determina dependiendo de si las cantidades de retardo de las dos unidades de acceso son iguales entre sí.

2. Un procedimiento de multiplexación para multiplexar uno o más flujos codificados con otra información, incluyendo los flujos codificados imágenes codificadas con relación a cada unidad de acceso accesible de manera aleatoria, comprendiendo dicho procedimiento de multiplexación:

determinar cantidades de retardo de manera que las cantidades de retardo de dos unidades de acceso que van a descodificarse en secuencia entre las unidades de acceso de los flujos codificados sean iguales entre sí, siendo las cantidades de retardo un retardo de tiempo desde un tiempo de descodificación de una primera imagen en un orden de descodificación hasta un tiempo de visualización de una primera imagen en un orden de visualización;

codificar (S301, S402) las imágenes incluidas en las dos unidades de acceso y generar el uno o más flujos codificados según las cantidades de retardo determinadas en dicha determinación; y

multiplexar (S306, S406) el uno o más flujos codificados generados en dicha codificación y generación y la otra información,

3. Un aparato (200) de reproducción que desmultiplexa datos multiplexados generados por el aparato de multiplexación según la reivindicación 1 y que visualiza los datos desmultiplexados, comprendiendo dicho aparato (200) de reproducción:

una unidad (54) de visualización que puede hacerse funcionar para descodificar, en secuencia, las dos unidades de acceso según una cantidad de retardo idéntica basándose en las cantidades de retardo determinadas por una unidad (53) de determinación y para visualizar las dos unidades de acceso descodificadas,

dicho aparato (200) de reproducción caracterizado por

una unidad (51) de desmultiplexación de indicador que puede hacerse funcionar para desmultiplexar el indicador de los datos multiplexados en el momento de descodificar las dos unidades de acceso en secuencia; y

dicha segunda unidad (53) de determinación que puede hacerse funcionar para determinar la cantidad de retardo de una primera unidad de acceso en un tiempo de inicio de visualización si el indicador desmultiplexado por dicha unidad (51) de desmultiplexación de indicador indica que las dos unidades de acceso pueden conectarse entre sí sin interrupciones.

4. Un procedimiento de reproducción para desmultiplexar datos multiplexados generados usando el procedimiento de multiplexación según la reivindicación 2, comprendiendo dicho procedimiento de reproducción:

descodificar (S504), en secuencia, las dos unidades de acceso según cantidades de retardo determinadas para que sean iguales en una determinación y visualización de las dos unidades de acceso descodificadas,

\newpage

dicho procedimiento caracterizado por las etapas de:

desmultiplexar (S501) el indicador de los datos multiplexados en el momento de descodificar las dos unidades de acceso en secuencia;

determinar (S503) la cantidad de retardo de una primera unidad de acceso en un tiempo de inicio de visualización si el indicador desmultiplexado por dicha desmultiplexación (S501) de indicador indica que las dos unidades de acceso pueden conectarse entre sí sin interrupciones.

5. Un medio (201) de grabación en el que se almacenan datos multiplexados que incluyen uno o más flujos codificados y otra información, incluyendo los flujos codificados imágenes codificadas con relación a cada unidad de acceso accesible de manera aleatoria,

en el que el flujo codificado incluye la imagen codificada en secuencia de manera que las cantidades de retardo de dos unidades de acceso que van a descodificarse en secuencia entre las unidades de acceso de los flujos codificados sean iguales entre sí, siendo la cantidad de retardo un retardo de tiempo desde un tiempo de descodificación de una primera imagen en un orden de descodificación hasta un tiempo de visualización de una primera imagen en un orden de visualización,

caracterizado porque

la otra información incluye un indicador que indica si las dos unidades de acceso pueden conectarse entre sí sin interrupciones, y

el indicador se determina dependiendo de si las cantidades de retardo de las dos unidades de acceso son iguales entre sí.

6. Un procedimiento de grabación para grabar, en un medio de grabación, datos multiplexados que incluyen uno o más flujos codificados y otra información, incluyendo los flujos codificados imágenes codificadas con relación a cada unidad de acceso accesible de manera aleatoria, comprendiendo dicho procedimiento de grabación:

multiplexar los datos según el procedimiento de multiplexación según la reivindicación 2, y

grabar, en el medio de grabación, los datos multiplexados que se han multiplexado en dicha multiplexación.

7. Un sistema de reproducción que comprende un medio (201) de grabación legible por ordenador según la reivindicación 5 en el que están grabados datos multiplexados y un aparato (200) de reproducción según la reivindicación 3 que lee y desmultiplexa datos multiplexados del medio (201) de grabación y visualiza los datos desmultiplexados.