BR112018007171B1 - Método para decodificar uma representação ambissônica de ordem superior compactada de um som ou campo sonoro - Google Patents

Abstract

CODIFICAÇÃO EM CAMADAS E ESTRUTURA DE DADOS PARA REPRESENTAÇÕES SONORAS OU DE CAMPO SONORO AMBISONICS DE ORDEM SUPERIOR COMPACTADAS. Tratase de um método de codificação em camadas de um quadro de uma representação Ambisonics de ordem superior, HOA, compactada de um som ou campo sonoro. A representação HOA compactada compreende uma pluralidade de sinais de transporte. O método compreende atribuir a pluralidade de sinais de transporte a uma pluralidade de camadas hierárquicas, sendo que a pluralidade de camadas inclui uma camada de base e uma ou mais camadas de aprimoramento hierárquicas, gerar, para cada camada, uma respectiva carga útil de extensão HOA que inclui informações laterais para aprimorar parametricamente uma representação HOA reconstruída obtenível a partir dos sinais de transporte atribuídos à respectiva camada e quaisquer camadas mais baixas que a respectiva camada, atribuir as cargas úteis de extensão HOA geradas às suas respectivas camadas e sinalizar as cargas úteis de extensão HOA geradas em um fluxo de bits de saída. O presente documento se refere adicionalmente a um método de decodificação de um quadro de uma representação HOA compactada de um som ou campo sonoro, um codificador e um decodificador para codificação em camadas de uma representação HOA (...).

Description

REFERÊNCIA CRUZADA A PEDIDOS RELACIONADOS

[001] Este pedidoreivindicaprioridade do pedido de patente UE no 15306653.5, depositadoem 15 de outubro de 2015, que é incorporadoaopresentedocumento a título de referência emsuatotalidade.

CAMPO DA TÉCNICA

[002] O presentedocumentorefere-se a métodos e aparelho para codificação de áudio emcamadas. Em particular, o presentedocumento se refere a métodos e aparelho para codificação de áudio emcamadas de quadros de representações sonorasou (ou campo sonoro) Ambissônica de Ordem Superior (Higher-Order Ambissônica (HOA)) compactadas. O presentedocumento se refereadicionalmente a estruturas de dados (porexemplo, fluxos de bits) para representarquadros de representações sonoras (ou campo sonoro) HOA compactadas.

ANTECEDENTES

[003] Na definição atual da codificação emcamadas HOA, as informações laterais para as ferramentas de decodificação HOA Predição de SinalEspacial, Síntese de SinalDirecional de Sub-Banda e Decodificador de Replicação de AmbienteParamétrico (PAR) são criadas para aprimorarumarepresentação HOA específica. A saber, nadefinição atual da codificação HOA emcamadas, os dados fornecidosestendemapenasadequadamente a representação HOA da camadamaisalta (porexemplo, a camada de aprimoramentomaisalta). Para as camadasmaisbaixasincluindo a camada base, essas ferramentas não aprimoram a representação HOA parcialmentereconstruída adequadamente.

[004] As ferramentas Síntese de SinalDirecional de Sub-Banda e Decodificador de Replicação de AmbienteParamétrico são especificamenteprojetadas para taxas de dados baixas, em que apenasalgunssinais de transporte estão disponíveis. Entretanto, nacodificação emcamadas HOA o aprimoramentoadequado de representações HOA (parcialmente) reconstruídas não é possível especialmente para camadas de taxa de bits baixa, talcomo a camada base. Issoé claramenteindesejável a partir do ponto de vista da qualidade de somemtaxas de bits baixas.

[005] Adicionalmente, constatou-se o meioconvencional de trataroselementos de vetor V codificados para ossinaisbaseadosemvetornão resultanadecodificação adequada se um CodedVVecLengthigual a um for sinalizadonaHOADecoderConfig() (istoé, se o modo de codificação de vetorestiverativo). Nesse modo de codificação de vetor, oselementos de vetor V não são transmitidos para índices de coeficiente HOA que são incluídos no conjunto de ContAddHoaCoeff. Esse conjunto incluitodososíndices de coeficiente HOA AmbCoeffIdx [i] que têm um AmbCoeffTransitionStateigual a zero. Convencionalmente, não há necessidade de também adicionar um sinal de vetor V ponderadoporque a sequência de coeficiente HOA original para essesíndices é explicitamenteenviada (sinalizada). Portanto, o elemento de vetor V é definidocomo zero para essesíndices.

[006] Entretanto, no modo de codificação emcamadas, o conjunto de índices de coeficiente HOA contínuo depende dos canais de transporte que fazemparte da camadaatualmenteativa. Osíndices de coeficiente HOA adicionais que são enviadosemumacamadamaisaltapodemestarausentesnascamadasmaisbaixas. Então, a suposição de que osinal de vetornão devecontribuir para a sequência de coeficiente HOA está incorreta para osíndices de coeficiente HOA que pertencemàs sequências de coeficiente HOA incluídas nascamadasmaisaltas.

[007] Como consequência, o vetor V nacodificação HOA emcamadaspodenão ser adequado para decodificação de nenhumacamadaabaixo da camadamaisalta.

[008] Desse modo, não há necessidade de esquemas de codificação e fluxos de bits que sejamadaptadosà codificação emcamadas de representações HOA compactadas de um somou campo sonoro.

[009] O presentedocumentoaborda as questões acima. Em particular, osmétodos e codificadores/decodificadores para codificação emcamadas de quadros de representações de somou campo sonoro HOA compactadas, assimcomoestruturas de dados para representarquadros de representações de somou campo sonoro HOA compactadassão descritos.

SUMÁRIO

[010] De acordo com, é descrito um método de codificação emcamadas de um quadro de umarepresentação Ambissônica de Ordem Superior, HOA, compactada de um somou campo sonoro. A representação HOA compactada se adaptaaopadrão de áudio MPEG-H 3D de projeto e quaisquer outros futurospadrões de projetoouadotados. A representação HOA compactadapodeincluirumapluralidade de sinais de transporte. Ossinais de transportepodem se referir a sinaismonaurais, porexemplo, que representam tanto sinaissonorospredominantescomosequências de coeficiente de umarepresentação HOA. O método podeincluiratribuir a pluralidade de sinais de transporte a umapluralidade de camadashierárquicas. Por exemplo, ossinais de transportepodem ser distribuídos para a pluralidade de camadas. A pluralidade de camadaspodeincluir a camada base e umaoumaiscamadas de aprimoramentohierárquicas. A pluralidade de camadashierárquicas pode ser ordenada, a partir da camada base, através da primeiracamada de aprimoramento, da segundacamada de aprimoramento, e assimpordiante, até umacamada de aprimoramentomaisalta total (camadamaisalta total). O método podeincluiradicionalmentegerar, para cadacamada, umarespectiva carga útil de extensão HOA que incluiinformações laterais (porexemplo, informações laterais de aprimoramento) para aprimorarparametricamenteumarepresentação HOA reconstruída obtenível a partir dos sinais de transporte atribuídos à respectivacamada e quaisquercamadasmaisbaixas que a respectivacamada. As representações HOA reconstruídas para as camadasmaisbaixaspodem ser chamadas de representações HOA parcialmentereconstruídas. O método podeincluiradicionalmenteatribuir as cargas úteis de extensão HOA geradasàs suasrespectivascamadas. O método aindapodeincluiradicionalmentesinalizar as cargas úteis de extensão HOA geradasem um fluxo de bits de saída. As cargas úteis de extensão HOA podem ser sinalizadas e uma carga útil HOAEnhFrame(). Desse modo, as informações lateraispodem ser movidas do HOAFrame() para o HOAEnhFrame().

[011] Configuradocomoacima, o propostoaplicacodificação emcamadas a um (quadro de) representações HOA compactadas a fim de permitir a decodificação de altaqualidade do mesmo, mesmoemtaxas de bits baixas. Em particular, o método propostoassegura que cadacamadaincluauma carga útil de extensão HOA adequada (porexemplo, informações laterais de aprimoramento) para aprimorarumarepresentação sonora (parcialmente) reconstruída obtida a partir dos sinais de transporteemquaisquercamadasaté a camadaatual. Na mesma, as camadasaté a camadaatualsão entendidascomoincluindoporexemplo, a camada base, a primeiracamada de aprimoramento, a segundacamada de aprimoramento, e assimpordiante, até a camadaatual. Na mesma, as camadasaté a camadaatualsão entendidascomoincluindo, porexemplo, a camada base, a primeiracamada de aprimoramento, a segundacamada de aprimoramento, e assimpordiante, até a camadaatual. Por exemplo, pode-se permitir que odecodificadoraprimoreumarepresentação sonora (parcialmente) reconstruída obtida a partir da camada base, referindo-se à carga útil de extensão HOA atribuída à camada base. Na abordagemconvencional, apenas a representação HOA reconstruída da camada de aprimoramentomaisaltapode ser aprimorada pela carga útil de extensão HOA. Desse modo, independentemente de umacamadautilizável maisalta real (por exemplo, a camadaabaixo da camadamaisbaixa que não foivalidamenterecebida, de modo que todas as camadasabaixo da camadautilizável maisalta e a própria camadautilizável maistenhamsidovalidamenterecebidas), pode-se permitir que um decodificadoraperfeiçoe ouaprimoreumarepresentação sonorareconstruída, mesmo que a representação sonora (parcialmente) reconstruída possa ser diferente da representação sonoracompleta (porexemplo, total). Em particular, independentemente da camadautilizável maisalta real, é suficiente que odecodificadordecodifique a carga útil de extensão HOA para apenasumaúnica camada (istoé, para a camadautilizável maisalta) para aperfeiçoar ouaprimorar a representação sonora (parcialmente) reconstruída que é obtenível com base emtodosossinais de transporteincluídos nascamadasaté a camadautilizável maisalta real. A decodificação das cargas úteis de extensão HOA de camadasmaisaltasoumaisbaixasnão é exigida. Por outro lado, o método propostopermiteaproveitar a redução da largura de bandaexigida que pode ser obtidaquando se aplica a codificação emcamadas.

[012] Nasmodalidades, o método podeincluiradicionalmentetransmitir cargas úteis de dados para a pluralidade de camadas com osrespectivosníveis de proteção de erro. As cargas úteis de dados podemincluir as respectivas cargas úteis de extensão HOA. A camada base podeter a proteção de erromaisalta e a umaoumaiscamadas de aprimoramentopodeterproteção de errosucessivamentedecrescente. Desse modo, pode-se assegurar que pelomenos um número de camadas inferior sejaconfiavelmentetransmitido, enquanto, por outro lado, reduz a largura de bandaexigida total aonão aplicarproteção de erroexcessiva a camadasmaisaltas.

[013] Nasmodalidades, as cargas úteis de extensão HOA podemincluirelementos de fluxo de bits para uma ferramenta de decodificação de predição de sinalespacial HOA. De maneiraadicionaloualternativa, as cargas úteis de extensão HOA podemincluirelementos de fluxo de bits para uma ferramenta de decodificação de síntese de sinaldirecional de sub-banda HOA. De maneiraadicionaloualternativa, as cargas úteis de extensão HOA podeincluirelementos de fluxo de bits para uma ferramenta de decodificação de replicação de ambienteparamétrico HOA.

[014] Nasmodalidades, as cargas úteis de extensão HOA podemter um usacExtElementType de ID_EXT_ELE_HOA_ENH_LAYER.

[015] Nasmodalidades, o método podeincluiradicionalmentegeraruma carga útil de extensão de configuração HOA que incluielementos de fluxo de bits para configuraruma ferramenta de decodificação de predição de sinalespacial HOA, uma ferramenta de decodificação de síntese de sinaldirecional de sub-banda HOA e/ouuma ferramenta de decodificação de replicação de ambienteparamétrico HOA. A carga útil de extensão de configuração HOA pode ser incluída naHOADecoderEnhConfig(). O método podeincluiradicionalmentesinalizar a carga útil de extensão de configuração HOA no fluxo de bits de saída.

[016] Nasmodalidades, o método podeincluiradicionalmentegeraruma carga útil de configuração de decodificador HOA que incluiinformações indicativas da atribuição das cargas úteis de extensão HOA à pluralidade de camadas. O método podeincluiradicionalmentesinalizar a carga útil de configuração de decodificador HOA no fluxo de bits de saída.

[017] Nasmodalidades, o método podeincluiradicionalmentedeterminar se um modo de codificação de vetorestá ativo. O método podeincluiradicionalmente, se o modo de codificação de vetorestiverativo, determinar, para cadacamada, um conjunto de índices de coeficiente HOA contínuos com base nossinais de transporteatribuídos à respectivacamada. Osíndices de coeficiente HOA no conjunto de índices de coeficiente HOA contínuos podem ser osíndices de coeficiente HOA incluídos no conjunto ContAddHOACoeff. O método podeincluiradicionalmentegerar, para cadasinal de transporte, um vetor V com base no conjunto de índices de coeficiente HOA contínuo determinado para a camada a qual o respectivosinal de transporteé atribuído, de modo que ovetor V geradoincluaelementos para quaisquersinais de transporteatribuídos às camadasmaisaltas que a camada a qual o respectivosinal de transporteé atribuído. O método podeincluiradicionalmentesinalizarosvetores V gerados no fluxo de bits de saída.

[018] De acordo com outro aspecto, é descrito um método de codificação emcamadas de um quadro de umarepresentação Ambissônica de ordem superior, HOA, compactada de um somou campo sonoro. A representação HOA compactadapodeincluirumapluralidade de sinais de transporte. Ossinais de transportepodem se referir a sinaismonaurais, porexemplo, que representam tanto sinaissonorospredominantescomosequências de coeficiente de umarepresentação HOA. O método podeincluir a atribuição da pluralidade de sinais de transporte a umapluralidade de camadashierárquicas. Por exemplo, ossinais de transportepodem ser distribuídos para a pluralidade de camadas. A pluralidade de camadaspodeincluirumacamada base e umaoumaiscamadas de aprimoramentohierárquicas. O método podeincluiradicionalmentedeterminar se um modo de codificação de vetorestá ativo. O método podeincluiradicionalmente, se o modo de codificação de vetorestiverativo, determinar, para cadacamada, um conjunto de índices de coeficiente HOA contínuo com base nossinais de transporteatribuídos à respectivacamada. Osíndices de coeficiente HOA no conjunto de índices de coeficiente HOA contínuo podem ser osíndices de coeficiente HOA incluídos no conjunto ContAddHOACoeff. O método podeincluiradicionalmentegerar, para cadasinal de transporte, um vetor V com base no conjunto de índices de coeficiente HOA contínuo determinado para camada a qual respectivosinal de transporteé atribuído, de modo que ovetor V geradoincluaelementos para quaisquersinais de transporteatribuídos a camadasmaisaltas que a camada a qual o respectivosinal de transporteé atribuído. O método podeincluiradicionalmentesinalizarosvetores V gerados no fluxo de bits de saída.

[019] Configurado dessa forma, o método propostoassegura que no modo de codificação de vetor um vetor V adequadoestejadisponível para cadasinal de transporte que pertenceàs camadasaté a camadautilizável maisalta.Em particular, o método propostoexclui o casoem que oselementos de um vetor V que correspondeaossinais de transportenascamadasmaisaltasnão são explicitamentesinalizados. Consequentemente, as informações incluídas nascamadasaté a camadautilizável maisaltasão suficientes para decodificarquaisquersinais de transporte que pertencemàs camadasaté a camadautilizável maisalta.Desse modo, há umadescompactação adequada de respectivasrepresentações HOA reconstruídas para camadasmaisbaixas (camadas de taxa de bits baixa) mesmo que camadasmaisaltasnão possam ser validamenterecebidaspelodecodificador. Por outro lado, o método propostopermiteaproveitartotalmente a redução da largura de bandaexigida que pode ser obtidaquando se aplica a codificação emcamadas.

[020] De acordo com outro aspecto, é descrito um método de decodificação de um quadro de umarepresentação Ambissônica de ordem superior, HOA, compactada de um somou campo sonoro. A representação HOA compactadapode ser codificadaemumapluralidade de camadashierárquicas. A pluralidade de camadashierárquicas podeincluirumacamada base e umaoumaiscamadas de aprimoramentohierárquicas. O método podeincluirreceber um fluxo de bits relacionadoaoquadro da representação HOA compactada. O método podeincluiradicionalmenteextrair cargas úteis para a pluralidade de camadas. Cada carga útil podeincluirsinais de transporteatribuídos a umarespectivacamada. O método podeincluiradicionalmentedeterminarumacamadautilizável maisalta entre a pluralidade de camadas para decodificação. O método podeincluiradicionalmenteextrairuma carga útil de extensão HOA atribuída à camadautilizável maisalta. Essa carga útil de extensão HOA podeincluirinformações laterais para aprimorarparametricamenteumarepresentação HOA (parcialmente) reconstruída que correspondeà camadautilizável maisalta. A representação HOA (parcialmente) reconstruída que correspondeà camadautilizável maisaltapode ser obtenível com base nossinais de transporteatribuídos à camadautilizável maisalta e quaisquercamadasmaisbaixas que a camadautilizável maisalta. O método podeincluiradicionalmentegerar a representação HOA (parcialmente) reconstruída que correspondeà camadautilizável maisalta com base nossinais de transporteatribuídos à camadautilizável maisalta e quaisquercamadasmaisbaixas que a camadautilizável maisalta. O método aindapodeincluiradicionalmenteaprimorar (porexemplo, aprimorarparametricamente) a representação HOA (parcialmente) reconstruída com o uso das informações lateraisincluídas na carga útil de extensão HOA atribuída à camadautilizável maisalta. Como resultado, umarepresentação HOA reconstruída aprimoradapode ser obtida.

[021] Configurado dessa forma, o método propostoassegura que a representação HOA reconstruída final (porexemplo, aprimorada) tenhaqualidadeotimizada, com o uso das informações disponíveis (porexemplo, recebidas de maneiraválida) namedida do possível.

[022] Nasmodalidades, as cargas úteis de extensão HOA podemincluirelementos de fluxo de bits para uma ferramenta de decodificação de predição de sinalespacial HOA. De maneiraadicionaloualternativa, as cargas úteis de extensão HOA podeincluirelementos de fluxo de bits para uma ferramenta de decodificação de síntese de sinaldirecional de sub-banda HOA. De maneiraadicionaloualternativa, the cargas úteis de extensão HOA podeincluirelementos de fluxo de bits para uma ferramenta de decodificação de replicação de ambienteparamétrico HOA.

[023] Nasmodalidades, as cargas úteis de extensão HOA podemter um a usacExtElementType de ID_EXT_ELE_HOA_ENH_LAYER.

[024] Nasmodalidades, o método podeincluiradicionalmenteextrairuma carga útil de extensão de configuração HOA analisando-se o fluxo de bits. A carga útil de extensão de configuração HOA podeincluirelementos de fluxo de bits para configuraruma ferramenta de decodificação de predição de sinalespacial HOA, uma ferramenta de decodificação de síntese de sinaldirecional de sub-banda HOA e/ouuma ferramenta de decodificação de replicação de ambienteparamétrico HOA.

[025] Nasmodalidades, o método podeincluiradicionalmenteextrair cargas úteis de extensão HOA respectivamenteatribuídas à pluralidade de camadas. Cada carga útil de extensão HOA podeincluirinformações laterais para aprimorarparametricamenteumarepresentação HOA (parcialmente) reconstruída que corresponde a suarespectivacamadaatribuída. A representação HOA (parcialmente) reconstruída que correspondeà suarespectivacamadaatribuída pode ser obtenível a partir dos sinais de transporteatribuídos àquela camada e quaisquercamadasmaisbaixas que àquela camada. A atribuição de cargas úteis de extensão HOA às respectivascamadaspode ser conhecida a partir de informações de configuração incluídas no fluxo de bits.

[026] Nasmodalidades, determinar a camadautilizável maisaltapodeenvolverdeterminar um conjunto de índices de camadainválidos que indicamcamadas que não foramrecebidas de maneiraválida. Pode-se envolveradicionalmentedeterminar a camadautilizável maisaltacomo a camada que é umacamadaabaixo da camadaindicadapelomenoríndice (maisbaixo) no conjunto de índices de camadainválidos. A camada base podeter o índice de camadamaisbaixo (porexemplo, um índice de camada de 1), e as camadas de aprimoramentohierárquicas podemteríndices sucessivamentemais altos. Desse modo, o método propostoassegura que a camadautilizável maisaltasejaescolhida de tal modo que todas as informações necessárias para decodificarumarepresentação HOA (parcialmente) reconstruída a partir das camadasutilizáveis maisaltas e quaisquer camadasabaixo da camadautilizável maisaltaestejamdisponíveis.

[027] Nasmodalidades, determinar a camadautilizável maisaltapodeenvolverdeterminar um conjunto de índices de camadainválidos que indicamcamadas que não foramrecebidas de maneiraválida. Pode-se envolveradicionalmentedeterminar a camadautilizável maisalta de um quadro anterior que precede o quadroatual. Pode-se envolveraindaadicionalmentedeterminar que a camadautilizável maisalta que a maisbaixa da camadautilizável maisalta do quadro anterior e a camada que é umacamadaabaixo da camadaindicadapelomenoríndice no conjunto de índices de camadainválidos. Desse modo, umacamadautilizável maisalta para o quadroatualé escolhida de tal modo que todas as informações necessárias para decodificarumarepresentação HOA (parcialmente) reconstruída a partir da camadautilizável maisalta e quaisquercamadasabaixo da camadautilizável maisaltaestejamdisponíveis, mesmo se o quadroatualtiversidocodificadodiferencialmenteemrelação aoquadroprecedente.

[028] Nasmodalidades, o método podeincluiradicionalmentedecidirnão realizaraprimoramentoparamétrico da representação HOA (parcialmente) reconstruída com o uso das informações lateraisincluídas na carga útil de extensão HOA atribuída à camadautilizável maisaltase acamadautilizável maisalta do quadroatual for maisbaixa que a camadautilizável maisalta do quadro anterior e se o quadroatualtiversidocodificadodiferencialmenteemrelação aoquadro anterior. Desse modo, a representação HOA reconstruída pode ser decodificadaemerronoscasosem que o quadroatual (incluindo as informações lateraisincluídas na carga útil de extensão HOA atribuída à camadautilizável maisalta) foicodificadodiferencialmenteemrelação aoquadroprecedente.

[029] Nasmodalidades, o conjunto de índices de camadainválidos pode ser determinadoavaliando-se sinalizadores de validade das cargas úteis de extensão HOA correspondentes. Um índice de camada de umadeterminadacamada pode ser adicionadoao conjunto de índices de camadainválidos se o sinalizador de validade para a carga útil de extensão HOA atribuída à respectivacamadanão for definido. Desse modo, o conjunto de índices de camadainválidos pode ser determinado de umamaneiraeficiente.

[030] De acordo com outro aspecto, é descrita uma estrutura de dados (por exemplo, fluxo de bits) que representa um quadro de uma representação Ambissônica de ordem superior, HOA, compactada de um som ou campo sonoro. A representação HOA compactada pode incluir uma pluralidade de sinais de transporte. A estrutura de dados pode incluir uma pluralidade de cargas úteis de quadro HOA que correspondem às respectivas dentre uma pluralidade de camadas hierárquicas. As cargas úteis de quadro HOA podem incluir respectivos sinais de transporte. A pluralidade de sinais de transporte pode ser atribuída (por exemplo, distribuída) à pluralidade de camadas. A pluralidade de camadas pode incluir uma camada base e uma ou mais camadas de aprimoramento hierárquicas. A estrutura de dados pode incluir adicionalmente, para cada camada, uma respectiva carga útil de extensão HOA que inclui informações laterais para aprimorar parametricamente uma representação HOA (parcialmente) reconstruída obtenível a partir dos sinais de transporte atribuídos à respectiva camada e quaisquer camadas mais baixas que a respectiva camada.

[031] Nas modalidades, as cargas úteis de quadro HOA e as cargas úteis de extensão HOA para a pluralidade de camadas podem ser dotadas dos respectivos níveis de proteção de erro. A camada base pode ter proteção de erro mais alta e a uma ou mais camadas de aprimoramento podem ter proteção de erro sucessivamente decrescente.

[032] Nas modalidades, as cargas úteis de extensão HOA podem incluir elementos de fluxo de bits para uma ferramenta de decodificação de predição de sinal espacial HOA. De maneira adicional ou alternativa, as cargas úteis de extensão HOA podemincluirelementos de fluxo de bits para uma ferramenta de decodificação de síntese de sinaldirecional de sub-banda HOA. De maneiraadicionaloualternativa, as cargas úteis de extensão HOA podemincluirelementos de fluxo de bits para uma ferramenta de decodificação de replicação de ambienteparamétrico HOA.

[033] Nasmodalidades, as cargas úteis de extensão HOA podemter um usacExtElementType de ID_EXT_ELE_HOA_ENH_LAYER.

[034] Nasmodalidades, a estrutura de dados podeincluiradicionalmenteuma carga útil de extensão de configuração HOA que incluielementos de fluxo de bits para configuraruma ferramenta de decodificação de predição de sinalespacial HOA, uma ferramenta de decodificação de síntese de sinaldirecional de sub-banda HOA e/ouuma ferramenta de decodificação de replicação de ambienteparamétrico HOA.

[035] Nasmodalidades, a estrutura de dados podeincluiradicionalmenteuma carga útil de configuração de decodificador HOA que incluiinformações indicativas da atribuição das cargas úteis de extensão HOA à pluralidade de camadas.

[036] Nasmodalidades, métodos e aparelhos se referemà decodificação de umarepresentação Ambissônica de Ordem Superior (HOA) compactada de um somou campo sonoro. O aparelhopode ser configurado para ou o método podeincluirreceber um fluxo de bits que contém a representação HOA compactada que corresponde a umapluralidade de camadashierárquicas que incluemumacamada base e umaoumaiscamadas de aprimoramentohierárquicas, em que a pluralidade de camadastematribuída à mesmacomponentes de umarepresentação sonoracompactadabásica do somou campo sonoro, sendo que oscomponentessão atribuídos às respectivascamadasnosrespectivosgrupos de componentes, determinarumacamadautilizável maisalta entre a pluralidade de camadas para decodificação; extrairuma carga útil de extensão HOA atribuída à camadautilizável maisalta, em que a carga útil de extensão HOA incluiinformações laterais para aprimorarparametricamenteumarepresentação HOA reconstruída que correspondeà camadautilizável maisalta, em que a representação HOA reconstruída que correspondeà camadautilizável maisaltaé obtenível com base nossinais de transporteatribuídos à camadautilizável maisalta e quaisquercamadasmaisbaixas que a camadautilizável maisalta; decodificar a representação HOA compactada que correspondeà camadautilizável maisalta com base nasinformações de camada, nossinais de transporteatribuídos à camadautilizável maisalta e quaisquercamadasmaisbaixas que a camadautilizável maisalta; e aprimorarparametricamente a representação HOA decodificada com o uso das informações lateraisincluídas na carga útil de extensão HOA atribuída à camadautilizável maisalta.

[037] A carga útil de extensão HOA podeincluirelementos de fluxo de bits para uma ferramenta de decodificação de predição de sinalespacial HOA. As informações de camadapodemindicar um número de sinaisdirecionaisativosem um quadroatual de umacamada de aprimoramento.

[038] As informações de camadapodemindicar um número de coeficientes HOA ambientes adicionais total para umacamada de aprimoramento. As informações de camadapodemincluiríndices de coeficiente HOA para cadacoeficiente HOA ambienteadicional para umacamada de aprimoramento. As informações de camadapodemincluirinformações de aprimoramento que incluempelomenos um dentre a Predição de SinalEspacial, a Síntese de SinalDirecional de Sub-Banda e o Decodificador de Replicação de AmbienteParamétrico. A representação HOA compactadaé adaptada para um modo de codificação emcamadas para conteúdo baseadoem HOA se um CodedVVecLengthigual a um for sinalizadonaHOADecoderConfig(). Ademais, elementos de vetor v podemnão ser transmitidos para índices que são iguaisaosíndices de coeficientes HOA adicionaisincluídos em um conjunto de ContAddHoaCoeff. O conjunto de ContAddHoaCoeffpode ser separadamentedefinido para cadaumadentre a pluralidade de camadashierárquicas. As informações de camadaincluemelementosNumLayers, em que cadaelemento indica um número de sinais de transporteincluído emtodas as camadasaté umai-ésima camada. As informações de camadapodemincluir um indicador de todas as camadas realmente usadas para um fc-ésimo quadro. As informações de camada também podem indicar que todos os coeficientes para os vetores predominantes são especificados. As informações de camada podem indicar que os coeficientes dos vetores predominantes que correspondem ao número maior que um MinNumOfCoeffsForAmbHOA são especificadas. As informações de camada podem indicar que MinNumOfCoeffsForAmbHOA e todos os elementos definidos em ContAddHoaCoeff [lay] não são transmitidos, em que lay é o índice da camada que contém o vetor com base no sinal que corresponde ao vetor.

[039] De acordo com outro aspecto, é descrito um codificador para codificação em camadas de um quadro de uma representação Ambissônica de ordem superior, HOA, compactada de um som ou campo sonoro. A representação HOA compactada pode incluir uma pluralidade de sinais de transporte. O codificador pode incluir um processador configurado para realizar algumas ou todas as etapas de método dos métodos de acordo com o primeiro aspecto mencionado acima e o segundo aspecto mencionado acima.

[040] De acordo com outro aspecto, é descrito um decodificador para decodificar um quadro de uma representação Ambissônica de ordem superior, HOA, compactada de um som ou campo sonoro. A representação HOA compactada pode ser codificada em uma pluralidade de camadas hierárquicas que incluem uma camada base e uma ou mais camadas de aprimoramento hierárquicas. O decodificador pode incluir um processador configurado para realizar algumas ou todas as etapas de método dos métodos de acordo com o terceiroaspectomencionadoacima.

[041] De acordo com outro aspecto, um programa de software é descrito. O programa de software pode ser adaptado para execução em um processador e para realizar algumas ou todas as etapas de método descritas no presente documento quando realizadas em um dispositivo de computação.

[042] De acordo com ainda outro aspecto, uma mídia de armazenamento é descrita. A mídia de armazenamento pode incluir um programa de software adaptado para execução em um processador e para realizar algumas ou todas as etapas de método descritas no presente documento quando realizadas em um dispositivo de computação.

[043] Deve-se considerar que declarações feitas em relação a qualquer um dos aspectos acima ou suas modalidades também se aplicam a outros respectivos aspectos ou suas modalidades, como a pessoa versada na técnica irá observar. A repetição dessas declarações para cada e todo aspecto ou modalidade foi omitida por razões de concisão.

[044] Deve-se notar que os métodos e aparelho que incluem suas modalidades preferidas conforme descrito no presente documento podem ser usados de maneira independente ou em combinação com os outros m] revelado neste documento. Além disso, todos os aspectos dos métodos e aparelho descritos no presente documento podem ser arbitrariamente combinados. Em particular, os recursos das reivindicações podem ser combinados entre si de uma maneira arbitrária.

[045] Deve-se notar adicionalmente que as etapas de método e os recursos de aparelho podem ser intercambiados de muitas maneiras. Em particular, os detalhes do método revelado podem ser implementados como um aparelho adaptado para executar algumas ou todas as etapas do método e, vice-versa, como a pessoaversadanatécnica irá observar.

DESCRIÇÃO DOS DESENHOS

[046] A invenção é explicadaabaixo de umamaneiraexemplificativa com referência aosdesenhosanexos, em que: a Figura 1 é um diagrama de blocos que ilustraesquematicamenteumaatribuição de cargas úteis para a camada base e M - 1 camadas de aprimoramento no lado de codificador; a Figura 2 é um diagrama de blocos que ilustra esquematicamente um exemplo de um receptor e estágio de descompactação; a Figura 3 é um fluxograma que ilustra um exemplo de um método de codificação em camadas de um quadro de uma representação HOA compactada, de acordo com modalidades da revelação; a Figura 4 é um fluxograma que ilustra outro exemplo de um método de codificação em camadas de um quadro de uma representação HOA compactada, de acordo com modalidades da revelação; a Figura 5 é um fluxograma que ilustra um exemplo de um método de decodificação de um quadro de uma representação HOA compactada, de acordo com modalidades da revelação; a Figura 6 é um diagrama de blocos que ilustra esquematicamente um exemplo de uma implementação de hardware de um codificador, de acordo com modalidades da revelação; e a Figura 7 é um diagrama de blocos que ilustra esquematicamente um exemplo de uma implementação de hardware de um decodificador, de acordo com modalidades da revelação.

DESCRIÇÃO DETALHADA

[047] Primeiro, uma representação sonora (ou campo sonoro) compactada a qual métodos e codificadores/decodificadores, de acordo com a presente revelação, podem ser aplicáveis será descrita.

[048] Para a transmissão contínua de umarepresentação sonora (ou campo sonoro) compactadaatravés de um canal de transmissão com condições variáveis no tempo, a codificação emcamadasé um meio para adaptar a qualidade da representação sonorarecebidaàs condições de transmissão, e, em particular, para evitarquedas de sinalindesejadas.

[049] Para codificação emcamadas, a representação sonora (ou campo sonoro) compactadaé geralmentesubdivididaemumacamada base de altaprioridade de um tamanhorelativamentepequeno e camadas de aprimoramentoadicionais com prioridadesdecrementais e tamanhosarbitrários. Supõe-se que cadacamada de aprimoramentocontenhatipicamenteinformações incrementais para complementaraquelas de todas as camadasmaisbaixas a fim de aprimorar a qualidade da representação sonora (ou campo sonoro) compactada. A ideiaé, então, controlar a quantidade de proteção de erro para a transmissão das camadasindividuais de acordo com suaprioridade. Em particular, a camada base é dotada de umaproteção de erroalta, que é razoável e acessível devidoaoseubaixotamanho.

[050] Supõe-se a seguir que a representação sonora (ou campo sonoro) compactadacompleta, emgeral, consisteemtrês seguintescomponentes:

[051] 1. Uma representação sonora (ou campo sonoro) compactada básica que consisteem um número de componentescomplementares, que representa a porcentagemdistintivamentemaior da representação sonora (ou campo sonoro) compactadacompleta.

[052] 2. Informações lateraisbásicas necessárias para decodificar a representação sonoracompactadabásica, que se presume que seja de tamanhomuitomenoremcomparação com a representação sonora (ou campo sonoro) compactadabásica. Presume-se adicionalmente que consistanasuamaiorparte dos doisseguintescomponentes, ambos osquaisespecificam a descompactação de apenas um componente particular da representação sonoracompactadabásica:

[053] a) O primeirocomponentecontém informações laterais que descrevemcomponentescomplementaresindividuais da representação sonora (ou campo sonoro) compactadabásica independentemente de outros componentescomplementares.

[054] b) O segundo (opcional) componentecontém informações laterais que descrevemcomponentescomplementaresindividuais da representação sonora (ou campo sonoro) compactadabásica emdependência de outros componentescomplementares. Em particular, a dependência tem as seguintespropriedades:

[055] • As informações laterais dependentes para cada componente complementar individual da representação sonora (ou campo sonoro) compactada básica alcançam sua maior extensão no caso em que nenhum outro componente complementar está contido na representação sonora (ou campo sonoro) compactada básica.

[056] • No caso de certos componentes complementares adicionais serem adicionados à representação sonora (ou campo sonoro) compactada básica, as informações laterais dependentes para o componente complementar individual considerado se tornam um subconjunto das originais reduzindo, desse modo, seu tamanho.

[057] 3. Informações laterais de aprimoramento opcionais para aprimorar a representação sonora (ou campo sonoro) compactada básica. Presume-se que seu tamanho também seja muito menor que aquele da representação sonora (ou campo sonoro) compactada básica.

[058] Um exemplo proeminente de tal tipo de representação sonora (ou campo sonoro) compactada completa é dado pela representação de campo sonoro HOA compactada conforme especificado pela versão preliminar do padrão de áudio MPEG-H 3D.

[059] 1. Sua representação de campo sonorocompactadabásica pode ser identificada com um número de sinaismonauraisquantizados, que representa tanto assimchamadossinaissonorospredominantescomosequências de coeficiente de um assimchamadocomponente campo sonoro HOA ambiente.

[060] 2. As informações lateraisbásicas descrevem, entre outros, para cada um dessessinaismonaurais, comoissocontribuiespacialmente para o campo sonoro. Essasinformações podem ser adicionalmenteseparadasnosdoiscomponentesdiferentes a seguir:

[061] (a) Informações lateraisrelacionadas a sinaismonauraisindividuais específicos, que são independentesda existência de outros sinaismonaurais. Tais informações lateraispodem, porexemplo, especificar um sinal monaural para representar um sinaldirecional (que significaumaonda de planogeral) com umacertadireção de incidência. Alternativamente, um sinal monaural pode ser especificadocomoumasequência de coeficiente da representação HOA original que tem um certoíndice.

[062] (b) Informações lateraisrelacionadas a sinaismonauraisindividuais específicos, que são dependentesda existência de outros sinaismonaurais. Tais informações lateraisocorrem, porexemplo, se sinaismonauraisforemespecificados para seremassimchamados de sinaisbaseadosemvetor, o que significa que elessão direcionalmentedistribuídos dentro do campo sonoro, em que a distribuição direcionalé especificadapormeio do vetor. Em um certo modo (istoé CodedVVecLength = 1), componentesparticularesdessevetorsão implicitamentedefinidosem zero e não fazemparte da representação de vetorcompactada. Essescomponentessão aqueles com índices iguaisàqueles da sequência de coeficiente da representação HOA original, que fazemparte da representação de campo sonorocompactadabásica. Issosignifica que se componentesindividuais do vetorsão codificados, seunúmero total depende da representação de campo sonoro compactadabásica, em particular, emquaissequências de coeficiente da representação HOA original a mesmacontém.

[063] Se nenhumasequência de coeficiente da representação HOA original estivercontidanarepresentação de campo sonorocompactadabásica, as informações lateraisbásicas dependentes para cadasinalbaseadoemvetorconsistememtodososcomponentes de vetor e temseumaiortamanho. No casoem que as sequências de coeficiente da representação HOA original com certosíndices são adicionadasà representação de campo sonorocompactadabásica, oscomponentes de vetor com essesíndices são removidos das informações laterais para cadasinalbaseadoemvetorreduzindo, desse modo, o tamanho das informações lateraisbásicas dependentes para sinaisbaseadosemvetor.

[064] 3. As informações laterais de aprimoramentoconsistemnos seguintescomponentes:

[065] ¦ Parâmetros relacionados à assim chamada (banda larga) predição espacial para predizer (linearmente) porções ausentes do campo sonoro a partir dos sinais direcionais.

[066] ¦ Parâmetros relacionados à assim chamada Síntese de Sinais Direcionais de Sub-Banda e à Replicação de Ambiente Paramétrico, que são ferramentas de compactação que permitem que uma predição paramétrica dependente de frequência de sinais monaurais adicionais seja espacialmente distribuída a fim de complementar uma representação HOA compactada até agora espacialmente incompleta ou deficiente. A predição se baseia nas sequências de coeficiente da representação de campo sonoro compactada básica. Um aspecto importante é que a contribuição complementar mencionada para o campo sonoro é representada dentro da representação HOA compactada não por meio de sinais quantizados adicionais, mas, de preferência, por meio de informações laterais extras de um tamanho comparavelmente muito menor. Portanto, as duas ferramentas de codificação mencionadassão especialmenteadequadas para compactação de representações HOA emtaxas de dados baixas.

[067] um segundoexemplo de umarepresentação compactada de um sinal monaural com a estruturamencionadaacimapodeconsistirnosseguintescomponentes:

[068] 1. Algumasinformações espectraiscodificadas para bandas de frequência não contíguas até umacertafrequência superior, que pode ser consideradacomoumarepresentação compactadabásica.

[069] 2. Algumasinformações lateraisbásicas que especificam as informações espectraiscodificadas (porexemplo, pelonúmero e largura de bandas de frequência codificadas).

[070] 3. Algumasinformações laterais de aprimoramento que consistem emparâmetros de umaassimchamadaReplicação de Banda Espectral (SBR), que descrevecomoreconstruirparametricamente a partir da representação compactadabásica as informações espectrais para bandas de frequência maisaltas que não são consideradasnarepresentação compactadabásica.

[071] A seguir, um método para a codificação emcamadas de umarepresentação sonora (ou campo sonoro) compactadacompleta que tem a estruturaanteriormentemencionadaserá descrito.

[072] Presume-se que a compactação sejabaseadaemquadro no sentido de que fornecerepresentações compactadas (porexemplo, na forma de pacotes de dados ouequivalentemente cargas úteis de quadro) para intervalos de tempo sucessivos, porexemplo, intervalos de tempo de tamanhoigual. Presume-se que essespacotes de dados contenham um sinalizador de validade, um valor que indica seutamanho, assimcomoseus dados de representação compactados reais. Aolongo da descrição a seguir, a descrição será focalizadaprincipalmente no tratamento de um único quadro e, portanto, o índice de quadroserá omitido.

[073] Presume-se cada carga útil de quadro da representação sonora (oucampo sonoro) compactada completa considerada 1100 contenha J pacotes de dados, cada um, para um componente 1110-1, ..., 1110-/ de uma representação sonora (ou campo sonoro) compactada básica, que são indicados por BSRC, j = 1,...,/. Ademais, presume-se que contenha um pacote com informações laterais básicas independentes 1120 indicadas por BSIj que especificam componentes particulares BSRC da representação sonora compactada básica independentemente de outros componentes. Opcionalmente, presume-se adicionalmente que contenha um pacote com informações laterais básicas dependentes indicadas por BSID que especificam componentes particulares BSRC da representação sonora compactada básica na dependência de outros componentes. As informações contidas dentro dos dois pacotes de dados BSIj e BSID podem ser opcionalmente agrupadas em um único pacote de dados BSI.

[074] Eventualmente, o mesmo inclui uma carga útil de informações laterais de aprimoramento indicada por ESI com uma descrição de como aprimorar o som reconstruído (ou campo sonoro) a partir da representação compactada básica completa.

[075] O esquema descrito para codificação em camadas aborda as etapas necessárias para permitir tanto a parte de compactação que inclui o empacotamento de pacotes de dados para transmissão, assim como o receptor e a parte de descompactação. Cada parte será descrita em detalhes a seguir.

[076] A seguir, a compactação e o empacotamento para transmissão serão descritos. No caso da codificação em camadas (presumindo M camadas no total, isto é, uma camada básica e M -1 camadas de aprimoramento) cada componente da representação sonora (ou campo sonoro) compactada completa 1100 é tratado da seguinte forma:

[077] • A representação sonora (ou campo sonoro) compactada básica é subdivididaempartes para ser atribuída às camadasindividuais. Sem perda de generalidade, o agrupamento pode ser descrito por M + 1 números Jm, m = 0,...,M com j0 = 1 e jM = j + 1 de modo que BSRC, seja atribuída à m-ésima camada para Jm-l<j<Jm.

[078] • Devido ao seu tamanho pequeno, é razoável atribuir as informações laterais básicas completas à camada base para evitar a fragmentação desnecessária. Embora as informações laterais básicas independentes BSIj sejam deixadas inalteradas para a atribuição, as informações laterais básicas dependentes precisam ser manipuladas especialmente para codificação em camadas, para permitir uma decodificação correta no lado de receptor, por outro lado, e para reduzir o tamanho das informações laterais dependentes para serem transmitidas, por outro lado. Propõe-se decompô-las em M partes 1130-1, ..., 1130-M indicadas por BSID,m, m = 1, ...,M, em que a m-ésima parte contém informações laterais dependentes para cada um dos componentes BSRC,, Jm_±<j< Jm, da representação sonora compactada básica atribuída à m-ésima camada, se as respectivas informações laterais dependentes existirem. No caso em que as respectivas informações laterais dependentes não existem, BSID,mpresume-se que sejam vazias. As informações laterais BSID,m são dependentes de todos os componentes BSRC,, 1 <j<Jm, contidos em todas as camadas até a m-ésima.

[079] • No caso da codificação em camadas, é importante perceber que as informações do lado do aprimoramento devem ser computadas para cada camada extra, uma vez que se pretende aprimorar o som (ou campo sonoro) preliminarmente descompactado que, entretanto, é dependente das camadas disponíveis para descompactação. Portanto, a compactação precisa fornecer M pacotes de dados de informações laterais de aprimoramento individuais 1140-1, ..., 1140-M, indicados por ESIm, m = 1,...,M, em que as informações laterais de aprimoramento no m-ésimo pacote de dados ESIm é computado, tal como para aprimorar a representação sonora (ou campo sonoro) obtida a partir de todosos dados contidosnacamada base e camadas de aprimoramento com índices mais baixos que m.

[080] Em síntese, no estágio de compactação, um pacote de dados de quadro FRAME, precisa ser fornecido tendo a seguinte composição:

[081] Entende-se que a ordenação das cargas úteis individuais com o pacote de dados de quadro é arbitrária em geral.

[082] A atribuição já descrita das cargas úteis individuais às camadas de base e aprimoramento é realizada por um assim chamado empacotador de camadas de transporte e é esquematicamente ilustrado na Figura 1.

[083] A seguir, a recepção e a descompactação serão descritas. O estágio de receptor e descompactação é ilustrado na Figura 2.

[084] Primeiro, os pacotes de camada individuais 1200, 1300-1, ..., 1300- (M - 1) são multiplexados para fornecer o pacote de quadro recebido

[085] da representação sonora (ou campo sonoro) compactada completa, que é então passada para o descompactador 2100. Presume-se que se a transmissão de uma camada individual tiver sido livre de erro, o sinalizador de validade pelo menos da carga útil de informações laterais de aprimoramento contida é definido como “verdadeiro”. No caso de um erro devido à transmissão de uma camada individual do sinalizador de validade dentro pelo menos da carga útil de informações laterais de aprimoramento nessa camada é definida como “falso”. Portanto, a validade de pacote de camada pode ser determinada a partir da validade da carga útil de informações laterais de aprimoramento contidas.

[086] No descompactador 2100, o pacote de quadro recebido é primeiro demultiplexado. Para esse propósito, as informações sobre o tamanho de cada carga útil podem ser exploradas para evitaranálise desnecessária através dos dados das cargas úteis individuais.

[087] Em uma próxima etapa, o número NB da camada mais alta a ser realmente usada para descompactação da representação sonora básica é selecionado. A camada de aprimoramento mais alta a ser realmente usada para descompactação da representação sonora básica é fornecida por NB - 1. Uma vez que cada camada contém exatamente uma carga útil de informações laterais de aprimoramento, a mesma é conhecida a partir de cada carga útil de informações laterais de aprimoramento se a camada contendo for válida ou não. Portanto, a seleção pode ser realizada com o uso de todas as cargas úteis de informações laterais de aprimoramento ESIm, m = 1, ...,M. Adicionalmente, o índice NE da carga útil de informações laterais de aprimoramento a ser usado para descompactação é determinado, que é sempre tanto igual a NB como igual a zero. Isso significa que o aprimoramento é realizado tanto sempre de acordo a representação sonora básica ou de modo algum. Uma descrição mais detalhada da seleção será fornecida adicionalmente abaixo.

[088] Sucessivamente, as cargas úteis dos componentes de representação sonora compactada básica BSRQ, ...,BSRC7 são passados em conjunto com todas as cargas úteis de informações laterais básicas (isto é, BSIj e BSID,m, m = 1,...,M) e o valor NB para uma unidade de processamento de Descompactação de Representação Básica 2200, que reconstrói a representação sonora (ou campo sonoro) com o uso daqueles componentes de representação sonora compactada básica contidos dentro das NB camadas mais baixas (isto é, a camada base e as NB -1 camadas de aprimoramento). Presume-se que as informações necessárias sobre quais componentes da representação sonora (ou campo sonoro) compactada básica estão contidos nas camadas individuais sejam conhecidas para o descompactador 2100 a partir de um pacote de dados com informações de configuração, que se presume que sejaenviado e recebido antes dos pacotes de dados de quadro. A decodificação real de cada carga útil de informações laterais básicas dependentes individuais BSIDm, m = 1,.,NB pode ser dividida em duas partes da seguinte forma:

[089] 1. Uma decodificação preliminar de cada carga útil BSID,m, m = 1, ...,NB, explorando-se sua dependência dos primeiros componentes de Jm - 1 representação sonora compactada básica BSRQ, ..., BSRC(7m)_x contidos nas primeiras m camadas, o que foi presumido no estágio de codificação.

[090] 2. Uma correção sucessiva de cada carga útil BSID,m, m = 1,-,NB, considerando-se que o componente sonoro básico é finalmente reconstruído a partir dos primeiros componentes de JNB - 1 representação sonora compactada básica BSRQ, ..., BSRC(7Wß)_1contidos nas primeiras NB>m camadas, que são mais componentes do que o presumido para a decodificação preliminar. Portanto, a correção pode ser realizada descartando-se informações obsoletas, o que é possível devido à propriedade inicialmente presumida das informações laterais básicas dependentes que se certos componentes complementares forem adicionados à representação sonora (ou campo sonoro) compactada básica, as informações laterais básicas dependentes para cada componente complementar individual se tornam um subconjunto das originais.

[091] Eventualmente, a representação sonora (ou campo sonoro) básica reconstruída em conjunto com todas as cargas úteis de informações laterais de aprimoramento ESIP ...,ESIM, as cargas úteis de informações laterais básicas BSIj e BSID,m, m = 1, ...,M, e o valor NE é fornecida para uma unidade de processamento de Descompactação de Representação Aprimorada 2300, que computa a representação sonora (ou campo sonoro) aprimorada final com o uso apenas da carga útil de informações laterais de aprimoramento ESIWE e descarta todas as outras cargas úteis de informações laterais de aprimoramento. Se o valor de NE for igual a zero, todas as cargas úteis de informações laterais de aprimoramentosão descartadas e a representação sonora (ou campo sonoro) aprimorada final reconstruída é igualà representação sonora (ou campo sonoro) básica reconstruída.

[092] A seguir, a seleção de camadaserá descrita. No casoem que todosospacotes de dados de quadropodem ser descompactadosindependentementeuns dos outros, tanto número NB da camada mais alta a ser realmente usada para descompactação da representação sonora básica como o índice NE da carga útil de informações laterais de aprimoramento a ser usado para descompactação são definidos como o número mais alto de uma L carga útil de informações laterais de aprimoramento válida, que pode ser propriamente determinada avaliando-se os sinalizadores de validade dentro das cargas úteis de informações laterais de aprimoramento. Explorando-se o conhecimento do tamanho de cada carga útil de informações de lado de aprimoramento, uma análise complicada através dos dados reais das cargas úteis para a determinação de sua validade pode ser evitada.

[093] No caso em que a descompactação diferencial com dependências interquadro é empregada, a decisão do quadro anterior precisa ser adicionalmente considerada. Com a descompactação diferencial, pacotes de dados de quadro independentes são transmitidos em intervalos de tempo regulares a fim de permitir o início da descompactação desses instantes de tempo, em que a determinação dos valores NB eNE se torna independente de quadro e é realizada conforme descrito acima.

[094] Para explicar a decisão dependente de quadro em detalhes, indicase primeiro um fc-ésimo quadro • o número mais alto de uma carga útil de informações laterais de aprimoramento válida por L(k~) • o número de camada mais alta e ser selecionado e usado para descompactação da representação sonora básica por NB(k) • o número da carga útil de informações laterais de aprimoramento a ser usado para descompactação por NE(k).

[095] Com o uso dessa notação, o número de camada mais alta a ser usado para descompactação da representação sonora básica por NB(k) é computado de acordo com

[096] Ao escolher NB(k) não ser maior que NB(k — 1) e L(k~) assegura-se que todas as informações necessárias para descompactação diferencial da representação sonora básica estejam disponíveis.

[097] O número NE(k) da carga útil de informações laterais de aprimoramento a ser usado para descompactação é determinado de acordo com

[098] Isso significa, em particular, que desde que o número de camada mais alta NB(k) a ser usado para descompactação da representação sonora básica não altere, o mesmonúmero de camadas de aprimoramentocorrespondentesejaselecionado. Entretanto, no caso de uma alteração de NB(k), o aprimoramento é desabilitado definindo-se NE(k) como zero. Devido à descompactação diferencial presumida das informações laterais de aprimoramento, sua alteração de acordo com NB(k) não é possível uma vez que a mesma pode requer a descompactação da camada de informações laterais de aprimoramento correspondente no quadro anterior que se presume que não tenha sido realizada.

[099] Alternativamente, se uma descompactação de todas as cargas úteis de informações laterais de aprimoramento com números de até NE(k) forem descompactadas em paralelo, a regra de seleção (4) pode ser substituída por

[0100] Finalmente, deve-se notar que para descompactação diferencial, o número da camadamaisaltausadapodeapenasaumentarempacotes de dados de quadroindependentes, enquantoumadiminuição é possível emcadaquadro.

[0101] A seguir, modalidades da revelação relacionadasà codificação emcamadas de um quadro de umarepresentação sonoracompactada e a umaestrutura de dados (porexemplo, fluxo de bits) que representa um quadro da representação sonoracompactadacodificadaserão descritas para o caso de umarepresentação HOA compactada. Em particular, alterações propostas para o esquema de codificação emcamadas de umarepresentação HOA compactadaserão descritas.

[0102] Como umacorreção do Modo de Codificação emCamadas para conteúdo baseadoem HOA, um novo usacExtElementTypeé definido para adaptarmelhor as cargas úteis de configuração e quadro das ferramentas de decodificação HOA Predição de SinalEspacial, Síntese de SinalDirecional de Sub-Banda e Decodificador de Replicação de AmbienteParamétrico (PAR) para a camada de aprimoramento HOA correspondente. Se o Modo de Codificação emCamadas para conteúdo baseadoem HOA for ativado, que é sinalizadoporSingleLayer==0, propõe-se mover oselementos de fluxo de bits correspondentes dessas ferramentas para uma carga útil de extensão HOA adicional do novo tipo para cadacamada (incluindo a camada base e umaoumaiscamadas de aprimoramento).

[0103] A extensão precisa ser feitaporque as informações laterais para essas ferramentas são criadas para aprimorarumarepresentação HOA específica. Na definição atual da codificação HOA emcamadas, os dados fornecidosestendemapenasadequadamente a representação HOA da camadamaisalta. Para as camadasmaisbaixas, essas ferramentas não aprimoram a representação HOA parcialmentereconstruída adequadamente.

[0104] Portanto, pode ser melhorfornecer as informações laterais dessas ferramentas para cadacamada para adaptar as mesmasà representação HOA reconstruída da camadacorrespondente.

[0105] Adicionalmente, as ferramentas Síntese de SinalDirecional de SubBanda e Decodificador de Replicação de AmbienteParamétrico são especificamenteprojetadas para taxas de dados baixas, em que apenasalgunssinais de transporteestão disponíveis. A extensão propostapode, portanto, oferecer a capacidade para adaptar de maneira ideal as informações laterais dessas ferramentas aonúmero de sinais de transportenacamada. Consequentemente, a qualidadesonora da representação HOA reconstruída para camadas de taxa de bits baixa, porexemplo, a camada base, pode ser significativamenteaumentadaemcomparação com a abordagememcamadasexistente.

[0106] Além disso, a sintaxe de fluxo de bits para oselementos de vetor V codificados para ossinaisbaseadosemvetorprecisa ser adaptada para a codificação emcamadas HOA se um CodedVVecLengthigual a um for sinalizadonaHOADecoderConfig(). Nesse modo de codificação de vetor, oselementos de vetor V não são transmitidos para osíndices de coeficiente HOA que são incluídos no conjunto de ContAddHoaCoeff. Esse conjunto incluitodososíndices de coeficiente HOA AmbCoeffIdx [i] que têm um AmbCoeffTransitionStateigual a zero. Não há necessidade de também adicionar um sinal de vetor V ponderadoporque a sequência de coeficiente HOA original para essesíndices é explicitamenteenviada. Portanto, o elemento de vetor V naabordagemconvencionalé definidacomo zero para essesíndices.

[0107] Entretanto, no modo de codificação emcamadas, o conjunto de índices de coeficiente HOA contínuos depende dos canais de transporte que fazemparte da camadaatualmenteativa. Issosignifica que índices de coeficiente HOA adicionaisenviadosemumacamadamaisaltaestão ausentesnascamadasmaisbaixas. Então, a suposição que osinal de vetornão devecontribuir para a sequência de coeficiente HOA está incorreta para osíndices de coeficiente HOA que pertencem às sequências de coeficiente HOA incluídas emcamadasmaisaltas. Desse modo, propõe-se (explicitamente) sinalizaroselementos de vetor V para essesíndices de coeficienteausentes.

[0108] Como consequência, propõe-se definir o conjunto de ContAddHoaCoeff para cadacamada e usar o conjunto da camadaem que osinal de vetor V é adicionado (o sinal de transporte do sinal de vetor V pertence a) para a seleção dos elementos de vetor V ativos. Todavia, propõe-se que os dados de vetor V permaneçam no HOAFrame() e não sejammovidos para o HOAEnhFrame().

[0109] A seguir, a integração nasintaxe de fluxo de bits MPEG-H será descrita. Um método de codificação correspondente (porexemplo, um método de codificação emcamadas de um quadro de umarepresentação HOA compactada de um somou campo sonoro) de acordo com modalidades da revelação será descrito com referência à Figura 3. As alterações propostas para o fluxo de bits MPEG-H 3D serão descritasabaixo no ANEXO.

[0110] No modo de Codificação emCamadas o sinalizadorSingleLayernaHOADecoderConfig() está inativo (SingleLayer==0) e o número de camadas e seunúmero correspondente de sinais de transporte HOA atribuído são definidos. Emgeral, a representação HOA compactadapodecompreenderumapluralidade de sinais de transporte.

[0111] Consequentemente, em S3010 na Figura 3, a pluralidade de sinais de transporte é atribuída a uma pluralidade de camadas hierárquicas. Em outras palavras, os sinais de transporte são distribuídos para a pluralidade de camadas. Cada camada pode incluir os respectivos sinais de transporte atribuídos àquela camada. Cada camada pode ter mais de um sinal de transporte atribuído a mesma. A pluralidade de camadas pode incluir uma camada base e uma ou mais camadas de aprimoramento hierárquicas. As camadas podem ser ordenadas, a partir da camada base, através das camadas de aprimoramento, até a camada de aprimoramentomaisalta total (camadamaisalta total).

[0112] Propõe-se adicionaruma carga útil de extensão de configuração HOA adicional e carga útil de extensão de quadro HOA com um usacExtElementType ID_EXT_ELE_HOA_ENH_LAYER recentementedefinido no fluxo de bits MPEG-H para transmitiruma carga útil de Predição de SinalEspacial, Síntese de SinalDirecional de Sub-Banda e dados de Decodificador PAR para cadacamada de aprimoramento HOA (incluindo a camada base). Essas cargas úteis extra irão seguirdiretamente a carga útil do tipo ID_EXT_ELE_HOA na mpegh3daExtElementConfig() e correspondentemente no mpegh3daFrame().

[0113] Portanto, propõe-se mover, no caso de SingleLayer==0, oselementos de configuração para a Predição de SinalEspacial, a Síntese de SinalDirecional de Sub-Banda e o Decodificador PAR a partir da HOADecoderConfig() praumaHOADecoderEnhConfig() recentementedefinida e a HOAPredictionInfo(), a HOADirectionalPredictionInfo() e a HOAParInfo() correspondentes do HOAFrame() para o HOAEnhFrame() recentementedefinido.

[0114] Consequentemente, em S3020, uma respectiva carga útil de extensão HOA é gerada para cada camada. A carga útil de extensão HOA gerada pode incluir informações laterais para aprimorar parametricamente uma representação HOA reconstruída obtenível a partir dos sinais de transporte atribuídos (por exemplo, incluídos em) à respectiva camada e quaisquer camadas mais baixas que a respectiva camada. Conforme indicado acima, as cargas úteis de extensão HOA podem incluir elementos de fluxo de bits para uma ou mais de uma ferramenta de decodificação de predição de sinal espacial HOA, uma ferramenta de decodificação de síntese de sinal direcional de sub-banda HOA e uma ferramenta de decodificação de replicação de ambiente paramétrico HOA. Ademais, as cargas úteis de extensão HOA podem ter um usacExtElementType de ID_EXT_ELE_HOA_ENH_LAYER.

[0115] Em S3030, as cargas úteis de extensão HOA geradas são atribuídas às suas respectivas camadas.

[0116] Ademais (não mostrado na Figura 3), uma carga útil de extensão de configuração HOA que inclui elementos de fluxo de bits para configurar uma ferramenta de decodificação de predição de sinal espacial HOA, uma ferramenta de decodificação de síntese de sinal direcional de sub-banda HOA e/ou uma ferramenta de decodificação de replicação de ambiente paramétrico HOA podem ser geradas.

[0117] Ademais (não mostrado na Figura 3), uma carga útil de configuração de decodificador HOA que inclui informações indicativas da atribuição das cargas úteis de extensão HOA à pluralidade de camadas pode ser gerada.

[0118] A seguir, a transmissão do fluxo de bits de em camadas (por exemplo, fluxo de bits MPEG-H) será descrito. À medida que todas as cargas úteis de extensão do fluxo de bits MPEG-H são alinhadas por byte e seus tamanhos são explicitamente sinalizados, um sinalizador elementLengthPresent igual a um é presumido, um desempacotador pode analisar o fluxo de bits MPEG-H e extrair as cargas úteis para camadas mais altas que um e transmitir as mesmas separadamente através de canais de transmissão diferentes. A camada base compreende (por exemplo, consiste em) o fluxo de bits MPEG-H que exclui os dados para camadas mais altas. As cargas úteis de extensão ausentes são sinalizadas como vazias ou inativas. Para cargas úteis do tipo ID_USAC_SCE, ID_USAC_CPE e ID_USAC_LFE uma carga útil vazia é sinalizada por um elementLength de zero, em que o elementLengthPresent precisa ser definido como um. A carga útil vazia do tipo ID_USAC_EXT pode ser sinalizada definindo-se o sinalizador usacExtElementPresent em zero (falso).

[0119] Consequentemente, em S3040, as cargas úteis de extensão HOA geradas são sinalizadas (por exemplo, transmitidas ou emitidas) em um fluxo de bits de saída. Em geral, a pluralidade de camadas e as cargas úteis atribuídas à mesma são sinalizadas (porexemplo, transmitidasouemitidas) no fluxo de bits de saída. Ademais, a carga útil de configuração de decodificador HOA e/ou a carga útil de extensão de configuração HOA pode ser sinalizada (porexemplo, transmitidaouemitida) no fluxo de bits de saída.

[0120] Presume-se que a camada base HOA (índice de camadaigual a um) sejatransmitida com a proteção de erromaisalta e tenhauma taxa de bits relativamentepequena. A proteção de erro para as seguintescamadas (umaoumaiscamadas de aprimoramento HOA) é reduzida de forma constante de acordo com a taxa de bits crescente das camadas de aprimoramento. Devidoàs condições de transmissão insatisfatórias e proteção de erro inferior, a transmissão de camadasmaisaltaspodefalhar e no piorcaso, apenas a camada base é corretamentetransmitida. Presume-se que umaproteção de errocombinada para todas as cargas úteis de umacamadasejaaplicada. Desse modo, se a transmissão de umacamadafalhar, todas as cargas úteis da camadacorrespondenteestão ausentes.

[0121] Emoutraspalavras, as cargas úteis de dados para a pluralidade de camadaspodem ser transmitidas com osrespectivosníveis de proteção de erro, em que a camada base temproteção de erromaisalta e a umaoumaiscamadas de aprimoramentotêm proteção de errosucessivamentedecrescente.

[0122] Exceto se as etapasexigiremdeterminadasoutrasetapascomopré- requisitos, as etapasanteriormentemencionadaspodem ser realizadasemqualquerordem e a ordemexemplificativailustradanaFigura 3 é entendidacomonão limitadora.

[0123] Conformeindicadoacima, a sintaxe de fluxo de bits para oselementos de vetor V codificados para ossinaisbaseadosemvetor v precisam ser adaptados para a codificação emcamadas HOA se um CodedVVecLengthigual a um for sinalizadonaHOADecoderConfig(). Um método de codificação correspondente (porexemplo, um método de codificação emcamadas de um quadro de umarepresentação HOA compactada de um somou campo sonoro) de acordo com modalidades da revelação será descrito com referência à Figura 4.

[0124] EmS4010na Figura 4, a pluralidade de sinais de transporte é atribuída a uma pluralidade de camadas hierárquicas. Essa etapa pode ser realizada da mesma maneira que S3010 descrita acima.

[0125] EmS4020, se determina se um modo de codificação de vetor está ativo. Isso pode envolver determinar se CodedVVecLength==1 ou não.

[0126] Conforme indicado acima, na abordagem convencional no modo de codificação de vetor, os elementos de vetor V não são transmitidos para índices de coeficiente HOA que são incluídos no conjunto de ContAddHoaCoeff. Esse conjunto inclui todos os índices de coeficiente HOA AmbCoeffIdx [i] que têm um AmbCoeffTransitionState igual a zero. Não há necessidade de adicionar também um sinal de vetor V ponderado porque a sequência de coeficiente HOA original para esses índices é explicitamente enviada. Portanto, o elemento de vetor V na abordagem convencional é definido como zero para esses índices.

[0127] Entretanto, no modo de codificação em camadas, o conjunto de índices de coeficiente HOA contínuo depende dos canais de transporte que fazem parte da camada atualmente ativa. Isso significa que índices de coeficiente HOA adicionais enviados em uma camada mais alta estão ausentes nas camadas mais baixas. Então, suposição de que o sinal de vetor não deve contribuir para a sequência de coeficiente HOA está incorreto para os índices de coeficiente HOA que pertencem às sequências de coeficiente HOA incluídas em camadas mais altas.

[0128] Desse modo, se o modo de codificação de vetor estiver ativo, em S4030 um conjunto de índices de coeficiente HOA contínuos (por exemplo, ContAddHoaCoeff) é determinado (por exemplo, definido) para cada camada com base nos sinais de transporte atribuídos à respectiva camada.

[0129] Se o modo de codificação de vetor estiver ativo, em S4040, para cadasinal de transporte, um vetor V é gerado com base no conjunto de índices de coeficiente HOA determinado para a camadaà qual o respectivosinal de transporteé atribuído. Cadavetor V geradopodeincluirelementos para quaisquersinais de transporteatribuídos às camadasmaisaltas que a camadaà qual o respectivosinal de transporteé atribuído. Essa etapapodeenvolver o uso do conjunto de índices de coeficiente HOA contínuos que foramdeterminados para a camadaem que osinal de vetor V é adicionado (a camada que osinal de transporte do sinal de vetor V pertence) para a seleção dos elementos de vetor V ativos. Todavia, propõe-se que os dados de vetor V permaneçam no HOAFrame() e não se movam para o HOAEnhFrame().

[0130] Então, em S4050 os vetores V gerados (sinais de vetor V) são sinalizados no fluxo de bits de saída. Isso pode envolver (explicitamente) sinalizar os elementos de vetor V para os índices de coeficiente ausentes anteriormente mencionados.

[0131] As etapas S4020 a S4050 na Figura 4 também podem ser empregadas no contexto do método de codificação ilustrado na Figura 3, por exemplo, após S3010. Nesse caso, S3040 e S4050 podem ser combinados em uma única etapa de sinalização.

[0132] Exceto se as etapas exigirem certas outras etapas como pré- requisitos, as etapas anteriormente mencionadas podem ser realizadas em qualquer ordem e a ordem exemplificativa ilustrada na Figura 4 é entendida como não limitadora.

[0133] No lado de receptor, um empacotador de fluxo de bits MPEG-H pode reinserir as cargas úteis corretamente recebidas no fluxo de bits MPEG-H de camada base e passar o mesmo para um decodificador de áudio MPEG-H 3D.

[0134] A seguir, a Inicialização de Decodificação HOA (configuração) será descrita. As cargas úteis de configuração HOA do tipo ID_EXT_ELE_HOA e ID_EXT_ELE_HOA_ENH_LAYER com seustamanhoscorrespondentessão inseridas no Decodificador HOA para suainicialização. As ferramentas de codificação HOA são configuradas de acordo com oselementos de fluxo de bits definidosnaHOAConfig(), que é analisada a partir da carga útil do tipo ID_EXT_ELE_HOA. Ademais, essa carga útil contém o uso do Modo de Codificação emCamadas, o número de camadas e o número correspondente de sinais de transporteporcamada. Então, se a codificação emcamadas for ativada (SingleLayer==0), as HOAEnhConfig()s são analisadaspartir das cargas úteis do tipo ID_EXT_ELE_HOA_ENH_LAYER para configurar a Predição de SinalEspacial, Síntese de SinalDirecional de Sub-Banda e Decodificador de Replicação de AmbienteParamétrico correspondentes de cadacamada.

[0135] O elementoLayerIdx a partir da HOAEnhConfig() em conjunto com a ordem das camadas de aprimoramento cargas úteis de configuração de camada de na mpegh3daExtElementConfig() indica a ordem das camadas de aprimoramento HOA. A ordem do quadro de camada de aprimoramento HOA úteis do tipo ID_EXT_ELE_HOA_ENH_LAYER no mpegh3daFrame() é idêntica à ordem das cargas úteis de configuração na mpegh3daExtElementConfig() para atribuirclaramente as cargas úteis quadroàs camadascorrespondentes.

[0136] No caso de SingleLayer==1 (codificação de camadaúnica) as cargas úteis do tipo ID_EXT_ELE_HOA_ENH_LAYER são ignoradas e a Predição de SinalEspacial, Síntese de SinalDirecional de Sub-Banda e Decodificador de Replicação de AmbienteParamétrico usam dados correspondentes da HOADecoderConfig() para suaconfiguração.

[0137] A seguir, a decodificação de quadro HOA no modo emcamadasserá descrita. Um método de decodificação correspondente (porexemplo, um método de decodificação de um quadro de umarepresentação HOA compactada de um somou campo sonoro) de acordo com modalidades da revelação será descrito com referência à Figura 5. Entende-se que a representação HOA compactada (porexemplo, a saída dos métodos da Figura 3 ouFigura 4 descritaacima) foicodificadaemumapluralidade de camadashierárquicas que incluiumacamada base e umaoumaiscamadas de aprimoramento.

[0138] EmS5010na Figura 5, um fluxo de bits relacionado ao quadro da representação HOA compactada é recebido.

[0139] O decodificador de núcleo de áudio 3D decodifica os sinais de transporte HOA corretamente transmitidos e cria sinais de transporte com todas as amostras iguais a zero paras as cargas úteis inválidas correspondentes. Os sinais de transporte decodificados em conjunto com os sinalizadores usacExtElementPresent, os dados e tamanhos das cargas úteis HOA do tipo ID_EXT_ELE_HOA e ID_EXT_ELE_HOA_ENH_LAYER são inseridos no Decodificador HOA. As cargas úteis de extensão do tipo ID_USAC_EXT com um sinalizador usacExtElementPresent definido como falso tem que ser sinalizado como cargas úteis ausentes para que o decodificador HOA garanta a atribuição das cargas úteis às camadas correspondentes.

[0140] EmS5020, as cargas úteis para a pluralidade de camadas são extraídas. Cada carga útil pode incluir sinais de transporte atribuídos a uma respectiva camada.

[0141] Nessa etapa, o Decodificador HOA pode analisar o HOAFrame() a partir da carga útil do tipo ID_EXT_ELE_HOA.

[0142] Subsequentemente, as cargas úteis válidas do tipo ID_EXT_ELE_HOA_ENH_LAYER e as cargas úteis inválidas do tipo ID_EXT_ELE_HOA_ENH_LAYER são determinadas avaliando-se o sinalizador correspondente usacExtElementPresent das cargas úteis, em que uma carga útil inválida é indicada por um sinalizador usacExtElementPresent igual a falso e a atribuição das cargas úteis de aprimoramento HOA aos índices de camada de aprimoramentoé conhecida a partir da configuração de Decodificador HOA.

[0143] Em S5030, uma camada utilizável mais alta entre a pluralidade de camadas para decodificação é determinada.

[0144] À medida que as camadas são dependentes umas das outras em termos dos sinais de transporte, o decodificador HOA pode decodificar apenas uma camada quando todas as camadas com um índice mais baixo forem corretamente recebidas. A camada utilizável mais alta pode ser selecionada nessa etapa de modo que todas as camadas até a camada utilizável mais alta tenham sido recebidas. Os detalhes dessa etapa serão descritos abaixo.

[0145] EmS5040, uma carga útil de extensão HOA atribuída à camada utilizável mais alta é extraída. Conforme indicado acima, a carga útil de extensão HOA pode incluir informações laterais para aprimorar parametricamente uma representação HOA reconstruída que corresponde à camada utilizável mais alta. Na mesma, a representação HOA reconstruída que corresponde à camada utilizável mais alta pode ser obtenível com base nos sinais de transporte atribuídos à camada utilizável mais alta e quaisquer camadas mais baixas que a camada utilizável mais alta.

[0146] Adicionalmente, as cargas úteis de extensão HOA respectivamente atribuídas àquelas restantes dentre a pluralidade de camadas podem ser extraídas. Cada carga útil de extensão HOA pode incluir informações laterais para aprimorar parametricamente uma representação HOA reconstruída que corresponde à sua respectiva camada atribuída. A representação HOA reconstruída que corresponde à sua respectiva camada atribuída pode ser obtenível a partir dos sinais de transporte atribuídos àquela camada e quaisquer camadas mais baixas que àquela camada.

[0147] Ademais (não mostrado na Figura 5), o método de decodificação pode compreender uma etapa de extrair uma carga útil de extensão de configuração HOA. Isso pode ser feito analisando-se o fluxo de bits. A carga útil de extensão de configuração HOA podeincluirelementos de fluxo de bits para configurar a ferramenta de decodificação de predição de sinalespacial HOA, a ferramenta de decodificação de síntese de sinaldirecional de sub-banda HOA e/ou a ferramenta de decodificação de replicação de ambienteparamétrico HOA.

[0148] Em S5050, a representação HOA (parcialmente) reconstruída que corresponde à camada utilizável mais alta é gerada com base nos sinais de transporte atribuídos à camada utilizável mais alta e quaisquer camadas mais baixas que a camada utilizável mais alta.

[0149] O número de sinais de transporte realmente usados /ADD,LAY(^) é definido de acordo com (o índiceMLAY(fc) de) a camada utilizável mais alta e uma primeira representação HOA preliminar é decodificada a partir do HOAFrame() e a partir dos sinais de transporte correspondentes da camada e quaisquer camadas mais baixas.

[0150] Então, em S5060 a representação HOA reconstruída é aprimorada (por exemplo, parametricamente aprimorada) com o uso das informações laterais incluídas na carga útil de extensão HOA atribuída à camada utilizável mais alta.

[0151] Ou seja, a representação HOA obtida em S5050 é, então, aprimorada pela Predição de Sinal Espacial, pela Síntese de Sinal Direcional de Sub-Banda e pelo Decodificador de Replicação de Ambiente Paramétrico com o uso dos dados HOAEnhFrame() analisados a partir da carga útil de extensão de camada de aprimoramento HOA do tipo ID_EXT_ELE_HOA_ENH_LAYER da camada atualmente ativaMLAY(fc), isto é, a camada utilizável mais alta.

[0152] As informações usadas nas etapas S5020-S5060 podem ser conhecidas como informações de camada.

[0153] Exceto se as etapas exigirem certas outras etapas como pré- requisitos, as etapas anteriormente mencionadas podem ser realizadas em qualquer ordem e a ordem exemplificativa ilustrada na Figura 5 é entendida como não limitadora.

[0154] A seguir, osdetalhes da determinação (porexemplo, seleção) da camadautilizável maisaltaem S5030 serão descritos.

[0155] Conformeindicadoacima, o decodificador HOA podedecodificarapenasumacamadaquandotodas as camadas com um índice maisbaixosão corretamenterecebidas, à medida que as camadassão dependentesumas das outrasemtermos de sinais de transporte.

[0156] Para a seleção da camadadecodificável maisalta, o Decodificadorpodecriar um conjunto de índices de camadainválidos, em que o menoríndice desse conjunto menos um resulta no índice MLAY da camada de aprimoramento decodificável mais alta. O conjunto de índices de camada inválidos pode ser determinado avaliando-se sinalizadores de validade das cargas úteis de extensão HOA correspondentes.

[0157] Em outras palavras, determinar a camada utilizável mais alta pode envolver determinar um conjunto de índices de camada inválidos que indica as camadas que não foram recebidas de maneira válida. Pode-se envolver adicionalmente determinar a camada utilizável mais alta como a camada que é uma camada abaixo da camada indicada pelo menor índice no conjunto de índices de camada inválidos. Desse modo, assegura-se que todas as camadas abaixo da camada utilizável mais foram recebidas de maneira válida.

[0158] No caso de codificação de quadros diferencial, o índice da camada utilizável mais alta do quadro anterior (por exemplo, imediatamente precedente) terá que ser levado em consideração. Primeiro, uma situação será descrita em que o índice da camada utilizável mais alta do quadro anterior (por exemplo, precedente) é mantido.

[0159] Se o índice da camada utilizável mais alta (por exemplo, camada decodificável mais alta) para o quadro atual for igual ao índice de camada do quadro anterior MLAY(k - 1), o índice de camada do quadro atual MLAY(fc) é definido como ^LAY(fc- 1).

[0160] Então, o número de sinais de transporte /ADD,LAY (fc) realmente usado é definido de acordo MLAY(k) e uma primeira representação HOA preliminar é decodificada a partir do HOAFrame() e dos sinais de transporte correspondentes da camada e quaisquer camadas mais baixas, conforme indicado acima. Essa representação HOA é, então, aprimorada pela Predição de Sinal Espacial, pela Síntese de Sinal Direcional de Sub-Banda e pelo Decodificador de Replicação de Ambiente Paramétrico com o uso dos dados HOAEnhFrame() analisados a partir da carga útil de extensão de camada de aprimoramento HOA do tipo ID_EXT_ELE_HOA_ENH_LAYER da camada atualmente ativa MLAY(fc), conforme indicado acima.

[0161] A seguir, será descrita uma situação em que se comuta para um índice inferior da camada utilizável mais alta do quadro anterior (por exemplo, precedente). Ou seja, no caso em que o índice da camada decodificável mais alta para o quadro atual for menor que o índice da camada do quadro anterior MLAY(k - 1), o decodificador HOA define MLAY(fc) o índice da camada decodificável mais alto para o quadro atual. A decodificação das cargas úteis para a Predição de Sinal Espacial, Síntese de Sinal Direcional de Sub-Banda e Decodificador de Replicação de Ambiente Paramétrico para a nova camada pode iniciar apenas no próximo Quadro HOA com um hoaIndependencyFlag igual a um. Até tal HOAFrame() ter sido recebido, a representação HOA da camada de índice MLAY(fc) é reconstruída sem realiza a Predição de Sinal Espacial, Síntese de Sinal Direcional de Sub-Banda e Decodificador de Replicação de Ambiente Paramétrico. Isso significa que o número de sinais de transporte realmente usado /ADD,LAY (fc) é definido de acordo MLAY(k) e apenas a primeira representação HOA preliminar é decodificada a partir do HOAFrame() e a partir dos sinais de transporte correspondentes da camada e quaisquercamadasmaisbaixas. Então, se um HOAFrame() com um hoaIndependencyFlagigual a um foirecebido, as cargas úteis para a Predição de SinalEspacial, Síntese de SinalDirecional de Sub-Banda e Decodificador de Replicação de AmbienteParamétrico são analisadas e decodificadas para aprimorar a representação HOA preliminar, de modo que a qualidade total da camadaatualmenteativasejafornecida para essequadro.

[0162] Desse modo, o método propostopodecompreender(não mostradonaFigura 5) decidirnão realizaraprimoramentoparamétrico da representação HOA reconstruída com o uso das informações lateraisincluídas na carga útil de extensão HOA atribuída à camadautilizável maisaltase acamadautilizável maisalta do quadroatual for menor que a camadautilizável maisalta do quadro anterior (se o quadroatualtiversidocodificadodiferencialmenteemrelação aoquadro anterior).

[0163] Emgeral, determinar a camadautilizável maisalta para o quadroatualpodeenvolverdeterminar um conjunto de índices de camadainválidos que indicamcamadas que não foramrecebidas de maneiraválida para o quadroatual. Podecompreenderadicionalmentedeterminarumacamadautilizável maisalta de um quadro anterior que precede o quadroatual. Podecompreenderaindaadicionalmentedeterminar a camadautilizável maisaltacomo a maisbaixa da camadautilizável maisalta do quadro anterior e a camada que é umacamadaabaixo da camadaindicadapelomenoríndice no conjunto de índices de camadainválidos (se o quadroatualtiversidocodificadodiferencialmenteemrelação aoquadro anterior).

[0164] Uma solução alternativa sempre podeanalisartodas as cargas úteis de camada de aprimoramentoválidas (porexemplo, cargas úteis de extensão HOA) emparalelomesmo se elasestiverematualmenteinativas. Issopodepermitirumacomutação direta para umacamada com um índice maisbaixo com qualidade total, em que a Predição de SinalEspacial, Síntese de SinalDirecional de Sub-Banda e Decodificador de Replicação de AmbienteParamétrico (PAR) podem ser aplicadosdiretamente no quadrocomutado.

[0165] A seguir, umasituação será descritaem que é comutada para um índice mais alto que o índice da camadautilizável maisalta do quadro anterior (porexemplo, precedente). Essa comutação para umacamada com um índice mais alto pode ser apenasaplicada se o mpegh3daFrame() tiver um usacIndependencyFlagigual a um (porexemplo, se o quadrofor umquadroindependente) porquetodas as cargas úteis correspondentesouestados de decodificação de quadrosanterioresestão ausentes. Desse modo, o decodificador HOA mantém o índice de camada HOA MLAY(fc) igual a MLAy(k -1) até um mpegh3daFrame() com um usacIndependencyFlagigual a um (porexemplo, um quadroindependente) tersidorecebido que contém dados válidos para umacamadadecodificável maisalta.Então WLAY(^)é definido como o índice de camada decodificável mais alto para o quadro atual e, consequentemente, o número de sinais de transporte /ADD,LAY (fc) realmente usado é determinado. A representação HOA preliminar daquela camada é decodificada a partir do HOAFrame() e os sinais de transporte correspondentes e é aprimorada pela Predição de Sinal Espacial, pela Síntese de Sinal Direcional de Sub-Banda e pelo Decodificador de Replicação de Ambiente Paramétrico com o uso do HOAEnhFrame() analisado a partir da carga útil de extensão de camada de aprimoramento HOA do tipo ID_EXT_ELE_HOA_ENH_LAYER da camada atualmente ativa MLAY(fc).

[0166] Entende-se que o método de codificação em camadas proposto de uma representação sonora compactada pode ser implementado por um codificador para codificação em camadas de uma representação sonora compactada. Tal codificador pode compreender respectivas unidades adaptadas para realizar as respectivas etapas descritas acimas. Um exemplo de tal codificador 6000 é esquematicamente ilustrado na Figura 6. Por exemplo, tal codificador 6000 pode compreenderumaunidade de atribuição de sinal de transporte 6010 adaptada para realizar a S3010 anteriormentemencionada, umaunidade de geração de carga útil de camada de extensão HOA 6020 adaptada para realizar a S3020 anteriormentemencionada, umaunidade de atribuição de carga útil de extensão HOA 6030 adaptada para realizar a S3030 anteriormentemencionada e umaunidade de sinalização ouunidade de saída 6040 adaptada para realizar a S3040 anteriormentemencionada. É adicionalmenteentendido que as respectivasunidades de talcodificadorpodem ser incorporadaspor um processador 6100 de um dispositivo de computação que é adaptado para realizar o processamentorealizadoporcadauma das ditas respectivasunidades, istoé, que é adaptado para realizaralgumasoutodas as etapasanteriormentemencionadas do método codificação propostoesquematicamenteilustradonaFigura 3. De maneiraadicionaloualternativa, o processador 6100 pode ser adaptado para realizarcadauma das etapas do método de codificação esquematicamenteilustradonaFigura 4. Com essafinalidade, o processador 6100 pode ser adaptado para implementar as respectivasunidades do codificador. O codificadoroudispositivo de computação podecompreenderadicionalmenteumamemória 6200 que é acessível peloprocessador 6100.

[0167] É adicionalmenteentendido que o método de decodificação proposto de umarepresentação sonoracompactada que é codificadaemumapluralidade de camadashierárquicas pode ser implementadopor um decodificador para decodificarumarepresentação sonoracompactada que é codificadaemumapluralidade de camadashierárquicas. Tal decodificadorpodecompreender as respectivasunidadesadaptadas para realizar as respectivasetapasdescritasacima. Um exemplo de taldecodificador 7000 é esquematicamenteilustradonaFigura 7. Por exemplo, taldecodificador 7000 podecompreenderumaunidade de recepção 7010 adaptada para realizar a S5010 anteriormentemencionada, umaunidade de extração de carga útil 7020 adaptada para realizar a S5020 anteriormentemencionada, umaunidade de determinação de camadautilizável maisalta 7030 adaptada para realizar a S5030 anteriormentemencionada, umaunidade de extração de carga útil de extensão HOA 7040 adaptada para realizar a S5040 anteriormentemencionada, umaunidade de geração de representação HOA reconstruída 7050 adaptada para realizar a S5050 anteriormentemencionada e umaunidade de aprimoramento 7060 adaptada para realizar a S5060 anteriormentemencionada. É adicionalmenteentendido que as respectivasunidades de taldecodificadorpodem ser incorporadaspor um processador 7100 de um dispositivo de computação que é adaptado para realizar o processamentorealizadoporcadauma das ditas respectivasunidades, istoé que é adaptado para realizaralgumasoutodas as etapasanteriormentemencionadas do método de decodificação proposto. O decodificadoroudispositivo de computação podecompreenderadicionalmenteumamemória 7200 que é acessível peloprocessador 7100.

[0168] A seguir, umaestrutura de dados (porexemplo, fluxo de bits) para acomodar (porexemplo, representar) a representação HOA compactada no modo de codificação emcamadasserá descrita. Tal estrutura de dados pode se originar do emprego dos métodos de codificação propostos e pode ser decodificada (porexemplo, descompactada) com o uso do método de decodificação proposto.

[0169] A estrutura de dados pode compreender uma pluralidade de cargas úteis de quadro HOA que correspondem a respectivas dentre uma pluralidade de camadas hierárquicas. A pluralidade de sinais de transporte pode ser atribuída a (por exemplo, pode pertencer a) a respectivas dentre a pluralidade de camadas. A estrutura de dados pode compreender uma respectiva carga útil de extensão HOA que inclui informações laterais para aprimorar parametricamente uma representação HOA reconstruída obtenível a partir dos sinais de transporte atribuídos à respectiva camada e quaisquer camadas mais baixas que a respectiva camada. As cargas úteis de quadro HOA e as cargas úteis de extensão HOA para a pluralidade de camadas podem ser dotadas dos respectivosníveis de proteção de erro, conformeindicadoacima. Ademais, as cargas úteis de extensão HOA podemcompreenderoselementos de fluxo de bits indicadosacima e podemter um usacExtElementType of ID_EXT_ELE_HOA_ENH_LAYER. A estrutura de dados aindapodecompreenderadicionalmenteuma carga útil de extensão de configuração HOA e/ouuma carga útil de configuração de decodificador HOA que incluioselementos de fluxo de bits indicadosacima.

[0170] Deve-se notar que a descrição e os desenhos ilustram meramente os princípios dos métodos e aparelho proposto. Desse modo, será observado que aqueles que são versados na técnica terão capacidade para reconhecer várias disposições que, embora não explicitamente descritas ou mostradas no presente documento, incorporam os princípios da invenção e estão incluídas dentro do seu espírito e escopo. Além disso, todos os exemplos citados no presente documento são principalmente destinados a serem expressamente apenas para propósitos pedagógicos para auxiliar o leitor no entendimento dos princípios dos métodos e aparelho propostos e dos conceitos contribuídos pelos inventores para promover a técnica, e devem ser interpretados como sendo sem limitação a tais exemplos e condições especificamente citados. Além disso, todas as declarações no presente documento que citam os princípios, aspectos e modalidades da invenção, assim como exemplos específicos da mesma, se destinam a abrangem equivalentes da mesma.

[0171] Os métodos e aparelho descritos no presente documento podem ser implementados como software, firmware e/ou hardware. Certos componentes podem ser, por exemplo, implementados como software que executa em um processador ou microprocessador de sinal digital. Outros componentes podem ser, por exemplo, implementados como hardware e/ou como circuitos integrados para aplicação específica. Os sinais encontrados nos métodos e aparelho descritos podem ser armazenados em mídia, tal como, memória de acesso aleatório ou mídia de armazenamento óptico. Os mesmos podem ser transferidos através de redes, tais como redes via rádio, redes via satélite, redes sem fio ou redes com fio, por exemplo, a Internet. ANEXO: Alterações de fluxo de bits MPEG-H 3D propostas Alterações são marcadas por realce em cinza:TABELA 1 — Sintaxe de mpegh3daExtElementConfig NumOfDirSigsPerLayer [lay] Esseselementosdeterminam o número de sinaisdirecionaisativos no HOAFrame() atualrealmenteusadonacamada de aprimoramentolay HOA. AddHoaCoeffPerLayer [lay] Essa matrizcontém o índice de coeficiente HOA cadacoeficiente HOA ambienterealmenteusadonacamada de aprimoramentolay HOA. NumOfAddHoaChansPerLayer [lay] Esseselementossinalizam o número total de coeficientes HOA ambientes adicionaisrealmenteusadosnacamada de aprimoramentolay HOA.

[0172] Adicionaressatabela NOVA TABELA? — Sintaxe de HOAEnhFrame VVecLength e VvecCoeffId

[0173] Atualizaressatabela: TABELA 6 — Sintaxe de VVectorData() codedLayerCh Esseelemento indica para a primeira (isto é base) camadaonúmero de sinais de transporteincluídos, que é fornecidoporcodedLayerCh+ MinNumOfCoeffsForAmbHOA. Para as camadasmaisaltas (isto é, aprimoramento), esseelemento indica o número de sinaisadicionaisincluídosemumacamada de aprimoramentoemcomparação com a próximacamadamaisbaixa, que é fornecidapor codedLayerCh + 1.HOALayerChBitsEsseelemento indica o número de bits para leitura codedLayerCh.NumLayersEsseelemento indica (após a leitura da HOADecoderConfig()) o número total de camadasdentro do fluxo de bits. NumHOAChannelsLay er Esseelemento é umamatriz que consisteemelementosNumLayers, cujoi-ésimoelemento indica o número de sinais de transporteincluídoemtodas as camadasaté a i- ésimacamada. 12.4.1.x Parâmetrosdependentes de quadro e usuário O número de todas as camadasrealmenteusadas para o ?- ésimoquadro (a ser especificado) no lado de decodificador. No caso de codificaçãoemcamadas (indicadaporSingleLayer==0) essenúmeroprecisa ser menorouigualaonúmero total de camadaspresente no fluxo de bits, isto é NumLayers. No caso de codificaçãoemúnicacamada (indicadaporSingleLayer==1) ????é definidaem um.

[0174] Dependendo da escolha????(?) do número????,???(?) de canais de transporterealmenteusados para decodificação HOA espacial (isto é adicional oscanais que sãoimplicitamente sempre usados) é computado da seguinte forma:

[0175] A palavra codedVVecLength indica: 0) Comprimento de vetor completo (elementos NumOfHoaCoeffs). Indica que todos os coeficientes para os coeficientes para os vetores predominantes (NumOfHoaCoeffs) são especificados. 1) Elementos de vetor 1 para MinNumOfCoeffsForAmbHOA e todos elementos definidos em ContAddHoaCoeff [lay] da camada atualmente ativa do índice lay=0...NumLayers-1 não são transmitidos. Para o modo de camada única SingleLayer==1 a variável NumLayers precisa ser definida igual a um. Indica que apenas aqueles coeficientes do vetor predominante que correspondem ao número maior que um MinNumOfCoeffsForAmbHOA são especificados. Ademais, aqueles coeficientes NumOfContAddAmbHoaChan [lay] identificados em ContAddAmbHoaChan [lay] são subtraídos. A listaContAddAmbHoaChan [lay] especificacanaisadicionais que correspondem a umaordem que excede a ordemMinAmbHoaOrder. 2) Elementos de vetor 1 para MinNumOfCoeffsForAmbHOAnão são transmitidos. Indica que aquelescoeficientes dos vetorespredominantes que correspondemaonúmero maior que um MinNumOfCoeffsForAmbHOAsão especificados.

[0176] No caso de codedVVecLength==1 tanto a matrizVVecLength [i] como a matrizVVecCoeffId [i] [m] 2D são válidas para o VVector de índice i, nos outros casos tanto o elementoVVecLengthcomo a matrizVVecCoeffId [m] são válidos para todososVVectordentro do HOAFrame. Para o algoritmo de atribuição abaixo de umafunção auxiliar é definidoconformeexposto a seguir. switch CodedVVecLength{ caso 0:

[0177] O primeirocomando switch com ostrês casos (casos 0-2) desse modo fornece um meioatravés do qual determina o comprimento de vetorpredominanteemtermos do número (VVecLength) e índices de coeficientes (VVecCoeffId). 12.4.1. X Conversão para elementoVVec

[0178] O tipo de desquantização dovetorV-é sinalizada pela palavraNbitsQ. O valor NbitsQ de 4 indica a quantização vetorial. QuandoNbitsQé igual a 5, umadesquantização escalaruniforme de 8 bits é realizada. Emcontraste, um valor NbitsQmaiorouigual a 6 indica a aplicação de decodificação de Huffman de um vetor V-quantizadoescalar. O modo de predição é denotadocomo o PFlag, enqanto o CbFlagrepresenta um bit de informações de Tabela de Huffman. if (CodedVVecLength == 1)

Claims (9)

1. Método para decodificar uma representação Ambissônica de Ordem Superior (HOA) compactada de um som ou campo sonoro, o método CARACTERIZADO pelo fato de que compreende: receber (S5010) um fluxo de bits que contém a representação HOA compactada que corresponde a uma pluralidade de camadas hierárquicas que incluem uma camada base (1200) e uma ou mais camadas de aprimoramento hierárquicas (1300-1, 1300-(M-1)), em que a pluralidade de camadas tem atribuída à mesma componentes de uma representação sonora compactada básica do som ou campo sonoro, os componentes sendo atribuídos a respectivas camadas em respectivos grupos de componentes, determinar (S5030) uma camada utilizável mais alta (7030) entre a pluralidade de camadas para decodificação; extrair (S5040) uma carga útil de extensão HOA (7040) atribuída à camada utilizável mais alta (7030), em que a carga útil de extensão HOA (7040) inclui informações laterais para aprimorar parametricamente uma representação HOA reconstruída (7050) que corresponde à camada utilizável mais alta (7030), em que a representação HOA reconstruída (7050) que corresponde à camada utilizável mais alta (7030) é obtenível com base em sinais de transporte atribuídos à camada utilizável mais alta (7030) e quaisquer camadas mais baixas que a camada utilizável mais alta (7030); decodificar (S5050) a representação HOA compactada que corresponde à camada utilizável mais alta (7030) com base em informações de camada, os sinais de transporte atribuídos à camada utilizável mais alta (7030) e quaisquer camadas mais baixas que a camada utilizável mais alta (7030); e aprimorar (S5060) parametricamente a representação HOA decodificada usando as informações laterais incluídas na carga útil de extensão HOA (7040) atribuída à camadautilizável maisalta (7030), em que as informações de camada se referem a um número de coeficientes HOA ambientes para umacamada de aprimoramento (1300-1, 1300-(M-1)).

2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelofato de que as informações de camadaincluemíndices de coeficiente HOA para cadacoeficiente HOA ambienteadicional para umacamada de aprimoramento (1300-1, 1300-(M-1)).

3. Método, de acordo com a reivindicação 1, CARACTERIZADO pelofato de que as informações de camadainclueminformações de aprimoramento que incluempelomenos um dentrePredição de SinalEspacial, Síntese de SinalDirecional de Sub-Banda e Decodificador de Replicação de AmbienteParamétrico.

4. Método, de acordo com a reivindicação 1, CARACTERIZADO pelofato de que incluiadicionalmenteelementos de vetor v que não são transmitidos para índices que são iguais a índices de coeficientes HOA adicionaisincluídos em um conjunto de ContAddHoaCoeff.

5. Método, de acordo com a reivindicação 1, CARACTERIZADO pelofato de que as informações de camadaincluemelementosNumLayers, em que cadaelemento indica um número de sinais de transporteincluído emtodas as camadasaté umai-ésima camada.

6. Método, de acordo com a reivindicação 1, CARACTERIZADO pelofato de que as informações de camadaincluem um indicador de todas as camadasrealmente usadas para um fc-ésimo quadro.

7. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que as informações de camada indicam que todos dentre coeficientes para vetores predominantes são especificados.

8. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que as informações de camada indicam que coeficientes dos vetores predominantes que correspondem a um número maior que um MinNumOfCoeffsForAmbHOAsão especificados.

9. Método, de acordo com a reivindicação 1, CARACTERIZADO pelofato de que as informações de camadaindicamMinNumOfCoeffsForAmbHOA e todososelementosdefinidosemContAddHoaCoeff [lay] não são transmitidos, em que lay é um índice de camada que contém sinalbaseadoemvetor que corresponde a um vetor.