[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015053109A1 - 符号化装置および方法、復号装置および方法、並びにプログラム - Google Patents

符号化装置および方法、復号装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2015053109A1
WO2015053109A1 PCT/JP2014/075797 JP2014075797W WO2015053109A1 WO 2015053109 A1 WO2015053109 A1 WO 2015053109A1 JP 2014075797 W JP2014075797 W JP 2014075797W WO 2015053109 A1 WO2015053109 A1 WO 2015053109A1
Authority
WO
WIPO (PCT)
Prior art keywords
mix
coefficient
coefficients
difference value
speaker
Prior art date
Application number
PCT/JP2014/075797
Other languages
English (en)
French (fr)
Inventor
潤宇 史
徹 知念
本間　弘幸
光行 畠中
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BR112016007264-2A priority Critical patent/BR112016007264B1/pt
Priority to US14/915,812 priority patent/US9781539B2/en
Priority to RU2016112532A priority patent/RU2677597C2/ru
Priority to CN201480054470.4A priority patent/CN105593932B/zh
Priority to KR1020167007349A priority patent/KR102268836B1/ko
Priority to EP14852823.5A priority patent/EP3057096B1/en
Priority to JP2015541518A priority patent/JP6429092B2/ja
Publication of WO2015053109A1 publication Critical patent/WO2015053109A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Definitions

  • the present technology relates to an encoding apparatus and method, a decoding apparatus and method, and a program, and in particular, an encoding apparatus and method, a decoding apparatus and method, and a decoding apparatus that can obtain high-quality speech with a smaller transfer code amount, and Regarding the program.
  • the speaker arrangement on the playback side and the sound source position of the audio signal to be reproduced are completely coincident with each other.
  • the speaker arrangement on the playback side is the sound source. Often does not match the position.
  • the audio signal of each sound source position that is, each channel is mixed by a mix type, and an audio signal of a new channel corresponding to the speaker on the playback side is generated. Is generally done.
  • Non-Patent Document 1 the following equation (1) can be calculated as a downmix from 22.2 channel arrangement to 5.1 channel arrangement in the ARIB (Radio Industry Association) standard ARIB STD-B32 2.2 version [1]. It has been established.
  • ARIB Radio Industry Association
  • Equation (1) the audio signals of the 22.2 channel arrangements such as FL, FR, FC, etc. are added together using a mix coefficient, and each of L, R, C, LS, RS, LFE after downmixing is added. An audio signal of the channel is calculated.
  • any one of two values can be selected as the parameter a, and any one of the four values can be selected as the parameter k.
  • a coefficient multiplied by each channel before downmixing is a mix coefficient.
  • the mix coefficient multiplied by the FL channel for obtaining the L channel is the value of the parameter a
  • the mix coefficient multiplied by the FLc channel for obtaining the L channel is a / (2 1 / 2 ).
  • the channel is also simply referred to as ch.
  • the mix coefficient is M ⁇ N. If the mix coefficient is transferred using Q bits per mix coefficient, the data amount of one set of mix coefficients is M ⁇ N ⁇ Q bits. For example, if the input sound source is 22ch, the output speaker is 5ch channel, and 5 bits are required for each mix coefficient, a total of 550 bits is required.
  • the transmission side does not know the actual speaker arrangement on the playback side, it may be necessary to send a plurality of sets of mix coefficients in accordance with a plurality of speaker arrangements. For example, if there is a possibility that the speaker arrangement on the output side is 7ch, 5ch, or 2ch, three sets of mix coefficients from 22ch to 5ch, 22ch to 7ch, and 22ch to 2ch must be sent. Therefore, if such a mix coefficient is transferred as it is, an enormous amount of information is generated, and it is important how to transfer a free mix coefficient.
  • the present technology has been made in view of such a situation, and enables high-quality speech to be obtained with a smaller code amount.
  • the encoding device is used for a mix process for converting a plurality of channels of audio signals corresponding to a plurality of input speakers to a plurality of channels of audio signals corresponding to a plurality of output speakers.
  • An order table generating unit that generates an order table indicating an arrangement order of the mix coefficients determined by a distance between the input speakers and the output speakers, for the mix coefficients of the input speakers prepared for each of the plurality of output speakers.
  • a rearrangement unit for rearranging the plurality of mix coefficients in the order indicated by the order table, and for each of the mix coefficients rearranged in the order, a difference value between two of the mix coefficients that are successively arranged
  • the encoding unit includes a symmetric table generation unit that generates a symmetric table indicating the symmetry of the positional relationship between the mix coefficients, and based on the symmetric table, the value of the mix coefficient, and the mix coefficient is symmetric.
  • a symmetry determining unit that determines that the mix coefficient and the other mix coefficient are symmetric is further provided in the encoding unit. The difference value of the mix coefficient determined to be symmetric with respect to the other mix coefficient may not be encoded.
  • each of all the mix coefficients in which the other mix coefficients in the symmetric positional relationship exist is symmetric with each of the other mix coefficients in the symmetric positional relationship.
  • the encoding unit can encode the difference value based on a determination result of whether or not all the mix coefficients are symmetric with the other mix coefficients. .
  • the encoding unit can entropy code the difference value.
  • the input speaker of the mix coefficient and the input speaker of the other mix coefficient are in a symmetrical position, and the output speaker of the mix coefficient and the output speaker of the other mix coefficient are symmetrical.
  • the positional relationship between the mix coefficient and the other mix coefficient may be symmetric.
  • the difference calculation unit can calculate the difference value between the mix coefficient and the mix coefficient whose value is not ⁇ and whose order is closest to the mix coefficient.
  • the order table generation unit classifies the mix coefficients into a plurality of classes so that the mix coefficients of the same output speakers belong to the same class, When the number of output speakers is larger than the number of input speakers, the mix coefficients are classified into a plurality of classes so that the mix coefficients of the same input speakers belong to the same class, and the mix coefficients for each class
  • the order table is generated, and the difference calculation unit can calculate the difference value of the mix coefficients belonging to the same class.
  • the encoding method or the program according to the first aspect of the present technology converts a plurality of channels of audio signals corresponding to a plurality of input speakers to a plurality of channels of audio signals corresponding to a plurality of output speakers.
  • an order table indicating the order of the mix coefficients determined by the distance between the input speaker and the output speaker is generated, The mix coefficients are rearranged in the order indicated by the order table, and for each of the mix coefficients rearranged in the order, a difference value between the two mix coefficients arranged in succession is calculated, and each of the mix coefficients is calculated. Encoding the difference value calculated for.
  • the audio signal of a plurality of channels corresponding to the arrangement of a plurality of input speakers is used for a mix process for converting the audio signal of a plurality of channels corresponding to the arrangement of a plurality of output speakers.
  • a mix coefficient of each input speaker prepared for each of the plurality of output speakers an order table indicating the order of the mix coefficients determined by the distance between the input speaker and the output speaker is generated, and the plurality of mix coefficients are The difference value between the two mix coefficients arranged in succession is calculated for each of the mix coefficients rearranged in the order indicated by the order table and rearranged in the order, and calculated for each of the mix coefficients.
  • the difference value is encoded.
  • the decoding device is used for a mix process for converting a plurality of channels of audio signals corresponding to a plurality of input speakers into a plurality of channels of audio signals corresponding to a plurality of output speakers.
  • An order table generating unit that generates an order table indicating an arrangement order of the mix coefficients determined by a distance between the input speakers and the output speakers for the mix coefficients of the input speakers prepared for the plurality of output speakers;
  • a difference value between the two mix coefficients arranged successively in the order indicated by the order table is calculated, and a code string obtained by encoding the difference value calculated for each mix coefficient is obtained;
  • An addition unit for calculating the other mix coefficient used for calculating the difference value by adding the other mix coefficient, and an arrangement for rearranging and outputting the mix coefficient based on the order table.
  • a replacement unit for calculating the other mix coefficient used for calculating
  • the mix coefficient and the other mix coefficient are determined to be symmetric and the mix
  • the difference value of the coefficient is not encoded, and a symmetric table generating unit that generates a symmetric table indicating the positional relationship between the mix coefficients is further provided, and the adder has the mix coefficient as the other mix coefficient And the other mix coefficient can be duplicated based on the symmetry table to be the mix coefficient.
  • the decoding unit determines whether all the mix coefficients included in the code string are symmetric with the other mix coefficients.
  • the difference value can be decrypted based on the information indicating.
  • the input speaker of the mix coefficient and the input speaker of the other mix coefficient are in a symmetrical position, and the output speaker of the mix coefficient and the output speaker of the other mix coefficient are symmetrical.
  • the positional relationship between the mix coefficient and the other mix coefficient may be symmetric.
  • the decoding method or program according to the second aspect of the present technology is a mix process for converting a plurality of channels of audio signals corresponding to a plurality of input speakers into a plurality of channels of audio signals corresponding to a plurality of output speakers.
  • an order table indicating the order of the mix coefficients determined by the distance between the input speaker and the output speaker is generated, and the order A difference value between the two mix coefficients arranged in the order shown in the table is calculated, a code string obtained by encoding the difference value calculated for each mix coefficient is obtained, and the code One of the difference values obtained by decoding and the calculation of the difference values based on the order table
  • calculates the mixing coefficient of the other used for calculation of the difference value comprising outputting rearranges the mix coefficient based on the order table.
  • the audio signal of a plurality of channels corresponding to the arrangement of a plurality of input speakers is used for a mixing process for converting the sound signal of a plurality of channels corresponding to the arrangement of a plurality of output speakers.
  • an order table indicating the order of the mix coefficients determined by the distance between the input speaker and the output speaker is generated, and is indicated by the order table.
  • a difference value between two mix coefficients arranged in order in succession is calculated, a code string obtained by encoding the difference value calculated for each mix coefficient is obtained, and the code string is decoded , Based on the order table, the difference value obtained by the decoding and one of the mixes used for the calculation of the difference value. By adding the coefficient, the mixing coefficient of the other used for calculation of the difference value is calculated and outputted reordered said mixing coefficients based on the order table.
  • high quality speech can be obtained with a smaller code amount.
  • This technology relates to an encoding and decoding technology that enables an arbitrary mix coefficient to be transferred with a small number of bits.
  • the sound source position of the audio signal and the speaker arrangement position are represented by a horizontal angle ⁇ ( ⁇ 180 ° ⁇ ⁇ ⁇ + 180 °) and a vertical angle ⁇ ( ⁇ 90 ° ⁇ ⁇ ⁇ + 90 °).
  • the horizontal direction angle ⁇ represents a lateral angle as viewed from the user
  • the vertical direction angle ⁇ represents a vertical angle as viewed from the user.
  • the left direction when viewed from the user is the positive direction of the horizontal direction angle ⁇
  • the upward direction when viewed from the user is the positive direction of the vertical direction angle ⁇ .
  • 22.2 multichannel sound system [2] [2] Kimio Kashiwazaki “22.2 Multichannel sound system standardization trend,” “NHK Technical Research Institute, R & D, No. 126, 2011.3. ⁇ Http://www.nhk.or.jp/ It is disclosed in detail in strl / publica / rd / rd126 / PDF / P04-13.pdf>.
  • ITU-R BS. 775-1 [3] ITU-R BS. 775-1, “Multichannel Stereophonic Sound System with and without accompanying Picture,” Rec., International Telecommunications Union, Geneva , Switzerland (1992 -1994).
  • the speaker placement position (sound source position) compliant with the 22.2 multi-channel sound method [2] and the international standard ITU-R BS. 775-1 [3] the speaker placement position (sound source) of each channel of 22ch (Position) is the position shown in FIG. 1, and the speaker arrangement position of each channel of 5ch is the position shown in FIG.
  • Source (m) indicates a number for identifying each channel
  • Label indicates the name of each channel.
  • Azimuth represents the horizontal angle ⁇ of the speaker position (sound source position) of each channel
  • Elevation represents the vertical angle ⁇ of the speaker position (sound source position) of each channel.
  • each of FC, FLc, FRc, FL, FR, SiL, SiR, BL, BR, BC, TpFC, TpFL, TpFR, TpSiL, TpSiR, TpBL, TpBR, TpBC, TpC, BtFC, BtFL, and BtFR The speaker placement position of the channel is shown. Further, FIG. 2 shows the speaker arrangement positions of the L, R, C, LS, and RS channels.
  • the following processing STP1 to STP6 are mainly performed. Note that the processing STP1 and the processing STP2 are performed as so-called preliminary work.
  • Process STP1 A transfer order table is generated from the distance between each sound source and each speaker on the playback side
  • Process STP2 A symmetry table indicating the symmetry between the pair of the sound source and the speaker on the playback side is generated
  • Process STP3 After changing the transfer order of the mix coefficients based on the transfer order table, the difference value of the mix coefficients is calculated (process STP4): The symmetry of the mix coefficients is determined (process STP5): Encoding based on (processing STP6): encoding the difference value of the mix coefficient
  • an M channel audio signal corresponding to the arrangement of M speakers that is, an M channel audio signal that reproduces M sound source positions is converted into an N channel audio signal that is reproduced by N speakers.
  • a mix coefficient for each of the M speakers (sound source positions) is prepared in advance for each of the N speakers.
  • the mix coefficient of the mth sound source position used to obtain the sound signal of the nth speaker is defined as MixGain (m, n).
  • MixGain (m, n) is a discrete value quantized with a predetermined resolution, for example, the quantization resolution is 1 dB
  • the range of the mix coefficient is 3 dB to -27 dB
  • - ⁇ the range of the mix coefficient
  • the mix coefficient of each channel is as shown in FIG.
  • the M sound source positions (Source) of the input audio signal are also referred to as Source (1) to Source (M), and the N speaker positions (Target) on the reproduction side are referred to as Target (1) to Target (1). Also referred to as (N).
  • process STP1 processes STP1 (1) to STP1 (4) are performed, and a transfer order table indicating the order in which the mix coefficients are transferred is generated.
  • the sound source SO11 of the audio signal to be reproduced and the reproduction-side speakers RSP11-1 to RSP11-3 are formed on the surface of the sphere PH11 centered on the position of the user U11 who is the viewer. And are arranged.
  • the position of the sound source SO11 is the sound source position Source (m), and the positions of the speakers RSP11-1 to RSP11-3 are the speaker positions Target (n).
  • the speakers RSP11-1 to RSP11-3 are also simply referred to as the speaker RSP11 when it is not necessary to distinguish them. In this example, only one sound source and three speakers are shown, but other sound sources and speakers actually exist.
  • the distance between the sound source SO11 and the speaker RSP11 is an angle formed by a vector starting from the user U11 and pointing in the direction of the sound source SO11 and a vector starting from the user U11 and pointing in the direction of the speaker RSP11.
  • the distance between the sound source SO11 and the speaker RSP11 on the surface of the sphere PH11 that is, the length of the arc connecting the sound source SO11 and the speaker RSP11 is the distance between the sound source SO11 and the speaker RSP11.
  • the angle formed by the arrow A11 and the arrow A12 is the distance DistM1 between the sound source SO11 and the speaker RSP11-1.
  • the angle formed by the arrow A11 and the arrow A13 is the distance DistM2 between the sound source SO11 and the speaker RSP11-2
  • the angle formed by the arrow A11 and the arrow A14 is the distance DistM3 between the sound source SO11 and the speaker RSP11-3. It is said that.
  • a plane including a straight line in the depth direction in the figure and a straight line in the horizontal direction in the figure is an xy plane
  • a straight line in a reference direction in the xy plane, for example, the y axis, and the user U11 is the starting point.
  • the angle formed by the sound source direction or the speaker direction vector on the xy plane is defined as a horizontal direction angle ⁇ . That is, the horizontal direction angle ⁇ is an angle in the horizontal direction in FIG.
  • an angle formed by a vector in the sound source direction or speaker direction starting from the user U11 and the xy plane is defined as a vertical direction angle ⁇ .
  • the distance Dist (m, n) from the sound source position Source (m) of the mth channel (where 1 ⁇ m ⁇ M) to the nth (where 1 ⁇ n ⁇ N) speaker position Target (n) is It can be obtained by calculating the following equation (2).
  • ⁇ m and ⁇ m indicate the horizontal direction angle ⁇ and vertical direction angle ⁇ of the sound source position Source (m), and ⁇ n and ⁇ n are the horizontal direction of the speaker position Target (n). Angle ⁇ and vertical angle ⁇ are shown.
  • M ⁇ N that is, when the number M of sound sources is equal to or greater than the number N of speakers
  • M ⁇ N mix coefficients MixGain (m, n) are divided into N classes.
  • a mix coefficient in which the index n indicating the speaker in the mix coefficient MixGain (m, n) has the same value is a mix coefficient belonging to the n-th class (where 1 ⁇ n ⁇ N).
  • a downmix process is performed as a mix process, or a mix process is performed for converting into an audio signal having the same number of channels.
  • M ⁇ N that is, when the number M of sound sources is less than the number N of speakers
  • the mix coefficient MixGain (m, n) of the same mth sound source belongs to the same class.
  • M ⁇ N mix coefficients MixGain (m, n) are divided into M classes.
  • a mix coefficient having the same index m indicating the sound source in the mix coefficient MixGain (m, n) is set as a mix coefficient belonging to the m-th class (where 1 ⁇ m ⁇ M).
  • an upmix process is performed as a mix process on the playback side.
  • the M mix coefficients belonging to the nth class are arranged so that the distance Dist (m, n) to the nth speaker is arranged in ascending order. Be replaced.
  • N mix coefficients belonging to the m-th class are arranged so that the distance Dist (m, n) from the m-th sound source is arranged in ascending order. Be replaced.
  • the process STP1 (4) transfers the mix coefficients belonging to the M or N classes in the order rearranged in the process STP1 (3).
  • a transfer order table indicating the transfer order of the mix coefficients is generated.
  • the number of input sound source positions that is, the number of input audio signal channels is 22ch
  • the number of output speakers that is, the number of output audio signal channels is 5
  • each speaker arrangement position is as shown in FIG.
  • the transfer order table is as shown in FIG.
  • i indicates the order of transfer of the mix coefficients
  • m and n indicate the indices m and n in the mix coefficient MixGain (m, n). That is, m indicates the mth sound source position Source (m), and n indicates the nth speaker position Target (n).
  • the mix coefficient MixGain (2,1) multiplied by the audio signal of (2) is used.
  • n 4 and a mix with transfer order i of 67 to 88
  • a coefficient is a fourth class mix coefficient
  • n 5
  • a mix coefficient with a transfer order i of 89 to 110 is a fifth class mix coefficient.
  • the i-th transferred mix coefficient MixGain (m, n) shown in the transfer order table is also referred to as a mix coefficient MixGain (i).
  • the mix coefficients are classified into the smaller class number of the number M of sound sources and the number N of speakers. This is because the number of mix coefficients encoded as they are without obtaining the difference value is reduced. As described above, if the number of mix coefficients in which not the difference value but the value as it is encoded can be reduced, the code amount of the code string transferred to the reproduction side can be reduced.
  • a symmetric table is generated. Specifically, when generating a symmetric table, a transfer order table is used to specify whether each mix coefficient has a mix coefficient that is symmetrical in positional relationship with the mix coefficient. Generated as a symmetric table.
  • the sound source position Source (m1) and the sound source position Source (m2) Is determined to be symmetric.
  • the sound source position Source for the speaker position Target (n2) that is symmetrical to the speaker position Target (n1) with respect to the mix coefficient MixGain (m1, n1) of the sound source position Source (m1) for the speaker position Target (n1) It is assumed that there is a mix coefficient MixGain (m2, n2) of the sound source position Source (m2) that is symmetric with respect to (m1). In such a case, the mix coefficient MixGain (m1, n1) is considered to have a symmetric positional relationship with the mix coefficient MixGain (m2, n2).
  • the mix coefficients having a symmetrical relationship between the corresponding speaker positions and the sound source positions are set as the mix coefficients having a symmetrical positional relationship.
  • the mix coefficients of each transfer order shown in the transfer order table are processed in order.
  • a symmetric table is generated based on the transfer order table and the positional relationship between the mix coefficients.
  • the number of input sound source positions that is, the number of input audio signal channels is 22ch
  • the number of output speakers that is, the number of output audio signal channels is 5
  • each speaker arrangement position is as shown in FIG.
  • the symmetry table shown in FIG. 6 is obtained.
  • i indicates the transfer order of the mix coefficients
  • syn (i) indicates the symmetric value of the mix coefficient MixGain (i) whose transfer order is i-th.
  • the mix coefficient MixGain (23) is a mix coefficient whose positional relationship is symmetrical with the mix coefficient MixGain (1). It turns out that it is.
  • process STP3 (1) it is determined whether or not the arrangement order of the mix coefficients to be transferred to the playback side is the order shown in the transfer order table.
  • the mix coefficients are rearranged in the transfer order shown in the transfer order table.
  • the flag Minus_Inf_flag (i) of the mix coefficient MixGain (i) is set to 0, and the value of the mix coefficient MixGain (i) is not ⁇ dB.
  • the flag Minus_Inf_flag (i) of the mix coefficient MixGain (i) is set to 1.
  • the processing shown in FIG. 7 is performed.
  • the parameter t is incremented by 1 as long as t ⁇ i and the transfer coefficient MixGain (i-t) of the ith transfer order is ⁇ dB.
  • the transfer order (it) is the same as the transfer order i.
  • the value obtained by subtracting the mix coefficient MixGain (it) from the mix coefficient MixGain (i) is the difference value MixGain (i) _diff (of the mix coefficient MixGain (i). i).
  • the transfer order that is the processing target is the i-th mix coefficient and the transfer order immediately before it. The difference from the mix coefficient is obtained.
  • the value of the mix coefficient in the transfer order immediately before the i-th mix coefficient is ⁇ dB
  • the value of the mix coefficient is not ⁇ dB and the transfer order is closest to the i-th, t ⁇
  • the ith mix coefficient that satisfies i is the target of the difference.
  • the value of the mix coefficient MixGain (i) itself is the difference value MixGain ( i) _diff (i).
  • process STP4 performed after process STP3, process STP4 (1) and process STP4 (2) are performed to determine the symmetry of the mix coefficient.
  • the symmetric table is referred to, and it is determined whether or not the symmetric value syn (i) is 0 for the mix coefficient MixGain (i) of the transfer order i, and the symmetric value syn (i). Is not 0, it is assumed that symmetry is used for encoding the mix coefficient MixGain (i).
  • process STP5 (1) is performed.
  • the mix coefficient MixGain (i) determined to use symmetry is the same as the mix coefficient MixGain (syn (i)) and does not need to be transferred to the reproduction side.
  • the mix coefficient MixGain (i) is described with 0 bits in the coefficient code string. That is, nothing is described for the mix coefficient MixGain (i) determined to use symmetry in the coefficient code string transferred to the reproduction side as an encoded mix coefficient.
  • the mix coefficient MixGain (i) determined not to use symmetry should be transferred to the reproduction side, and the mix coefficient MixGain (i) is encoded by a process STP6 described later. Is done.
  • process STP5 (2) is performed.
  • the mix coefficient MixGain (i) whose value is asymmetric with the mix coefficient MixGain (syn (i)) needs to be transferred to the playback side. Therefore, the mix coefficient MixGain (i) is encoded by the process STP6.
  • the mix coefficient MixGain (i) determined not to use symmetry needs to be transferred to the reproduction side, the mix coefficient MixGain (i) is encoded in the process STP6.
  • process STP6 the mix coefficient MixGain (i) whose value is not symmetric or does not use symmetry is encoded.
  • process STP6 two processes of process STP6 (1) and process STP6 (2) are performed.
  • the coefficient code string is entropy-encoded with a predetermined codeword. Described.
  • the difference value MixGain (i) _diff (i) is not a value within the predetermined range, a sign indicating that it is outside the predetermined range and the difference value MixGain (i) _diff (i)
  • the Q-bit code to be expressed is described in the coefficient code string as the code word of the mix coefficient MixGain (i) with the i-th transfer order.
  • the difference value MixGain (i) _diff (i) is entropy-coded. More specifically, the mix coefficient MixGain (i) to be processed is positioned at the head of each class. Since the difference value cannot be obtained in the case of the mix coefficient to be used, the mix coefficient MixGain (i) itself is entropy encoded.
  • the quantization resolution is 1 dB
  • the mix coefficient ranges from 3 dB to -27 dB and - ⁇ dB
  • the predetermined range is 4 dB to -6 dB
  • the code table shown in FIG. 8 is used.
  • the difference value MixGain (i) _diff (i) may be entropy encoded.
  • MatGain_diff indicates the value of the difference value MixGain (i) _diff (i)
  • code indicates the code described in the coefficient code string.
  • Bit_length indicates the number of bits of the code described in the coefficient code string.
  • the code indicating that it is outside the predetermined range is 111
  • the bit number Q of the code representing the difference value MixGain (i) _diff (i) is 5 bits.
  • FIG. 9 shows the syntax of the header.
  • Number_of_mix_coef in the header indicates the number of types (sets) of mix coefficients to be transferred
  • Use_differential_coding_flag is a flag indicating whether the difference value MixGain (i) _diff (i) is encoded or the mix coefficient MixGain (i) is encoded.
  • Use_differential_coding_flag 1 indicates that the difference value is encoded, and the above-described process STP3 is performed at the time of encoding.
  • Use_differential_coding_flag 0 indicates that the mix coefficient is encoded. At the time of encoding, the process STP3 is not performed, and the mix coefficient is encoded as it is.
  • the mix coefficient may be encoded as it is without obtaining the difference value of the mix coefficient, or the difference value may be obtained but encoding may be performed without using symmetry.
  • Quantization_level in the header indicates the quantization level.
  • Such a header shown in FIG. 9 is added to the head of the bit stream transferred to the reproduction side.
  • FIG. 10 shows the syntax of the coefficient code string.
  • Q11 to Q14 are described for use in explaining the coefficient code string, and are not described in the actual coefficient code string.
  • the set of mix coefficients specified by the index idmx is a set of M ⁇ N mix coefficients MixGain (m, n) prepared for one mix processing pattern.
  • the coefficient code string includes Symmetry_info_flag [idmx] [i], Minus_Inf_flag [idmx] [i], and MixGain_diff [idmx] [i] for each of the M ⁇ N mix coefficients. Each piece of information is described as needed.
  • Symmetry_info_flag [idmx] [i] indicates whether or not the value of the mix coefficient having the i-th transfer order is symmetric. Specifically, the value of Symmetry_info_flag [idmx] [i] is 0 when the value of the mix coefficient is symmetric, and is 1 when the value of the mix coefficient is asymmetric. This Symmetry_info_flag [idmx] [i] corresponds to the above-described flag Symmetry_info_flag (i).
  • Minus_Inf_flag [idmx] [i] indicates whether or not the value of the mix coefficient whose transfer order is i-th is ⁇ . For example, the value of Minus_Inf_flag [idmx] [i] is 0 if the value of the mix coefficient is ⁇ , and is 1 if the value of the mix coefficient is not ⁇ . This Minus_Inf_flag [idmx] [i] corresponds to the above-described flag Minus_Inf_flag (i).
  • MixGain_diff [idmx] [i] indicates a code coefficient obtained by entropy encoding a mix coefficient having the i-th transfer order or a difference value of the mix coefficient, for example, a Huffman code word.
  • Symmetry_info_tbl [Speaker_config_idx [idmx]] [i] indicates the symmetric value of the mix coefficient whose transfer order is i-th in the symmetry table.
  • Symmetry_info_flag [idmx] [i] is first described.
  • Symmetry_info_flag [idmx] [i] 1 is described
  • Minus_Inf_flag [idmx] [i] is further described.
  • Minus_Inf_flag [idmx] [i] 1 is described
  • MixGain_diff [idmx] [i] is further described.
  • Use_symmetry_infomation_flag described in the header is 0 and symmetry is not used for encoding the mix coefficient, as shown in the part of Q14, for each set of mix coefficients indicated by the index idmx, M ⁇ N Each piece of information is described for each mix coefficient.
  • Minus_Inf_flag [idmx] [i] is first described, and when 1 is described as the value of Minus_Inf_flag [idmx] [i], MixGain_diff [idmx] [i] is further described.
  • FIG. 11 is a diagram illustrating a configuration example of an encoding device to which the present technology is applied.
  • 11 includes a coefficient encoding unit 21, a signal encoding unit 22, and a multiplexing unit 23.
  • the coefficient encoding unit 21 has M sound source positions Source (m) as inputs, N speaker arrangement positions Target (n) as outputs, and M ⁇ N mix coefficients MixGain (m, n). Supplied.
  • the input sound source position, the output speaker arrangement, and the mix coefficient are supplied for each mix process performed on the audio signal on the playback side. For example, if the number N of speakers to be output is different, different mix processing is performed, so information indicating the speaker arrangement and mix coefficients are required for each mix processing.
  • the coefficient encoding unit 21 encodes the supplied mix coefficient based on the supplied input sound source position and output speaker arrangement, and supplies the resulting coefficient code string to the multiplexing unit 23.
  • the signal encoding unit 22 encodes the supplied audio signal by a predetermined encoding method, and supplies the resulting signal code string to the multiplexing unit 23.
  • the multiplexing unit 23 multiplexes the coefficient code string supplied from the coefficient encoding unit 21 and the signal code string supplied from the signal encoding unit 22, and outputs an output code string obtained as a result.
  • the coefficient encoding unit 21 is configured as shown in FIG. 12, for example.
  • the coefficient encoding unit 21 includes an order table generating unit 51, a symmetric table generating unit 52, a rearranging unit 53, a difference calculating unit 54, a symmetry determining unit 55, and an encoding unit 56.
  • the order table generation unit 51 generates a transfer order table based on the supplied input sound source position and output speaker arrangement, and supplies the transfer order table to the symmetry table generation unit 52, the rearrangement unit 53, and the difference calculation unit 54.
  • the order table generation unit 51 includes a distance calculation unit 61, a classification unit 62, and a rearrangement unit 63.
  • the distance calculation unit 61 calculates a distance Dist (m, n) from the sound source position Source (m) to the speaker position Target (n).
  • the classification unit 62 classifies M ⁇ N mix coefficients MixGain (m, n) into each class.
  • the rearrangement unit 63 rearranges each type of mix coefficient based on the distance Dist (m, n), and generates a transfer order table.
  • the symmetry table generation unit 52 generates a symmetry table based on the supplied input sound source position and output speaker arrangement and the transfer order table from the order table generation unit 51, and supplies it to the symmetry determination unit 55. .
  • the symmetry table generation unit 52 includes a rearrangement unit 64 and a symmetry determination unit 65.
  • the rearrangement unit 64 rearranges the mix coefficients to be processed in the order of the transfer order according to the transfer order table supplied from the order table generation unit 51. For each mix coefficient, the symmetry determination unit 65 determines whether there is a mix coefficient whose positional relationship is symmetric with the mix coefficient, that is, the positional relationship between the sound source positions is symmetric, and the positional relationship between the speaker arrangement positions is also symmetric. It is determined whether or not there is a mix coefficient, and a symmetric table is generated.
  • the rearrangement unit 53 rearranges the supplied mix coefficient MixGain (m, n) in the transfer order shown in the transfer order table supplied from the order table generation unit 51, and calculates the difference calculation unit 54 and the symmetry determination unit 55. To supply.
  • the difference calculation unit 54 calculates the difference value of the mix coefficient supplied from the rearrangement unit 53 using the transfer order table supplied from the order table generation unit 51 and supplies the difference value to the encoding unit 56.
  • the symmetry determination unit 55 determines the symmetry of the value of each mix coefficient based on the symmetry table supplied from the symmetry table generation unit 52 and the mix coefficient supplied from the rearrangement unit 53, and the determination result Is supplied to the encoding unit 56.
  • the encoding unit 56 encodes the difference value supplied from the difference calculation unit 54 based on the determination result supplied from the symmetry determination unit 55 and supplies the coefficient code string obtained as a result to the multiplexing unit 23. To do.
  • step S11 the signal encoding unit 22 encodes the supplied speech signal, and supplies the resulting signal code string to the multiplexing unit 23.
  • step S12 the coefficient encoding unit 21 performs a coefficient encoding process, encodes the mix coefficient, and supplies the coefficient code string obtained as a result to the multiplexing unit 23. Details of the coefficient encoding process will be described later. Further, the coefficient code string describes a set of mix coefficients used for the mix processing of each pattern.
  • step S13 the multiplexing unit 23 multiplexes the coefficient code sequence supplied from the coefficient encoding unit 21 and the signal code sequence supplied from the signal encoding unit 22, and the output code sequence obtained as a result thereof. Is output, and the encoding process ends.
  • the encoding device 11 encodes the mix coefficient and multiplexes the coefficient code string obtained as a result and the signal code string to obtain an output code string. In this way, the encoding device 11 can specify a free mix coefficient and transfer it to the reproduction side on the output side of the output code string. Therefore, on the playback side, it becomes possible to perform a mix process suitable for the content and the playback environment, and higher quality audio can be obtained.
  • step S41 the order table generating unit 51 generates a transfer order table based on the supplied input sound source position and output speaker arrangement, and generates a symmetric table generating unit 52, a rearranging unit 53, and a difference calculating unit 54. To supply.
  • the distance calculation unit 61 performs the above-described processing STP1 (1), thereby calculating the distance Dist (m, n) from the sound source position Source (m) to the speaker position Target (n) by the calculation of Expression (2). calculate. Further, the classification unit 62 performs the processing STP1 (2) to classify each of the M ⁇ N mix coefficients MixGain (m, n). Then, rearrangement unit 63 performs processing STP1 (3) and processing STP1 (4) to generate a transfer order table. That is, the mix coefficients of each class are rearranged based on the distance Dist (m, n), and the transfer order table is generated so that the mix coefficients belonging to each class are transferred in the rearranged order.
  • step S42 the symmetry table generation unit 52 generates a symmetry table based on the supplied input sound source position and output speaker arrangement and the transfer order table from the order table generation unit 51, and the symmetry determination unit. 55.
  • the rearrangement unit 64 changes the arrangement order of the mix coefficients to be processed in accordance with the transfer order according to the transfer order table supplied from the order table generation unit 51. Thereby, for example, the mix coefficient MixGain (i) of each transfer order i shown in FIG. 6 is determined.
  • the symmetry determination unit 65 detects a mix coefficient MixGain (i ′) having a symmetrical positional relationship with respect to the mix coefficient MixGain (i) of each transfer order i, and symmetrically sets a symmetric value syn (i) indicating the detection result.
  • a symmetric table is generated by describing in the table.
  • step S41 and step S42 is not necessarily performed every frame, and may be performed as needed.
  • the transfer order table and the symmetric table are generated for each mix processing pattern, that is, for each set of mix coefficients specified by the index idmx shown in FIG.
  • the coefficient encoding unit 21 selects one set of mix coefficients as a processing target, and performs the process described below.
  • step S43 the rearrangement unit 53 selects the mix coefficient MixGain (m, n) of the set to be processed among the supplied mix coefficients, and the transfer order indicated in the transfer order table supplied from the order table generation unit 51. To the difference calculating unit 54 and the symmetry determining unit 55. That is, the above-described process STP3 (1) is performed.
  • step S44 the difference calculation unit 54 calculates the difference value of the mix coefficient supplied from the rearrangement unit 53.
  • the difference calculation unit 54 performs the process STP3 (2), generates a flag Minus_Inf_flag (i) for the mix coefficient MixGain (i), and supplies the flag Minus_Inf_flag (i) to the encoding unit 56.
  • the difference value MixGain (i) _diff (i) is calculated.
  • the difference calculation unit 54 supplies the calculated difference values MixGain (i) _diff (i) to the encoding unit 56.
  • the difference calculation unit 54 supplies the mix coefficient MixGain (i) as it is to the encoding unit 56 without obtaining a difference value for the mix coefficient MixGain (i) located at the head of each class. In other words, the mix coefficient MixGain (i) is directly used as the difference value MixGain (i) _diff (i).
  • step S ⁇ b> 45 the symmetry determination unit 55 determines the symmetry of each mix coefficient value based on the symmetry table supplied from the symmetry table generation unit 52 and the mix coefficient supplied from the rearrangement unit 53. The determination result is supplied to the encoding unit 56.
  • the symmetry determination unit 55 determines whether to use symmetry for encoding the mix coefficient MixGain (i) by performing the process STP4 (1), and sends the determination result to the encoding unit 56. Supply. Further, the symmetry determining unit 55 performs the processing STP4 (2) based on the mix coefficient from the rearranging unit 53 and the symmetric table from the symmetric table generating unit 52 to generate the flag all_gain_symmetric_flag, and the encoding unit 56.
  • step S48 the encoding unit 56 selects one mix coefficient MixGain (i) to be processed.
  • the unprocessed mix coefficients are selected one by one from the mix coefficient MixGain (1) to the mix coefficient with the slowest transfer order, in order from the fastest transfer order.
  • step S49 the encoding unit 56 determines whether to use symmetry for encoding the processing target mix coefficient MixGain (i) based on the determination result supplied from the symmetry determining unit 55.
  • step S49 If it is determined in step S49 that the symmetry is used, entropy coding of the processing target mix coefficient is not performed, so nothing is described in the coefficient code string, and the process proceeds to step S53.
  • step S50 the encoding unit 56 specifies the flag Minus_Inf_flag () of the processing target mix coefficient MixGain (i) supplied from the difference calculation unit 54. i) is described in the coefficient code string. That is, Minus_Inf_flag [idmx] [i] is described in the example of FIG.
  • step S51 the encoding unit 56 determines whether or not the value of the processing target mix coefficient flag Minus_Inf_flag (i) is zero.
  • step S51 If the value of the flag Minus_Inf_flag (i) is 0 in step S51, that is, if the value of the processing target mix coefficient is ⁇ dB, entropy coding of the processing target mix coefficient is not performed, and therefore the processing is performed in step S53. Proceed to
  • step S52 if the value of the flag Minus_Inf_flag (i) is 1 in step S51, that is, if the value of the mix coefficient to be processed is not ⁇ dB, the process of step S52 is performed.
  • step S52 the encoding unit 56 performs the process STP6 (2), entropy-encodes the difference value MixGain (i) _diff (i) of the processing target mix coefficient supplied from the difference calculation unit 54, and the result. The obtained code is described in the coefficient code string. After entropy encoding is performed, the process proceeds to step S53.
  • step S52 If entropy encoding is performed in step S52, it is determined in step S49 that symmetry is used, or if it is determined in step S51 that the value of the flag Minus_Inf_flag (i) is 0, the process of step S53 is performed. Is called.
  • step S53 the encoding unit 56 determines whether or not all the mix coefficients have been processed. That is, it is determined whether or not encoding has been performed with all the mix coefficients being processed.
  • step S53 If it is determined in step S53 that all the mix coefficients have not yet been processed, the process returns to step S48, and the above-described process is repeated. On the other hand, if it is determined in step S53 that all the mix coefficients have been processed, the process proceeds to step S63.
  • step S55 the encoding unit 56 selects one mix coefficient MixGain (i) to be processed.
  • step S56 the encoding unit 56 determines whether to use symmetry for encoding the processing target mix coefficient MixGain (i) based on the determination result supplied from the symmetry determining unit 55.
  • step S56 If it is determined in step S56 that the symmetry is not used, the process proceeds to step S59.
  • step S57 the encoding unit 56 describes in the coefficient code string whether the value of the processing target mix coefficient is symmetric. That is, the encoding unit 56 describes the flag Symmetry_info_flag (i) of the processing target mix coefficient supplied from the symmetry determination unit 55 in the coefficient code string. For example, in the example of FIG. 10, Symmetry_info_flag [idmx] [i] is described.
  • step S58 If it is determined in step S58 that the value of the mix coefficient is symmetric, entropy coding of the mix coefficient to be processed is not performed, and the process proceeds to step S62.
  • step S58 determines whether the value of the mix coefficient is symmetric. If it is determined in step S58 that the value of the mix coefficient is not symmetric, the process proceeds to step S59.
  • step S58 If it is determined in step S58 that the value of the mix coefficient is not symmetric, or if it is determined in step S56 that the symmetry is not used, the process of step S59 is performed.
  • step S59 the encoding unit 56 describes the flag Minus_Inf_flag (i) of the processing target mix coefficient MixGain (i) supplied from the difference calculation unit 54 in the coefficient code string.
  • step S60 the encoding unit 56 determines whether or not the value of the processing target mix coefficient flag Minus_Inf_flag (i) is zero.
  • step S60 If the value of the flag Minus_Inf_flag (i) is 0 in step S60, that is, if the value of the processing target mix coefficient is ⁇ dB, entropy coding of the processing target mix coefficient is not performed, and thus the processing is performed in step S62. Proceed to
  • step S61 if the value of the flag Minus_Inf_flag (i) is 1 in step S60, that is, if the value of the mix coefficient to be processed is not ⁇ dB, the process of step S61 is performed.
  • step S61 the encoding unit 56 performs the process STP6 (2), entropy-encodes the difference value MixGain (i) _diff (i) of the processing target mix coefficient supplied from the difference calculation unit 54, and the result. The obtained code is described in the coefficient code string. After entropy encoding is performed, the process proceeds to step S62.
  • step S58 If entropy encoding has been performed in step S61, it is determined in step S58 that the value of the mix coefficient is symmetric, or if it is determined in step S60 that the value of the flag Minus_Inf_flag (i) is 0, step S62 Is performed.
  • step S62 the encoding unit 56 determines whether or not all the mix coefficients have been processed.
  • step S62 If it is determined in step S62 that all the mix coefficients have not yet been processed, the process returns to step S55, and the above-described process is repeated.
  • step S62 determines whether all the mix coefficients have been processed. If it is determined in step S62 that all the mix coefficients have been processed, the process proceeds to step S63.
  • step S53 If it is determined in step S53 that all the mix coefficients have been processed, or if it is determined in step S62 that all the mix coefficients have been processed, the process of step S63 is performed.
  • step S63 the coefficient encoding unit 21 determines whether or not all sets of mix coefficients have been processed. For example, when all sets of mix coefficients are processed and processed, it is determined that all sets have been processed.
  • step S63 If it is determined in step S63 that all sets have not yet been processed, the process returns to step S43, and the above-described processes are repeated.
  • step S63 if it is determined in step S63 that all sets have been processed, the encoding unit 56 supplies the obtained coefficient code string to the multiplexing unit 23, and the coefficient encoding process ends.
  • the coefficient encoding unit 21 rearranges the transfer order of the mix coefficients based on the relationship between the sound source position Source (m) and the speaker position Target (n), that is, the distance between the sound source position and the speaker position.
  • the difference value of the mix coefficient is obtained according to the transfer order, and the difference value is encoded.
  • the coefficient encoding unit 21 encodes the mix coefficient using the positional relationship between the sound source positions and the positional relationship between the speaker arrangement positions, that is, using the symmetry of the mix coefficient.
  • the difference value can be made smaller, and the mix can be performed efficiently.
  • Coefficients can be encoded.
  • the code amount (number of bits) of the coefficient code string can be reduced, and higher quality speech can be obtained with a smaller code amount on the reproduction side.
  • the code amount of the coefficient code string can be further reduced.
  • Such a decoding device is configured as shown in FIG. 16, for example.
  • the decoding apparatus 81 shown in FIG. 16 receives and decodes the output code string transmitted from the encoding apparatus 11 as an input code string, mixes the resultant audio signal, and performs speaker 82-1 through speaker 82. -Supply to -N to output sound.
  • the speakers 82-1 to 82-N are also simply referred to as speakers 82 when it is not necessary to distinguish them.
  • the speakers 82-1 to 82-N are arranged at speaker positions Target (1) to Target (N), respectively.
  • the decoding device 81 includes a demultiplexing unit 91, a signal decoding unit 92, a coefficient decoding unit 93, and a mix processing unit 94.
  • the demultiplexing unit 91 demultiplexes the received input code sequence into a signal code sequence and a coefficient code sequence, supplies the signal code sequence to the signal decoding unit 92, and supplies the coefficient code sequence to the coefficient decoding unit 93. .
  • the signal decoding unit 92 decodes the signal code string supplied from the demultiplexing unit 91, and mixes the M-channel audio signals obtained as a result, that is, the audio signals at M sound source positions Source (m). Supplied to the unit 94.
  • the coefficient decoding unit 93 decodes the coefficient code string supplied from the demultiplexing unit 91 using the supplied input sound source position and output speaker arrangement, and mixes the resulting mix coefficient into the mix processing unit. 94.
  • the mix processing unit 94 performs a mix process on the audio signal supplied from the signal decoding unit 92 using the mix coefficient supplied from the coefficient decoding unit 93, and converts the M channel audio signal into an N channel audio signal. .
  • the mix processing unit 94 supplies the audio signal of each channel obtained by the mix processing to the speaker 82 corresponding to each channel for reproduction.
  • the speaker 82 reproduces the audio signal supplied from the mix processing unit 94 and outputs audio.
  • coefficient decoding part 93 of the decoding apparatus 81 is comprised as shown, for example in FIG.
  • 17 includes a sequence table generation unit 121, a symmetric table generation unit 122, a decoding unit 123, a coefficient calculation unit 124, and a rearrangement unit 125.
  • the order table generation unit 121 generates a transfer order table based on the supplied input sound source position and output speaker arrangement, and supplies the transfer order table to the symmetry table generation unit 122, the coefficient calculation unit 124, and the rearrangement unit 125.
  • the order table generation unit 121 includes a distance calculation unit 131, a classification unit 132, and a rearrangement unit 133.
  • the distance calculation unit 131 through the rearrangement unit 133 are the same as the distance calculation unit 61 through the rearrangement unit 63 illustrated in FIG.
  • the symmetric table generation unit 122 generates a symmetric table based on the input sound source position and the output speaker arrangement supplied and the transfer order table from the order table generation unit 121, and the decoding unit 123 and the coefficient calculation unit 124. To supply.
  • the symmetry table generation unit 122 includes a rearrangement unit 134 and a symmetry determination unit 135.
  • the rearrangement unit 134 and the symmetry determination unit 135 are the same as the rearrangement unit 64 and the symmetry determination unit 65 shown in FIG.
  • the decoding unit 123 acquires and decodes the coefficient code string from the demultiplexing unit 91 based on the symmetric table supplied from the symmetric table generation unit 122, and obtains the difference value MixGain (i) _diff (i ) And the like are supplied to the coefficient calculation unit 124.
  • the coefficient calculation unit 124 calculates a mix coefficient based on the transfer order table from the order table generation unit 121, the symmetry table from the symmetry table generation unit 122, the difference value from the decoding unit 123, and the like, and the rearrangement unit 125. To supply.
  • the rearrangement unit 125 rearranges the mix coefficients supplied from the coefficient calculation unit 124 based on the transfer order table from the order table generation unit 121 and supplies the mix coefficients to the mix processing unit 94.
  • step S91 the demultiplexing unit 91 demultiplexes the input code sequence, supplies the signal code sequence to the signal decoding unit 92, and supplies the coefficient code sequence to the coefficient decoding unit 93.
  • step S92 the signal decoding unit 92 decodes the signal code string supplied from the demultiplexing unit 91, and supplies the resulting audio signal to the mix processing unit 94.
  • step S93 the coefficient decoding unit 93 performs coefficient decoding processing, decodes the coefficient code string supplied from the demultiplexing unit 91, and supplies the resulting mix coefficient to the mix processing unit 94. Details of the coefficient decoding process will be described later.
  • step S94 the mix processing unit 94 performs a mix process on the audio signal supplied from the signal decoding unit 92 using the mix coefficient supplied from the coefficient decoding unit 93, and the audio signal obtained as a result of the mix processing is obtained from the speaker 82. To supply.
  • the mix processing unit 94 multiplies the audio signal at each sound source position Source (m) by the mix coefficient MixGain (m, n), and adds the audio signal multiplied by the mix coefficient, thereby obtaining the speaker position Target.
  • An audio signal of one channel corresponding to the speaker 82 arranged in (n) is generated.
  • the mix processing unit 94 generates audio signals of N channels corresponding to the N speakers 82 and supplies the audio signals to the speakers 82.
  • the speaker 82 outputs audio based on the audio signal supplied from the mix processing unit 94.
  • the decoding process ends.
  • the decoding device 81 decodes the coefficient code string, and performs a mixing process on the audio signal using the resulting mix coefficient.
  • the decoding device 81 since the difference value is obtained based on the distance between the sound source position and the speaker position, or the mix coefficient that is efficiently encoded by using the symmetry of the mix coefficient is decoded and used, Higher quality speech can be obtained with a small amount of code.
  • step S121 the coefficient decoding unit 93 determines the mix determined by the combination of the sound source position of the audio signal to be mixed and the arrangement position of the speaker 82 based on information appropriately supplied from a higher-level control device (not shown). Select a set of coefficients.
  • one set of mix coefficients specified by the index idmx shown in FIG. 10 is selected, and thereafter, this set of mix coefficients is processed as a processing target. That is, the information regarding each mix coefficient which comprises the set made into the process target is read from a coefficient code sequence.
  • step S122 and step S123 are thereafter performed.
  • step S122 and step S123 are the same as the process of step S41 of FIG. 14, and step S42, the description is abbreviate
  • the order table generation unit 121 supplies the generated transfer order table to the symmetric table generation unit 122, the coefficient calculation unit 124, and the rearrangement unit 125.
  • the symmetric table generation unit 122 supplies the generated symmetric table to the decoding unit 123 and the coefficient calculation unit 124.
  • the decoding unit 123 selects one mix coefficient MixGain (i) to be processed in step S125.
  • the unprocessed mix coefficients are selected one by one from the mix coefficient MixGain (1) to the mix coefficient with the slowest transfer order, in order from the fastest transfer order.
  • step S126 based on the symmetry table, the decoding unit 123 determines whether or not symmetry is used for encoding the processing target mix coefficient MixGain (i). For example, when the symmetric value syn (i) of the processing target mix coefficient is 0, it is determined that the symmetry is not used, and the symmetric value syn (i) of the processing target mix coefficient is a value other than 0. In this case, it is determined that symmetry is used.
  • step S126 When it is determined in step S126 that the symmetry is used, the decoding unit 123 supplies a symmetry flag indicating that the value of the processing target mix coefficient MixGain (i) is symmetric to the coefficient calculation unit 124, and the process is performed in step S126. The process proceeds to S129.
  • step S127 the decoding unit 123 sets the flag of the processing target mix coefficient MixGain (i) described in the coefficient code string. It is determined whether the value of Minus_Inf_flag (i) is 0.
  • step S127 When it is determined in step S127 that the value of the flag Minus_Inf_flag (i) is 0, the decoding unit 123 supplies ⁇ to the coefficient calculation unit 124 as the value of the processing target mix coefficient MixGain (i), and the process Advances to step S129. At this time, the decoding unit 123 also supplies the coefficient calculation unit 124 with a symmetric flag indicating that the value of the mix coefficient MixGain (i) to be processed is asymmetric.
  • step S1208 when it is determined in step S127 that the value of the flag Minus_Inf_flag (i) is 1, in step S128, the decoding unit 123 decodes the mix coefficient.
  • the decoding unit 123 reads and decodes the difference value MixGain (i) _diff (i) of the processing target mix coefficient MixGain (i) described in the coefficient code string.
  • MixGain_diff [idmx] [i] is read and decoded. If the mix coefficient to be processed is the mix coefficient located at the beginning of each class, the codeword obtained by encoding the mix coefficient value itself described as MixGain_diff [idmx] [i] Is read and decoded.
  • the decoding unit 123 supplies the coefficient calculation unit 124 with the difference value of the mix coefficient obtained by decoding, or the mix coefficient, and a symmetric flag indicating that the value of the processing target mix coefficient is asymmetric.
  • step S129 the decoding unit 123 determines whether all the mix coefficients have been processed. That is, it is determined whether or not decoding has been performed with all the mix coefficients being processed.
  • step S129 If it is determined in step S129 that all the mix coefficients have not yet been processed, the process returns to step S125, and the above-described process is repeated. On the other hand, if it is determined in step S129 that all the mix coefficients have been processed, the process proceeds to step S136.
  • step S124 If it is determined in step S124 that the entire mix coefficient is not symmetric, the decoding unit 123 selects one mix coefficient MixGain (i) to be processed in step S130.
  • step S131 the decoding unit 123 determines whether or not symmetry is used for encoding the processing target mix coefficient MixGain (i).
  • step S131 If it is determined in step S131 that the symmetry is not used, the process proceeds to step S133.
  • step S132 the decoding unit 123 determines whether or not the value of the processing target mix coefficient MixGain (i) is symmetric. . For example, when the value of the flag Symmetry_info_flag (i) of the mix coefficient MixGain (i) to be processed described in the coefficient code string is 0, it is determined that the value of the mix coefficient is symmetric.
  • step S132 When it is determined in step S132 that the value of the mix coefficient is symmetric, the decoding unit 123 supplies a symmetric flag indicating that the value of the mix coefficient MixGain (i) to be processed is symmetric to the coefficient calculation unit 124. The process proceeds to step S135.
  • step S132 determines whether the value of the mix coefficient is symmetric. If it is determined in step S132 that the value of the mix coefficient is not symmetric, the process proceeds to step S133.
  • step S132 If it is determined in step S132 that the value of the mix coefficient is not symmetric, or if it is determined in step S131 that the symmetry is not used, the process of step S133 is performed.
  • step S133 the decoding unit 123 determines whether the value of the flag Minus_Inf_flag (i) of the processing target mix coefficient MixGain (i) described in the coefficient code string is 0 or not.
  • step S133 When it is determined in step S133 that the value of the flag Minus_Inf_flag (i) is 0, the decoding unit 123 supplies ⁇ to the coefficient calculation unit 124 as the value of the processing target mix coefficient MixGain (i), and the process Advances to step S135. At this time, the decoding unit 123 also supplies the coefficient calculation unit 124 with a symmetric flag indicating that the value of the mix coefficient MixGain (i) to be processed is asymmetric.
  • step S134 the decoding unit 123 decodes the mix coefficient.
  • the decoding unit 123 reads and decodes the difference value MixGain (i) _diff (i) of the processing target mix coefficient MixGain (i) described in the coefficient code string.
  • the mix coefficient to be processed is a mix coefficient located at the top of each class, a code word obtained by encoding the value of the mix coefficient itself is read and decoded.
  • the decoding unit 123 supplies the coefficient calculation unit 124 with the difference value of the mix coefficient obtained by decoding, or the mix coefficient, and a symmetric flag indicating that the value of the processing target mix coefficient is asymmetric.
  • step S135 the decoding unit 123 determines whether all the mix coefficients have been processed.
  • step S135 If it is determined in step S135 that all the mix coefficients have not yet been processed, the process returns to step S130, and the above-described process is repeated. On the other hand, if it is determined in step S135 that all the mix coefficients have been processed, the process proceeds to step S136.
  • step S136 the coefficient calculation unit 124 selects one mix coefficient MixGain (i) to be processed. For example, the unprocessed mix coefficients are selected one by one from the mix coefficient MixGain (1) to the mix coefficient with the slowest transfer order, in order from the fastest transfer order.
  • step S137 based on the symmetry flag supplied from the decoding unit 123, the coefficient calculation unit 124 determines whether or not symmetry is actually used when encoding the mix coefficient to be processed, that is, the value of the mix coefficient. Determine if it is symmetric.
  • step S138 the coefficient calculation unit 124 determines whether or not the processing target mix coefficient supplied from the decoding unit 123 is a difference value of the mix coefficient. Determine.
  • the coefficient calculation unit 124 supplies from the decoding unit 123 based on the transfer order table supplied from the order table generation unit 121 and the difference value of the mix coefficient supplied from the decoding unit 123 or the mix coefficient. It is determined whether the obtained value is a difference value.
  • the decoding unit 123 when the mix coefficient to be processed is the mix coefficient at the top position of the class in the transfer order table, that is, when the mix coefficient belonging to the same class is the mix coefficient with the earliest transfer order, the decoding unit 123 The value supplied from is not the difference value but the value of the mix coefficient itself.
  • the value supplied from the decoding unit 123 is the difference It is assumed that it is not the value but the value of the mix coefficient itself. Whether or not the value of the mix coefficient is ⁇ can be specified by whether or not the value supplied from the decoding unit 123 for the mix coefficient is ⁇ .
  • the value supplied from the decoding unit 123 is ⁇ , the value supplied from the decoding unit 123 is not a difference value.
  • step S138 If it is determined in step S138 that the value is not a difference value, the coefficient calculation unit 124 assumes that the value supplied from the decoding unit 123 is the value of the processing target mix coefficient itself, and the process proceeds to step S141.
  • step S139 the coefficient calculation unit 124 is based on the difference value of the processing target mix coefficient supplied from the decoding unit 123 and the transfer order table. To add.
  • the coefficient calculation unit 124 adds the value of the mix coefficient for which the difference calculation with the mix coefficient has been performed to the difference value of the process target mix coefficient supplied from the decoding unit 123, and the process target mix coefficient Calculate MixGain (i).
  • the process proceeds to step S141.
  • step S140 the coefficient calculation unit 124 copies (copies) the mix coefficient based on the symmetry table supplied from the symmetry table generation unit 122. It is assumed that the processing target mix coefficient MixGain (i).
  • step S141 the value of the mix coefficient whose positional relationship is symmetric with respect to the mix coefficient to be processed is directly used as the value of the mix coefficient to be processed.
  • step S140 If it is determined in step S140 that the mix coefficient has been duplicated, an addition process has been performed in step S139, or a difference value is not determined in step S138, the process of step S141 is performed.
  • step S141 the coefficient calculation unit 124 determines whether all the mix coefficients have been processed.
  • step S141 If it is determined in step S141 that all the mix coefficients have not yet been processed, the process returns to step S136, and the above-described process is repeated. On the other hand, if it is determined in step S141 that all the mix coefficients have been processed, the coefficient calculation unit 124 supplies the mix coefficients in each transfer order to the rearrangement unit 125, and the process proceeds to step S142.
  • step S142 the rearrangement unit 125 uses the transfer order table supplied from the order table generation unit 121 to arrange the mix coefficients supplied from the coefficient calculation unit 124 in the order corresponding to the reproduction environment of the decoding device 81. Instead, it is supplied to the mix processing unit 94. When the mix coefficients are rearranged, the coefficient decoding process ends, and then the process proceeds to step S94 in FIG.
  • the decoding device 81 decodes the encoded mix coefficient using the distance from the sound source position to the speaker position and the symmetry of the mix coefficient. In this manner, by decoding the efficiently encoded mix coefficients, higher quality speech can be obtained with a smaller code amount.
  • encoding is performed by obtaining a difference value of a mix coefficient.
  • encoding may be performed using the symmetry of the mix coefficient itself without obtaining a difference value.
  • all difference values of the mix coefficients may be described in the coefficient code string without using symmetry.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 21 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processes by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in, for example, a removable medium 511 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in advance in the ROM 502 or the recording unit 508.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • an order table generating unit that generates an order table indicating an arrangement order of the mix coefficients determined by a distance between the input speaker and the output speaker;
  • a rearrangement unit that rearranges a plurality of the mix coefficients in the order indicated by the order table;
  • a difference calculation unit that calculates a difference value between the two mix coefficients arranged in succession;
  • An encoding device comprising: an encoding unit that encodes the difference value calculated for each of the mix coefficients.
  • a symmetric table generator for generating a symmetric table indicating the symmetry of the positional relationship between the mix coefficients; Based on the symmetry table, when the value of the mix coefficient and the value of the other mix coefficient in the positional relationship symmetrical to the mix coefficient are the same value, the mix coefficient and the other mix coefficient are A symmetry determining unit for determining that the object is symmetric, The encoding device according to (1), wherein the encoding unit does not encode the difference value of the mix coefficient determined to be symmetric with the other mix coefficient. (3) The symmetry determining unit determines whether each of all the mix coefficients having the other mix coefficients in the symmetric positional relationship is symmetric with each of the other mix coefficients in the symmetric positional relationship.
  • the encoding unit encodes the difference value based on a determination result of whether or not all the mix coefficients are symmetric with the other mix coefficients.
  • the input speaker of the mix coefficient and the input speaker of the other mix coefficient are in a symmetrical position, and the output speaker of the mix coefficient and the output speaker of the other mix coefficient are symmetrical.
  • the encoding device according to any one of (2) to (4), wherein the positional relationship between the mix coefficient and the other mix coefficient is assumed to be symmetrical.
  • the difference calculation unit calculates the difference value between the mix coefficient and a mix coefficient whose value is not ⁇ and is closest to the mix coefficient in the order (1) to (5).
  • the order table generating unit classifies the mix coefficients into a plurality of classes so that the mix coefficients of the same output speakers belong to the same class, When the number of output speakers is greater than the number of input speakers, classify the mix coefficients into a plurality of classes so that the mix coefficients of the same input speakers belong to the same class, and
  • the order table is generated by setting the order of arrangement,
  • the encoding device according to any one of (1) to (6), wherein the difference calculation unit calculates the difference value of the mix coefficients belonging to the same class.
  • an order table generating unit that generates an order table indicating an arrangement order of the mix coefficients determined by a distance between the input speaker and the output speaker; A difference value between two of the mix coefficients arranged successively in the order indicated by the order table is calculated, and a code string obtained by encoding the difference value calculated for each of the mix coefficients is obtained, A decoding unit for decoding the code string; Based on the order table, by adding the difference value obtained by the decoding and the one mix coefficient used for the calculation of the difference value, the other value used for the calculation of the difference value is added. An adder for calculating the mix coefficient; And a rearrangement unit that rearranges and outputs the mix coefficients based on the order table.
  • the decoding unit decodes the difference value based on information included in the code string indicating a determination result of whether or not all the mix coefficients are symmetric with the other mix coefficients. ) Or (11). (13) The input speaker of the mix coefficient and the input speaker of the other mix coefficient are in a symmetrical position, and the output speaker of the mix coefficient and the output speaker of the other mix coefficient are symmetrical.
  • For each input speaker mix coefficient generate an order table indicating the order of the mix coefficients determined by the distance between the input speaker and the output speaker, A difference value between two of the mix coefficients arranged continuously in the order indicated by the order table is calculated, and a code string obtained by encoding the difference value calculated for each of the mix coefficients is obtained, Decoding the code string; Based on the order table, by adding the difference value obtained by the decoding and the one mix coefficient used for the calculation of the difference value, the other value used for the calculation of the difference value is added. Calculating the mix factor; A decoding method comprising the step of rearranging and outputting the mix coefficients based on the order table.
  • For each input speaker mix coefficient generate an order table indicating the order of the mix coefficients determined by the distance between the input speaker and the output speaker, A difference value between two of the mix coefficients arranged continuously in the order indicated by the order table is calculated, and a code string obtained by encoding the difference value calculated for each of the mix coefficients is obtained, Decoding the code string; Based on the order table, by adding the difference value obtained by the decoding and the one mix coefficient used for the calculation of the difference value, the other value used for the calculation of the difference value is added. Calculating the mix factor; A program that causes a computer to execute processing including a step of rearranging and outputting the mix coefficients based on the order table.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　本技術は、より少ない符号量で高品質な音声を得ることができるようにする符号化装置および方法、復号装置および方法、並びにプログラムに関する。 信号符号化部は、音声信号を符号化し、得られた信号符号列を出力する。係数符号化部は、音声信号のミックス処理に用いるミックス係数を符号化し、得られた係数符号列を出力する。多重化部は信号符号列と係数符号列とを多重化し、得られた出力符号列を出力する。係数符号化部は、ミックス係数の符号化時において、入力の音源位置から再生側のスピーカ位置までの距離に基づいてミックス係数を並び替え、ミックス係数の並び順に基づいてミックス係数の差分値を求めることで、ミックス係数を符号化する。本技術は、符号化装置および復号装置に適用することができる。

Description

符号化装置および方法、復号装置および方法、並びにプログラム
　本技術は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、より少ない転送符号量で高品質な音声を得ることができるようにした符号化装置および方法、復号装置および方法、並びにプログラムに関する。
　マルチチャンネルのオーディオ再生においては、再生側のスピーカ配置と、再生しようとする音声信号の音源位置とが完全に一致することが望ましいのが、現実では殆どの場合、再生側のスピーカ配置は、音源位置とは一致しないことが多い。
　再生側のスピーカ配置と音源位置の違いによってスピーカの位置にない音源が生じるため、このような音源をどのように再生するかについて大きな関心が寄せられている。
　再生側のスピーカ配置に応じた音声信号を得る場合には、ミックス式により各音源位置、すなわち各チャンネルの音声信号をミックスし、再生側のスピーカに対応する新たなチャンネルの音声信号を生成することが一般的に行われている。
　この際、従来は予め定められたミックス式内のパラメータとして、予め提供された数パターンの中から適切なものを選び、ミックス式において各チャンネルの音声信号に乗算されるミックス係数を計算することとなっている（例えば、非特許文献１参照）。
　例えば、非特許文献１ではARIB（電波産業会）の標準規格ARIB STD-B32 2.2版[1]における22.2チャンネル配置から5.1チャンネル配置へのダウンミックスとして、次式（１）の計算を行うことが定められている。
Figure JPOXMLDOC01-appb-M000001
　式（１）ではＦＬ、ＦＲ、ＦＣ等の22.2チャンネル配置の各チャンネルの音声信号が、ミックス係数が用いられて足し合わせられ、ダウンミックス後のＬ、Ｒ、Ｃ、ＬＳ、ＲＳ、ＬＦＥの各チャンネルの音声信号が算出される。また、式（１）では、パラメータａとして２つの値のうちの何れかを選択することができ、パラメータｋとして４つの値のうちの何れかを選択することができるようになされている。
　このような式（１）において、ダウンミックス後の各チャンネルの音声信号を得るために、ダウンミックス前の各チャンネルに乗算される係数がミックス係数となる。例えば式（１）では、Ｌチャンネルを得るためのＦＬチャンネルに乗算されるミックス係数は、パラメータａの値となり、Ｌチャンネルを得るためのＦＬｃチャンネルに乗算されるミックス係数はａ／（２１／２）となる。なお、以下では、チャンネルを単にｃｈとも記述することとする。
デジタル放送における映像符号化、音声符号化及び多重化方式、［online］、平成２１年７月２９日、電波産業会、［平成２５年９月３０日検索］、インターネット〈http://www.arib.or.jp/english/html/overview/doc/2-STD-B32v2_2.pdf〉
　しかしながら、式（１）によりダウンミックスを行う方法では、ミックス式と式内のパラメータの選択が予め用意されているため、そのパラメータとミックス式から定まるミックス係数しか使用することができなかった。
　視聴者に品質の良い音声を提供するためには、音源のコンテンツの様々なシーンに応じてミックス係数も自由に変更できることが必要とされる。
　ところが、完全自由なミックス係数の転送を実現するためには、全ての入力音源から出力スピーカへのミックス係数をそれぞれ独立に転送しなければならない。
　そのため、入力音源がＭチャンネルであり、出力のスピーカがＮ個である場合では、ミックス係数はＭ×Ｎ個となる。ミックス係数１個あたりＱビットを使ってミックス係数を転送するとすれば、ミックス係数１セットのデータ量はＭ×Ｎ×Ｑビットとなる。例えば、入力音源が22chであり、出力スピーカが5chチャンネルであり、ミックス係数１個あたり5bitが必要であるとすれば、全部で550bitが必要となる。
　さらに、送信側は再生側の実際のスピーカ配置が分からないため、ミックス係数も複数のスピーカ配置に合わせて複数セットを送らなければならないことがある。例えば、出力側のスピーカ配置が7ch、5ch、または2chの可能性がある場合、22chから5ch、22chから7ch、22chから2chの３セットのミックス係数を送らなければならない。したがって、このようなミックス係数をそのまま転送すると膨大な情報量が発生してしまうことになり、自由なミックス係数をいかに転送するかが重要となる。
　以上のように上述した技術では、少ない符号量で自由なミックス係数を転送し、再生側において高品質な音声を得ることができるようにすることは困難であった。
　本技術は、このような状況に鑑みてなされたものであり、より少ない符号量で高品質な音声を得ることができるようにするものである。
　本技術の第１の側面の符号化装置は、複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成する順番表生成部と、複数の前記ミックス係数を、前記順番表により示される順番に並び変える並び替え部と、前記順番に並び替えられた各前記ミックス係数について、連続して並ぶ２つの前記ミックス係数の差分値を算出する差分算出部と、各前記ミックス係数について算出された前記差分値を符号化する符号化部とを備える。
　符号化部には、前記ミックス係数間の位置関係の対称性を示す対称表を生成する対称表生成部と、前記対称表に基づいて、前記ミックス係数の値と、その前記ミックス係数と対称な前記位置関係にある他のミックス係数の値とが同じ値である場合、前記ミックス係数と前記他のミックス係数が対称であると判定する対称性判定部とをさらに設け、前記符号化部には、前記他のミックス係数と対称であると判定された前記ミックス係数の前記差分値の符号化を行わないようにすることができる。
　前記対称性判定部には、対称な前記位置関係にある前記他のミックス係数が存在する全ての前記ミックス係数のそれぞれが、対称な前記位置関係にある前記他のミックス係数のそれぞれと対称であるか否かをさらに判定させ、前記符号化部には、前記全ての前記ミックス係数が前記他のミックス係数と対称であるか否かの判定結果に基づいて前記差分値を符号化させることができる。
　前記符号化部には、前記差分値をエントロピ符号させることができる。
　前記ミックス係数の前記入力スピーカと、前記他のミックス係数の前記入力スピーカとが左右対称な位置にあり、かつ前記ミックス係数の前記出力スピーカと、前記他のミックス係数の前記出力スピーカとが左右対称な位置にある場合、前記ミックス係数と前記他のミックス係数とは前記位置関係が対称であるとすることができる。
　前記差分算出部には、前記ミックス係数と、値が－∞ではなく、かつ前記ミックス係数に前記順番が最も近いミックス係数との前記差分値を算出させることができる。
　前記順番表生成部には、前記入力スピーカの個数が前記出力スピーカの個数よりも多い場合、同じ前記出力スピーカの前記ミックス係数が同じ類に属すように前記ミックス係数を複数の類に分類させ、前記入力スピーカの個数よりも前記出力スピーカの個数が多い場合、同じ前記入力スピーカの前記ミックス係数が同じ類に属すように前記ミックス係数を複数の類に分類させて、前記類ごとに前記ミックス係数の並び順を定めて前記順番表を生成させ、前記差分算出部には、同じ前記類に属す前記ミックス係数の前記差分値を算出させることができる。
　本技術の第１の側面の符号化方法またはプログラムは、複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、複数の前記ミックス係数を、前記順番表により示される順番に並び変え、前記順番に並び替えられた各前記ミックス係数について、連続して並ぶ２つの前記ミックス係数の差分値を算出し、各前記ミックス係数について算出された前記差分値を符号化するステップを含む。
　本技術の第１の側面においては、複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表が生成され、複数の前記ミックス係数が、前記順番表により示される順番に並び変えられ、前記順番に並び替えられた各前記ミックス係数について、連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化される。
　本技術の第２の側面の復号装置は、複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成する順番表生成部と、前記順番表により示される順番で連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化されて得られた符号列を取得し、前記符号列を復号する復号部と、前記順番表に基づいて、前記復号により得られた前記差分値と、前記差分値の算出に用いられた一方の前記ミックス係数とを加算することで、前記差分値の算出に用いられた他方の前記ミックス係数を算出する加算部と、前記順番表に基づいて前記ミックス係数を並び替えて出力する並び替え部とを備える。
　前記ミックス係数の値と、その前記ミックス係数と対称な位置関係にある他のミックス係数の値とが同じ値である場合、前記ミックス係数と前記他のミックス係数が対称であるとされて前記ミックス係数の前記差分値は符号化されないようにし、前記ミックス係数間の前記位置関係を示す対称表を生成する対称表生成部をさらに設け、前記加算部には、前記ミックス係数が前記他のミックス係数と対称である場合、前記対称表に基づいて前記他のミックス係数を複製させ、前記ミックス係数とさせることができる。
　前記差分値が、対称な前記位置関係にある前記他のミックス係数が存在する全ての前記ミックス係数のそれぞれが、対称な前記位置関係にある前記他のミックス係数のそれぞれと対称であるか否かの判定結果に基づいて符号化されるようにし、前記復号部には、前記符号列に含まれている、前記全ての前記ミックス係数が前記他のミックス係数と対称であるか否かの判定結果を示す情報に基づいて前記差分値を復号させることができる。
　前記ミックス係数の前記入力スピーカと、前記他のミックス係数の前記入力スピーカとが左右対称な位置にあり、かつ前記ミックス係数の前記出力スピーカと、前記他のミックス係数の前記出力スピーカとが左右対称な位置にある場合、前記ミックス係数と前記他のミックス係数とは前記位置関係が対称であるとすることができる。
　本技術の第２の側面の復号方法またはプログラムは、複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、前記順番表により示される順番で連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化されて得られた符号列を取得して、前記符号列を復号し、前記順番表に基づいて、前記復号により得られた前記差分値と、前記差分値の算出に用いられた一方の前記ミックス係数とを加算することで、前記差分値の算出に用いられた他方の前記ミックス係数を算出し、前記順番表に基づいて前記ミックス係数を並び替えて出力するステップを含む。
　本技術の第２の側面においては、複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表が生成され、前記順番表により示される順番で連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化されて得られた符号列が取得されて、前記符号列が復号され、前記順番表に基づいて、前記復号により得られた前記差分値と、前記差分値の算出に用いられた一方の前記ミックス係数とを加算することで、前記差分値の算出に用いられた他方の前記ミックス係数が算出され、前記順番表に基づいて前記ミックス係数が並び替えられて出力される。
　本技術の第１の側面および第２の側面によれば、より少ない符号量で高品質な音声を得ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
スピーカ配置例を示す図である。 スピーカ配置例を示す図である。 ミックス係数の例を示す図である。 音源位置からスピーカ位置までの距離について説明する図である。 転送順番表の例を示す図である。 対称表の例を示す図である。 差分値の算出について説明する図である。 符号語の例を示す図である。 ヘッダのシンタックスを示す図である。 係数符号列のシンタックスを示す図である。 符号化装置の構成例を示す図である。 係数符号化部の構成例を示す図である。 符号化処理を説明するフローチャートである。 係数符号化処理を説明するフローチャートである。 係数符号化処理を説明するフローチャートである。 復号装置の構成例を示す図である。 係数復号部の構成例を示す図である。 復号処理を説明するフローチャートである。 係数復号処理を説明するフローチャートである。 係数復号処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術の概要〉
　まず、本技術の概要について説明する。
　本技術は、任意のミックス係数を少量のビット数で転送することができるようにする符号化および復号技術に関するものである。
　なお、以下では音声信号の音源位置やスピーカの配置位置は、水平方向角度θ（‐180°≦θ≦＋180°）、および垂直方向角度γ（‐90°≦γ≦＋90°）により表現されるものとする。
　例えば、再生側ではユーザを囲むようにスピーカが配置されており、ユーザから見て真正面の位置が水平方向角度θ＝０かつ垂直方向角度γ＝０の位置とされる。また、水平方向角度θはユーザから見て横方向の角度を示しており、垂直方向角度γはユーザから見て縦方向の角度を示している。具体的には、例えばユーザから見て左方向が水平方向角度θの正の方向とされ、ユーザから見て上方向が垂直方向角度γの正の方向とされる。
　また、以下では、適宜、22.2マルチチャンネル音響方式[2]により定められた22.2chと国際標準ITU-R BS. 775-1[3]により定められた5.1chから、LFEを除いた22chと5chのスピーカ配置を用いて、22chのスピーカ配置を想定した音源を、5chのスピーカ配置で再生する場合を例として説明する。なお、22.2マルチチャンネル音響方式[2]については、[2] 濱崎公男 “22.2マルチチャンネル音響方式の標準化動向,” ＮＨＫ技研 R&D No.126 2011.3.〈http://www.nhk.or.jp/strl/publica/rd/rd126/PDF/P04-13.pdf〉に詳細に開示されている。また、国際標準ITU-R BS. 775-1[3]については、[3] ITU-R BS. 775-1， “Multichannel Stereophonic Sound System with and without accompanying Picture,” Rec., International Telecommunications Union, Geneva, Switzerland (1992 －1994).に詳細に開示されている。
　ここで、上記22.2マルチチャンネル音響方式[2]と国際標準ITU-R BS. 775-1[3]に準拠したスピーカ配置位置（音源位置）の一例として、22chの各チャンネルのスピーカ配置位置（音源位置）は図１に示す位置とされ、5chの各チャンネルのスピーカ配置位置は図２に示す位置とされる。
　なお、図１および図２において、Source(m)は各チャンネルを識別する番号を示しており、Labelは各チャンネルの名称を示している。また、図１および図２においてAzimuthは各チャンネルのスピーカ位置（音源位置）の水平方向角度θを示しており、Elevationは各チャンネルのスピーカ位置（音源位置）の垂直方向角度γを示している。
　図１では、ＦＣ、ＦＬｃ、ＦＲｃ、ＦＬ、ＦＲ、ＳｉＬ、ＳｉＲ、ＢＬ、ＢＲ、ＢＣ、ＴｐＦＣ、ＴｐＦＬ、ＴｐＦＲ、ＴｐＳｉＬ、ＴｐＳｉＲ、ＴｐＢＬ、ＴｐＢＲ、ＴｐＢＣ、ＴｐＣ、ＢｔＦＣ、ＢｔＦＬ、およびＢｔＦＲの各チャンネルのスピーカ配置位置が示されている。また、図２では、Ｌ、Ｒ、Ｃ、ＬＳ、およびＲＳの各チャンネルのスピーカ配置位置が示されている。
　例えば、図１においてSource(m)＝１により特定されるＦＣチャンネルのスピーカの配置位置は、水平方向角度θ＝０および垂直方向角度γ＝０となる位置とされる。つまり、ユーザの真正面に配置されているスピーカが、ＦＣチャンネルの音声信号を再生するスピーカとされる。
　以下、本技術を用いたミックス係数の符号化について具体的に説明していく。
　ミックス係数の符号化プロセスでは、主に以下に示す処理ＳＴＰ１乃至処理ＳＴＰ６が行われる。なお、処理ＳＴＰ１と処理ＳＴＰ２は、いわゆる事前作業として行われる。
（処理ＳＴＰ１）：各音源と再生側の各スピーカ間の距離から転送順番表を生成する
（処理ＳＴＰ２）：音源と再生側のスピーカの組同士の対称性を示す対称表を生成する
（処理ＳＴＰ３）：転送順番表に基づきミックス係数の転送順番を変更した後、ミックス係数の差分値を計算する
（処理ＳＴＰ４）：ミックス係数の対称性の判定を行う
（処理ＳＴＰ５）：ミックス係数の対称性に基づく符号化を行う
（処理ＳＴＰ６）：ミックス係数の差分値を符号化する
　ここで、ミックス係数について説明する。
　例えば、Ｍ個のスピーカの配置に対応するＭチャンネルの音声信号、すなわちＭ個の音源位置を再生するＭチャンネルの音声信号を、Ｎ個のスピーカで再生するＮチャンネルの音声信号に変換するミックス処理を行うとする。このとき、Ｎ個のスピーカごとに、Ｍ個の各スピーカ（音源位置）のミックス係数が予め用意されている。
　いま、予め用意されたＭ×Ｎ個のミックス係数について、ｎ番目のスピーカの音声信号を得るために用いられるｍ番目の音源位置のミックス係数をMixGain(m,n)と定義する。ミックス係数MixGain(m,n)が予め定められたレゾリューションで量子化された離散値であるとすると、例えば量子化レゾリューションが1dBで、ミックス係数のレンジが3dB乃至‐27dBおよび‐∞dBの範囲である場合、Ｑ＝5ビットで１つのミックス係数を表現できる。
　例として、ARIB STD-B32 2.2版[1]における22.2ch配置から5.1ch配置へのダウンミックス係数のうち、LFEチャンネルを除く部分でパラメータa=(21/2)/3およびパラメータk=1である場合、各チャンネルのミックス係数は図３に示すようになる。
　なお、図３において、Source(1)乃至Source(22)は22.2ch配置における各チャンネルを識別する番号を示しており、図１に示したSource(m)=１乃至Source(m)=22に対応する。また、図３において、Target(1)乃至Target(5)は5.1ch配置における各チャンネルを識別する番号を示しており、図２に示したSource(m)=１乃至Source(m)=5に対応する。
　以下では、入力される音声信号のＭ個の各音源位置（Source）をSource(1)乃至Source(M)とも称し、再生側のＮ個の各スピーカ位置（Target）をTarget(1)乃至Target(N)とも称することとする。
　また、入力される音声信号のｍチャンネル目（但し１≦ｍ≦Ｍ）の音源位置Source(m)が水平方向角度θ＝θｍおよび垂直方向角度γ＝γｍで表され、再生側のｎ番目（但し１≦ｎ≦Ｎ）のスピーカ位置Target(n)が水平方向角度θ＝θｎおよび垂直方向角度γ＝γｎで表されるものとする。
　それでは、上述した処理ＳＴＰ１乃至処理ＳＴＰ６について、より詳細に説明していく。
〈処理ＳＴＰ１〉
　まず、処理ＳＴＰ１について説明する。
　処理ＳＴＰ１では、処理ＳＴＰ１（１）乃至処理ＳＴＰ１（４）が行われて、ミックス係数が転送される順番を示す転送順番表が生成される。
　まず、処理ＳＴＰ１（１）では、Ｍ個の音源位置とＮ個のスピーカについて、各音源位置からスピーカ位置までの距離が求められる。
　例えば、図４に示すように視聴者であるユーザＵ１１の位置を中心とする球ＰＨ１１の表面上に、再生しようとする音声信号の音源ＳＯ１１と、再生側のスピーカＲＳＰ１１－１乃至スピーカＲＳＰ１１－３とが配置されているとする。
　この例では、音源ＳＯ１１の位置が音源位置Source(m)であり、スピーカＲＳＰ１１－１乃至スピーカＲＳＰ１１－３の位置がスピーカ位置Target(n)である。なお、以下、スピーカＲＳＰ１１－１乃至スピーカＲＳＰ１１－３を特に区別する必要のない場合、単にスピーカＲＳＰ１１とも称する。また、この例では、１つの音源および３つのスピーカだけが図示されているが、実際には他の音源やスピーカも存在する。
　音源ＳＯ１１とスピーカＲＳＰ１１の距離は、ユーザＵ１１を始点とし、音源ＳＯ１１方向を向くベクトルと、ユーザＵ１１を始点とし、スピーカＲＳＰ１１方向を向くベクトルとのなす角度とされる。
　換言すれば、球ＰＨ１１の表面上における音源ＳＯ１１とスピーカＲＳＰ１１との距離、つまり音源ＳＯ１１とスピーカＲＳＰ１１を結ぶ弧の長さが、音源ＳＯ１１とスピーカＲＳＰ１１の距離とされる。
　図４の例では、矢印Ａ１１と矢印Ａ１２とがなす角度が、音源ＳＯ１１とスピーカＲＳＰ１１－１との距離DistM1とされている。同様に、矢印Ａ１１と矢印Ａ１３とがなす角度が、音源ＳＯ１１とスピーカＲＳＰ１１－２との距離DistM2とされ、矢印Ａ１１と矢印Ａ１４とがなす角度が、音源ＳＯ１１とスピーカＲＳＰ１１－３との距離DistM3とされている。
　例えば図４において、ユーザＵ１１の位置を原点とし、ｘ軸、ｙ軸、およびｚ軸からなる３次元座標系を考えるとする。
　ここで、図中、奥行き方向の直線と、図中、横方向の直線とを含む平面をｘｙ平面とすると、ｘｙ平面において基準となる方向の直線、例えばｙ軸と、ユーザＵ１１を始点とする音源方向またはスピーカ方向のベクトルとがｘｙ平面上においてなす角度が水平方向角度θとされる。つまり、水平方向角度θは、図４中、水平方向の角度である。また、ユーザＵ１１を始点とする音源方向またはスピーカ方向のベクトルと、ｘｙ平面とがなす角度が垂直方向角度γとされる。
　したがって、ｍチャンネル目（但し１≦ｍ≦Ｍ）の音源位置Source(m)から、ｎ番目（但し１≦ｎ≦Ｎ）のスピーカ位置Target(n)までの距離Dist(m,n)は、次式（２）を計算することにより求めることができる。
Figure JPOXMLDOC01-appb-M000002
　なお、式（２）において、θｍおよびγｍは音源位置Source(m)の水平方向角度θおよび垂直方向角度γを示しており、θｎおよびγｎはスピーカ位置Target(n)の水平方向角度θおよび垂直方向角度γを示している。
　処理ＳＴＰ１（１）では、式（２）の計算が行われて、Ｍ個の音源位置とＮ個のスピーカについて、各音源位置から各スピーカ位置までのＭ×Ｎ通りの距離Dist(m,n)が全て求められる。
　処理ＳＴＰ１（１）で音源位置からスピーカ位置までの距離Dist(m,n)が全て求められると、続いて処理ＳＴＰ１（２）において、Ｍ×Ｎ個のミックス係数MixGain(m,n)の分類が行われる。
　具体的には、Ｍ≧Ｎである場合、すなわち音源の個数Ｍがスピーカの個数Ｎ以上である場合には、同じｎ番目のスピーカのミックス係数MixGain(m,n)が同じ類に属するものとされ、Ｍ×Ｎ個のミックス係数MixGain(m,n)がＮ類に分けられる。換言すれば、ミックス係数MixGain(m,n)におけるスピーカを示すインデックスｎが同じ値であるミックス係数が、第ｎ類（但し１≦ｎ≦Ｎ）に属すミックス係数とされる。
　このような場合、再生側ではミックス処理としてダウンミックス処理、または同じチャンネル数の音声信号への変換を行うミックス処理が行われる。
　これに対して、Ｍ＜Ｎである場合、すなわち音源の個数Ｍがスピーカの個数Ｎ未満である場合には、同じｍ番目の音源のミックス係数MixGain(m,n)が同じ類に属するものとされ、Ｍ×Ｎ個のミックス係数MixGain(m,n)がＭ類に分けられる。換言すれば、ミックス係数MixGain(m,n)における音源を示すインデックスｍが同じ値であるミックス係数が、第ｍ類（但し１≦ｍ≦Ｍ）に属すミックス係数とされる。
　この場合、再生側ではミックス処理としてアップミックス処理が行われる。
　さらに、処理ＳＴＰ１（３）では、処理ＳＴＰ１（２）で分類された各類に属すミックス係数MixGain(m,n)のソートが行われる。
　具体的には、ミックス係数がＮ類に分けられた場合には、第ｎ類に属すＭ個のミックス係数が、ｎ番目のスピーカへの距離Dist(m,n)が近い順に並ぶように並び替えられる。
　これに対して、ミックス係数がＭ類に分けられた場合には、第ｍ類に属すＮ個のミックス係数が、ｍ番目の音源からの距離Dist(m,n)が近い順に並ぶように並び替えられる。
　そして、処理ＳＴＰ１（３）が行われると、処理ＳＴＰ１（４）では、処理ＳＴＰ１（３）において並び替えられた順番にＭ個またはＮ個の各類に属すミックス係数が転送されるように、ミックス係数の転送順を示す転送順番表が生成される。
　なお、異なる類間において、どの類のミックス係数を先に転送するかは自由であるが、国際標準や業界標準で定めた順番に従うのが好ましい。
　例えば入力となる音源位置の数、すなわち入力となる音声信号のチャンネル数が22chであり、出力のスピーカ数、つまり出力する音声信号のチャンネル数が5chであり、それぞれのスピーカ配置位置が図１と図２で示した配置位置となる場合、転送順番表は図５に示すようになる。
　なお、図５において、ｉはミックス係数の転送の順番を示しており、ｍおよびｎはミックス係数MixGain(m,n)におけるインデックスｍとｎを示している。すなわち、ｍはｍ番目の音源位置Source(m)を示しており、ｎはｎ番目のスピーカ位置Target(n)を示している。
　したがって、例えばｉ＝１番目に転送されるミックス係数は、ｎ＝１番目のスピーカ位置Target(1)にあるスピーカで再生される音声信号を得るために用いられる、ｍ＝２番目の音源位置Source(2)の音声信号に乗算されるミックス係数MixGain(2,1)とされる。
　図５では、Ｍ＝２２≧Ｎ＝５であるため、ミックス係数がＮ個の類に分類されて転送順番表が生成されている。すなわち、ｎ＝１となっている、転送順番ｉが１から２２までのミックス係数が第１類のミックス係数とされ、ｎ＝２となっている、転送順番ｉが２３から４４までのミックス係数が第２類のミックス係数とされている。
　同様に、ｎ＝３となっている、転送順番ｉが４５から６６までのミックス係数が第３類のミックス係数とされ、ｎ＝４となっている、転送順番ｉが６７から８８までのミックス係数が第４類のミックス係数とされ、ｎ＝５となっている、転送順番ｉが８９から１１０までのミックス係数が第５類のミックス係数とされている。
　なお、以下では転送順番表で示される、ｉ番目に転送されるミックス係数MixGain(m,n)をミックス係数MixGain(i)とも称することとする。
　一般的に音源からスピーカまでの距離が近いほど、そのスピーカについての音源のミックス係数の値が大きくなる。したがって、音源とスピーカの位置関係に応じてミックス係数の転送順番を並び替えることにより、転送順番が互いに隣り合う２つのミックス係数の値が近くなる可能性が増加し、それらのミックス係数の差分の分布が０に近いマイナス値に集中することが期待される。これにより、ミックス係数のエントロピ符号化の効率向上を図ることができる。
　なお、処理ＳＴＰ１（２）において、音源数Ｍとスピーカ数Ｎのうちのより小さい方の数の類数にミックス係数を分類するのは、後述するミックス係数の符号化において、類数を少なくした方が、差分値を求めずにそのまま符号化されるミックス係数の数が少なくなるからである。このように差分値ではなく、そのままの値が符号化されるミックス係数の数を少なくできれば、より再生側に転送される符号列の符号量を少なくすることができる。
〈処理ＳＴＰ２〉
　次に処理ＳＴＰ２について説明する。
　処理ＳＴＰ２では対称表が生成される。具体的には、対称表の生成時には転送順番表が用いられて、各ミックス係数について、そのミックス係数と位置関係が対称なミックス係数があるか否かが特定され、その特定結果を示す表が対称表として生成される。
　まず、２つの音源位置Source(m1)と音源位置Source(m2)との位置関係が、ユーザから見て左右対称の位置関係にある場合、音源位置Source(m1)と音源位置Source(m2)とが対称であると判定されるとする。
　すなわち、音源位置Source(m1)の水平方向角度θｍ１および垂直方向角度γｍ１と、音源位置Source(m2)の水平方向角度θｍ２および垂直方向角度γｍ２とが、θｍ１＝－θｍ２かつγｍ１＝γｍ２を満たす場合、音源位置Source(m1)と音源位置Source(m2)とが対称であるとされるとする。
　同様に、２つのスピーカ位置Target(n1)とスピーカ位置Target(n2)との位置関係が、ユーザから見て左右対称の位置関係にある場合、スピーカ位置Target(n1)とスピーカ位置Target(n2)とが対称であると判定されるとする。つまり、スピーカ位置Target(n1)の水平方向角度θｎ１および垂直方向角度γｎ１と、スピーカ位置Target(n2)の水平方向角度θｎ２および垂直方向角度γｎ２とが、θｎ１＝－θｎ２かつγｎ１＝γｎ２を満たす場合、スピーカ位置Target(n1)とスピーカ位置Target(n2)とが対称であるとされるとする。
　そして、スピーカ位置Target(n1)についての音源位置Source(m1)のミックス係数MixGain(m1,n1)に対して、スピーカ位置Target(n1)と対称となるスピーカ位置Target(n2)について、音源位置Source(m1)と対称となる音源位置Source(m2)のミックス係数MixGain(m2,n2)が存在するとする。そのような場合、ミックス係数MixGain(m1,n1)はミックス係数MixGain(m2,n2)と位置関係が対称であるとされる。
　すなわち、対応するスピーカ位置同士と音源位置同士の両方が対称な関係となるミックス係数同士が、互いに対称な位置関係のミックス係数とされる。
　対称表の生成時には、転送順番表に示される各転送順番のミックス係数が順番に処理対象とされる。転送順番ｉ＝１番目のミックス係数から順番に、つまり転送順番が早い順に選択されていく。さらに、処理対象とされた転送順番がｉ番目であるミックス係数MixGain(i)について、転送順番が１番目のミックス係数からｉ－１番目のミックス係数のなかに、ミックス係数MixGain(i)と位置関係が対称なミックス係数MixGain(i')があるか否かが判定される。
　そして、その結果、ミックス係数MixGain(i)と位置関係が対称なミックス係数MixGain(i')がある場合には、ミックス係数MixGain(i)の対称値syn(i)として、ミックス係数MixGain(i')の転送順番ｉ’が対称表に記述される。
　一方、ミックス係数MixGain(i)と位置関係が対称なミックス係数MixGain(i')がない場合には、ミックス係数MixGain(i)の対称値syn(i)として０が対称表に記述される。この対称値syn(i)＝０は、ミックス係数MixGain(i)と対称な位置関係のミックス係数が存在しないことを示している。
　なお、転送順番ｉ＝１番目のミックス係数MixGain(1)については、転送順番ｉ＝１よりも早い転送順番のミックス係数がないため、ミックス係数MixGain(1)の対称値syn(1)の値は０とされる。
　このように、転送順番表とミックス係数同士の位置関係とに基づいて、対称表が生成される。例えば入力となる音源位置の数、すなわち入力となる音声信号のチャンネル数が22chであり、出力のスピーカ数、つまり出力する音声信号のチャンネル数が5chであり、それぞれのスピーカ配置位置が図１と図２で示した配置位置となる場合、図６に示す対称表が得られる。
　なお、図６において、ｉはミックス係数の転送順番を示しており、syn(i)は転送順番がｉ番目であるミックス係数MixGain(i)の対称値を示している。
　この例では、例えば転送順番ｉ＝２３であるミックス係数MixGain(23)のsyn(i)は１であるから、ミックス係数MixGain(23)はミックス係数MixGain(1)と位置関係が対称なミックス係数であることが分かる。
〈処理ＳＴＰ３〉
　処理ＳＴＰ２に続いて行われる処理ＳＴＰ３では、以下の処理ＳＴＰ３（１）乃至処理ＳＴＰ３（３）が行われて、ミックス係数の差分値が算出される。
　すなわち、処理ＳＴＰ３（１）では、これから再生側に転送しようとするミックス係数の並び順が、転送順番表に示している順番であるか否かが判定される。そして、転送順番表に示される転送順番ではないと判定された場合には、ミックス係数が転送順番表に示される転送順番に並び替えられる。
　続いて処理ＳＴＰ３（２）では、転送される全てのミックス係数MixGain(i)について、ミックス係数MixGain(i)の値が－∞dBであるかが特定され、その特定結果がフラグMinus_Inf_flag(i)とされて一時的に保存される。
　例えばミックス係数MixGain(i)の値が－∞dBであれば、そのミックス係数MixGain(i)のフラグMinus_Inf_flag(i)は０とされ、ミックス係数MixGain(i)の値が－∞dBでなければ、そのミックス係数MixGain(i)のフラグMinus_Inf_flag(i)は１とされる。
　さらに、処理ＳＴＰ３（３）では、転送順番表における各類の先頭から２番目にあるミックス係数から、最後にあるミックス係数までの各ミックス係数のうち、値が－∞dBではないミックス係数MixGain(i)について、直前のミックス係数との差分値が求められる。すなわち、値が－∞dBではない各ミックス係数について、連続して並ぶ２つのミックス係数の差分値が求められる。
　具体的には、例えば図７に示す処理が行われる。
　すなわち、まず所定のパラメータｔの初期値がｔ＝１とされる。そして、ｔ＜ｉであり、かつ転送順番がｉ－ｔ番目のミックス係数MixGain(i-t)が－∞dBである間、パラメータｔが１ずつインクリメントされていく。但し、転送順番（ｉ－ｔ）は、転送順番ｉと同じ類であるものとする。
　そして、パラメータｔがｔ＜ｉまたはMixGain(i-t)＝－∞dBの少なくとも一方の条件を満たさなくなったとき、パラメータｔ＝ｉであれば、転送順番がｉ番目のミックス係数MixGain(i)の差分値MixGain(i)_diff(i)は、ミックス係数MixGain(i)の値そのものとされる。
　これに対して、パラメータｔ＝ｉでなければ、ミックス係数MixGain(i)からミックス係数MixGain(i-t)を減算して得られる値が、ミックス係数MixGain(i)の差分値MixGain(i)_diff(i)とされる。
　このようにミックス係数MixGain(i)の差分値MixGain(i)_diff(i)の算出時には、基本的には、処理対象となっている転送順番がｉ番目のミックス係数と、その直前の転送順番のミックス係数との差分が求められる。
　但し、ｉ番目のミックス係数の直前の転送順番のミックス係数の値が－∞dBである場合には、ミックス係数の値が－∞dBではなく、かつ転送順番が最もｉ番目に近い、ｔ＜ｉを満たすｉ－ｔ番目のミックス係数が差分を取る対象とされる。
　また、処理対象となっているミックス係数が属す類の先頭位置まで遡っても値が－∞dBではないミックス係数が存在しない場合には、ミックス係数MixGain(i)の値そのものが差分値MixGain(i)_diff(i)とされる。
〈処理ＳＴＰ４〉
　処理ＳＴＰ３の次に行われる処理ＳＴＰ４では、処理ＳＴＰ４（１）および処理ＳＴＰ４（２）が行われてミックス係数の対称性が判定される。
　すなわち、まず処理ＳＴＰ４（１）では対称表が参照されて、転送順番ｉのミックス係数MixGain(i)について対称値syn(i)が０であるか否かが判定され、対称値syn(i)が０ではない場合、ミックス係数MixGain(i)の符号化に対称性を利用するとされる。
　そして、対称性を利用するとされた場合、さらにミックス係数MixGain(i)とミックス係数MixGain(syn(i))が同じ値であるか否かが判定され、同じ値であると判定された場合には、ミックス係数MixGain(i)の値は、ミックス係数MixGain(syn(i))と対称であるとされる。これに対して、同じ値ではないと判定された場合には、ミックス係数MixGain(i)の値は、ミックス係数MixGain(syn(i))とは非対称であると判定される。
　また、転送順番ｉのミックス係数MixGain(i)の対称値syn(i)が０である場合、ミックス係数MixGain(i)の符号化に対称性を利用しないと判定される。
　さらに、全てのミックス係数MixGain(i)について処理ＳＴＰ４（１）が行われると、処理ＳＴＰ４（２）では、符号化時に対称性を利用するとされた全てのミックス係数MixGain(i)が、ミックス係数MixGain(syn(i))と対称であるか否かが判定される。すなわち、対称性を利用するとされたミックス係数MixGain(i)のなかに、ミックス係数MixGain(syn(i))と値が非対称であるとされたものが１つでもあるか否かが判定される。
　そして、対称性を利用するとされたミックス係数MixGain(i)のなかに、ミックス係数MixGain(syn(i))と値が非対称であるとされたものが１つもない場合、ミックス係数全体が対称であるとされて、フラグall_gain_symmetric_flag＝０とされる。
　これに対して、対称性を利用するとされたミックス係数MixGain(i)のなかに、ミックス係数MixGain(syn(i))と値が非対称であるとされたものが１つでもある場合、ミックス係数全体が非対称であるとされて、フラグall_gain_symmetric_flag＝１とされる。
〈処理ＳＴＰ５〉
　処理ＳＴＰ５では、処理ＳＴＰ４での対称性の判定結果に基づいて、まずミックス係数全体が対称であるかどうかを示す１ビットのフラグall_gain_symmetric_flagが係数符号列に記述される。そして、処理ＳＴＰ５（１）および処理ＳＴＰ５（２）が行われる。
　まずミックス係数全体が対称である場合、処理ＳＴＰ５（１）が行われる。
　処理ＳＴＰ５（１）では、対称性を利用すると判定されたミックス係数MixGain(i)は、その値がミックス係数MixGain(syn(i))と同じであり、再生側に転送する必要がないので、ミックス係数MixGain(i)が係数符号列に０ビットで記述される。すなわち、符号化されたミックス係数として再生側に転送される係数符号列には、対称性を利用すると判定されたミックス係数MixGain(i)については何も記述されない。
　これに対して、対称性を利用しないと判定されたミックス係数MixGain(i)については、再生側への転送が必要であるとされ、そのミックス係数MixGain(i)が後述する処理ＳＴＰ６で符号化される。
　また、ミックス係数全体が対称ではない場合、処理ＳＴＰ５（２）が行われる。
　処理ＳＴＰ５（２）では、対称性を利用すると判定されたミックス係数MixGain(i)について、そのミックス係数MixGain(i)の値がミックス係数MixGain(syn(i))と対称であるか否かを示す１ビットのフラグSymmetry_info_flag(i)が係数符号列に記述される。ここで、フラグSymmetry_info_flag(i)の値は、ミックス係数MixGain(i)の値が対称である場合に０とされ、ミックス係数MixGain(i)の値が非対称である場合に１とされる。
　続いて、対称性を利用するとされたミックス係数MixGain(i)のうち、ミックス係数MixGain(syn(i))と値が対称であるミックス係数MixGain(i)については、再生側に転送する必要がないので係数符号列には何も記述されない。
　一方、対称性を利用するとされたミックス係数MixGain(i)のうち、ミックス係数MixGain(syn(i))と値が非対称であるミックス係数MixGain(i)については、再生側への転送が必要であるので、そのミックス係数MixGain(i)が処理ＳＴＰ６で符号化される。
　また、対称性を利用しないと判定されたミックス係数MixGain(i)については、再生側への転送が必要であるので、そのミックス係数MixGain(i)が処理ＳＴＰ６で符号化される。
〈処理ＳＴＰ６〉
　処理ＳＴＰ６では、値が対称でない、または対称性を利用しないとされたミックス係数MixGain(i)の符号化が行われる。処理ＳＴＰ６では処理ＳＴＰ６（１）と処理ＳＴＰ６（２）の２つの処理が行われる。
　まず、処理ＳＴＰ６（１）では、処理対象のミックス係数MixGain(i)について、そのミックス係数MixGain(i)のフラグMinus_Inf_flag(i)が１ビットで係数符号列に記述される。
　このとき、フラグMinus_Inf_flag(i)＝０である場合、すなわちミックス係数MixGain(i)の値が－∞dBである場合、そのままミックス係数MixGain(i)の符号化は終了する。
　一方、フラグMinus_Inf_flag(i)＝１である場合、すなわちミックス係数MixGain(i)の値が－∞dBではない場合、処理ＳＴＰ６（２）の処理が行われる。
　処理ＳＴＰ６（２）では、値が－∞dBではないミックス係数MixGain(i)のエントロピ符号化が行われる。
　具体的には、ミックス係数MixGain(i)の差分値MixGain(i)_diff(i)が予め定めた範囲内の値であれば、予め定められた符号語でエントロピ符号化されて係数符号列に記述される。これに対して、差分値MixGain(i)_diff(i)が予め定めた範囲内の値でない場合、予め定めた範囲外であることを示す符号と、差分値MixGain(i)_diff(i)を表すＱビットの符号とが、転送順番がｉ番目のミックス係数MixGain(i)の符号語として係数符号列に記述される。
　なお、処理ＳＴＰ６（２）では差分値MixGain(i)_diff(i)がエントロピ符号化されるが、より詳細には、処理対象となっているミックス係数MixGain(i)が各類の先頭に位置するミックス係数である場合には、差分値は求められないので、ミックス係数MixGain(i)そのものがエントロピ符号化される。
　例えば、量子化レゾリューションが1dBで、ミックス係数のレンジが3dB乃至‐27dBおよび‐∞dBの範囲であり、予め定めた範囲が4dB乃至‐6dBである場合、図８に示す符号表を用いて差分値MixGain(i)_diff(i)をエントロピ符号化すればよい。
　なお、図８において、「MixGain_diff」は差分値MixGain(i)_diff(i)の値を示しており、「符号」は係数符号列に記述される符号を示している。また、「bit_length」は係数符号列に記述される符号のビット数を示している。
　この例では、予め定めた範囲外であることを示す符号は111とされており、差分値MixGain(i)_diff(i)を表す符号のビット数Ｑは5ビットとされている。
　図８に示す符号表が用いられる場合、例えば差分値MixGain(i)_diff(i)の値が4dBであるときには、符号化されたミックス係数MixGain(i)の値として、符号「01111」が係数符号列に記述されることになる。
　以上において説明した処理ＳＴＰ１乃至処理ＳＴＰ６の処理が行われて、各ミックス係数が符号化され、係数符号列が得られる。
〈ヘッダおよび係数符号列について〉
　このようにして得られた係数符号列や、再生側に送信されるビットストリームに付加されるヘッダは、例えば図９および図１０に示すようになる。
　すなわち、図９はヘッダのシンタックスを示している。
　図９の例では、ヘッダにはミックス係数を転送するか否かを示すフラグDMX_coef_exist_flagが含まれている。例えば、フラグDMX_coef_exist_flag＝１はミックス係数が転送されることを示しており、フラグDMX_coef_exist_flag＝０はミックス係数が転送さないことを示している。
　また、ヘッダ内のNumber_of_mix_coefは、転送するミックス係数の種類（セット）の数を示しており、Spk_config_idx[idmx]は、idmx番目のミックス係数のセットの出力側のスピーカ配置を示している。例えば、Spk_config_idx[idmx]＝０であれば、出力側のスピーカ配置は5chのスピーカ配置であるとされる。
　さらに、Use_differential_coding_flagは差分値MixGain(i)_diff(i)が符号化されているか、またはミックス係数MixGain(i)が符号化されるかを示すフラグとされる。例えば、Use_differential_coding_flag＝１は、差分値が符号化されることを示しており、上述した処理ＳＴＰ３が符号化時に行われる。一方、Use_differential_coding_flag＝０は、ミックス係数が符号化されることを示しており、符号化時には処理ＳＴＰ３が行われず、ミックス係数がそのまま符号化される。
　Use_symmetry_infomation_flagはミックス係数全体の符号化に対称性を利用するかを示すフラグであり、Use_symmetry_infomation_flag＝１は、ミックス係数の符号化を行う場合に、必要に応じて対称性を利用することを示している。これに対して、Use_symmetry_infomation_flag＝０は、全てのミックス係数の符号化に対称性を利用しないことを示している。
　したがって、この実施の形態では、Use_differential_coding_flag＝１かつUse_symmetry_infomation_flag＝１とされる。なお、ミックス係数の差分値を求めずにミックス係数をそのまま符号化するようにしてもよいし、差分値を求めるが対称性は利用せずに符号化が行われるようにしてもよい。
　さらに、ヘッダにおいてQuantization_levelは量子化レベルを示している。
　このような図９に示すヘッダが、再生側に転送されるビットストリームの先頭に付加される。
　また、図１０は係数符号列のシンタックスを示している。なお、図１０においてＱ１１乃至Ｑ１４は、係数符号列の説明に用いるために記載されているものであり、実際の係数符号列には記述されない。
　図１０の係数符号列において、Mix_gain_changed_flagは、この係数符号列に対応するフレームのミックス係数が、直前のフレームのミックス係数と同一であるか否かを示すフラグである。例えば、Mix_gain_changed_flag＝０であれば、現フレームと直前のフレームとでミックス係数は同一であり、現フレームではミックス係数は転送されない。これに対して、Mix_gain_changed_flag＝１であれば、現フレームと直前のフレームとでミックス係数は同一ではなく、現フレームではミックス係数が転送される。
　また、ヘッダに記述されているUse_symmetry_infomation_flagが１であり、ミックス係数の符号化に対称性が利用される場合には、Ｑ１１の部分に示すように、インデックスidmxに示されるミックス係数のセットごとに各情報が記述される。
　all_gain_symmetric_flag[idmx]は、インデックスidmxにより特定されるミックス係数のセットにおける、ミックス係数全体が対称であるかを示すフラグである。例えば、all_gain_symmetric_flag[idmx]＝０であれば、ミックス係数全体が対称であることを示しており、all_gain_symmetric_flag[idmx]＝１であれば、ミックス係数全体が対称ではないことを示している。このall_gain_symmetric_flag[idmx]は、上述したフラグall_gain_symmetric_flagに相当する。
　なお、インデックスidmxにより特定されるミックス係数のセットとは、１つのミックス処理のパターンに対して用意されたＭ×Ｎ個のミックス係数MixGain(m,n)のセットである。
　また、Ｑ１１の部分に示すように係数符号列には、Ｍ×Ｎ個の各ミックス係数について、Symmetry_info_flag[idmx][i]、Minus_Inf_flag[idmx][i]、およびMixGain_diff[idmx][i]の各情報が必要に応じて記述される。
　ここで、Symmetry_info_flag[idmx][i]は、転送順番がｉ番目であるミックス係数の値が対称であるか否かを示している。具体的にはSymmetry_info_flag[idmx][i]の値は、ミックス係数の値が対称であれば０とされ、ミックス係数の値が非対称であれば１とされる。このSymmetry_info_flag[idmx][i]は、上述したフラグSymmetry_info_flag(i)に相当する。
　また、Minus_Inf_flag[idmx][i]は、転送順番がｉ番目であるミックス係数の値が－∞であるか否かを示している。例えばMinus_Inf_flag[idmx][i]の値は、ミックス係数の値が－∞であれば０とされ、ミックス係数の値が－∞でなければ１とされる。このMinus_Inf_flag[idmx][i]は、上述したフラグMinus_Inf_flag(i)に相当する。
　MixGain_diff[idmx][i]は、転送順番がｉ番目であるミックス係数、またはそのミックス係数の差分値をエントロピ符号化して得られた符号語、例えばハフマン符号語を示している。
　また、係数符号列において、Symmetry_info_tbl[Speaker_config_idx[idmx]][i]は、対称表における、転送順番がｉ番目であるミックス係数の対称値を示している。
　例えば、Use_symmetry_infomation_flag＝１である場合、処理対象となっているミックス係数MixGain(i)の対称値が０ではなく、かつall_gain_symmetric_flag[idmx]＝１であれば、Ｑ１２の部分に示すように係数符号列に各情報が記述される。
　すなわち、まずSymmetry_info_flag[idmx][i]が記述される。そして、Symmetry_info_flag[idmx][i]＝１が記述された場合、さらにMinus_Inf_flag[idmx][i]が記述される。また、Minus_Inf_flag[idmx][i]＝１が記述された場合には、さらにMixGain_diff[idmx][i]が記述される。
　一方、Use_symmetry_infomation_flag＝１である場合、処理対象となっているミックス係数MixGain(i)の対称値が０であれば、Ｑ１３の部分に示すように、係数符号列にはMinus_Inf_flag[idmx][i]が記述される。そして、Minus_Inf_flag[idmx][i]＝１が記述された場合には、さらにMixGain_diff[idmx][i]が記述される。
　また、ヘッダに記述されているUse_symmetry_infomation_flagが０であり、ミックス係数の符号化に対称性が利用されない場合、Ｑ１４の部分に示すように、インデックスidmxに示されるミックス係数のセットごとに、Ｍ×Ｎ個の各ミックス係数について各情報が記述される。
　すなわち、まずMinus_Inf_flag[idmx][i]が記述され、そのMinus_Inf_flag[idmx][i]の値として１が記述された場合には、さらにMixGain_diff[idmx][i]が記述される。
〈符号化装置の構成例〉
　次に、本技術を適用した具体的な実施の形態について説明する。
　図１１は、本技術を適用した符号化装置の構成例を示す図である。
　図１１の符号化装置１１は、係数符号化部２１、信号符号化部２２、および多重化部２３を有している。
　係数符号化部２１には、入力となるＭ個の音源位置Source(m)、出力となるＮ個のスピーカ配置位置Target(n)、およびＭ×Ｎ個のミックス係数MixGain(m,n)が供給される。
　なお、より詳細には、再生側において音声信号に対して行われるミックス処理ごとに、入力の音源位置、出力のスピーカ配置、およびミックス係数が供給される。例えば、出力となるスピーカの個数Ｎが異なれば、異なるミックス処理が行われるので、ミックス処理ごとにスピーカ配置を示す情報やミックス係数が必要となる。
　係数符号化部２１は、供給された入力の音源位置と出力のスピーカ配置に基づいて、供給されたミックス係数を符号化し、その結果得られた係数符号列を多重化部２３に供給する。
　信号符号化部２２は、供給された音声信号を所定の符号化方式で符号化し、その結果得られた信号符号列を多重化部２３に供給する。多重化部２３は、係数符号化部２１から供給された係数符号列と、信号符号化部２２から供給された信号符号列とを多重化し、その結果得られた出力符号列を出力する。
〈係数符号化部の構成例〉
　また、係数符号化部２１は、例えば図１２に示すように構成される。
　係数符号化部２１は、順番表生成部５１、対称表生成部５２、並び替え部５３、差分算出部５４、対称性判定部５５、および符号化部５６を備えている。
　順番表生成部５１は、供給された入力の音源位置、および出力のスピーカ配置に基づいて転送順番表を生成し、対称表生成部５２、並び替え部５３、および差分算出部５４に供給する。順番表生成部５１は、距離計算部６１、分類部６２、および並び替え部６３を有している。
　距離計算部６１は、音源位置Source(m)からスピーカ位置Target(n)までの距離Dist(m,n)を算出する。分類部６２は、Ｍ×Ｎ個のミックス係数MixGain(m,n)の各類への分類を行う。並び替え部６３は、距離Dist(m,n)に基づいて各類のミックス係数を並び替え、転送順番表を生成する。
　対称表生成部５２は、供給された入力の音源位置、および出力のスピーカ配置と、順番表生成部５１からの転送順番表とに基づいて対称表を生成し、対称性判定部５５に供給する。対称表生成部５２は、並び替え部６４および対称性判定部６５を有している。
　並び替え部６４は、順番表生成部５１から供給された転送順番表に従って、転送順番通りの順番に処理対象とするミックス係数を並び替える。対称判定部６５は、ミックス係数ごとに、ミックス係数と位置関係が対称であるミックス係数があるか否か、すなわち音源位置同士の位置関係が対称であり、かつスピーカ配置位置同士の位置関係も対称であるミックス係数があるか否かを判定し、対称表を生成する。
　並び替え部５３は、供給されたミックス係数MixGain(m,n)を、順番表生成部５１から供給された転送順番表に示される転送順番に並び替えて差分算出部５４および対称性判定部５５に供給する。
　差分算出部５４は、順番表生成部５１から供給された転送順番表を用いて、並び替え部５３から供給されたミックス係数の差分値を算出し、符号化部５６に供給する。対称性判定部５５は、対称表生成部５２から供給された対称表と、並び替え部５３から供給されたミックス係数とに基づいて、各ミックス係数の値の対称性を判定し、その判定結果を符号化部５６に供給する。
　符号化部５６は、対称性判定部５５から供給された判定結果に基づいて、差分算出部５４から供給された差分値を符号化し、その結果得られた係数符号列を多重化部２３に供給する。
〈符号化処理の説明〉
　続いて図１３のフローチャートを参照して、符号化装置１１により行われる符号化処理について説明する。なお、符号化処理は、音声信号のフレームごとに行われる。
　ステップＳ１１において、信号符号化部２２は供給された音声信号を符号化し、その結果得られた信号符号列を多重化部２３に供給する。
　ステップＳ１２において、係数符号化部２１は、係数符号化処理を行ってミックス係数を符号化し、その結果得られた係数符号列を多重化部２３に供給する。なお、係数符号化処理の詳細は後述する。また、係数符号列には、各パターンのミックス処理に用いられるミックス係数のセットが符号化されて記述されている。
　ステップＳ１３において、多重化部２３は、係数符号化部２１から供給された係数符号列と、信号符号化部２２から供給された信号符号列とを多重化して、その結果得られた出力符号列を出力し、符号化処理は終了する。
　以上のようにして符号化装置１１は、ミックス係数を符号化し、その結果得られた係数符号列と、信号符号列とを多重化して出力符号列とする。このように符号化装置１１では、出力符号列の出力側において、自由なミックス係数を指定して再生側に転送することができる。したがって、再生側ではコンテンツや再生環境に適合したミックス処理を行うことができるようになり、より高品質な音声を得ることができる。
〈係数符号化処理の説明〉
　次に、図１４および図１５のフローチャートを参照して、図１３のステップＳ１２の処理に対応する係数符号化処理について説明する。
　ステップＳ４１において、順番表生成部５１は、供給された入力の音源位置、および出力のスピーカ配置に基づいて転送順番表を生成し、対称表生成部５２、並び替え部５３、および差分算出部５４に供給する。
　すなわち、距離計算部６１は、上述した処理ＳＴＰ１（１）を行うことで、式（２）の計算により音源位置Source(m)からスピーカ位置Target(n)までの距離Dist(m,n)を算出する。また、分類部６２は、処理ＳＴＰ１（２）を行って、Ｍ×Ｎ個の各ミックス係数MixGain(m,n)を分類する。そして、並び替え部６３は処理ＳＴＰ１（３）および処理ＳＴＰ１（４）を行って、転送順番表を生成する。すなわち、距離Dist(m,n)に基づいて各類のミックス係数が並び替えられ、並び替えられた順番で各類に属すミックス係数が転送されるように転送順番表が生成される。
　ステップＳ４２において、対称表生成部５２は、供給された入力の音源位置、および出力のスピーカ配置と、順番表生成部５１からの転送順番表とに基づいて対称表を生成し、対称性判定部５５に供給する。
　すなわち、並び替え部６４は、順番表生成部５１から供給された転送順番表に従って、転送順番通りの順番に、処理対象とするミックス係数の並び順を変更する。これにより、例えば図６に示した各転送順番ｉのミックス係数MixGain(i)が定まる。
　また、対称判定部６５は、各転送順番ｉのミックス係数MixGain(i)について、位置関係が対称なミックス係数MixGain(i')を検出し、その検出結果を示す対称値syn(i)を対称表に記述していくことで、対称表を生成する。
　なお、ステップＳ４１およびステップＳ４２の処理は、必ずしも毎フレーム行う必要はなく、必要に応じて適宜行われるようにすればよい。また、転送順番表および対称表はミックス処理のパターンごと、つまり図１０に示したインデックスidmxにより特定されるミックス係数のセットごとに生成される。
　ミックス係数のセットごとに転送順番表と対称表を生成すると、係数符号化部２１は、ミックス係数の１つのセットを処理対象として選択し、以下において説明する処理を行う。
　ステップＳ４３において、並び替え部５３は、供給されたミックス係数のうち、処理対象のセットのミックス係数MixGain(m,n)を、順番表生成部５１から供給された転送順番表に示される転送順番に並び替えて差分算出部５４および対称性判定部５５に供給する。すなわち、上述した処理ＳＴＰ３（１）が行われる。
　ステップＳ４４において、差分算出部５４は、並び替え部５３から供給されたミックス係数の差分値を算出する。
　具体的には、まず差分算出部５４は処理ＳＴＰ３（２）を行って、ミックス係数MixGain(i)についてフラグMinus_Inf_flag(i)を生成し、符号化部５６に供給する。
　さらに、差分算出部５４は、フラグMinus_Inf_flag(i)＝１とされたミックス係数MixGain(i)について、順番表生成部５１から供給された転送順番表を参照しながら処理ＳＴＰ３（３）を行い、差分値MixGain(i)_diff(i)を算出する。差分算出部５４は、算出した各差分値MixGain(i)_diff(i)を符号化部５６に供給する。なお、差分算出部５４は、各類の先頭に位置するミックス係数MixGain(i)については、差分値を求めずにミックス係数MixGain(i)をそのまま符号化部５６に供給する。換言すれば、ミックス係数MixGain(i)がそのまま差分値MixGain(i)_diff(i)とされる。
　ステップＳ４５において、対称性判定部５５は、対称表生成部５２から供給された対称表と、並び替え部５３から供給されたミックス係数とに基づいて、各ミックス係数の値の対称性を判定し、その判定結果を符号化部５６に供給する。
　具体的には、対称性判定部５５は処理ＳＴＰ４（１）を行ってミックス係数MixGain(i)の符号化に対称性を利用するか否かを判定し、その判定結果を符号化部５６に供給する。また、対称性判定部５５は、並び替え部５３からのミックス係数と、対称表生成部５２からの対称表とに基づいて処理ＳＴＰ４（２）を行って、フラグall_gain_symmetric_flagを生成し、符号化部５６に供給する。
　さらに、対称性判定部５５は、フラグall_gain_symmetric_flag＝１である場合には、対称性を利用するとされたミックス係数についてフラグSymmetry_info_flag(i)を生成し、符号化部５６に供給する。
　ステップＳ４６において、符号化部５６は、対称性判定部５５から供給されたフラグall_gain_symmetric_flagに基づいて、ミックス係数全体が対称であるか否かを判定する。例えばフラグall_gain_symmetric_flag＝０であれば、ミックス係数全体が対称であると判定される。
　ステップＳ４６において、ミックス係数全体が対称であると判定された場合、ステップＳ４７において、符号化部５６はフラグall_gain_symmetric_flag＝０を係数符号列に記述する。すなわち、図１０に示した例ではall_gain_symmetric_flag[idmx]＝０が記述される。
　ステップＳ４８において、符号化部５６は処理対象とするミックス係数MixGain(i)を１つ選択する。例えばミックス係数MixGain(1)から、転送順番が最も遅いミックス係数まで、転送順番が早い順に１つずつ未処理のミックス係数が選択されていく。
　ステップＳ４９において、符号化部５６は、対称性判定部５５から供給された判定結果に基づいて、処理対象のミックス係数MixGain(i)の符号化に対称性を利用するか否かを判定する。
　ステップＳ４９において、対称性を利用すると判定された場合、処理対象のミックス係数のエントロピ符号化は行われないので、係数符号列には何も記述されず、処理はステップＳ５３へと進む。
　これに対して、ステップＳ４９において対称性を利用しないと判定された場合、ステップＳ５０において、符号化部５６は、差分算出部５４から供給された処理対象のミックス係数MixGain(i)のフラグMinus_Inf_flag(i)を係数符号列に記述する。すなわち、図１０の例ではMinus_Inf_flag[idmx][i]が記述される。
　ステップＳ５１において、符号化部５６は、処理対象のミックス係数のフラグMinus_Inf_flag(i)の値が０であるか否かを判定する。
　ステップＳ５１においてフラグMinus_Inf_flag(i)の値が０である、つまり処理対象のミックス係数の値が－∞dBである場合、処理対象のミックス係数のエントロピ符号化は行われないので、処理はステップＳ５３へと進む。
　一方、ステップＳ５１においてフラグMinus_Inf_flag(i)の値が１である、つまり処理対象のミックス係数の値が－∞dBではない場合、ステップＳ５２の処理が行われる。
　ステップＳ５２において、符号化部５６は、処理ＳＴＰ６（２）を行って、差分算出部５４から供給された処理対象のミックス係数の差分値MixGain(i)_diff(i)をエントロピ符号化し、その結果得られた符号を係数符号列に記述する。エントロピ符号化が行われると、その後、処理はステップＳ５３へと進む。
　ステップＳ５２においてエントロピ符号化が行われたか、ステップＳ４９において対称性を利用すると判定されたか、またはステップＳ５１においてフラグMinus_Inf_flag(i)の値が０であると判定されると、ステップＳ５３の処理が行われる。
　ステップＳ５３において、符号化部５６は、全てのミックス係数を処理したか否かを判定する。すなわち、全てのミックス係数が処理対象とされて符号化が行われたか否かが判定される。
　ステップＳ５３において、まだ全てのミックス係数を処理していないと判定された場合、処理はステップＳ４８に戻り、上述した処理が繰り返される。これに対して、ステップＳ５３において、全てのミックス係数を処理したと判定された場合、処理はステップＳ６３に進む。
　また、ステップＳ４６において、ミックス係数全体が対称でないと判定された場合、ステップＳ５４において、符号化部５６はフラグall_gain_symmetric_flag＝１を係数符号列に記述する。
　ステップＳ５５において、符号化部５６は処理対象とするミックス係数MixGain(i)を１つ選択する。
　ステップＳ５６において、符号化部５６は、対称性判定部５５から供給された判定結果に基づいて、処理対象のミックス係数MixGain(i)の符号化に対称性を利用するか否かを判定する。
　ステップＳ５６において対称性を利用しないと判定された場合、処理はステップＳ５９へと進む。
　これに対して、ステップＳ５６において対称性を利用すると判定された場合、ステップＳ５７において、符号化部５６は、処理対象のミックス係数の値が対称であるかを係数符号列に記述する。すなわち、符号化部５６は、対称性判定部５５から供給された、処理対象のミックス係数のフラグSymmetry_info_flag(i)を係数符号列に記述する。例えば図１０の例では、Symmetry_info_flag[idmx][i]が記述される。
　ステップＳ５８において、符号化部５６は、処理対象のミックス係数の値が対称であるか否かを判定する。例えばフラグSymmetry_info_flag(i)＝０である場合、ミックス係数の値が対称であると判定される。
　ステップＳ５８において、ミックス係数の値が対称であると判定された場合、処理対象のミックス係数のエントロピ符号化は行われないので、処理はステップＳ６２へと進む。
　これに対して、ステップＳ５８においてミックス係数の値が対称でないと判定された場合、処理はステップＳ５９へと進む。
　ステップＳ５８においてミックス係数の値が対称でないと判定されたか、またはステップＳ５６において対称性を利用しないと判定された場合、ステップＳ５９の処理が行われる。
　ステップＳ５９において、符号化部５６は、差分算出部５４から供給された処理対象のミックス係数MixGain(i)のフラグMinus_Inf_flag(i)を係数符号列に記述する。
　ステップＳ６０において、符号化部５６は、処理対象のミックス係数のフラグMinus_Inf_flag(i)の値が０であるか否かを判定する。
　ステップＳ６０においてフラグMinus_Inf_flag(i)の値が０である、つまり処理対象のミックス係数の値が－∞dBである場合、処理対象のミックス係数のエントロピ符号化は行われないので、処理はステップＳ６２へと進む。
　一方、ステップＳ６０においてフラグMinus_Inf_flag(i)の値が１である、つまり処理対象のミックス係数の値が－∞dBではない場合、ステップＳ６１の処理が行われる。
　ステップＳ６１において、符号化部５６は、処理ＳＴＰ６（２）を行って、差分算出部５４から供給された処理対象のミックス係数の差分値MixGain(i)_diff(i)をエントロピ符号化し、その結果得られた符号を係数符号列に記述する。エントロピ符号化が行われると、その後、処理はステップＳ６２へと進む。
　ステップＳ６１においてエントロピ符号化が行われたか、ステップＳ５８においてミックス係数の値が対称であると判定されたか、またはステップＳ６０においてフラグMinus_Inf_flag(i)の値が０であると判定されると、ステップＳ６２の処理が行われる。
　ステップＳ６２において、符号化部５６は、全てのミックス係数を処理したか否かを判定する。
　ステップＳ６２において、まだ全てのミックス係数を処理していないと判定された場合、処理はステップＳ５５に戻り、上述した処理が繰り返される。
　これに対して、ステップＳ６２において、全てのミックス係数を処理したと判定された場合、処理はステップＳ６３に進む。
　ステップＳ５３において全てのミックス係数を処理したと判定されたか、またはステップＳ６２において全てのミックス係数を処理したと判定された場合、ステップＳ６３の処理が行われる。
　ステップＳ６３において、係数符号化部２１は、全てのミックス係数のセットを処理対象として処理したか否かを判定する。例えば、ミックス係数の全てのセットが処理対象とされて処理された場合、全てのセットを処理したと判定される。
　ステップＳ６３において、まだ全てのセットを処理していないと判定された場合、処理はステップＳ４３に戻り、上述した処理が繰り返し行われる。
　これに対してステップＳ６３において全てのセットを処理したと判定された場合、符号化部５６は、得られた係数符号列を多重化部２３に供給し、係数符号化処理は終了する。
　係数符号化処理が終了すると、その後、処理は図１３のステップＳ１３へと進む。
　以上のようにして、係数符号化部２１は、音源位置Source(m)とスピーカ位置Target(n)の位置の関係、つまり音源位置とスピーカ位置の距離に基づいてミックス係数の転送順番を並び替え、転送順番に応じてミックス係数の差分値を求め、差分値を符号化する。また、係数符号化部２１は、音源位置同士の位置関係と、スピーカ配置位置同士の位置関係とを利用して、すなわちミックス係数の対称性を利用してミックス係数の符号化を行う。
　このように音源位置とスピーカ位置の距離に基づいてミックス係数の転送順番を並び替えて、ミックス係数の差分値を求めることで、差分値がより小さくなるようにすることができ、効率的にミックス係数を符号化することができる。これにより、係数符号列の符号量（ビット数）をより少なくすることができ、再生側において、より少ない符号量で、より高品質な音声を得ることができるようになる。また、ミックス係数の対称性を利用して符号化を行うことで、係数符号列の符号量をさらに削減することができる。
〈復号装置の構成例〉
　次に、符号化装置１１から出力された出力符号列を入力符号列として入力し、入力符号列の復号を行う復号装置について説明する。
　このような復号装置は、例えば図１６に示すように構成される。
　図１６に示す復号装置８１は、符号化装置１１から送信された出力符号列を入力符号列として受信して復号し、その結果得られた音声信号をミックス処理してスピーカ８２－１乃至スピーカ８２－Ｎに供給して音声を出力させる。
　なお、以下、スピーカ８２－１乃至スピーカ８２－Ｎを特に区別する必要のない場合、単にスピーカ８２とも称する。スピーカ８２－１乃至スピーカ８２－Ｎは、それぞれスピーカ位置Target(1)乃至スピーカ位置Target(N)に配置されている。
　復号装置８１は、非多重化部９１、信号復号部９２、係数復号部９３、およびミックス処理部９４を有している。
　非多重化部９１は、受信した入力符号列を信号符号列と係数符号列とに非多重化し、信号符号列を信号復号部９２に供給するとともに、係数符号列を係数復号部９３に供給する。
　信号復号部９２は、非多重化部９１から供給された信号符号列を復号し、その結果得られたＭチャンネルの音声信号、すなわちＭ個の各音源位置Source(m)の音声信号をミックス処理部９４に供給する。
　係数復号部９３は、供給された入力の音源位置、および出力のスピーカ配置を用いて、非多重化部９１から供給された係数符号列を復号し、その結果得られたミックス係数をミックス処理部９４に供給する。
　ミックス処理部９４は、係数復号部９３から供給されたミックス係数を用いて、信号復号部９２から供給された音声信号に対するミックス処理を行い、Ｍチャンネルの音声信号をＮチャンネルの音声信号に変換する。ミックス処理部９４は、ミックス処理により得られた各チャンネルの音声信号を、各チャンネルに対応するスピーカ８２に供給して再生させる。スピーカ８２は、ミックス処理部９４から供給された音声信号を再生し、音声を出力する。
〈係数復号部の構成例〉
　また、復号装置８１の係数復号部９３は、例えば図１７に示すように構成される。
　図１７に示す係数復号部９３は、順番表生成部１２１、対称表生成部１２２、復号部１２３、係数算出部１２４、および並び替え部１２５を備えている。
　順番表生成部１２１は、供給された入力の音源位置、および出力のスピーカ配置に基づいて転送順番表を生成し、対称表生成部１２２、係数算出部１２４、および並び替え部１２５に供給する。順番表生成部１２１は、距離計算部１３１、分類部１３２、および並び替え部１３３を有している。なお、距離計算部１３１乃至並び替え部１３３は、図１２に示した距離計算部６１乃至並び替え部６３と同様であるので、その説明は省略する。
　対称表生成部１２２は、供給された入力の音源位置、および出力のスピーカ配置と、順番表生成部１２１からの転送順番表とに基づいて対称表を生成し、復号部１２３および係数算出部１２４に供給する。対称表生成部１２２は、並び替え部１３４および対称性判定部１３５を有している。なお、並び替え部１３４および対称性判定部１３５は、図１２に示した並び替え部６４および対称性判定部６５と同様であるので、その説明は省略する。
　復号部１２３は、対称表生成部１２２から供給された対称表に基づいて、非多重化部９１から係数符号列を取得して復号し、その結果得られた差分値MixGain(i)_diff(i)等を係数算出部１２４に供給する。
　係数算出部１２４は、順番表生成部１２１からの転送順番表、対称表生成部１２２からの対称表、および復号部１２３からの差分値等に基づいて、ミックス係数を算出し、並び替え部１２５に供給する。
　並び替え部１２５は、順番表生成部１２１からの転送順番表に基づいて、係数算出部１２４から供給されたミックス係数を適切な順番に並び替えてミックス処理部９４に供給する。
〈復号処理の説明〉
　ここで、図１８のフローチャートを参照して、復号装置８１により行われる復号処理について説明する。
　ステップＳ９１において、非多重化部９１は入力符号列を非多重化し、信号符号列を信号復号部９２に供給するとともに、係数符号列を係数復号部９３に供給する。
　ステップＳ９２において、信号復号部９２は、非多重化部９１から供給された信号符号列を復号し、その結果得られた音声信号をミックス処理部９４に供給する。
　ステップＳ９３において、係数復号部９３は係数復号処理を行って非多重化部９１から供給された係数符号列を復号し、その結果得られたミックス係数をミックス処理部９４に供給する。なお、係数復号処理の詳細は後述する。
　ステップＳ９４において、ミックス処理部９４は、係数復号部９３から供給されたミックス係数を用いて、信号復号部９２から供給された音声信号に対するミックス処理を行い、その結果得られた音声信号をスピーカ８２に供給する。
　具体的には、ミックス処理部９４は各音源位置Source(m)の音声信号にミックス係数MixGain(m,n)を乗算し、ミックス係数が乗算された音声信号を加算することで、スピーカ位置Target(n)に配置されたスピーカ８２に対応する１つのチャンネルの音声信号を生成する。ミックス処理部９４は、Ｎ個のスピーカ８２に対応するＮ個の各チャンネルの音声信号を生成して、スピーカ８２に供給する。
　スピーカ８２は、ミックス処理部９４から供給された音声信号に基づいて、音声を出力する。スピーカ８２から音声が出力されると、復号処理は終了する。
　以上のようにして復号装置８１は係数符号列を復号し、その結果得られたミックス係数を用いて音声信号に対するミックス処理を行う。復号装置８１では、音源位置とスピーカ位置の距離に基づいて差分値が求められたり、ミックス係数の対称性が利用されたりして効率的に符号化されたミックス係数を復号して用いるので、より少ない符号量で、より高品質な音声を得ることができる。
〈係数復号処理の説明〉
　次に、図１９および図２０のフローチャートを参照して、図１８のステップＳ９３の処理に対応する係数復号処理について説明する。
　ステップＳ１２１において、係数復号部９３は図示せぬ上位の制御装置等から適宜供給された情報に基づいて、ミックス処理の対象となる音声信号の音源位置と、スピーカ８２の配置位置の組み合わせにより定まるミックス係数のセットを選択する。
　すなわち、例えば図１０に示したインデックスidmxにより特定されるミックス係数のセットが１つ選択され、以降においてはこのミックス係数のセットが処理対象として処理される。つまり、処理対象とされたセットを構成する各ミックス係数に関する情報が係数符号列から読み出される。
　処理対象とされるミックス係数のセットが選択されると、その後、ステップＳ１２２およびステップＳ１２３の処理が行われる。
　なお、ステップＳ１２２およびステップＳ１２３は、図１４のステップＳ４１およびステップＳ４２の処理と同様であるため、その説明は省略する。但し、ステップＳ１２２では、順番表生成部１２１は生成した転送順番表を対称表生成部１２２、係数算出部１２４、および並び替え部１２５に供給する。また、ステップＳ１２３では、対称表生成部１２２は生成した対称表を復号部１２３および係数算出部１２４に供給する。
　ステップＳ１２４において、復号部１２３は、非多重化部９１から供給された係数符号列に記述されているフラグall_gain_symmetric_flagに基づいて、ミックス係数全体が対称であるか否かを判定する。例えばフラグall_gain_symmetric_flag＝０であれば、ミックス係数全体が対称であると判定される。
　ステップＳ１２４において、ミックス係数全体が対称であると判定された場合、ステップＳ１２５において、復号部１２３は処理対象とするミックス係数MixGain(i)を１つ選択する。例えばミックス係数MixGain(1)から、転送順番が最も遅いミックス係数まで、転送順番が早い順に１つずつ未処理のミックス係数が選択されていく。
　ステップＳ１２６において、復号部１２３は対称表に基づいて、処理対象のミックス係数MixGain(i)の符号化に対称性が利用されたか否かを判定する。例えば、処理対象のミックス係数の対称値syn(i)が０である場合、対称性が利用されていないと判定され、処理対象のミックス係数の対称値syn(i)が０以外の値である場合、対称性が利用されたと判定される。
　ステップＳ１２６において対称性が利用されたと判定された場合、復号部１２３は、処理対象のミックス係数MixGain(i)の値が対称である旨の対称フラグを係数算出部１２４に供給し、処理はステップＳ１２９に進む。
　これに対して、ステップＳ１２６において、対称性が利用されていないと判定された場合、ステップＳ１２７において、復号部１２３は係数符号列に記述されている、処理対象のミックス係数MixGain(i)のフラグMinus_Inf_flag(i)の値が０であるか否かを判定する。
　ステップＳ１２７において、フラグMinus_Inf_flag(i)の値が０であると判定された場合、復号部１２３は、処理対象のミックス係数MixGain(i)の値として－∞を係数算出部１２４に供給し、処理はステップＳ１２９に進む。また、このとき復号部１２３は、処理対象のミックス係数MixGain(i)の値が非対称である旨の対称フラグも係数算出部１２４に供給する。
　一方、ステップＳ１２７において、フラグMinus_Inf_flag(i)の値が１であると判定された場合、ステップＳ１２８において、復号部１２３はミックス係数を復号する。
　すなわち、復号部１２３は、係数符号列に記述されている、処理対象のミックス係数MixGain(i)の差分値MixGain(i)_diff(i)を読み出して復号する。
　例えば、図１０の例では、MixGain_diff[idmx][i]が読み出されて復号される。なお、処理対象のミックス係数が各類の先頭に位置するミックス係数である場合には、MixGain_diff[idmx][i]として記述されている、ミックス係数の値そのものを符号化して得られた符号語が読み出されて復号される。
　復号部１２３は、復号により得られたミックス係数の差分値、またはミックス係数と、処理対象のミックス係数の値が非対称である旨の対称フラグとを係数算出部１２４に供給する。
　ステップＳ１２８においてミックス係数が復号されたか、ステップＳ１２６において対称性が利用されたと判定されたか、またはステップＳ１２７においてフラグMinus_Inf_flag(i)＝０であると判定されると、ステップＳ１２９の処理が行われる。
　すなわち、ステップＳ１２９において、復号部１２３は全てのミックス係数を処理したか否かを判定する。すなわち、全てのミックス係数が処理対象とされて復号が行われたか否かが判定される。
　ステップＳ１２９において、まだ全てのミックス係数を処理していないと判定された場合、処理はステップＳ１２５に戻り、上述した処理が繰り返される。これに対して、ステップＳ１２９において、全てのミックス係数を処理したと判定された場合、処理はステップＳ１３６へと進む。
　また、ステップＳ１２４において、ミックス係数全体が対称でないと判定された場合、ステップＳ１３０において、復号部１２３は処理対象とするミックス係数MixGain(i)を１つ選択する。
　ステップＳ１３１において、復号部１２３は処理対象のミックス係数MixGain(i)の符号化に対称性が利用されたか否かを判定する。
　例えば、係数符号列に処理対象のミックス係数のフラグSymmetry_info_flag(i)が記述されていれば、対称性が利用されたと判定される。
　ステップＳ１３１において、対称性が利用されていないと判定された場合、処理はステップＳ１３３へと進む。
　これに対して、ステップＳ１３１において、対称性が利用されたと判定された場合、ステップＳ１３２において、復号部１２３は、処理対象のミックス係数MixGain(i)の値が対称であるか否かを判定する。例えば、係数符号列に記述されている、処理対象のミックス係数MixGain(i)のフラグSymmetry_info_flag(i)の値が０である場合、ミックス係数の値が対称であると判定される。
　ステップＳ１３２において、ミックス係数の値が対称であると判定された場合、復号部１２３は、処理対象のミックス係数MixGain(i)の値が対称である旨の対称フラグを係数算出部１２４に供給し、処理はステップＳ１３５に進む。
　一方、ステップＳ１３２において、ミックス係数の値が対称でないと判定された場合、処理はステップＳ１３３へと進む。
　ステップＳ１３２においてミックス係数の値が対称でないと判定されたか、またはステップＳ１３１において対称性が利用されていないと判定された場合、ステップＳ１３３の処理が行われる。
　すなわち、ステップＳ１３３において、復号部１２３は係数符号列に記述されている、処理対象のミックス係数MixGain(i)のフラグMinus_Inf_flag(i)の値が０であるか否かを判定する。
　ステップＳ１３３において、フラグMinus_Inf_flag(i)の値が０であると判定された場合、復号部１２３は、処理対象のミックス係数MixGain(i)の値として－∞を係数算出部１２４に供給し、処理はステップＳ１３５に進む。また、このとき復号部１２３は、処理対象のミックス係数MixGain(i)の値が非対称である旨の対称フラグも係数算出部１２４に供給する。
　一方、ステップＳ１３３において、フラグMinus_Inf_flag(i)の値が１であると判定された場合、ステップＳ１３４において、復号部１２３はミックス係数を復号する。
　すなわち、復号部１２３は、係数符号列に記述されている、処理対象のミックス係数MixGain(i)の差分値MixGain(i)_diff(i)を読み出して復号する。なお、処理対象のミックス係数が各類の先頭に位置するミックス係数である場合には、ミックス係数の値そのものを符号化して得られた符号語が読み出されて復号される。
　復号部１２３は、復号により得られたミックス係数の差分値、またはミックス係数と、処理対象のミックス係数の値が非対称である旨の対称フラグとを係数算出部１２４に供給する。
　ステップＳ１３４においてミックス係数が復号されたか、ステップＳ１３２においてミックス係数の値が対称であると判定されたか、またはステップＳ１３３においてフラグMinus_Inf_flag(i)＝０であると判定されると、ステップＳ１３５の処理が行われる。
　すなわち、ステップＳ１３５において、復号部１２３は全てのミックス係数を処理したか否かを判定する。
　ステップＳ１３５において、まだ全てのミックス係数を処理していないと判定された場合、処理はステップＳ１３０に戻り、上述した処理が繰り返される。これに対して、ステップＳ１３５において、全てのミックス係数を処理したと判定された場合、処理はステップＳ１３６へと進む。
　ステップＳ１２９またはステップＳ１３５において、全てのミックス係数を処理したと判定された場合、ステップＳ１３６の処理が行われる。すなわち、ステップＳ１３６において、係数算出部１２４は処理対象とするミックス係数MixGain(i)を１つ選択する。例えばミックス係数MixGain(1)から、転送順番が最も遅いミックス係数まで、転送順番が早い順に１つずつ未処理のミックス係数が選択されていく。
　ステップＳ１３７において、係数算出部１２４は、復号部１２３から供給された対称フラグに基づいて、処理対象のミックス係数の符号化時に、実際に対称性が利用されたか否か、つまりミックス係数の値が対称であるか否かを判定する。
　ステップＳ１３７において対称性が利用されていないと判定された場合、ステップＳ１３８において、係数算出部１２４は、復号部１２３から供給された処理対象のミックス係数は、ミックス係数の差分値であるか否かを判定する。
　具体的には、係数算出部１２４は順番表生成部１２１から供給された転送順番表と、復号部１２３から供給されたミックス係数の差分値、またはミックス係数とに基づいて、復号部１２３から供給された値が差分値であるか否かを判定する。
　例えば、処理対象のミックス係数が、転送順番表において類の先頭位置にあるミックス係数である場合、つまり同じ類に属すミックス係数のなかで、最も転送順番が早いミックス係数である場合、復号部１２３から供給された値は、差分値ではなくミックス係数そのものの値であるとされる。
　また、例えば処理対象のミックス係数と同じ類に属し、かつ処理対象のミックス係数よりも転送順番が早い全てのミックス係数の値が－∞である場合、復号部１２３から供給された値は、差分値ではなくミックス係数そのものの値であるとされる。なお、ミックス係数の値が－∞であるか否かは、そのミックス係数について復号部１２３から供給された値が－∞であるか否かにより特定することができる。
　さらに、復号部１２３から供給された処理対象のミックス係数の値が－∞である場合にも、復号部１２３から供給された値は差分値ではないとされる。
　ステップＳ１３８において、差分値でないと判定された場合、係数算出部１２４は復号部１２３から供給された値は、処理対象のミックス係数の値そのものであるとして、処理はステップＳ１４１へと進む。
　これに対して、ステップＳ１３８において差分値であると判定された場合、ステップＳ１３９において係数算出部１２４は、復号部１２３から供給された処理対象のミックス係数の差分値と、転送順番表とに基づいて加算処理を行う。
　すなわち、係数算出部１２４は、復号部１２３から供給された処理対象のミックス係数の差分値に、そのミックス係数との差分計算が行われたミックス係数の値を加算して、処理対象のミックス係数MixGain(i)を算出する。処理対象のミックス係数が求められると、その後、処理はステップＳ１４１へと進む。
　また、ステップＳ１３７において、対称性が利用されたと判定された場合、ステップＳ１４０において、係数算出部１２４は、対称表生成部１２２から供給された対称表に基づいてミックス係数を複製（コピー）し、処理対象のミックス係数MixGain(i)とする。
　すなわち、処理対象のミックス係数に対して位置関係が対称であるミックス係数の値が、そのまま処理対象のミックス係数の値とされる。処理対象のミックス係数が得られると、その後、処理はステップＳ１４１に進む。
　ステップＳ１４０においてミックス係数が複製されたか、ステップＳ１３９において加算処理が行われたか、またはステップＳ１３８において差分値でないと判定されると、ステップＳ１４１の処理が行われる。
　すなわち、ステップＳ１４１において、係数算出部１２４は、全てのミックス係数を処理したか否かを判定する。
　ステップＳ１４１において、まだ全てのミックス係数を処理していないと判定された場合、処理はステップＳ１３６に戻り、上述した処理が繰り返される。これに対して、ステップＳ１４１において、全てのミックス係数を処理したと判定された場合、係数算出部１２４は、各転送順番のミックス係数を並び替え部１２５に供給し、処理はステップＳ１４２に進む。
　ステップＳ１４２において、並び替え部１２５は、順番表生成部１２１から供給された転送順番表を用いて、係数算出部１２４から供給されたミックス係数を、復号装置８１の再生環境に応じた順番に並べ替えてミックス処理部９４に供給する。ミックス係数が並べ替えられると、係数復号処理は終了し、その後、処理は図１８のステップＳ９４に進む。
　以上のようにして復号装置８１は、音源位置からスピーカ位置までの距離と、ミックス係数の対称性とが利用されて符号化されたミックス係数を復号する。このように、効率的に符号化されたミックス係数を復号することで、より少ない符号量で、より高品質な音声を得ることができる。
　なお、以上においては、ミックス係数の差分値を求めて符号化を行う例について説明したが、差分値を求めずにミックス係数そのものの対称性を利用して符号化するようにしてもよい。また、対称性を利用せずに、各ミックス係数の差分値が全て係数符号列に記述されるようにしてもよい。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
　図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成する順番表生成部と、
　複数の前記ミックス係数を、前記順番表により示される順番に並び変える並び替え部と、
　前記順番に並び替えられた各前記ミックス係数について、連続して並ぶ２つの前記ミックス係数の差分値を算出する差分算出部と、
　各前記ミックス係数について算出された前記差分値を符号化する符号化部と
　を備える符号化装置。
（２）
　前記ミックス係数間の位置関係の対称性を示す対称表を生成する対称表生成部と、
　前記対称表に基づいて、前記ミックス係数の値と、その前記ミックス係数と対称な前記位置関係にある他のミックス係数の値とが同じ値である場合、前記ミックス係数と前記他のミックス係数が対称であると判定する対称性判定部と
　をさらに備え、
　前記符号化部は、前記他のミックス係数と対称であると判定された前記ミックス係数の前記差分値の符号化を行わない
　（１）に記載の符号化装置。
（３）
　前記対称性判定部は、対称な前記位置関係にある前記他のミックス係数が存在する全ての前記ミックス係数のそれぞれが、対称な前記位置関係にある前記他のミックス係数のそれぞれと対称であるか否かをさらに判定し、
　前記符号化部は、前記全ての前記ミックス係数が前記他のミックス係数と対称であるか否かの判定結果に基づいて前記差分値を符号化する
　（２）に記載の符号化装置。
（４）
　前記符号化部は、前記差分値をエントロピ符号する
　（１）乃至（３）の何れか一項に記載の符号化装置。
（５）
　前記ミックス係数の前記入力スピーカと、前記他のミックス係数の前記入力スピーカとが左右対称な位置にあり、かつ前記ミックス係数の前記出力スピーカと、前記他のミックス係数の前記出力スピーカとが左右対称な位置にある場合、前記ミックス係数と前記他のミックス係数とは前記位置関係が対称であるとされる
　（２）乃至（４）の何れか一項に記載の符号化装置。
（６）
　前記差分算出部は、前記ミックス係数と、値が－∞ではなく、かつ前記ミックス係数に前記順番が最も近いミックス係数との前記差分値を算出する
　（１）乃至（５）の何れか一項に記載の符号化装置。
（７）
　前記順番表生成部は、前記入力スピーカの個数が前記出力スピーカの個数よりも多い場合、同じ前記出力スピーカの前記ミックス係数が同じ類に属すように前記ミックス係数を複数の類に分類し、前記入力スピーカの個数よりも前記出力スピーカの個数が多い場合、同じ前記入力スピーカの前記ミックス係数が同じ類に属すように前記ミックス係数を複数の類に分類して、前記類ごとに前記ミックス係数の並び順を定めて前記順番表を生成し、
　前記差分算出部は、同じ前記類に属す前記ミックス係数の前記差分値を算出する
　（１）乃至（６）の何れか一項に記載の符号化装置。
（８）
　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、
　複数の前記ミックス係数を、前記順番表により示される順番に並び変え、
　前記順番に並び替えられた各前記ミックス係数について、連続して並ぶ２つの前記ミックス係数の差分値を算出し、
　各前記ミックス係数について算出された前記差分値を符号化する
　ステップを含む符号化方法。
（９）
　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、
　複数の前記ミックス係数を、前記順番表により示される順番に並び変え、
　前記順番に並び替えられた各前記ミックス係数について、連続して並ぶ２つの前記ミックス係数の差分値を算出し、
　各前記ミックス係数について算出された前記差分値を符号化する
　ステップを含む処理をコンピュータに実行させるプログラム。
（１０）
　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成する順番表生成部と、
　前記順番表により示される順番で連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化されて得られた符号列を取得し、前記符号列を復号する復号部と、
　前記順番表に基づいて、前記復号により得られた前記差分値と、前記差分値の算出に用いられた一方の前記ミックス係数とを加算することで、前記差分値の算出に用いられた他方の前記ミックス係数を算出する加算部と、
　前記順番表に基づいて前記ミックス係数を並び替えて出力する並び替え部と
　を備える復号装置。
（１１）
　前記ミックス係数の値と、その前記ミックス係数と対称な位置関係にある他のミックス係数の値とが同じ値である場合、前記ミックス係数と前記他のミックス係数が対称であるとされて前記ミックス係数の前記差分値は符号化されず、
　前記ミックス係数間の前記位置関係を示す対称表を生成する対称表生成部をさらに備え、
　前記加算部は、前記ミックス係数が前記他のミックス係数と対称である場合、前記対称表に基づいて前記他のミックス係数を複製し、前記ミックス係数とする
　（１０）に記載の復号装置。
（１２）
　前記差分値は、対称な前記位置関係にある前記他のミックス係数が存在する全ての前記ミックス係数のそれぞれが、対称な前記位置関係にある前記他のミックス係数のそれぞれと対称であるか否かの判定結果に基づいて符号化されており、
　前記復号部は、前記符号列に含まれている、前記全ての前記ミックス係数が前記他のミックス係数と対称であるか否かの判定結果を示す情報に基づいて前記差分値を復号する
　（１０）または（１１）に記載の復号装置。
（１３）
　前記ミックス係数の前記入力スピーカと、前記他のミックス係数の前記入力スピーカとが左右対称な位置にあり、かつ前記ミックス係数の前記出力スピーカと、前記他のミックス係数の前記出力スピーカとが左右対称な位置にある場合、前記ミックス係数と前記他のミックス係数とは前記位置関係が対称であるとされる
　（１１）または（１２）に記載の復号装置。
（１４）
　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、
　前記順番表により示される順番で連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化されて得られた符号列を取得して、前記符号列を復号し、
　前記順番表に基づいて、前記復号により得られた前記差分値と、前記差分値の算出に用いられた一方の前記ミックス係数とを加算することで、前記差分値の算出に用いられた他方の前記ミックス係数を算出し、
　前記順番表に基づいて前記ミックス係数を並び替えて出力する
　ステップを含む復号方法。
（１５）
　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、
　前記順番表により示される順番で連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化されて得られた符号列を取得して、前記符号列を復号し、
　前記順番表に基づいて、前記復号により得られた前記差分値と、前記差分値の算出に用いられた一方の前記ミックス係数とを加算することで、前記差分値の算出に用いられた他方の前記ミックス係数を算出し、
　前記順番表に基づいて前記ミックス係数を並び替えて出力する
　ステップを含む処理をコンピュータに実行させるプログラム。
　１１　符号化装置，　２１　係数符号化部，２２　信号符号化部，　２３　多重化部，　５１　順番表生成部，　５２　対称表生成部，　５３　並び替え部，　５４　差分算出部，　５５　対称性判定部，　５６　符号化部，　８１　復号装置，　９１　非多重化部，　９２　信号復号部，　９３　係数復号部９３，　９４　ミックス処理部，　１２１　順番表生成部，　１２２　対称表生成部，　１２３　復号部，　１２４　係数算出部，　１２５　並び替え部

Claims (15)

  1. 　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成する順番表生成部と、
    　複数の前記ミックス係数を、前記順番表により示される順番に並び変える並び替え部と、
    　前記順番に並び替えられた各前記ミックス係数について、連続して並ぶ２つの前記ミックス係数の差分値を算出する差分算出部と、
    　各前記ミックス係数について算出された前記差分値を符号化する符号化部と
    　を備える符号化装置。
  2. 　前記ミックス係数間の位置関係の対称性を示す対称表を生成する対称表生成部と、
    　前記対称表に基づいて、前記ミックス係数の値と、その前記ミックス係数と対称な前記位置関係にある他のミックス係数の値とが同じ値である場合、前記ミックス係数と前記他のミックス係数が対称であると判定する対称性判定部と
    　をさらに備え、
    　前記符号化部は、前記他のミックス係数と対称であると判定された前記ミックス係数の前記差分値の符号化を行わない
    　請求項１に記載の符号化装置。
  3. 　前記対称性判定部は、対称な前記位置関係にある前記他のミックス係数が存在する全ての前記ミックス係数のそれぞれが、対称な前記位置関係にある前記他のミックス係数のそれぞれと対称であるか否かをさらに判定し、
    　前記符号化部は、前記全ての前記ミックス係数が前記他のミックス係数と対称であるか否かの判定結果に基づいて前記差分値を符号化する
    　請求項２に記載の符号化装置。
  4. 　前記符号化部は、前記差分値をエントロピ符号する
    　請求項１に記載の符号化装置。
  5. 　前記ミックス係数の前記入力スピーカと、前記他のミックス係数の前記入力スピーカとが左右対称な位置にあり、かつ前記ミックス係数の前記出力スピーカと、前記他のミックス係数の前記出力スピーカとが左右対称な位置にある場合、前記ミックス係数と前記他のミックス係数とは前記位置関係が対称であるとされる
    　請求項２に記載の符号化装置。
  6. 　前記差分算出部は、前記ミックス係数と、値が－∞ではなく、かつ前記ミックス係数に前記順番が最も近いミックス係数との前記差分値を算出する
    　請求項１に記載の符号化装置。
  7. 　前記順番表生成部は、前記入力スピーカの個数が前記出力スピーカの個数よりも多い場合、同じ前記出力スピーカの前記ミックス係数が同じ類に属すように前記ミックス係数を複数の類に分類し、前記入力スピーカの個数よりも前記出力スピーカの個数が多い場合、同じ前記入力スピーカの前記ミックス係数が同じ類に属すように前記ミックス係数を複数の類に分類して、前記類ごとに前記ミックス係数の並び順を定めて前記順番表を生成し、
    　前記差分算出部は、同じ前記類に属す前記ミックス係数の前記差分値を算出する
    　請求項１に記載の符号化装置。
  8. 　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、
    　複数の前記ミックス係数を、前記順番表により示される順番に並び変え、
    　前記順番に並び替えられた各前記ミックス係数について、連続して並ぶ２つの前記ミックス係数の差分値を算出し、
    　各前記ミックス係数について算出された前記差分値を符号化する
    　ステップを含む符号化方法。
  9. 　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、
    　複数の前記ミックス係数を、前記順番表により示される順番に並び変え、
    　前記順番に並び替えられた各前記ミックス係数について、連続して並ぶ２つの前記ミックス係数の差分値を算出し、
    　各前記ミックス係数について算出された前記差分値を符号化する
    　ステップを含む処理をコンピュータに実行させるプログラム。
  10. 　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成する順番表生成部と、
    　前記順番表により示される順番で連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化されて得られた符号列を取得し、前記符号列を復号する復号部と、
    　前記順番表に基づいて、前記復号により得られた前記差分値と、前記差分値の算出に用いられた一方の前記ミックス係数とを加算することで、前記差分値の算出に用いられた他方の前記ミックス係数を算出する加算部と、
    　前記順番表に基づいて前記ミックス係数を並び替えて出力する並び替え部と
    　を備える復号装置。
  11. 　前記ミックス係数の値と、その前記ミックス係数と対称な位置関係にある他のミックス係数の値とが同じ値である場合、前記ミックス係数と前記他のミックス係数が対称であるとされて前記ミックス係数の前記差分値は符号化されず、
    　前記ミックス係数間の前記位置関係を示す対称表を生成する対称表生成部をさらに備え、
    　前記加算部は、前記ミックス係数が前記他のミックス係数と対称である場合、前記対称表に基づいて前記他のミックス係数を複製し、前記ミックス係数とする
    　請求項１０に記載の復号装置。
  12. 　前記差分値は、対称な前記位置関係にある前記他のミックス係数が存在する全ての前記ミックス係数のそれぞれが、対称な前記位置関係にある前記他のミックス係数のそれぞれと対称であるか否かの判定結果に基づいて符号化されており、
    　前記復号部は、前記符号列に含まれている、前記全ての前記ミックス係数が前記他のミックス係数と対称であるか否かの判定結果を示す情報に基づいて前記差分値を復号する
    　請求項１０に記載の復号装置。
  13. 　前記ミックス係数の前記入力スピーカと、前記他のミックス係数の前記入力スピーカとが左右対称な位置にあり、かつ前記ミックス係数の前記出力スピーカと、前記他のミックス係数の前記出力スピーカとが左右対称な位置にある場合、前記ミックス係数と前記他のミックス係数とは前記位置関係が対称であるとされる
    　請求項１１に記載の復号装置。
  14. 　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、
    　前記順番表により示される順番で連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化されて得られた符号列を取得して、前記符号列を復号し、
    　前記順番表に基づいて、前記復号により得られた前記差分値と、前記差分値の算出に用いられた一方の前記ミックス係数とを加算することで、前記差分値の算出に用いられた他方の前記ミックス係数を算出し、
    　前記順番表に基づいて前記ミックス係数を並び替えて出力する
    　ステップを含む復号方法。
  15. 　複数の入力スピーカの配置に対応する複数チャネルの音声信号を、複数の出力スピーカの配置に対応する複数チャンネルの音声信号に変換するミックス処理に用いられる、前記複数の前記出力スピーカごとに用意された各前記入力スピーカのミックス係数について、前記入力スピーカと前記出力スピーカの距離により定まる前記ミックス係数の並び順を示す順番表を生成し、
    　前記順番表により示される順番で連続して並ぶ２つの前記ミックス係数の差分値が算出され、各前記ミックス係数について算出された前記差分値が符号化されて得られた符号列を取得して、前記符号列を復号し、
    　前記順番表に基づいて、前記復号により得られた前記差分値と、前記差分値の算出に用いられた一方の前記ミックス係数とを加算することで、前記差分値の算出に用いられた他方の前記ミックス係数を算出し、
    　前記順番表に基づいて前記ミックス係数を並び替えて出力する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2014/075797 2013-10-09 2014-09-29 符号化装置および方法、復号装置および方法、並びにプログラム WO2015053109A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
BR112016007264-2A BR112016007264B1 (pt) 2013-10-09 2014-09-29 Dispositivos e métodos de codificação e de decodificação, e, meios de armazenamento legíveis por computador
US14/915,812 US9781539B2 (en) 2013-10-09 2014-09-29 Encoding device and method, decoding device and method, and program
RU2016112532A RU2677597C2 (ru) 2013-10-09 2014-09-29 Способ и устройство кодирования, способ и устройство декодирования и программа
CN201480054470.4A CN105593932B (zh) 2013-10-09 2014-09-29 编码设备和方法、解码设备和方法、以及程序
KR1020167007349A KR102268836B1 (ko) 2013-10-09 2014-09-29 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램
EP14852823.5A EP3057096B1 (en) 2013-10-09 2014-09-29 Encoding device and method, decoding device and method, and program
JP2015541518A JP6429092B2 (ja) 2013-10-09 2014-09-29 符号化装置および方法、復号装置および方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013211878 2013-10-09
JP2013-211878 2013-10-09

Publications (1)

Publication Number Publication Date
WO2015053109A1 true WO2015053109A1 (ja) 2015-04-16

Family

ID=52812928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/075797 WO2015053109A1 (ja) 2013-10-09 2014-09-29 符号化装置および方法、復号装置および方法、並びにプログラム

Country Status (8)

Country Link
US (1) US9781539B2 (ja)
EP (1) EP3057096B1 (ja)
JP (1) JP6429092B2 (ja)
KR (1) KR102268836B1 (ja)
CN (1) CN105593932B (ja)
BR (1) BR112016007264B1 (ja)
RU (1) RU2677597C2 (ja)
WO (1) WO2015053109A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019097164A (ja) * 2017-11-17 2019-06-20 日本放送協会 音響処理装置及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018170539A (ja) * 2017-03-29 2018-11-01 ソニー株式会社 スピーカ装置、オーディオデータ供給装置及びオーディオデータ再生システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106299A (ja) * 1995-10-09 1997-04-22 Nippon Telegr & Teleph Corp <Ntt> 音響信号変換符号化方法および復号化方法
JPH10257600A (ja) * 1997-03-07 1998-09-25 Victor Co Of Japan Ltd マルチチャンネル信号処理方法
JP2001112083A (ja) * 1999-10-13 2001-04-20 Kajima Corp 分散スピーカ利用の音像定位拡声方法及び拡声システム
JP2008219881A (ja) * 2007-03-02 2008-09-18 Samsung Electronics Co Ltd マルチチャンネルスピーカシステムのマルチチャンネル信号の再生方法及び装置
JP2009501943A (ja) * 2005-07-15 2009-01-22 マイクロソフト コーポレーション 適応コーディングおよびデコーディングでの複数のエントロピモデルの選択的使用
WO2012046685A1 (ja) * 2010-10-05 2012-04-12 日本電信電話株式会社 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040083417A1 (en) * 2002-10-29 2004-04-29 Lane Richard D. Multimedia transmission using variable error coding rate based on data importance
US20050058307A1 (en) * 2003-07-12 2005-03-17 Samsung Electronics Co., Ltd. Method and apparatus for constructing audio stream for mixing, and information storage medium
JP2006197391A (ja) * 2005-01-14 2006-07-27 Toshiba Corp 音声ミクシング処理装置及び音声ミクシング処理方法
PL2068307T3 (pl) * 2006-10-16 2012-07-31 Dolby Int Ab Udoskonalony sposób kodowania i odtwarzania parametrów w wielokanałowym kodowaniu obiektów poddanych procesowi downmiksu
CN101809654B (zh) * 2007-04-26 2013-08-07 杜比国际公司 供合成输出信号的装置和方法
WO2009049895A1 (en) * 2007-10-17 2009-04-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding using downmix
JP5443469B2 (ja) * 2009-07-24 2014-03-19 パナソニック株式会社 収音装置及び収音方法
CN101656072A (zh) * 2009-09-08 2010-02-24 北京飞利信科技股份有限公司 混音装置、混音方法及利用该混音装置的会议系统
CN102737635B (zh) * 2011-04-08 2014-04-30 华为终端有限公司 一种音频编码方法以及音频编码设备
WO2013122387A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
EP2830335A3 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106299A (ja) * 1995-10-09 1997-04-22 Nippon Telegr & Teleph Corp <Ntt> 音響信号変換符号化方法および復号化方法
JPH10257600A (ja) * 1997-03-07 1998-09-25 Victor Co Of Japan Ltd マルチチャンネル信号処理方法
JP2001112083A (ja) * 1999-10-13 2001-04-20 Kajima Corp 分散スピーカ利用の音像定位拡声方法及び拡声システム
JP2009501943A (ja) * 2005-07-15 2009-01-22 マイクロソフト コーポレーション 適応コーディングおよびデコーディングでの複数のエントロピモデルの選択的使用
JP2008219881A (ja) * 2007-03-02 2008-09-18 Samsung Electronics Co Ltd マルチチャンネルスピーカシステムのマルチチャンネル信号の再生方法及び装置
WO2012046685A1 (ja) * 2010-10-05 2012-04-12 日本電信電話株式会社 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Multichannel Stereophonic Sound System with and without accompanying Picture", 1992, INTERNATIONAL TELECOMMUNICATIONS UNION
"VIDEO CODING, AUDIO CODING AND MULTIPLEXING SPECIFICATIONS FOR DIGITAL BROADCASTING", 29 July 2009, ASSOCIATION OF RADIO INDUSTRIES AND BUSINESSES
KIMIO HAMASAKI: "Tendency of standardization of 22.2 multichannel sound system", NHK SCIENCE & TECHNOLOGY RESEARCH LABORATORIES
See also references of EP3057096A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019097164A (ja) * 2017-11-17 2019-06-20 日本放送協会 音響処理装置及びプログラム
JP7222668B2 (ja) 2017-11-17 2023-02-15 日本放送協会 音響処理装置及びプログラム

Also Published As

Publication number Publication date
KR20160065088A (ko) 2016-06-08
JPWO2015053109A1 (ja) 2017-03-09
BR112016007264A2 (pt) 2017-08-01
US9781539B2 (en) 2017-10-03
KR102268836B1 (ko) 2021-06-25
JP6429092B2 (ja) 2018-11-28
CN105593932B (zh) 2019-11-22
EP3057096A4 (en) 2017-05-31
RU2677597C2 (ru) 2019-01-17
EP3057096A1 (en) 2016-08-17
RU2016112532A (ru) 2017-10-04
RU2016112532A3 (ja) 2018-06-27
US20160286332A1 (en) 2016-09-29
CN105593932A (zh) 2016-05-18
EP3057096B1 (en) 2019-04-24
BR112016007264B1 (pt) 2021-12-28

Similar Documents

Publication Publication Date Title
US11900955B2 (en) Apparatus and method for screen related audio object remapping
RU2741738C1 (ru) Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала
US10674262B2 (en) Merging audio signals with spatial metadata
US12114146B2 (en) Determination of targeted spatial audio parameters and associated spatial audio playback
CN107533843B (zh) 用于捕获、编码、分布和解码沉浸式音频的系统和方法
RU2668113C2 (ru) Способ и устройство вывода аудиосигнала, способ и устройство кодирования, способ и устройство декодирования и программа
CN111630593B (zh) 用于译码声场表示信号的方法和装置
JP6429092B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
CA3237983A1 (en) Spatial audio parameter decoding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14852823

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14915812

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015541518

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167007349

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014852823

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014852823

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016112532

Country of ref document: RU

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016007264

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112016007264

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20160401