[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2016203994A1 - 符号化装置および方法、復号装置および方法、並びにプログラム - Google Patents

符号化装置および方法、復号装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2016203994A1
WO2016203994A1 PCT/JP2016/066574 JP2016066574W WO2016203994A1 WO 2016203994 A1 WO2016203994 A1 WO 2016203994A1 JP 2016066574 W JP2016066574 W JP 2016066574W WO 2016203994 A1 WO2016203994 A1 WO 2016203994A1
Authority
WO
WIPO (PCT)
Prior art keywords
metadata
frame
sample
audio signal
decoding
Prior art date
Application number
PCT/JP2016/066574
Other languages
English (en)
French (fr)
Inventor
優樹 山本
徹 知念
辻　実
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201680034330.XA priority Critical patent/CN107637097B/zh
Priority to MX2017016228A priority patent/MX2017016228A/es
Priority to JP2017524823A priority patent/JP6915536B2/ja
Priority to KR1020187027071A priority patent/KR102140388B1/ko
Priority to BR112017026743-8A priority patent/BR112017026743B1/pt
Priority to EP16811469.2A priority patent/EP3316599B1/en
Priority to US15/735,630 priority patent/US20180315436A1/en
Priority to CN202110632109.7A priority patent/CN113470665B/zh
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to RU2017143404A priority patent/RU2720439C2/ru
Priority to CA2989099A priority patent/CA2989099C/en
Priority to KR1020177035762A priority patent/KR20170141276A/ko
Publication of WO2016203994A1 publication Critical patent/WO2016203994A1/ja
Priority to HK18103780.8A priority patent/HK1244384A1/zh
Priority to US16/447,693 priority patent/US11170796B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field

Definitions

  • the present technology relates to an encoding device and method, a decoding device and method, and a program, and more particularly, to an encoding device and method, a decoding device and method, and a program that can obtain higher-quality sound.
  • an MPEG (Moving Picture Experts Group) -H 3D Audio standard that compresses (encodes) an audio signal of an audio object and metadata such as position information of the audio object is known (for example, non-patent literature). 1).
  • audio signals and metadata of audio objects are encoded and transmitted for each frame.
  • a maximum of one metadata is encoded and transmitted for each frame of the audio signal of the audio object. That is, depending on the frame, there may be no metadata.
  • the encoded audio signal and metadata are decoded by a decoding device, and rendering is performed based on the audio signal and metadata obtained by decoding.
  • the audio signal and metadata are first decoded.
  • a PCM (Pulse Code Modulation) sample value for each sample in the frame is obtained for the audio signal. That is, PCM data is obtained as an audio signal.
  • metadata of the representative sample in the frame specifically, metadata of the last sample in the frame is obtained.
  • the renderer in the decoding device based on the position information as the metadata of the representative sample in the frame, the sound image of the audio object at the position indicated by the position information.
  • the VBAP gain is calculated by VBAP (Vector
  • the metadata of the audio object is the metadata of the representative sample in the frame, that is, the last sample in the frame as described above. Therefore, the VBAP gain calculated by the renderer is the gain of the last sample in the frame, and the VBAP gain of other samples in the frame is not obtained. Therefore, in order to reproduce the sound of the audio object, it is necessary to calculate the VBAP gain of samples other than the representative sample of the audio signal.
  • the renderer calculates the VBAP gain of each sample by interpolation processing. Specifically, for each speaker, the VBAP gain of the last sample of the current frame and the VBAP gain of the last sample of the frame immediately preceding the current frame, and the VBAP of the sample of the current frame between those samples. The gain is calculated by linear interpolation.
  • the VBAP gain calculated for each speaker is multiplied by the audio signal of the audio object and supplied to each speaker to reproduce the sound.
  • the localization position of the sound image has a radius of 1 around a predetermined reference point in the reproduction space, for example, the position of the head of a virtual user who views content such as a moving image or music with sound. It will be located on the surface of the sphere.
  • the VBAP gain of samples other than the representative sample in the frame is calculated by interpolation processing, the square sum of the VBAP gain of each speaker of such a sample is not 1. Therefore, for the sample for which the VBAP gain has been calculated by interpolation processing, the position of the sound image is shifted in the normal direction of the spherical surface described above or in the vertical and horizontal directions on the surface of the sphere when viewed from the virtual user It will be. Then, during sound reproduction, the sound image position of the audio object fluctuates within a period of one frame, the sense of localization is deteriorated, and the sound quality of the sound is deteriorated.
  • the length between the last sample position of the current frame and the last sample position of the frame immediately before the current frame becomes longer. Then, the difference between the sum of squares of the VBAP gain of each speaker calculated by the interpolation process and 1 becomes large, and the deterioration of sound quality becomes large.
  • the faster the movement of the audio object the more the VBAP gain of the last sample of the current frame and the last sample of the last frame of the current frame. Difference from VBAP gain increases. Then, the movement of the audio object cannot be accurately rendered, and the sound quality is deteriorated.
  • This technology has been made in view of such a situation, and is intended to obtain higher-quality sound.
  • the decoding device includes an acquisition unit that acquires encoded audio data obtained by encoding audio signals of frames of a predetermined time interval of an audio object, and a plurality of metadata of the frames.
  • a decoding unit that decodes the encoded audio data, a rendering unit that performs rendering based on the audio signal obtained by the decoding, and the plurality of metadata.
  • the metadata can include position information indicating the position of the audio object.
  • Each of the plurality of metadata may be metadata of a plurality of samples in the frame of the audio signal.
  • Each of the plurality of metadata may be metadata of a plurality of samples arranged at intervals of the number of samples obtained by dividing the number of samples constituting the frame by the number of the plurality of metadata. .
  • Each of the plurality of metadata can be metadata of a plurality of samples indicated by each of a plurality of sample indexes.
  • Each of the plurality of metadata may be metadata of a plurality of samples arranged at a predetermined number of samples in the frame.
  • the plurality of metadata may include metadata for performing gain interpolation processing of the audio signal sample calculated based on the metadata.
  • the decoding method or program acquires encoded audio data obtained by encoding an audio signal of a frame at a predetermined time interval of an audio object, and a plurality of metadata of the frame, Decoding the encoded audio data, and rendering based on the audio signal obtained by the decoding and the plurality of metadata.
  • encoded audio data obtained by encoding an audio signal of a frame at a predetermined time interval of an audio object and a plurality of metadata of the frame are acquired, and the encoded audio is acquired.
  • Data is decoded, and rendering is performed based on the audio signal obtained by the decoding and the plurality of metadata.
  • An encoding device includes an encoding unit that encodes audio signals of frames of a predetermined time interval of an audio object, encoded audio data obtained by the encoding, and a plurality of the frames And a generation unit that generates a bitstream including the metadata.
  • the metadata can include position information indicating the position of the audio object.
  • Each of the plurality of metadata may be metadata of a plurality of samples in the frame of the audio signal.
  • Each of the plurality of metadata may be metadata of a plurality of samples arranged at intervals of the number of samples obtained by dividing the number of samples constituting the frame by the number of the plurality of metadata. .
  • Each of the plurality of metadata can be metadata of a plurality of samples indicated by each of a plurality of sample indexes.
  • Each of the plurality of metadata may be metadata of a plurality of samples arranged at a predetermined number of samples in the frame.
  • the plurality of metadata may include metadata for performing gain interpolation processing of the audio signal sample calculated based on the metadata.
  • the encoding device may further include an interpolation processing unit that performs an interpolation process on the metadata.
  • An encoding method or program encodes an audio signal of a frame at a predetermined time interval of an audio object, encodes audio data obtained by the encoding, and a plurality of metadata of the frame And generating a bitstream including.
  • an audio signal of a frame at a predetermined time interval of an audio object is encoded, and includes encoded audio data obtained by the encoding and a plurality of metadata of the frame.
  • a bitstream is generated.
  • This technology encodes and transmits an audio signal of an audio object and metadata such as position information of the audio object, and reproduces audio by decoding the audio signal and metadata on the decoding side. In some cases, it is possible to obtain higher-quality sound.
  • the audio object is also simply referred to as an object.
  • a plurality of metadata that is, two or more metadata are encoded and transmitted for an audio signal of one frame.
  • the metadata is metadata of the sample in the frame of the audio signal, that is, metadata given to the sample.
  • the position of the audio object in the space indicated by the position information as metadata indicates the position at the audio reproduction timing based on the sample to which the metadata is given.
  • the metadata can be transmitted by any one of the following three methods as a method of transmitting the metadata, that is, the number specifying method, the sample specifying method, and the automatic switching method. Further, at the time of transmitting metadata, it is possible to transmit metadata while switching these three methods for each frame or object that is a section of a predetermined time interval.
  • the number designation method is a method in which metadata number information indicating the number of metadata transmitted for one frame is included in the bitstream syntax and a specified number of metadata is transmitted. Information indicating the number of samples constituting one frame is stored in the header of the bit stream.
  • each metadata to be transmitted may be determined in advance, such as a position when one frame is equally divided.
  • the number of samples constituting one frame is 2048, and four metadata are transmitted per frame.
  • the section of one frame is equally divided by the number of metadata to be transmitted, and the metadata of the sample position of the divided section boundary is transmitted. That is, it is assumed that the metadata of samples in frames arranged at intervals of the number of samples obtained by dividing the number of samples in one frame by the number of metadata is transmitted.
  • metadata is transmitted for the 512th sample, the 1024th sample, the 1536th sample, and the 2048th sample from the beginning of the frame.
  • Metadata may be transmitted for each sample arranged at a predetermined interval, that is, for each predetermined number of samples.
  • sample designation method Next, the sample designation method will be described.
  • a sample index indicating the sample position of each metadata is also stored in the bitstream and transmitted.
  • the number of samples constituting one frame is 2048 samples and four metadata are transmitted per frame. Also, assume that metadata is transmitted for the 128th sample, the 512th sample, the 1536th sample, and the 2048th sample from the beginning of the frame.
  • the bitstream includes metadata number information indicating the number of metadata “4” transmitted per frame, the 128th sample from the top of the frame, the 512th sample, the 1536th sample, And a sample index indicating the position of each of the 2048th samples is stored.
  • the value of the sample index indicating the position of the 128th sample from the beginning of the frame is 128 or the like.
  • the sample designation method it is possible to transmit metadata of an arbitrary sample for each frame. For example, metadata of samples before and after a scene switching position can be transmitted. In this case, discontinuous movement of the object can be expressed by rendering, and high-quality sound can be obtained.
  • the number of metadata transmitted for each frame is automatically switched according to the number of samples constituting one frame, that is, the number of samples in one frame.
  • the metadata of each sample arranged at intervals of 256 samples in the frame is transmitted.
  • a total of four pieces of metadata are transmitted for the 256th sample, the 512th sample, the 768th sample, and the 1024th sample from the beginning of the frame.
  • the number of samples in one frame is 2048 samples
  • metadata of each sample arranged at 256 sample intervals in the frame is transmitted.
  • a total of eight pieces of metadata are transmitted.
  • the distance between samples having metadata is shortened, the difference in VBAP gain in those samples is also reduced, and the movement of the object can be rendered more accurately. Furthermore, when the distance between samples with metadata is shortened, the period during which the object moves continuously, such as the scene switching part, becomes longer as if the object is moving continuously. Can be shortened. In particular, in the sample designation method, discontinuous movement of an object can be expressed by transmitting metadata at an appropriate sample position.
  • Metadata may be transmitted using only one of the three methods, the number designating method, the sample designating method, and the automatic switching method described above. Of these three methods, These two or more methods may be switched for each frame or each object.
  • a switching index indicating which method is used to transmit the metadata is stored in the bitstream. What should I do?
  • the switching index when the value of the switching index is 0, it indicates that the number designation method has been selected, that is, the metadata has been transmitted by the number designation method. This indicates that the method has been selected.
  • the value of the switching index is 2, it indicates that the automatic switching method has been selected.
  • the playback side (decoding side)
  • the VBAP gain of a frame before the randomly accessed frame is not calculated. Gain interpolation cannot be performed. For this reason, the MPEG-H 3D Audio standard cannot perform random access.
  • the metadata necessary for performing the interpolation process is also transmitted together with the metadata of the frames, so that the frames before the current frame are transmitted.
  • the VBAP gain of the sample or the first sample of the current frame can be calculated. Thereby, random access becomes possible.
  • the metadata for performing the interpolation process that is transmitted together with the normal metadata is also referred to as additional metadata.
  • the additional metadata transmitted together with the metadata of the current frame is, for example, the metadata of the last sample of the frame immediately before the current frame or the metadata of the first sample of the current frame.
  • an additional metadata flag indicating whether or not there is additional metadata for each frame is stored for each object in the bitstream so that it can be easily specified whether or not there is additional metadata for each frame. . For example, when the value of the additional metadata flag of a predetermined frame is 1, additional metadata exists in the frame, and when the value of the additional metadata flag is 0, the additional metadata is not included in the frame. It is said that it does not exist.
  • a frame with additional metadata that is closest in time to the frame may be used as a random access destination. Therefore, by transmitting additional metadata at an appropriate frame interval or the like, random access can be realized without making the user feel unnatural.
  • VBAP gain interpolation processing may be performed without using additional metadata in a frame designated as an access destination for random access. In this case, random access is possible while suppressing an increase in the data amount (bit rate) of the bit stream due to storing additional metadata.
  • the VBAP gain value of the frame before the current frame is set to 0, and interpolation processing with the VBAP gain value calculated in the current frame is performed.
  • the present invention is not limited to this method, and the interpolation processing may be performed so that the VBAP gain values of the samples in the current frame are all the same as the VBAP gain calculated in the current frame.
  • an interpolation process using the VBAP gain of a frame before the current frame is performed as usual.
  • random access can be performed without using additional metadata.
  • an independent frame for each frame, whether or not the current frame is a frame (referred to as an independent frame) that can be decoded and rendered using only the data of the current frame in the bitstream.
  • An independent flag also referred to as indepFlag
  • the decoding side can perform decoding and rendering without using any data in the bitstream before the current frame and any information obtained by decoding the data. It is supposed to be possible.
  • the above-described additional metadata may be stored in the bit stream, or the above-described interpolation processing may be switched.
  • the value of the independent flag is 1 by switching whether to store additional metadata in the bitstream or switching the interpolation processing of the VBAP gain according to the value of the independent flag.
  • decoding and rendering can be performed without using the VBAP gain of the frame before the current frame.
  • the metadata obtained by decoding is only the representative sample in the frame, that is, the metadata of the last sample.
  • metadata before compression (encoding) input to the encoding device is hardly defined for all samples in the frame. That is, many samples in the audio signal frame have no metadata from the state before encoding.
  • samples arranged at equal intervals such as 0th sample, 1024th sample, 2048th sample have metadata, 0th sample, 138th sample, 2044th sample, etc. In most cases, only samples arranged at unequal intervals have metadata.
  • the metadata of those samples is obtained by interpolation processing (sample interpolation), and decoding and rendering are performed in real time on the decoding side.
  • sample interpolation sample interpolation
  • decoding and rendering are performed in real time on the decoding side.
  • the metadata interpolation process may be any process such as linear interpolation or nonlinear interpolation using a higher-order function.
  • bit stream shown in FIG. 1 is output from the encoding device that encodes the audio signal and metadata of each object.
  • a header is arranged at the head, and in the header, information indicating the number of samples constituting one frame of the audio signal of each object, that is, the number of samples of one frame (hereinafter, the number of samples) (Also referred to as sample number information).
  • data for each frame is arranged behind the header.
  • an independent flag indicating whether or not the current frame is an independent frame is arranged in the region R10.
  • encoded audio data obtained by encoding the audio signal of each object in the same frame is arranged.
  • encoded metadata obtained by encoding the metadata of each object in the same frame is arranged.
  • encoded metadata for one frame of one object is arranged in a region R21 in the region R12.
  • an additional metadata flag is arranged at the head of the encoded metadata, and a switching index is arranged following the additional metadata flag.
  • the metadata number information is arranged following the switching index, but the sample index is not arranged.
  • the method indicated by the switching index is the sample designation method
  • the metadata number information and the sample index are arranged following the switching index.
  • the method indicated by the switching index is the automatic switching method, neither the metadata number information nor the sample index is arranged following the switching index.
  • Additional metadata is arranged at the position following the metadata number information and sample index that are arranged as necessary, and the metadata of each sample is arranged by the defined number following the additional metadata. .
  • the additional metadata is arranged only when the value of the additional metadata flag is 1, and is not arranged when the value of the additional metadata flag is 0.
  • encoded metadata similar to the encoded metadata arranged in the area R21 is arranged for each object.
  • bitstream from the independent flag arranged in the area R10, the encoded audio data of each object arranged in the area R11, and the encoded metadata of each object arranged in the area R12 One frame of data is configured.
  • FIG. 2 is a diagram illustrating a configuration example of an encoding device to which the present technology is applied.
  • the encoding device 11 includes an audio signal acquisition unit 21, an audio signal encoding unit 22, a metadata acquisition unit 23, an interpolation processing unit 24, a related information acquisition unit 25, a metadata encoding unit 26, a multiplexing unit 27, and an output. A portion 28 is provided.
  • the audio signal acquisition unit 21 acquires the audio signal of each object and supplies it to the audio signal encoding unit 22.
  • the audio signal encoding unit 22 encodes the audio signal supplied from the audio signal acquisition unit 21 in units of frames, and supplies the encoded audio data for each frame of each object obtained as a result to the multiplexing unit 27.
  • the metadata acquisition unit 23 acquires metadata for each frame of each object, more specifically, metadata of each sample in the frame, and supplies it to the interpolation processing unit 24.
  • the metadata includes, for example, position information indicating the position of the object in the space, importance information indicating the importance of the object, information indicating the extent of the sound image of the object, and the like.
  • the metadata acquisition unit 23 acquires metadata of a predetermined sample (PCM sample) of the audio signal of each object.
  • the interpolation processing unit 24 performs an interpolation process on the metadata supplied from the metadata acquisition unit 23, and the metadata of all samples or some specific samples among samples without metadata of the audio signal. Generate.
  • the interpolation processing unit 24 performs the interpolation processing so that the audio signal of one frame of one object has a plurality of metadata, that is, the plurality of samples in one frame have metadata. Data is generated.
  • the interpolation processing unit 24 supplies metadata for each frame of each object obtained by the interpolation processing to the metadata encoding unit 26.
  • the related information acquisition unit 25 is information (referred to as independent frame information) indicating whether the current frame is to be an independent frame for each frame, sample number information for each frame of the audio signal for each object, Information related to metadata, such as information indicating whether to transmit metadata in a scheme, information indicating whether additional metadata is transmitted, information indicating which sample metadata is transmitted, is acquired as related information. Further, the related information acquisition unit 25 generates necessary information of an additional metadata flag, a switching index, metadata number information, and a sample index for each frame based on the acquired related information, This is supplied to the metadata encoding unit 26.
  • the metadata encoding unit 26 encodes the metadata supplied from the interpolation processing unit 24 based on the information supplied from the related information acquisition unit 25, and the code for each frame of each object obtained as a result. And the independent frame information included in the information supplied from the related information acquisition unit 25 is supplied to the multiplexing unit 27.
  • the multiplexing unit 27 encodes the encoded audio data supplied from the audio signal encoding unit 22, the encoded metadata supplied from the metadata encoding unit 26, and the independent frame supplied from the metadata encoding unit 26.
  • a bit stream is generated by multiplexing the independent flag obtained based on the information and supplied to the output unit 28.
  • the output unit 28 outputs the bit stream supplied from the multiplexing unit 27. That is, a bit stream is transmitted.
  • the encoding device 11 When the audio signal of the object is supplied from the outside, the encoding device 11 performs an encoding process and outputs a bit stream.
  • the encoding process performed by the encoding device 11 will be described with reference to the flowchart of FIG. 3. This encoding process is performed for each frame of the audio signal.
  • step S11 the audio signal acquisition unit 21 acquires the audio signal of each object for one frame and supplies it to the audio signal encoding unit 22.
  • step S ⁇ b> 12 the audio signal encoding unit 22 encodes the audio signal supplied from the audio signal acquisition unit 21, and supplies the encoded audio data for one frame of each object obtained as a result to the multiplexing unit 27. To do.
  • the audio signal encoding unit 22 converts the audio signal from a time signal to a frequency signal by performing MDCT (Modified Discrete Cosine Transform) or the like on the audio signal. Then, the audio signal encoding unit 22 encodes the MDCT coefficient obtained by MDCT, and the encoded audio obtained by encoding the audio signal with the scale factor, side information, and quantized spectrum obtained as a result. Data.
  • MDCT Modified Discrete Cosine Transform
  • step S13 the metadata acquisition unit 23 acquires metadata for each frame of the audio signal for each object and supplies the acquired metadata to the interpolation processing unit 24.
  • step S14 the interpolation processing unit 24 performs an interpolation process on the metadata supplied from the metadata acquisition unit 23 and supplies the metadata to the metadata encoding unit 26.
  • the interpolation processing unit 24 is based on position information as metadata of a predetermined sample and position information as metadata of another sample positioned temporally before the predetermined sample.
  • position information of each sample located between these two samples is calculated by linear interpolation.
  • interpolation processing such as linear interpolation is performed on importance level information as metadata and information indicating the degree of sound image spread, and metadata of each sample is generated.
  • Metadata may be calculated. Further, the interpolation process is not limited to linear interpolation, and may be nonlinear interpolation.
  • step S15 the related information acquisition unit 25 acquires related information related to metadata for the frame of the audio signal of each object.
  • the related information acquisition unit 25 generates necessary information among the additional metadata flag, the switching index, the metadata number information, and the sample index for each object based on the acquired related information, and performs metadata encoding. To the unit 26.
  • the related information acquisition unit 25 may acquire the additional metadata flag, the switching index, and the like from the outside instead of generating the additional metadata flag, the switching index, and the like.
  • step S16 the metadata encoding unit 26 is supplied from the interpolation processing unit 24 based on the additional metadata flag, switching index, metadata number information, sample index, and the like supplied from the related information acquisition unit 25. Encode the metadata.
  • the encoded metadata is generated so that only the metadata of the first is transmitted. Further, the metadata of the first sample of the frame or the metadata of the last sample of the immediately preceding frame that has been held is used as additional metadata as necessary.
  • the encoded metadata includes, in addition to metadata, an additional metadata flag and a switching index, and includes metadata number information, a sample index, additional metadata, and the like as necessary.
  • the encoded metadata of each object stored in the bitstream region R12 shown in FIG. 1 is obtained.
  • the encoded metadata stored in the region R21 is encoded metadata for one frame of one object.
  • an additional metadata flag, a switching index, metadata number information, additional metadata, and meta data are transmitted. Encoded metadata consisting of data is generated.
  • the frame when a sample designation method is selected in a frame that is a processing target of an object and no additional metadata is transmitted, the frame includes an additional metadata flag, a switching index, metadata number information, a sample index, and metadata. Encoded metadata is generated.
  • an encoded metadata including an additional metadata flag, a switching index, additional metadata, and metadata is used. Data is generated.
  • the metadata encoding unit 26 supplies the encoded metadata of each object obtained by encoding the metadata and the independent frame information included in the information supplied from the related information acquisition unit 25 to the multiplexing unit 27. To do.
  • step S ⁇ b> 17 the multiplexing unit 27 supplies encoded audio data supplied from the audio signal encoding unit 22, encoded metadata supplied from the metadata encoding unit 26, and supplied from the metadata encoding unit 26.
  • a bit stream is generated by multiplexing the independent flag obtained based on the independent frame information, and is supplied to the output unit 28.
  • bit stream for one frame for example, a bit stream composed of the areas R10 to R12 of the bit stream shown in FIG. 1 is generated.
  • step S18 the output unit 28 outputs the bit stream supplied from the multiplexing unit 27, and the encoding process ends.
  • a header including sample number information and the like is also output as shown in FIG.
  • the encoding device 11 encodes the audio signal, encodes the metadata, and outputs a bit stream including the encoded audio data and the encoded metadata obtained as a result.
  • one or more metadata can always be transmitted in one frame, and decoding and rendering can be performed in real time on the decoding side. Furthermore, random access can be realized by transmitting additional metadata as necessary.
  • a decoding device that receives (acquires) the bit stream output from the encoding device 11 and performs decoding will be described.
  • a decoding device to which the present technology is applied is configured as shown in FIG.
  • the speaker system 52 including a plurality of speakers arranged in the reproduction space is connected to the decoding device 51.
  • the decoding device 51 supplies the audio signal of each channel obtained by decoding and rendering to the speaker of each channel constituting the speaker system 52, and reproduces the sound.
  • the decoding device 51 includes an acquisition unit 61, a separation unit 62, an audio signal decoding unit 63, a metadata decoding unit 64, a gain calculation unit 65, and an audio signal generation unit 66.
  • the acquisition unit 61 acquires the bit stream output from the encoding device 11 and supplies the bit stream to the separation unit 62.
  • the separation unit 62 separates the bit stream supplied from the acquisition unit 61 into an independent flag, encoded audio data, and encoded metadata, and supplies the encoded audio data to the audio signal decoding unit 63.
  • the encoded metadata are supplied to the metadata decoding unit 64.
  • the separation unit 62 reads various types of information such as the number-of-samples information from the header of the bit stream as necessary, and supplies the information to the audio signal decoding unit 63 and the metadata decoding unit 64.
  • the audio signal decoding unit 63 decodes the encoded audio data supplied from the separation unit 62, and supplies the audio signal of each object obtained as a result to the audio signal generation unit 66.
  • the metadata decoding unit 64 decodes the encoded metadata supplied from the separation unit 62, the metadata of each frame of the audio signal for each object obtained as a result, and the independent flag supplied from the separation unit 62. Is supplied to the gain calculation unit 65.
  • the metadata decoding unit 64 includes an additional metadata flag reading unit 71 that reads an additional metadata flag from the encoded metadata, and a switching index reading unit 72 that reads a switching index from the encoded metadata.
  • the gain calculation unit 65 includes arrangement position information indicating the arrangement position of each speaker constituting the speaker system 52 held in advance, and metadata for each frame of each object supplied from the metadata decoding unit 64. Based on the independent flag, the VBAP gain of the sample in the frame of the audio signal is calculated for each object.
  • the gain calculation unit 65 has an interpolation processing unit 73 that calculates the VBAP gain of other samples by interpolation processing based on the VBAP gain of a predetermined sample.
  • the gain calculator 65 supplies the audio signal generator 66 with the VBAP gain calculated for each sample in the frame of the audio signal for each object.
  • the audio signal generation unit 66 based on the audio signal of each object supplied from the audio signal decoding unit 63 and the VBAP gain for each sample of each object supplied from the gain calculation unit 65, That is, an audio signal to be supplied to the speaker of each channel is generated.
  • the audio signal generation unit 66 supplies the generated audio signal to each speaker constituting the speaker system 52, and outputs sound based on the audio signal.
  • the block including the gain calculation unit 65 and the audio signal generation unit 66 functions as a renderer (rendering unit) that performs rendering based on the audio signal and metadata obtained by decoding.
  • the decoding device 51 When a bit stream is transmitted from the encoding device 11, the decoding device 51 performs a decoding process of receiving (acquiring) the bit stream and decoding it. Hereinafter, the decoding process by the decoding device 51 will be described with reference to the flowchart of FIG. This decoding process is performed for each frame of the audio signal.
  • step S41 the acquisition unit 61 acquires the bit stream output from the encoding device 11 for one frame and supplies the bit stream to the separation unit 62.
  • step S ⁇ b> 42 the separation unit 62 separates the bitstream supplied from the acquisition unit 61 into an independent flag, encoded audio data, and encoded metadata, and supplies the encoded audio data to the audio signal decoding unit 63.
  • the independent flag and the encoded metadata are supplied to the metadata decoding unit 64.
  • the separation unit 62 supplies the number-of-samples information read from the header of the bitstream to the metadata decoding unit 64.
  • the sample number information supply timing may be the timing at which the bitstream header is acquired.
  • step S43 the audio signal decoding unit 63 decodes the encoded audio data supplied from the separation unit 62, and supplies the audio signal for one frame of each object obtained as a result to the audio signal generation unit 66.
  • the audio signal decoding unit 63 decodes the encoded audio data and obtains MDCT coefficients. Specifically, the audio signal decoding unit 63 calculates an MDCT coefficient based on the scale factor, side information, and quantized spectrum supplied as encoded audio data.
  • the audio signal decoding unit 63 performs IMDCT (Inverse Modified Discrete Cosine Transform) based on the MDCT coefficient, and supplies the PCM data obtained as a result to the audio signal generating unit 66 as an audio signal.
  • IMDCT Inverse Modified Discrete Cosine Transform
  • step S44 the additional metadata flag reading unit 71 of the metadata decoding unit 64 reads the additional metadata flag from the encoded metadata supplied from the separation unit 62.
  • the metadata decoding unit 64 sequentially sets objects corresponding to the encoded metadata sequentially supplied from the separation unit 62 as objects to be processed.
  • the additional metadata flag reading unit 71 reads the additional metadata flag from the encoded metadata of the object to be processed.
  • step S45 the switching index reading unit 72 of the metadata decoding unit 64 reads the switching index from the encoded metadata of the processing target object supplied from the separation unit 62.
  • step S46 the switching index reading unit 72 determines whether or not the method indicated by the switching index read in step S45 is the number designation method.
  • step S47 the metadata decoding unit 64 reads metadata number information from the encoded metadata of the processing target object supplied from the separation unit 62.
  • step S48 the metadata decoding unit 64 is transmitted in the frame of the audio signal of the object to be processed based on the metadata number information read in step S47 and the sample number information supplied from the separation unit 62. Specify the location of the sample metadata.
  • a section of one frame composed of the number of samples indicated by the sample number information is equally divided into sections of the number of metadata indicated by the metadata number information, and the last sample position of each equally divided section is the metadata.
  • the sample position that is, the position of the sample having metadata.
  • the sample position obtained in this way is set as a sample position of each metadata included in the encoded metadata, that is, a sample having the metadata.
  • step S53 when the number of metadata included in the encoded metadata of the object to be processed and the sample position of each metadata are specified, the process proceeds to step S53.
  • step S49 the switching index reading unit 72 determines whether or not the method indicated by the switching index read in step S45 is the sample designation method.
  • step S50 the metadata decoding unit 64 reads metadata number information from the encoded metadata of the processing target object supplied from the separation unit 62.
  • step S51 the metadata decoding unit 64 reads the sample index from the encoded metadata of the processing target object supplied from the separation unit 62. At this time, as many sample indexes as the number indicated by the metadata number information are read.
  • the number of metadata stored in the encoded metadata of the object to be processed and the sample position of the metadata can be specified from the metadata number information and the sample index read in this way. it can.
  • step S53 When the number of metadata included in the encoded metadata of the object to be processed and the sample position of each metadata are specified, the process proceeds to step S53.
  • step S49 If it is determined in step S49 that the method is not the sample designation method, that is, if the method indicated by the switching index is the automatic switching method, the process proceeds to step S52.
  • step S52 the metadata decoding unit 64 determines the number of metadata included in the encoded metadata of the object to be processed and the sample of each metadata based on the number-of-samples information supplied from the separation unit 62. The position is specified, and the process proceeds to step S53.
  • the number of metadata to be transmitted and the sample position of each metadata, that is, which sample metadata is to be transmitted are predetermined for the number of samples constituting one frame. .
  • the metadata decoding unit 64 can specify the number of metadata stored in the encoded metadata of the object to be processed and the sample position of those metadata from the sample number information.
  • step S53 the metadata decoding unit 64 determines whether there is additional metadata based on the value of the additional metadata flag read in step S44. Determine whether or not.
  • step S54 the metadata decoding unit 64 reads the additional metadata from the encoded metadata of the object to be processed. When the additional metadata is read, the process thereafter proceeds to step S55.
  • step S53 determines that there is no additional metadata
  • step S54 the process of step S54 is skipped, and the process proceeds to step S55.
  • step S55 the metadata decoding unit 64 determines the metadata from the encoded metadata of the processing target object. Is read.
  • metadata is read from the encoded metadata by the number specified by the above-described processing.
  • metadata and additional metadata are read out for the audio signal for one frame of the object to be processed.
  • the metadata decoding unit 64 supplies each read metadata to the gain calculation unit 65. At that time, the gain calculation unit 65 supplies the metadata so that it can be specified which metadata is which sample of which object. When the additional metadata is read, the metadata decoding unit 64 also supplies the read additional metadata to the gain calculation unit 65.
  • step S56 the metadata decoding unit 64 determines whether or not the metadata has been read for all the objects.
  • step S56 If it is determined in step S56 that metadata has not been read for all objects, the process returns to step S44, and the above-described process is repeated. In this case, an object that has not yet been processed is set as a new object to be processed, and metadata or the like is read from the encoded metadata of the object.
  • step S56 if it is determined in step S56 that the metadata has been read for all objects, the metadata decoding unit 64 supplies the independent flag supplied from the separation unit 62 to the gain calculation unit 65, and then The process proceeds to step S57, and rendering is started.
  • step S57 the gain calculation unit 65 calculates the VBAP gain based on the metadata supplied from the metadata decoding unit 64, the additional metadata, and the independent flag.
  • the gain calculation unit 65 sequentially selects each object as an object to be processed, and in addition, samples with metadata in the frame of the audio signal of the object to be processed are sequentially processed samples. Choose as.
  • the gain calculator 65 determines the position of the object in the space indicated by the position information as the metadata of the sample, and the position in the space of each speaker of the speaker system 52 indicated by the arrangement position information. Based on the above, VBAP calculates the VBAP gain of each channel of the sample to be processed, that is, the speaker of each channel.
  • VBAP a sound image can be localized at the position of an object by outputting sound with a predetermined gain from three or two speakers around the object.
  • VBAP is described in detail in, for example, “Ville Pulkki,“ Virtual Sound Source Positioning Using Vector Base Amplitude Panning ”, Journal of AES, vol.45, no.6, pp.456-466, 1997. Yes.
  • step S58 the interpolation processing unit 73 performs an interpolation process to calculate the VBAP gain of each speaker of the sample without metadata.
  • a VBAP gain of a certain sample (hereinafter also referred to as a reference sample) is used. That is, the VBAP gain of the sample to be processed and the VBAP gain of the reference sample are used for each speaker (channel) constituting the speaker system 52, and are between the sample to be processed and the reference sample.
  • the VBAP gain of each sample is calculated by linear interpolation or the like.
  • the gain calculation unit 65 adds the additional metadata. VBAP gain is calculated using.
  • the gain calculation unit 65 uses the additional metadata to determine the first sample of the frame or the last sample of the frame immediately before the frame. Is used as a reference sample, and the VBAP gain of the reference sample is calculated.
  • the interpolation processing unit 73 calculates the VBAP gain of each sample between the sample to be processed and the reference sample from the VBAP gain of the sample to be processed and the VBAP gain of the reference sample by interpolation processing.
  • the VBAP gain using the additional metadata Is not calculated, and the interpolation process is switched.
  • the gain calculation unit 65 uses the first sample of the frame or the last sample of the frame immediately before the frame as a reference sample, and the reference Calculate with the sample VBAP gain set to zero.
  • the interpolation processing unit 73 calculates the VBAP gain of each sample between the sample to be processed and the reference sample from the VBAP gain of the sample to be processed and the VBAP gain of the reference sample by interpolation processing.
  • interpolation processing may be performed so that the VBAP gain of each sample to be interpolated is set to the same value as the VBAP gain of the sample to be processed.
  • the metadata decoding unit 64 is configured to obtain sample metadata by interpolation processing for a sample without metadata. May be. In this case, since the metadata of all the samples of the audio signal is obtained, the interpolation processing unit 73 does not perform VBAP gain interpolation processing.
  • step S59 the gain calculation unit 65 determines whether the VBAP gain of all samples in the frame of the audio signal of the object to be processed has been calculated.
  • step S59 If it is determined in step S59 that the VBAP gains for all samples have not yet been calculated, the process returns to step S57, and the above-described processes are repeated. That is, the next sample having metadata is selected as a sample to be processed, and the VBAP gain is calculated.
  • step S60 the gain calculation unit 65 determines whether the VBAP gains of all objects have been calculated.
  • step S60 If it is determined in step S60 that the VBAP gains of all objects have not yet been calculated, the process returns to step S57, and the above-described processes are repeated.
  • step S60 if it is determined in step S60 that the VBAP gains of all objects have been calculated, the gain calculation unit 65 supplies the calculated VBAP gains to the audio signal generation unit 66, and the process proceeds to step S61.
  • the VBAP gain of each sample in the frame of the audio signal of each object calculated for each speaker is supplied to the audio signal generation unit 66.
  • step S ⁇ b> 61 the audio signal generation unit 66 sets each speaker based on the audio signal of each object supplied from the audio signal decoding unit 63 and the VBAP gain for each sample of each object supplied from the gain calculation unit 65. Generate an audio signal.
  • the audio signal generation unit 66 adds the signal obtained by multiplying each of the audio signals of each object by the VBAP gain of the same speaker obtained for each object for each sample. The audio signal of the speaker is generated.
  • VBAP gain G1 to VBAP gain G3 are obtained as VBAP gains of a predetermined speaker SP1 constituting the speaker system 52 of these objects.
  • the audio signal of the object OB1 multiplied by the VBAP gain G1 the audio signal of the object OB2 multiplied by the VBAP gain G2
  • the audio signal of the object OB3 multiplied by the VBAP gain G3 are added and obtained as a result.
  • the audio signal is the audio signal supplied to the speaker SP1.
  • step S62 the audio signal generation unit 66 supplies the audio signal of each speaker obtained in the process of step S61 to each speaker of the speaker system 52, reproduces the sound based on the audio signal, and performs the decoding process. finish. Thereby, the sound of each object is reproduced by the speaker system 52.
  • the decoding device 51 decodes the encoded audio data and the encoded metadata, performs rendering based on the audio signal and metadata obtained by the decoding, and generates an audio signal of each speaker.
  • the decoding device 51 since a plurality of metadata is obtained with respect to the frame of the audio signal of the object when rendering is performed, the length of the section where the samples where the VBAP gain is calculated by the interpolation process can be shortened. it can. Thereby, not only high-quality sound can be obtained, but also decoding and rendering can be performed in real time. Further, depending on the frame, additional metadata is included in the encoded metadata, so that random access and decoding and rendering in an independent frame can also be realized. Even in a frame that does not include additional metadata, random access and decoding and rendering in an independent frame can be realized by switching VBAP gain interpolation processing.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in a removable recording medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in the ROM 502 or the recording unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • An acquisition unit that acquires encoded audio data obtained by encoding audio signals of frames of a predetermined time interval of the audio object, and a plurality of metadata of the frames;
  • a decoding unit for decoding the encoded audio data A decoding apparatus comprising: a rendering unit that performs rendering based on the audio signal obtained by the decoding and the plurality of metadata.
  • the metadata includes position information indicating a position of the audio object.
  • each of the plurality of metadata is metadata of each of a plurality of samples in the frame of the audio signal.
  • Each of the plurality of metadata is metadata of each of a plurality of samples arranged at intervals of the number of samples obtained by dividing the number of samples constituting the frame by the number of the plurality of metadata.
  • each of the plurality of metadata is metadata of each of a plurality of samples indicated by each of a plurality of sample indexes.
  • the plurality of metadata includes metadata for performing interpolation processing of the gain of the sample of the audio signal calculated based on the metadata. (1) to (6) The decoding device described.
  • An encoding unit that encodes audio signals of frames of a predetermined time interval of the audio object;
  • An encoding device comprising: a generation unit that generates a bitstream including encoded audio data obtained by the encoding and a plurality of metadata of the frame.
  • the metadata includes position information indicating a position of the audio object.
  • each of the plurality of metadata is metadata of each of a plurality of samples in the frame of the audio signal.
  • Each of the plurality of metadata is metadata of each of a plurality of samples arranged at intervals of the number of samples obtained by dividing the number of samples constituting the frame by the number of the plurality of metadata.
  • each of the plurality of metadata is metadata of each of a plurality of samples indicated by each of a plurality of sample indexes.
  • each of the plurality of metadata is metadata of each of a plurality of samples arranged at a predetermined number of sample intervals in the frame.
  • the plurality of metadata includes metadata for performing interpolation processing of the gain of the sample of the audio signal calculated based on the metadata. (10) to (15) The encoding device described. (17) The encoding apparatus according to any one of (10) to (16), further including an interpolation processing unit that performs an interpolation process on the metadata.
  • An encoding method including a step of generating a bitstream including encoded audio data obtained by the encoding and a plurality of metadata of the frame.
  • An encoding method including a step of generating a bitstream including encoded audio data obtained by the encoding and a plurality of metadata of the frame.
  • a program for causing a computer to execute a process including a step of generating a bitstream including encoded audio data obtained by the encoding and a plurality of metadata of the frame.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本技術は、より高音質な音声を得ることができるようにする符号化装置および方法、復号装置および方法、並びにプログラムに関する。 オーディオ信号復号部は、符号化オーディオデータを復号して、各オブジェクトのオーディオ信号を得る。メタデータ復号部は、符号化メタデータを復号して、各オブジェクトのオーディオ信号のフレームごとに複数のメタデータを得る。ゲイン算出部は、メタデータに基づいてスピーカごとに、各オブジェクトのオーディオ信号のVBAPゲインを算出する。オーディオ信号生成部は、スピーカごとに、各オブジェクトのオーディオ信号にVBAPゲインを乗算して加算し、各スピーカに供給するオーディオ信号を生成する。本技術は復号装置に適用することができる。

Description

符号化装置および方法、復号装置および方法、並びにプログラム
　本技術は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、より高音質な音声を得ることができるようにした符号化装置および方法、復号装置および方法、並びにプログラムに関する。
　従来、オーディオオブジェクトのオーディオ信号と、そのオーディオオブジェクトの位置情報などのメタデータとを圧縮（符号化）するMPEG(Moving Picture Experts Group)-H 3D Audio規格が知られている（例えば、非特許文献１参照）。
　この技術では、オーディオオブジェクトのオーディオ信号とメタデータがフレームごとに符号化されて伝送される。このとき、オーディオオブジェクトのオーディオ信号の１フレームにつき、最大で１つのメタデータが符号化されて伝送される。つまり、フレームによっては、メタデータがない場合もある。
　また、符号化されたオーディオ信号とメタデータは、復号装置において復号され、復号により得られたオーディオ信号とメタデータに基づいてレンダリングが行われる。
　すなわち、復号装置では、まずオーディオ信号とメタデータが復号される。復号の結果、オーディオ信号については、フレーム内のサンプルごとのPCM（Pulse Code Modulation）サンプル値が得られる。つまり、オーディオ信号としてPCMデータが得られる。
　一方、メタデータについては、フレーム内の代表サンプルのメタデータ、具体的にはフレーム内の最後のサンプルのメタデータが得られる。
　このようにしてオーディオ信号とメタデータが得られると、復号装置内のレンダラは、フレーム内の代表サンプルのメタデータとしての位置情報に基づいて、その位置情報により示される位置にオーディオオブジェクトの音像が定位するように、VBAP（Vector Base Amplitude Panning）によりVBAPゲインを算出する。このVBAPゲインは、再生側のスピーカごとに算出される。
　但し、オーディオオブジェクトのメタデータは、上述したようにフレーム内の代表サンプル、つまりフレーム内の最後のサンプルのメタデータである。したがって、レンダラで算出されたVBAPゲインはフレーム内の最後のサンプルのゲインであり、フレーム内のそれ以外のサンプルのVBAPゲインは求められていない。そのため、オーディオオブジェクトの音声を再生するには、オーディオ信号の代表サンプル以外のサンプルのVBAPゲインも算出する必要がある。
　そこで、レンダラでは補間処理により各サンプルのVBAPゲインが算出される。具体的には、スピーカごとに、現フレームの最後のサンプルのVBAPゲインと、その現フレームの直前のフレームの最後のサンプルのVBAPゲインとから、それらのサンプルの間にある現フレームのサンプルのVBAPゲインが線形補間により算出される。
　このようにして、オーディオオブジェクトのオーディオ信号に乗算される各サンプルのVBAPゲインがスピーカごとに得られると、オーディオオブジェクトの音声を再生することができるようになる。
　すなわち、復号装置では、スピーカごとに算出されたVBAPゲインが、そのオーディオオブジェクトのオーディオ信号に乗算されて各スピーカに供給され、音声が再生される。
ISO/IEC JTC1/SC29/WG11 N14747, August 2014, Sapporo, Japan, "Text of ISO/IEC 23008-3/DIS, 3D Audio"
　しかしながら、上述した技術では、十分に高音質な音声を得ることが困難であった。
　例えばVBAPでは、算出された各スピーカのVBAPゲインの２乗和が１となるように正規化が行われる。このような正規化により、音像の定位位置は、再生空間において所定の基準点、例えば音声付の動画像や楽曲などのコンテンツを視聴する仮想のユーザの頭部位置を中心とする、半径が１の球の表面上に位置するようになる。
　しかし、フレーム内の代表サンプル以外のサンプルのVBAPゲインは補間処理により算出されるため、そのようなサンプルの各スピーカのVBAPゲインの２乗和は１とはならない。そのため、補間処理によりVBAPゲインを算出したサンプルについては、音声の再生時に音像の位置が仮想のユーザから見て、上述した球面の法線方向や、球の表面上の上下左右方向にずれてしまうことになる。そうすると、音声再生時において、１フレームの期間内でオーディオオブジェクトの音像位置がゆらいだりして定位感が悪化し、音声の音質が劣化してしまう。
　特に、１フレームを構成するサンプル数が多くなればなるほど、現フレームの最後のサンプル位置と、その現フレームの直前のフレームの最後のサンプル位置との間の長さが長くなる。そうすると、補間処理により算出された各スピーカのVBAPゲインの２乗和と１との差が大きくなり、音質の劣化が大きくなる。
　また、代表サンプル以外のサンプルのVBAPゲインを補間処理により算出する場合、オーディオオブジェクトの動きが速いときほど、現フレームの最後のサンプルのVBAPゲインと、その現フレームの直前のフレームの最後のサンプルのVBAPゲインとの差が大きくなる。そうすると、オーディオオブジェクトの動きを正確にレンダリングすることができなくなり、音質が劣化してしまう。
　さらに、スポーツや映画などの実際のコンテンツでは、シーンが不連続に切り替わる。そのような場合、シーンの切り替わり部分では、オーディオオブジェクトが不連続に移動することになる。しかし、上述したように補間処理によりVBAPゲインを算出すると、補間処理によりVBAPゲインを算出したサンプルの区間、つまり現フレームの最後のサンプルと、その現フレームの直前のフレームの最後のサンプルとの間では、音声についてはオーディオオブジェクトが連続的に移動していることになってしまう。そうすると、オーディオオブジェクトの不連続な移動をレンダリングにより表現することができなくなってしまい、その結果、音声の音質が劣化してしまう。
　本技術は、このような状況に鑑みてなされたものであり、より高音質な音声を得ることができるようにするものである。
　本技術の第１の側面の復号装置は、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得する取得部と、前記符号化オーディオデータを復号する復号部と、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うレンダリング部とを備える。
　前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれているようにすることができる。
　前記複数のメタデータのそれぞれを、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータとすることができる。
　前記複数のメタデータのそれぞれを、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータとすることができる。
　前記複数のメタデータのそれぞれを、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータとすることができる。
　前記複数のメタデータのそれぞれを、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータとすることができる。
　前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれているようにすることができる。
　本技術の第１の側面の復号方法またはプログラムは、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、前記符号化オーディオデータを復号し、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うステップを含む。
　本技術の第１の側面においては、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとが取得され、前記符号化オーディオデータが復号され、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングが行われる。
　本技術の第２の側面の符号化装置は、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化する符号化部と、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する生成部とを備える。
　前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれているようにすることができる。
　前記複数のメタデータのそれぞれを、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータとすることができる。
　前記複数のメタデータのそれぞれを、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータとすることができる。
　前記複数のメタデータのそれぞれを、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータとすることができる。
　前記複数のメタデータのそれぞれを、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータとすることができる。
　前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれているようにすることができる。
　符号化装置には、メタデータに対する補間処理を行う補間処理部をさらに設けることができる。
　本技術の第２の側面の符号化方法またはプログラムは、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成するステップを含む。
　本技術の第２の側面においては、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号が符号化され、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームが生成される。
　本技術の第１の側面および第２の側面によれば、より高音質な音声を得ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
ビットストリームについて説明する図である。 符号化装置の構成例を示す図である。 符号化処理を説明するフローチャートである。 復号装置の構成例を示す図である。 復号処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術の概要について〉
　本技術は、オーディオオブジェクトのオーディオ信号と、そのオーディオオブジェクトの位置情報などのメタデータとを符号化して伝送したり、復号側においてそれらのオーディオ信号とメタデータを復号して音声を再生したりする場合に、より高音質な音声を得ることができるようにするものである。なお、以下では、オーディオオブジェクトを単にオブジェクトとも称することとする。
　本技術では、１フレームのオーディオ信号について複数のメタデータ、すなわち２以上のメタデータを符号化して送信するようにした。
　ここで、メタデータは、オーディオ信号のフレーム内のサンプルのメタデータ、つまりサンプルに対して与えられたメタデータである。例えばメタデータとしての位置情報により示される空間内のオーディオオブジェクトの位置は、そのメタデータが与えられたサンプルに基づく音声の再生タイミングにおける位置を示している。
　また、メタデータを送信する方法として以下に示す３つの方法、すなわち個数指定方式、サンプル指定方式、および自動切り替え方式による送信方法のうちの何れかの方法によりメタデータを送信することができる。また、メタデータ送信時には、所定時間間隔の区間であるフレームごとやオブジェクトごとに、それらの３つの方式を切り替えながらメタデータを送信することができる。
（個数指定方式）
　まず、個数指定方式について説明する。
　個数指定方式は、１フレームに対して送信されるメタデータの数を示すメタデータ個数情報をビットストリームシンタックスに含め、指定された個数のメタデータを送信する方式である。なお、１フレームを構成するサンプルの数を示す情報は、ビットストリームのヘッダ内に格納されている。
　また、送信される各メタデータが、１フレーム内のどのサンプルのメタデータであるかは、１フレームを等分したときの位置など、予め定められているようにすればよい。
　例えば、１フレームを構成するサンプルの数が2048サンプルであり、１フレームにつき４つのメタデータを送信するとする。このとき、１フレームの区間を、送信するメタデータの数で等分し、分割された区間境界のサンプル位置のメタデータを送るものとする。すなわち、１フレームのサンプル数をメタデータ数で除算して得られるサンプル数の間隔で並ぶフレーム内のサンプルのメタデータを送信するとする。
　この場合、フレーム先頭から、それぞれ512個目のサンプル、1024個目のサンプル、1536個目のサンプル、および2048個目のサンプルについてメタデータが送信される。
　その他、１フレームを構成するサンプルの数をSとし、１フレームにつき送信されるメタデータの数をAとしたときに、S/2(A-1)により定まるサンプル位置のメタデータが送信されるようにしてもよい。すなわち、フレーム内においてS/2(A-1)サンプル間隔で並ぶサンプルの一部または全部のメタデータを送信してもよい。この場合、例えばメタデータ数A＝1であるときには、フレーム内の最後のサンプルのメタデータが送信されることになる。
　また、所定間隔で並ぶサンプルごと、つまり所定サンプル数ごとにメタデータを送信するようにしてもよい。
（サンプル指定方式）
　次に、サンプル指定方式について説明する。
　サンプル指定方式では、上述した個数指定方式において送信されるメタデータ個数情報に加えて、さらに各メタデータのサンプル位置を示すサンプルインデックスもビットストリームに格納されて送信される。
　例えば１フレームを構成するサンプルの数が2048サンプルであり、１フレームにつき４つのメタデータを送信するとする。また、フレーム先頭から、それぞれ128個目のサンプル、512個目のサンプル、1536個目のサンプル、および2048個目のサンプルについてメタデータを送信するとする。
　この場合、ビットストリームには、１フレームにつき送信されるメタデータの個数「４」を示すメタデータ個数情報と、フレーム先頭から128個目のサンプル、512個目のサンプル、1536個目のサンプル、および2048個目のサンプルのそれぞれのサンプルの位置を示すサンプルインデックスのそれぞれとが格納される。例えばフレーム先頭から128個目のサンプルの位置を示すサンプルインデックスの値は、128などとされる。
　サンプル指定方式では、フレームごとに任意のサンプルのメタデータを送信することが可能となるため、例えばシーンの切り替わり位置の前後のサンプルのメタデータを送信することができる。この場合、レンダリングによりオブジェクトの不連続な移動を表現することができ、高音質な音声を得ることができる。
（自動切り替え方式）
　さらに、自動切り替え方式について説明する。
　自動切り替え方式では、１フレームを構成するサンプルの数、つまり１フレームのサンプル数に応じて、各フレームにつき送信されるメタデータの数が自動的に切り替えられる。
　例えば１フレームのサンプル数が1024サンプルである場合には、フレーム内において256サンプル間隔で並ぶ各サンプルのメタデータが送信される。この例では、フレーム先頭から、それぞれ256個目のサンプル、512個目のサンプル、768個目のサンプル、および1024個目のサンプルについて、合計４個のメタデータが送信される。
　また、例えば１フレームのサンプル数が2048サンプルである場合には、フレーム内において256サンプル間隔で並ぶ各サンプルのメタデータが送信される。この例では、合計８個のメタデータが送信されることになる。
　このように個数指定方式、サンプル指定方式、および自動切り替え方式の各方式で１フレームにつき２以上のメタデータを送信すれば、フレームを構成するサンプルの数が多い場合などに、より多くのメタデータを送信することができる。
　これにより、線形補間によりVBAPゲインが算出されるサンプルが連続して並ぶ区間の長さがより短くなり、より高音質な音声を得ることができるようになる。
　例えば線形補間によりVBAPゲインが算出されるサンプルが連続して並ぶ区間の長さがより短くなれば、各スピーカのVBAPゲインの２乗和と１との差も小さくなるので、オブジェクトの音像の定位感を向上させることができる。
　また、メタデータを有するサンプル間の距離も短くなるので、それらのサンプルにおけるVBAPゲインの差も小さくなり、オブジェクトの動きをより正確にレンダリングすることができる。さらにメタデータを有するサンプル間の距離が短くなると、シーンの切り替わり部分など、本来オブジェクトが不連続に移動する期間において、音声についてオブジェクトが連続的に移動しているかのようになってしまう期間をより短くすることができる。特に、サンプル指定方式では、適切なサンプル位置のメタデータを送信することで、オブジェクトの不連続な移動を表現することができる。
　なお、以上において説明した個数指定方式、サンプル指定方式、および自動切り替え方式の３つの方式の何れか１つのみを用いてメタデータを送信するようにしてもよいが、それらの３つの方式のうちの２以上の方式をフレームごとやオブジェクトごとに切り替えるようにしてもよい。
　例えば個数指定方式、サンプル指定方式、および自動切り替え方式の３つの方式をフレームごとやオブジェクトごとに切り替える場合には、ビットストリームに、何れの方式によりメタデータが送信されたかを示す切り替えインデックスを格納するようにすればよい。
　この場合、例えば切り替えインデックスの値が０のときは個数指定方式が選択されたこと、つまり個数指定方式によりメタデータが送信されたことを示しており、切り替えインデックスの値が１のときはサンプル指定方式が選択されたことを示しており、切り替えインデックスの値が２のときは自動切り替え方式が選択されたことを示しているなどとされる。以下では、これらの個数指定方式、サンプル指定方式、および自動切り替え方式が、フレームごとやオブジェクトごとに切り替えられるものとして説明を続ける。
　また、上述したMPEG-H 3D Audio規格で定められているオーディオ信号とメタデータの送信方法では、フレーム内の最後のサンプルのメタデータのみが送信される。そのため、補間処理により各サンプルのVBAPゲインを算出する場合には、現フレームよりも前のフレームの最後のサンプルのVBAPゲインが必要となる。
　したがって、例えば再生側（復号側）において、任意のフレームのオーディオ信号から再生を開始するランダムアクセスをしようとしても、そのランダムアクセスしたフレームよりも前のフレームのVBAPゲインは算出されていないので、VBAPゲインの補間処理を行うことができない。このような理由から、MPEG-H 3D Audio規格ではランダムアクセスを行うことができなかった。
　そこで、本技術では、各フレームや任意の間隔のフレーム等において、それらのフレームのメタデータとともに、補間処理を行うために必要となるメタデータも送信することで、現フレームよりも前のフレームのサンプル、または現フレームの先頭のサンプルのVBAPゲインを算出できるようにした。これにより、ランダムアクセスが可能となる。なお、以下では、通常のメタデータとともに送信される、補間処理を行うためのメタデータを特に追加メタデータとも称することとする。
　ここで、現フレームのメタデータとともに送信される追加メタデータは、例えば現フレームの直前のフレームの最後のサンプルのメタデータ、または現フレームの先頭のサンプルのメタデータなどとされる。
　また、フレームごとに追加メタデータがあるか否かを容易に特定することができるように、ビットストリーム内に各オブジェクトについて、フレームごとに追加メタデータの有無を示す追加メタデータフラグが格納される。例えば所定のフレームの追加メタデータフラグの値が１である場合、そのフレームには追加メタデータが存在し、追加メタデータフラグの値が０である場合には、そのフレームには追加メタデータは存在しないなどとされる。
　なお、基本的には、同一フレームの全てのオブジェクトの追加メタデータフラグの値は同じ値とされる。
　このようにフレームごとに追加メタデータフラグを送信するとともに、必要に応じて追加メタデータを送信することで、追加メタデータのあるフレームについては、ランダムアクセスを行うことができるようになる。
　なお、ランダムアクセスのアクセス先として指定されたフレームに追加メタデータがないときには、そのフレームに時間的に最も近い、追加メタデータのあるフレームをランダムアクセスのアクセス先とすればよい。したがって、適切なフレーム間隔等で追加メタデータを送信することで、ユーザに不自然さを感じさせることなくランダムアクセスを実現することが可能となる。
　以上、追加メタデータの説明を行ったが、ランダムアクセスのアクセス先として指定されたフレームにおいて、追加メタデータを用いずに、VBAPゲインの補間処理を行うようにしても良い。この場合、追加メタデータを格納することによるビットストリームのデータ量（ビットレート）の増大を抑えつつ、ランダムアクセスが可能となる。
　具体的には、ランダムアクセスのアクセス先として指定されたフレームにおいて、現フレームよりも前のフレームのVBAPゲインの値を０として、現フレームで算出されるVBAPゲインの値との補間処理を行う。なお、この方法に限らず、現フレームの各サンプルのVBAPゲインの値が、すべて、現フレームで算出されるVBAPゲインと同一の値となるように補間処理を行うようにしても良い。一方、ランダムアクセスのアクセス先として指定されないフレームにおいては、従来通り、現フレームよりも前のフレームのVBAPゲインを用いた補間処理が行われる。
　このように、ランダムアクセスのアクセス先として指定されたか否かに基づいてVBAPゲインの補間処理の切り替えを行うことにより、追加メタデータを用いずに、ランダムアクセスをすることが可能となる。
　なお、上述したMPEG-H 3D Audio規格では、フレームごとに、現フレームが、ビットストリーム内の現フレームのみのデータを用いて復号およびレンダリングできるフレーム（独立フレームと称する）であるか否かを示す、独立フラグ（indepFlagとも称する）がビットストリーム内に格納されている。独立フラグの値が１である場合、復号側では、ビットストリーム内の、現フレームよりも前のフレームのデータ、及びそのデータの復号により得られるいかなる情報も用いることなく復号およびレンダリングを行うことができるとされている。
　したがって、独立フラグの値が１である場合、現フレームよりも前のフレームのVBAPゲインを用いずに復号およびレンダリングを行うことが必要となる。
　そこで、独立フラグの値が１であるフレームにおいて、上述の追加メタデータをビットストリームに格納するようにしても良いし、上述の補間処理の切り替えを行っても良い。
　このように、独立フラグの値に応じて、ビットストリーム内に追加メタデータを格納するか否かの切り替えや、VBAPゲインの補間処理の切り替えを行うことで、独立フラグの値が１である場合に、現フレームよりも前のフレームのVBAPゲインを用いずに復号およびレンダリングを行うことが可能となる。
　さらに、上述したMPEG-H 3D Audio規格では、復号により得られるメタデータは、フレーム内の代表サンプル、つまり最後のサンプルのメタデータのみであると説明した。しかし、そもそもオーディオ信号とメタデータの符号化側においては、符号化装置に入力される圧縮（符号化）前のメタデータもフレーム内の全サンプルについて定義されているものは殆どない。つまり、オーディオ信号のフレーム内のサンプルには、符号化前の状態からメタデータのないサンプルも多い。
　現状では、例えば0番目のサンプル、1024番目のサンプル、2048番目のサンプルなどの等間隔で並ぶサンプルのみメタデータを有していたり、0番目のサンプル、138番目のサンプル、2044番目のサンプルなどの不等間隔で並ぶサンプルのみメタデータを有していたりすることが殆どである。
　このような場合、フレームによってはメタデータを有するサンプルが１つも存在しないこともあり、そのようなフレームについてはメタデータが送信されないことになる。そうすると、復号側において、メタデータを有するサンプルが１つもないフレームについて、各サンプルのVBAPゲインを算出するには、そのフレーム以降のメタデータのあるフレームのVBAPゲインの算出を行わなければならなくなる。その結果、メタデータの復号とレンダリングに遅延が発生し、リアルタイムで復号およびレンダリングを行うことができなくなってしまう。
　そこで、本技術では、符号化側において、必要に応じてメタデータを有するサンプル間の各サンプルについて、補間処理（サンプル補間）によりそれらのサンプルのメタデータを求め、復号側においてリアルタイムで復号およびレンダリングを行うことができるようにした。特に、ビデオゲームなどにおいては、オーディオ再生の遅延をできるだけ小さくしたいという要求がある。そのため、本技術により復号およびレンダリングの遅延を小さくすること、つまりゲーム操作等に対するインタラクティブ性を向上させることができるようにすることの意義は大きい。
　なお、メタデータの補間処理は、例えば線形補間、高次関数を用いた非線形補間など、どのような処理であってもよい。
〈ビットストリームについて〉
　次に、以上において説明した本技術を適用した、より具体的な実施の形態について説明する。
　各オブジェクトのオーディオ信号とメタデータを符号化する符号化装置からは、例えば図１に示すビットストリームが出力される。
　図１に示すビットストリームでは、先頭にヘッダが配置されており、そのヘッダ内には、各オブジェクトのオーディオ信号の１フレームを構成するサンプルの数、すなわち１フレームのサンプル数を示す情報（以下、サンプル数情報とも称する）が格納されている。
　そして、ビットストリームにおいてヘッダの後ろには、フレームごとのデータが配置される。具体的には、領域Ｒ１０の部分には、現フレームが、独立フレームであるか否かを示す、独立フラグが配置されている。そして、領域Ｒ１１の部分には、同一フレームの各オブジェクトのオーディオ信号を符号化して得られた符号化オーディオデータが配置されている。
　また、領域Ｒ１１に続く領域Ｒ１２の部分には、同一フレームの各オブジェクトのメタデータ等を符号化して得られた符号化メタデータが配置されている。
　例えば領域Ｒ１２内の領域Ｒ２１の部分には、１つのオブジェクトの１フレーム分の符号化メタデータが配置されている。
　この例では、符号化メタデータの先頭には、追加メタデータフラグが配置されており、その追加メタデータフラグに続いて、切り替えインデックスが配置されている。
　さらに、切り替えインデックスの次にはメタデータ個数情報とサンプルインデックスが配置されている。なお、ここではサンプルインデックスが１つだけ描かれているが、より詳細には、サンプルインデックスは、符号化メタデータに格納されるメタデータの数だけ、その符号化メタデータ内に格納される。
　符号化メタデータでは、切り替えインデックスにより示される方式が個数指定方式である場合には、切り替えインデックスに続いてメタデータ個数情報は配置されるが、サンプルインデックスは配置されない。
　また、切り替えインデックスにより示される方式がサンプル指定方式である場合には、切り替えインデックスに続いてメタデータ個数情報およびサンプルインデックスが配置される。さらに、切り替えインデックスにより示される方式が自動切り替え方式である場合には、切り替えインデックスに続いてメタデータ個数情報もサンプルインデックスも配置されない。
　必要に応じて配置されるメタデータ個数情報やサンプルインデックスに続く位置には、追加メタデータが配置され、さらにその追加メタデータに続いて各サンプルのメタデータが定義された個数分だけ配置される。
　ここで、追加メタデータは、追加メタデータフラグの値が１である場合にのみ配置され、追加メタデータフラグの値が０である場合には配置されない。
　領域Ｒ１２の部分には、領域Ｒ２１の部分に配置された符号化メタデータと同様の符号化メタデータがオブジェクトごとに並べられて配置されている。
　ビットストリームでは、領域Ｒ１０の部分に配置された独立フラグと、領域Ｒ１１の部分に配置された各オブジェクトの符号化オーディオデータと、領域Ｒ１２の部分に配置された各オブジェクトの符号化メタデータとから、１フレーム分のデータが構成される。
〈符号化装置の構成例〉
　次に、図１に示したビットストリームを出力する符号化装置の構成について説明する。図２は、本技術を適用した符号化装置の構成例を示す図である。
　符号化装置１１は、オーディオ信号取得部２１、オーディオ信号符号化部２２、メタデータ取得部２３、補間処理部２４、関連情報取得部２５、メタデータ符号化部２６、多重化部２７、および出力部２８を有している。
　オーディオ信号取得部２１は、各オブジェクトのオーディオ信号を取得してオーディオ信号符号化部２２に供給する。オーディオ信号符号化部２２は、オーディオ信号取得部２１から供給されたオーディオ信号をフレーム単位で符号化し、その結果得られた各オブジェクトのフレームごとの符号化オーディオデータを多重化部２７に供給する。
　メタデータ取得部２３は、各オブジェクトのフレームごとのメタデータ、より詳細にはフレーム内の各サンプルのメタデータを取得して補間処理部２４に供給する。ここで、メタデータには、例えば空間内におけるオブジェクトの位置を示す位置情報、オブジェクトの重要度を示す重要度情報、オブジェクトの音像の広がり度合いを示す情報などが含まれている。メタデータ取得部２３では、各オブジェクトのオーディオ信号の所定サンプル（PCMサンプル）のメタデータが取得される。
　補間処理部２４は、メタデータ取得部２３から供給されたメタデータに対する補間処理を行って、オーディオ信号のメタデータのないサンプルのうちの、全てのサンプルまたは一部の特定のサンプルのメタデータを生成する。補間処理部２４では、１つのオブジェクトの１フレームのオーディオ信号が複数のメタデータを有するように、つまり１フレーム内の複数のサンプルがメタデータを有するように、補間処理によりフレーム内のサンプルのメタデータが生成される。
　補間処理部２４は、補間処理により得られた、各オブジェクトのフレームごとのメタデータをメタデータ符号化部２６に供給する。
　関連情報取得部２５は、フレームごとに、現フレームを、独立フレームにするかを示す情報（独立フレーム情報と称する）や、各オブジェクトについて、オーディオ信号のフレームごとに、サンプル数情報や、何れの方式でメタデータを送信するかを示す情報、追加メタデータを送信するかを示す情報、どのサンプルのメタデータを送信するかを示す情報など、メタデータに関連する情報を関連情報として取得する。また、関連情報取得部２５は、取得した関連情報に基づいて、各オブジェクトについて、フレームごとに追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、およびサンプルインデックスのうちの必要な情報を生成し、メタデータ符号化部２６に供給する。
　メタデータ符号化部２６は、関連情報取得部２５から供給された情報に基づいて、補間処理部２４から供給されたメタデータの符号化を行い、その結果得られた各オブジェクトのフレームごとの符号化メタデータと、関連情報取得部２５から供給された情報に含まれる独立フレーム情報とを多重化部２７に供給する。
　多重化部２７は、オーディオ信号符号化部２２から供給された符号化オーディオデータと、メタデータ符号化部２６から供給された符号化メタデータと、メタデータ符号化部２６から供給された独立フレーム情報に基づき得られる独立フラグとを多重化してビットストリームを生成し、出力部２８に供給する。出力部２８は、多重化部２７から供給されたビットストリームを出力する。すなわち、ビットストリームが送信される。
〈符号化処理の説明〉
　符号化装置１１は、外部からオブジェクトのオーディオ信号が供給されると、符号化処理を行ってビットストリームを出力する。以下、図３のフローチャートを参照して、符号化装置１１による符号化処理について説明する。なお、この符号化処理はオーディオ信号のフレームごとに行われる。
　ステップＳ１１において、オーディオ信号取得部２１は、各オブジェクトのオーディオ信号を１フレーム分だけ取得してオーディオ信号符号化部２２に供給する。
　ステップＳ１２において、オーディオ信号符号化部２２は、オーディオ信号取得部２１から供給されたオーディオ信号を符号化し、その結果得られた各オブジェクトの１フレーム分の符号化オーディオデータを多重化部２７に供給する。
　例えばオーディオ信号符号化部２２は、オーディオ信号に対してMDCT（Modified Discrete Cosine Transform）等を行うことで、オーディオ信号を時間信号から周波数信号に変換する。そして、オーディオ信号符号化部２２は、MDCTにより得られたMDCT係数を符号化し、その結果得られたスケールファクタ、サイド情報、および量子化スペクトルを、オーディオ信号を符号化して得られた符号化オーディオデータとする。
　これにより、例えば図１に示したビットストリームの領域Ｒ１１の部分に格納される各オブジェクトの符号化オーディオデータが得られる。
　ステップＳ１３において、メタデータ取得部２３は、各オブジェクトについて、オーディオ信号のフレームごとのメタデータを取得して補間処理部２４に供給する。
　ステップＳ１４において、補間処理部２４は、メタデータ取得部２３から供給されたメタデータに対する補間処理を行って、メタデータ符号化部２６に供給する。
　例えば補間処理部２４は、１つのオーディオ信号について、所定のサンプルのメタデータとしての位置情報と、その所定のサンプルの時間的に前に位置する他のサンプルのメタデータとしての位置情報とに基づいて、線形補間によりそれらの２つのサンプルの間に位置する各サンプルの位置情報を算出する。同様に、メタデータとしての重要度情報や音像の広がり度合いを示す情報などについても線形補間等の補間処理が行われ、各サンプルのメタデータが生成される。
　なお、メタデータの補間処理では、オブジェクトの１フレームのオーディオ信号の全サンプルがメタデータ有するようにメタデータが算出されてもよいし、全サンプルのうちの必要なサンプルのみメタデータを有するようにメタデータが算出されてもよい。また、補間処理は線形補間に限らず、非線形補間であってもよい。
　ステップＳ１５において、関連情報取得部２５は、各オブジェクトのオーディオ信号のフレームについて、メタデータに関連する関連情報を取得する。
　そして、関連情報取得部２５は、取得した関連情報に基づいて、オブジェクトごとに追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、およびサンプルインデックスのうちの必要な情報を生成し、メタデータ符号化部２６に供給する。
　なお、関連情報取得部２５が追加メタデータフラグや切り替えインデックスなどを生成するのではなく、関連情報取得部２５が追加メタデータフラグや切り替えインデックスなどを外部から取得するようにしてもよい。
　ステップＳ１６において、メタデータ符号化部２６は、関連情報取得部２５から供給された追加メタデータフラグや、切り替えインデックス、メタデータ個数情報、サンプルインデックスなどに基づいて、補間処理部２４から供給されたメタデータを符号化する。
　メタデータの符号化にあたっては、各オブジェクトについて、オーディオ信号のフレーム内の各サンプルのメタデータのうち、サンプル数情報や、切り替えインデックスにより示される方式、メタデータ個数情報、サンプルインデックスなどにより定まるサンプル位置のメタデータのみが送信されるように、符号化メタデータが生成される。また、フレームの先頭サンプルのメタデータ、または保持されていた直前のフレームの最後のサンプルのメタデータが、必要に応じて追加メタデータとされる。
　符号化メタデータには、メタデータの他、追加メタデータフラグおよび切り替えインデックスが含まれ、かつ必要に応じてメタデータ個数情報やサンプルインデックス、追加メタデータなどが含まれるようにされる。
　これにより、例えば図１に示したビットストリームの領域Ｒ１２に格納される各オブジェクトの符号化メタデータが得られる。例えば領域Ｒ２１に格納されている符号化メタデータが、１つのオブジェクトの１フレーム分の符号化メタデータである。
　この場合、例えばオブジェクトの処理対象となっているフレームで個数指定方式が選択され、かつ追加メタデータが送信されるときには、追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、追加メタデータ、およびメタデータからなる符号化メタデータが生成される。
　また、例えばオブジェクトの処理対象となっているフレームでサンプル指定方式が選択され、かつ追加メタデータが送信されないときには、追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、サンプルインデックス、およびメタデータからなる符号化メタデータが生成される。
　さらに、例えばオブジェクトの処理対象となっているフレームで自動切り替え方式が選択され、かつ追加メタデータが送信されるときには、追加メタデータフラグ、切り替えインデックス、追加メタデータ、およびメタデータからなる符号化メタデータが生成される。
　メタデータ符号化部２６は、メタデータの符号化により得られた各オブジェクトの符号化メタデータと、関連情報取得部２５から供給された情報に含まれる独立フレーム情報とを多重化部２７に供給する。
　ステップＳ１７において、多重化部２７は、オーディオ信号符号化部２２から供給された符号化オーディオデータと、メタデータ符号化部２６から供給された符号化メタデータと、メタデータ符号化部２６から供給された独立フレーム情報に基づき得られる独立フラグとを多重化してビットストリームを生成し、出力部２８に供給する。
　これにより、１フレーム分のビットストリームとして、例えば図１に示したビットストリームの領域Ｒ１０乃至領域Ｒ１２の部分からなるビットストリームが生成される。
　ステップＳ１８において、出力部２８は、多重化部２７から供給されたビットストリームを出力し、符号化処理は終了する。なお、ビットストリームの先頭部分が出力される場合には、図１に示したように、サンプル数情報等が含まれるヘッダも出力される。
　以上のようにして符号化装置１１は、オーディオ信号を符号化するとともに、メタデータを符号化し、その結果得られた符号化オーディオデータと符号化メタデータとからなるビットストリームを出力する。
　このとき、１フレームに対して複数のメタデータが送信されるようにすることで、復号側において、補間処理によりVBAPゲインが算出されるサンプルの並ぶ区間の長さをより短くすることができ、より高音質な音声を得ることができるようになる。
　また、メタデータに対して補間処理を行うことで、必ず１フレームで１以上のメタデータを送信することができ、復号側においてリアルタイムで復号およびレンダリングを行うことができるようになる。さらに、必要に応じて追加メタデータを送信することで、ランダムアクセスを実現することができる。
〈復号装置の構成例〉
　続いて、符号化装置１１から出力されたビットストリームを受信（取得）して復号を行う復号装置について説明する。例えば本技術を適用した復号装置は、図４に示すように構成される。
　この復号装置５１には、再生空間に配置された複数のスピーカからなるスピーカシステム５２が接続されている。復号装置５１は、復号およびレンダリングにより得られた各チャンネルのオーディオ信号を、スピーカシステム５２を構成する各チャンネルのスピーカに供給し、音声を再生させる。
　復号装置５１は、取得部６１、分離部６２、オーディオ信号復号部６３、メタデータ復号部６４、ゲイン算出部６５、およびオーディオ信号生成部６６を有している。
　取得部６１は、符号化装置１１から出力されたビットストリームを取得して分離部６２に供給する。分離部６２は、取得部６１から供給されたビットストリームを、独立フラグと符号化オーディオデータと符号化メタデータとに分離させ、符号化オーディオデータをオーディオ信号復号部６３に供給するとともに、独立フラグと符号化メタデータとをメタデータ復号部６４に供給する。
　なお、分離部６２は、必要に応じて、ビットストリームのヘッダからサンプル数情報などの各種の情報を読み出して、オーディオ信号復号部６３やメタデータ復号部６４に供給する。
　オーディオ信号復号部６３は、分離部６２から供給された符号化オーディオデータを復号し、その結果得られた各オブジェクトのオーディオ信号をオーディオ信号生成部６６に供給する。
　メタデータ復号部６４は、分離部６２から供給された符号化メタデータを復号し、その結果得られたオブジェクトごとのオーディオ信号の各フレームのメタデータと、分離部６２から供給された独立フラグとをゲイン算出部６５に供給する。
　メタデータ復号部６４は、符号化メタデータから追加メタデータフラグを読み出す追加メタデータフラグ読み出し部７１と、符号化メタデータから切り替えインデックスを読み出す切り替えインデックス読み出し部７２を有している。
　ゲイン算出部６５は、予め保持しているスピーカシステム５２を構成する各スピーカの空間上の配置位置を示す配置位置情報と、メタデータ復号部６４から供給された各オブジェクトのフレームごとのメタデータと独立フラグとに基づいて、各オブジェクトについて、オーディオ信号のフレーム内のサンプルのVBAPゲインを算出する。
　また、ゲイン算出部６５は、所定のサンプルのVBAPゲインに基づいて、補間処理により他のサンプルのVBAPゲインを算出する補間処理部７３を有している。
　ゲイン算出部６５は、各オブジェクトについて、オーディオ信号のフレーム内のサンプルごとに算出されたVBAPゲインをオーディオ信号生成部６６に供給する。
　オーディオ信号生成部６６は、オーディオ信号復号部６３から供給された各オブジェクトのオーディオ信号と、ゲイン算出部６５から供給された各オブジェクトのサンプルごとのVBAPゲインとに基づいて、各チャンネルのオーディオ信号、すなわち各チャンネルのスピーカに供給するオーディオ信号を生成する。
　オーディオ信号生成部６６は、生成したオーディオ信号をスピーカシステム５２を構成する各スピーカに供給し、オーディオ信号に基づく音声を出力させる。
　復号装置５１では、ゲイン算出部６５およびオーディオ信号生成部６６からなるブロックが、復号により得られたオーディオ信号とメタデータに基づいてレンダリングを行うレンダラ（レンダリング部）として機能する。
〈復号処理の説明〉
　復号装置５１は、符号化装置１１からビットストリームが送信されてくると、そのビットストリームを受信（取得）して復号する復号処理を行う。以下、図５のフローチャートを参照して、復号装置５１による復号処理について説明する。なお、この復号処理はオーディオ信号のフレームごとに行われる。
　ステップＳ４１において、取得部６１は、符号化装置１１から出力されたビットストリームを１フレーム分だけ取得して分離部６２に供給する。
　ステップＳ４２において、分離部６２は、取得部６１から供給されたビットストリームを、独立フラグと符号化オーディオデータと符号化メタデータとに分離させ、符号化オーディオデータをオーディオ信号復号部６３に供給するとともに、独立フラグと符号化メタデータをメタデータ復号部６４に供給する。
　このとき、分離部６２は、ビットストリームのヘッダから読み出したサンプル数情報をメタデータ復号部６４に供給する。なお、サンプル数情報の供給タイミングは、ビットストリームのヘッダが取得されたタイミングとすればよい。
　ステップＳ４３において、オーディオ信号復号部６３は、分離部６２から供給された符号化オーディオデータを復号し、その結果得られた各オブジェクトの１フレーム分のオーディオ信号をオーディオ信号生成部６６に供給する。
　例えばオーディオ信号復号部６３は、符号化オーディオデータを復号してMDCT係数を求める。具体的には、オーディオ信号復号部６３は符号化オーディオデータとして供給されたスケールファクタ、サイド情報、および量子化スペクトルに基づいてMDCT係数を算出する。
　また、オーディオ信号復号部６３はMDCT係数に基づいて、IMDCT（Inverse Modified Discrete Cosine Transform）を行い、その結果得られたPCMデータをオーディオ信号としてオーディオ信号生成部６６に供給する。
　符号化オーディオデータの復号が行われると、その後、符号化メタデータの復号が行われる。すなわち、ステップＳ４４において、メタデータ復号部６４の追加メタデータフラグ読み出し部７１は、分離部６２から供給された符号化メタデータから追加メタデータフラグを読み出す。
　例えばメタデータ復号部６４は、分離部６２から順次供給されてくる符号化メタデータに対応するオブジェクトを順番に処理対象のオブジェクトとする。追加メタデータフラグ読み出し部７１は、処理対象とされたオブジェクトの符号化メタデータから追加メタデータフラグを読み出す。
　ステップＳ４５において、メタデータ復号部６４の切り替えインデックス読み出し部７２は、分離部６２から供給された、処理対象のオブジェクトの符号化メタデータから切り替えインデックスを読み出す。
　ステップＳ４６において、切り替えインデックス読み出し部７２は、ステップＳ４５で読み出した切り替えインデックスにより示される方式が個数指定方式であるか否かを判定する。
　ステップＳ４６において個数指定方式であると判定された場合、ステップＳ４７において、メタデータ復号部６４は、分離部６２から供給された、処理対象のオブジェクトの符号化メタデータからメタデータ個数情報を読み出す。
　処理対象のオブジェクトの符号化メタデータには、このようにして読み出されたメタデータ個数情報により示される数だけ、メタデータが格納されている。
　ステップＳ４８において、メタデータ復号部６４は、ステップＳ４７で読み出したメタデータ個数情報と、分離部６２から供給されたサンプル数情報とに基づいて、処理対象のオブジェクトのオーディオ信号のフレームにおける、送信されてきたメタデータのサンプル位置を特定する。
　例えばサンプル数情報により示される数のサンプルからなる１フレームの区間が、メタデータ個数情報により示されるメタデータ数の区間に等分され、等分された各区間の最後のサンプル位置がメタデータのサンプル位置、つまりメタデータを有するサンプルの位置とされる。このようにして求められたサンプル位置が、符号化メタデータに含まれる各メタデータのサンプル位置、つまりそれらのメタデータを有するサンプルとされる。
　なお、ここでは１フレームの区間が等分されて、それらの等分された区間の最後のサンプルのメタデータが送信される場合について説明したが、どのサンプルのメタデータを送信するかに応じて、サンプル数情報とメタデータ個数情報から各メタデータのサンプル位置が算出される。
　このようにして処理対象のオブジェクトの符号化メタデータに含まれているメタデータの個数と、各メタデータのサンプル位置が特定されると、その後、処理はステップＳ５３へと進む。
　一方、ステップＳ４６において個数指定方式でないと判定された場合、ステップＳ４９において、切り替えインデックス読み出し部７２は、ステップＳ４５で読み出した切り替えインデックスにより示される方式がサンプル指定方式であるか否かを判定する。
　ステップＳ４９においてサンプル指定方式であると判定された場合、ステップＳ５０において、メタデータ復号部６４は、分離部６２から供給された、処理対象のオブジェクトの符号化メタデータからメタデータ個数情報を読み出す。
　ステップＳ５１において、メタデータ復号部６４は、分離部６２から供給された、処理対象のオブジェクトの符号化メタデータからサンプルインデックスを読み出す。このとき、メタデータ個数情報により示される個数だけ、サンプルインデックスが読み出される。
　このようにして読み出されたメタデータ個数情報とサンプルインデックスから、処理対象のオブジェクトの符号化メタデータに格納されているメタデータの個数と、それらのメタデータのサンプル位置とを特定することができる。
　処理対象のオブジェクトの符号化メタデータに含まれているメタデータの個数と、各メタデータのサンプル位置が特定されると、その後、処理はステップＳ５３へと進む。
　また、ステップＳ４９においてサンプル指定方式でないと判定された場合、すなわち切り替えインデックスにより示される方式が自動切り替え方式である場合、処理はステップＳ５２へと進む。
　ステップＳ５２において、メタデータ復号部６４は、分離部６２から供給されたサンプル数情報に基づいて、処理対象のオブジェクトの符号化メタデータに含まれているメタデータの個数と、各メタデータのサンプル位置を特定し、処理はステップＳ５３へと進む。
　例えば自動切り替え方式では、１フレームを構成するサンプルの数に対して、送信されるメタデータの個数と、各メタデータのサンプル位置、つまりどのサンプルのメタデータを送信するかとが予め定められている。
　そのため、メタデータ復号部６４は、サンプル数情報から、処理対象のオブジェクトの符号化メタデータに格納されているメタデータの個数と、それらのメタデータのサンプル位置とを特定することができる。
　ステップＳ４８、ステップＳ５１、またはステップＳ５２の処理が行われると、ステップＳ５３において、メタデータ復号部６４は、ステップＳ４４で読み出された追加メタデータフラグの値に基づいて、追加メタデータがあるか否かを判定する。
　ステップＳ５３において、追加メタデータがあると判定された場合、ステップＳ５４において、メタデータ復号部６４は、処理対象のオブジェクトの符号化メタデータから、追加メタデータを読み出す。追加メタデータが読み出されると、その後、処理はステップＳ５５へと進む。
　これに対して、ステップＳ５３において追加メタデータがないと判定された場合、ステップＳ５４の処理はスキップされて、処理はステップＳ５５へと進む。
　ステップＳ５４で追加メタデータが読み出されたか、またはステップＳ５３において追加メタデータがないと判定されると、ステップＳ５５において、メタデータ復号部６４は、処理対象のオブジェクトの符号化メタデータからメタデータを読み出す。
　このとき、符号化メタデータからは、上述した処理により特定された個数だけ、メタデータが読み出されることになる。
　以上の処理により、処理対象のオブジェクトの１フレーム分のオーディオ信号について、メタデータと追加メタデータの読み出しが行われたことになる。
　メタデータ復号部６４は、読み出した各メタデータをゲイン算出部６５に供給する。その際、ゲイン算出部６５は、どのメタデータが、どのオブジェクトのどのサンプルのメタデータであるかを特定できるようにメタデータの供給を行う。また、追加メタデータが読み出されたときには、メタデータ復号部６４は、読み出した追加メタデータもゲイン算出部６５に供給する。
　ステップＳ５６において、メタデータ復号部６４は、全てのオブジェクトについて、メタデータの読み出しを行ったか否かを判定する。
　ステップＳ５６において、まだ全てのオブジェクトについて、メタデータの読み出しを行っていないと判定された場合、処理はステップＳ４４に戻り、上述した処理が繰り返し行われる。この場合、まだ処理対象とされていないオブジェクトが、新たな処理対象のオブジェクトとされて、そのオブジェクトの符号化メタデータからメタデータ等が読み出される。
　これに対して、ステップＳ５６において全てのオブジェクトについてメタデータの読み出しを行ったと判定された場合、メタデータ復号部６４は、分離部６２から供給された独立フラグをゲイン算出部６５に供給し、その後、処理はステップＳ５７に進み、レンダリングが開始される。
　すなわち、ステップＳ５７において、ゲイン算出部６５は、メタデータ復号部６４から供給されたメタデータや追加メタデータや独立フラグに基づいて、VBAPゲインを算出する。
　例えばゲイン算出部６５は、各オブジェクトを順番に処理対象のオブジェクトとして選択していき、さらにその処理対象のオブジェクトのオーディオ信号のフレーム内にある、メタデータのあるサンプルを、順番に処理対象のサンプルとして選択する。
　ゲイン算出部６５は、処理対象のサンプルについて、そのサンプルのメタデータとしての位置情報により示される空間上のオブジェクトの位置と、配置位置情報により示されるスピーカシステム５２の各スピーカの空間上の位置とに基づいて、VBAPにより処理対象のサンプルの各チャンネル、すなわち各チャンネルのスピーカのVBAPゲインを算出する。
　VBAPでは、オブジェクトの周囲にある３つまたは２つのスピーカから、所定のゲインで音声を出力することで、そのオブジェクトの位置に音像を定位させることができる。なお、VBAPについては、例えば「Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997」などに詳細に記載されている。
　ステップＳ５８において、補間処理部７３は補間処理を行って、メタデータのないサンプルの各スピーカのVBAPゲインを算出する。
　例えば補間処理では、直前のステップＳ５７で算出した処理対象のサンプルのVBAPゲインと、その処理対象のサンプルよりも時間的に前にある、処理対象のオブジェクトの同じフレームまたは直前のフレームのメタデータのあるサンプル（以下、参照サンプルとも称する）のVBAPゲインとが用いられる。すなわち、スピーカシステム５２を構成するスピーカ（チャンネル）ごとに、処理対象のサンプルのVBAPゲインと、参照サンプルのVBAPゲインとが用いられて、それらの処理対象のサンプルと、参照サンプルとの間にある各サンプルのVBAPゲインが線形補間等により算出される。
　なお、例えばランダムアクセスが指示された場合、もしくは、メタデータ復号部６４から供給された独立フラグの値が１である場合で、追加メタデータがある場合には、ゲイン算出部６５は追加メタデータを用いてVBAPゲインの算出を行う。
　具体的には、例えば処理対象のオブジェクトのオーディオ信号のフレーム内において、最もフレーム先頭側にある、メタデータを有するサンプルが処理対象のサンプルとされて、そのサンプルのVBAPゲインが算出されたとする。この場合、このフレームよりも前のフレームについてはVBAPゲインが算出されていないので、ゲイン算出部６５は、追加メタデータを用いて、そのフレームの先頭サンプルまたはそのフレームの直前のフレームの最後のサンプルを参照サンプルとして、その参照サンプルのVBAPゲインを算出する。
　そして、補間処理部７３は、処理対象のサンプルのVBAPゲインと、参照サンプルのVBAPゲインとから、それらの処理対象のサンプルと参照サンプルの間にある各サンプルのVBAPゲインを補間処理により算出する。
　一方、例えばランダムアクセスが指示された場合、もしくは、メタデータ復号部６４から供給された独立フラグの値が１である場合で、追加メタデータがない場合には、追加メタデータを用いたVBAPゲインの算出は行われず、補間処理の切り替えが行われる。
　具体的には、例えば処理対象のオブジェクトのオーディオ信号のフレーム内において、最もフレーム先頭側にある、メタデータを有するサンプルが処理対象のサンプルとされて、そのサンプルのVBAPゲインが算出されたとする。この場合、このフレームよりも前のフレームについてはVBAPゲインが算出されていないので、ゲイン算出部６５は、そのフレームの先頭サンプルまたはそのフレームの直前のフレームの最後のサンプルを参照サンプルとして、その参照サンプルのVBAPゲインを０として算出する。
　そして、補間処理部７３は、処理対象のサンプルのVBAPゲインと、参照サンプルのVBAPゲインとから、それらの処理対象のサンプルと参照サンプルの間にある各サンプルのVBAPゲインを補間処理により算出する。
　なお、この方法に限らず、例えば、補間される各サンプルのVBAPゲインを、すべて、処理対象のサンプルのVBAPゲインと同一の値にするように補間処理を行っても良い。
　このように、VBAPゲインの補間処理を切り替えることにより、追加メタデータがないフレームにおいても、ランダムアクセスや、独立フレームにおける復号およびレンダリングが可能となる。
　また、ここではメタデータのないサンプルのVBAPゲインが補間処理により求められる例について説明したが、メタデータ復号部６４において、メタデータのないサンプルについて、補間処理によりサンプルのメタデータが求められるようにしてもよい。この場合、オーディオ信号の全てのサンプルのメタデータが得られるので、補間処理部７３ではVBAPゲインの補間処理は行われない。
　ステップＳ５９において、ゲイン算出部６５は、処理対象のオブジェクトのオーディオ信号のフレーム内の全サンプルのVBAPゲインを算出したか否かを判定する。
　ステップＳ５９において、まだ全サンプルのVBAPゲインを算出していないと判定された場合、処理はステップＳ５７に戻り、上述した処理が繰り返し行われる。すなわち、メタデータを有する次のサンプルが処理対象のサンプルとして選択され、VBAPゲインが算出される。
　これに対して、ステップＳ５９において全サンプルのVBAPゲインを算出したと判定された場合、ステップＳ６０において、ゲイン算出部６５は、全オブジェクトのVBAPゲインを算出したか否かを判定する。
　例えば全てのオブジェクトが処理対象のオブジェクトとされて、それらのオブジェクトについて、スピーカごとの各サンプルのVBAPゲインが算出された場合、全オブジェクトのVBAPゲインを算出したと判定される。
　ステップＳ６０において、まだ全オブジェクトのVBAPゲインを算出していないと判定された場合、処理はステップＳ５７に戻り、上述した処理が繰り返し行われる。
　これに対して、ステップＳ６０において全オブジェクトのVBAPゲインを算出したと判定された場合、ゲイン算出部６５は算出したVBAPゲインをオーディオ信号生成部６６に供給し、処理はステップＳ６１へと進む。この場合、スピーカごとに算出された、各オブジェクトのオーディオ信号のフレーム内の各サンプルのVBAPゲインがオーディオ信号生成部６６へと供給される。
　ステップＳ６１において、オーディオ信号生成部６６は、オーディオ信号復号部６３から供給された各オブジェクトのオーディオ信号と、ゲイン算出部６５から供給された各オブジェクトのサンプルごとのVBAPゲインとに基づいて、各スピーカのオーディオ信号を生成する。
　例えばオーディオ信号生成部６６は、各オブジェクトのオーディオ信号のそれぞれに対して、それらのオブジェクトごとに得られた同じスピーカのVBAPゲインのそれぞれをサンプルごとに乗算して得られた信号を加算することで、そのスピーカのオーディオ信号を生成する。
　具体的には、例えばオブジェクトとしてオブジェクトOB1乃至オブジェクトOB3の３つのオブジェクトがあり、それらのオブジェクトのスピーカシステム５２を構成する所定のスピーカSP1のVBAPゲインとして、VBAPゲインG1乃至VBAPゲインG3が得られているとする。この場合、VBAPゲインG1が乗算されたオブジェクトOB1のオーディオ信号、VBAPゲインG2が乗算されたオブジェクトOB2のオーディオ信号、およびVBAPゲインG3が乗算されたオブジェクトOB3のオーディオ信号が加算され、その結果得られたオーディオ信号が、スピーカSP1に供給されるオーディオ信号とされる。
　ステップＳ６２において、オーディオ信号生成部６６は、ステップＳ６１の処理で得られた各スピーカのオーディオ信号をスピーカシステム５２の各スピーカに供給し、それらのオーディオ信号に基づいて音声を再生させ、復号処理は終了する。これにより、スピーカシステム５２によって、各オブジェクトの音声が再生される。
　以上のようにして復号装置５１は、符号化オーディオデータおよび符号化メタデータを復号し、復号により得られたオーディオ信号およびメタデータに基づいてレンダリングを行い、各スピーカのオーディオ信号を生成する。
　復号装置５１では、レンダリングを行うにあたり、オブジェクトのオーディオ信号のフレームに対して複数のメタデータが得られるので、補間処理によりVBAPゲインが算出されるサンプルの並ぶ区間の長さをより短くすることができる。これにより、より高音質な音声を得ることができるだけでなく、リアルタイムで復号とレンダリングを行うことができる。また、フレームによっては追加メタデータが符号化メタデータに含まれているので、ランダムアクセスや独立フレームにおける復号及びレンダリングを実現することもできる。また、追加メタデータが含まれないフレームにおいても、VBAPゲインの補間処理を切り替えることにより、ランダムアクセスや独立フレームにおける復号及びレンダリングを実現することもできる。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得する取得部と、
　前記符号化オーディオデータを復号する復号部と、
　前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うレンダリング部と
　を備える復号装置。
（２）
　前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている
　（１）に記載の復号装置。
（３）
　前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
　（１）または（２）に記載の復号装置。
（４）
　前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
　（３）に記載の復号装置。
（５）
　前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
　（３）に記載の復号装置。
（６）
　前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
　（３）に記載の復号装置。
（７）
　前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
　（１）乃至（６）の何れか一項に記載の復号装置。
（８）
　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
　前記符号化オーディオデータを復号し、
　前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
　ステップを含む復号方法。
（９）
　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
　前記符号化オーディオデータを復号し、
　前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
　ステップを含む処理をコンピュータに実行させるプログラム。
（１０）
　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化する符号化部と、
　前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する生成部と
　を備える符号化装置。
（１１）
　前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている
　（１０）に記載の符号化装置。
（１２）
　前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
　（１０）または（１１）に記載の符号化装置。
（１３）
　前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
　（１２）に記載の符号化装置。
（１４）
　前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
　（１２）に記載の符号化装置。
（１５）
　前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
　（１２）に記載の符号化装置。
（１６）
　前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
　（１０）乃至（１５）の何れか一項に記載の符号化装置。
（１７）
　メタデータに対する補間処理を行う補間処理部をさらに備える
　（１０）乃至（１６）の何れか一項に記載の符号化装置。
（１８）
　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
　前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
　ステップを含む符号化方法。
（１９）
　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
　前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
　ステップを含む処理をコンピュータに実行させるプログラム。
　１１　符号化装置，　２２　オーディオ信号符号化部，　２４　補間処理部，　２５　関連情報取得部，　２６　メタデータ符号化部，　２７　多重化部，　２８　出力部，　５１　復号装置，　６２　分離部，　６３　オーディオ信号復号部，　６４　メタデータ復号部，　６５　ゲイン算出部，　６６　オーディオ信号生成部，　７１　追加メタデータフラグ読み出し部，　７２　切り替えインデックス読み出し部，　７３　補間処理部

Claims (19)

  1. 　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得する取得部と、
    　前記符号化オーディオデータを復号する復号部と、
    　前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うレンダリング部と
    　を備える復号装置。
  2. 　前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている
    　請求項１に記載の復号装置。
  3. 　前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
    　請求項１に記載の復号装置。
  4. 　前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
    　請求項３に記載の復号装置。
  5. 　前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
    　請求項３に記載の復号装置。
  6. 　前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
    　請求項３に記載の復号装置。
  7. 　前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
    　請求項１に記載の復号装置。
  8. 　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
    　前記符号化オーディオデータを復号し、
    　前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
    　ステップを含む復号方法。
  9. 　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
    　前記符号化オーディオデータを復号し、
    　前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
    　ステップを含む処理をコンピュータに実行させるプログラム。
  10. 　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化する符号化部と、
    　前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する生成部と
    　を備える符号化装置。
  11. 　前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている
    　請求項１０に記載の符号化装置。
  12. 　前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
    　請求項１０に記載の符号化装置。
  13. 　前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
    　請求項１２に記載の符号化装置。
  14. 　前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
    　請求項１２に記載の符号化装置。
  15. 　前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
    　請求項１２に記載の符号化装置。
  16. 　前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
    　請求項１０に記載の符号化装置。
  17. 　メタデータに対する補間処理を行う補間処理部をさらに備える
    　請求項１０に記載の符号化装置。
  18. 　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
    　前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
    　ステップを含む符号化方法。
  19. 　オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
    　前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2016/066574 2015-06-19 2016-06-03 符号化装置および方法、復号装置および方法、並びにプログラム WO2016203994A1 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
US15/735,630 US20180315436A1 (en) 2015-06-19 2016-06-03 Encoding apparatus, encoding method, decoding apparatus, decoding method, and program
JP2017524823A JP6915536B2 (ja) 2015-06-19 2016-06-03 符号化装置および方法、復号装置および方法、並びにプログラム
KR1020187027071A KR102140388B1 (ko) 2015-06-19 2016-06-03 복호 장치, 복호 방법, 및 기록 매체
BR112017026743-8A BR112017026743B1 (pt) 2015-06-19 2016-06-03 Aparelho de decodificação, e, aparelho codificação
EP16811469.2A EP3316599B1 (en) 2015-06-19 2016-06-03 Audio decoding apparatus and audio encoding apparatus
CN201680034330.XA CN107637097B (zh) 2015-06-19 2016-06-03 编码装置和方法、解码装置和方法以及程序
CN202110632109.7A CN113470665B (zh) 2015-06-19 2016-06-03 编码装置和方法、解码装置和方法及计算机可读记录介质
MX2017016228A MX2017016228A (es) 2015-06-19 2016-06-03 Aparato codificador, metodo de codificacion, aparato decodificador, metodo de decodificacion, y programa.
RU2017143404A RU2720439C2 (ru) 2015-06-19 2016-06-03 Устройство кодирования, способ кодирования, устройство декодирования, способ декодирования и программа
CA2989099A CA2989099C (en) 2015-06-19 2016-06-03 Encoding apparatus, encoding method, decoding apparatus, decoding method, and program
KR1020177035762A KR20170141276A (ko) 2015-06-19 2016-06-03 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 기록 매체
HK18103780.8A HK1244384A1 (zh) 2015-06-19 2018-03-19 編碼裝置和方法、解碼裝置和方法以及程序
US16/447,693 US11170796B2 (en) 2015-06-19 2019-06-20 Multiple metadata part-based encoding apparatus, encoding method, decoding apparatus, decoding method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-123589 2015-06-19
JP2015123589 2015-06-19
JP2015196494 2015-10-02
JP2015-196494 2015-10-02

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/735,630 A-371-Of-International US20180315436A1 (en) 2015-06-19 2016-06-03 Encoding apparatus, encoding method, decoding apparatus, decoding method, and program
US16/447,693 Continuation US11170796B2 (en) 2015-06-19 2019-06-20 Multiple metadata part-based encoding apparatus, encoding method, decoding apparatus, decoding method, and program

Publications (1)

Publication Number Publication Date
WO2016203994A1 true WO2016203994A1 (ja) 2016-12-22

Family

ID=57545216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066574 WO2016203994A1 (ja) 2015-06-19 2016-06-03 符号化装置および方法、復号装置および方法、並びにプログラム

Country Status (12)

Country Link
US (2) US20180315436A1 (ja)
EP (1) EP3316599B1 (ja)
JP (4) JP6915536B2 (ja)
KR (2) KR20170141276A (ja)
CN (2) CN107637097B (ja)
BR (1) BR112017026743B1 (ja)
CA (2) CA3232321A1 (ja)
HK (1) HK1244384A1 (ja)
MX (1) MX2017016228A (ja)
RU (1) RU2720439C2 (ja)
TW (1) TWI607655B (ja)
WO (1) WO2016203994A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019069710A1 (ja) * 2017-10-05 2019-04-11 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP2020120377A (ja) * 2019-01-25 2020-08-06 日本放送協会 オーディオオーサリング装置、オーディオレンダリング装置、送信装置、受信装置、及び方法
JP2021530723A (ja) * 2018-07-02 2021-11-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 没入的オーディオ信号を含むビットストリームを生成またはデコードするための方法および装置
WO2022009694A1 (ja) * 2020-07-09 2022-01-13 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2023526136A (ja) * 2020-05-26 2023-06-20 ドルビー・インターナショナル・アーベー 効率的なダッキング利得適用による改善されたメイン‐関連オーディオ体験

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607655B (zh) * 2015-06-19 2017-12-01 Sony Corp Coding apparatus and method, decoding apparatus and method, and program
RU2632473C1 (ru) * 2016-09-30 2017-10-05 ООО "Ай Ти Ви групп" Способ обмена данными между ip видеокамерой и сервером (варианты)
CN114898761A (zh) * 2017-08-10 2022-08-12 华为技术有限公司 立体声信号编解码方法及装置
US10650834B2 (en) 2018-01-10 2020-05-12 Savitech Corp. Audio processing method and non-transitory computer readable medium
CN114128309B (zh) * 2019-07-19 2024-05-07 索尼集团公司 信号处理装置和方法、以及程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014036121A1 (en) * 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352406B2 (ja) * 1998-09-17 2002-12-03 松下電器産業株式会社 オーディオ信号の符号化及び復号方法及び装置
US7624021B2 (en) * 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
EP2629292B1 (en) 2006-02-03 2016-06-29 Electronics and Telecommunications Research Institute Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue
CN101290774B (zh) * 2007-01-31 2011-09-07 广州广晟数码技术有限公司 音频编码和解码系统
EP2158791A1 (en) * 2007-06-26 2010-03-03 Koninklijke Philips Electronics N.V. A binaural object-oriented audio decoder
CN102714035B (zh) * 2009-10-16 2015-12-16 弗兰霍菲尔运输应用研究公司 用以提供一或多个经调整参数的装置及方法
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
WO2013001325A1 (en) * 2011-06-29 2013-01-03 Thomson Licensing Managing common content on a distributed storage system
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
US9516446B2 (en) * 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
WO2014087277A1 (en) * 2012-12-06 2014-06-12 Koninklijke Philips N.V. Generating drive signals for audio transducers
WO2014091375A1 (en) * 2012-12-14 2014-06-19 Koninklijke Philips N.V. Reverberation processing in an audio signal
MX347551B (es) * 2013-01-15 2017-05-02 Koninklijke Philips Nv Procesamiento de audio binaural.
RU2602332C1 (ru) * 2013-01-21 2016-11-20 Долби Лабораторис Лайсэнзин Корпорейшн Перекодировка метаданных
US9607624B2 (en) * 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
US8804971B1 (en) * 2013-04-30 2014-08-12 Dolby International Ab Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio
CN109712630B (zh) * 2013-05-24 2023-05-30 杜比国际公司 包括音频对象的音频场景的高效编码
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
TWI607655B (zh) * 2015-06-19 2017-12-01 Sony Corp Coding apparatus and method, decoding apparatus and method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法
WO2014036121A1 (en) * 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11595056B2 (en) 2017-10-05 2023-02-28 Sony Corporation Encoding device and method, decoding device and method, and program
JP7358986B2 (ja) 2017-10-05 2023-10-11 ソニーグループ株式会社 復号装置および方法、並びにプログラム
CN111164679B (zh) * 2017-10-05 2024-04-09 索尼公司 编码装置和方法、解码装置和方法以及程序
JPWO2019069710A1 (ja) * 2017-10-05 2020-11-05 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2019069710A1 (ja) * 2017-10-05 2019-04-11 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
CN111164679A (zh) * 2017-10-05 2020-05-15 索尼公司 编码装置和方法、解码装置和方法以及程序
JP2021530723A (ja) * 2018-07-02 2021-11-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 没入的オーディオ信号を含むビットストリームを生成またはデコードするための方法および装置
US12020718B2 (en) 2018-07-02 2024-06-25 Dolby International Ab Methods and devices for generating or decoding a bitstream comprising immersive audio signals
JP7575947B2 (ja) 2018-07-02 2024-10-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 没入的オーディオ信号を含むビットストリームを生成するための方法および装置
JP7441057B2 (ja) 2019-01-25 2024-02-29 日本放送協会 オーディオオーサリング装置、オーディオレンダリング装置、送信装置、受信装置、及び方法
JP2020120377A (ja) * 2019-01-25 2020-08-06 日本放送協会 オーディオオーサリング装置、オーディオレンダリング装置、送信装置、受信装置、及び方法
JP7434610B2 (ja) 2020-05-26 2024-02-20 ドルビー・インターナショナル・アーベー 効率的なダッキング利得適用による改善されたメイン‐関連オーディオ体験
JP2023526136A (ja) * 2020-05-26 2023-06-20 ドルビー・インターナショナル・アーベー 効率的なダッキング利得適用による改善されたメイン‐関連オーディオ体験
WO2022009694A1 (ja) * 2020-07-09 2022-01-13 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US20180315436A1 (en) 2018-11-01
EP3316599A1 (en) 2018-05-02
TWI607655B (zh) 2017-12-01
KR102140388B1 (ko) 2020-07-31
JP2023025251A (ja) 2023-02-21
EP3316599A4 (en) 2019-02-20
JP6915536B2 (ja) 2021-08-04
JP7205566B2 (ja) 2023-01-17
US11170796B2 (en) 2021-11-09
MX2017016228A (es) 2018-04-20
JPWO2016203994A1 (ja) 2018-04-05
JP2021114001A (ja) 2021-08-05
RU2017143404A (ru) 2019-06-13
CA2989099C (en) 2024-04-16
CA2989099A1 (en) 2016-12-22
RU2720439C2 (ru) 2020-04-29
CA3232321A1 (en) 2016-12-22
KR20180107307A (ko) 2018-10-01
EP3316599B1 (en) 2020-10-28
BR112017026743A2 (ja) 2018-08-28
KR20170141276A (ko) 2017-12-22
US20190304479A1 (en) 2019-10-03
CN113470665B (zh) 2024-08-16
CN107637097B (zh) 2021-06-29
RU2017143404A3 (ja) 2019-11-13
CN113470665A (zh) 2021-10-01
JP2024111209A (ja) 2024-08-16
HK1244384A1 (zh) 2018-08-03
JP7509190B2 (ja) 2024-07-02
CN107637097A (zh) 2018-01-26
TW201717663A (zh) 2017-05-16
BR112017026743B1 (pt) 2022-12-27

Similar Documents

Publication Publication Date Title
JP7509190B2 (ja) 復号装置および方法、並びにプログラム
JP6510541B2 (ja) 環境高次アンビソニックス係数の遷移
US9875746B2 (en) Encoding device and method, decoding device and method, and program
US9847088B2 (en) Intermediate compression for higher order ambisonic audio data
RU2689438C2 (ru) Устройство кодирования и способ кодирования, устройство декодирования и способ декодирования и программа
US9875745B2 (en) Normalization of ambient higher order ambisonic audio data
JP7459913B2 (ja) 信号処理装置および方法、並びにプログラム
US20170092280A1 (en) Information processing apparatus and information processing method
JP6619091B2 (ja) 高次アンビソニック（ｈｏａ）コンテンツの画面に関連した適応
KR102677399B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
JP4743228B2 (ja) デジタル音声信号解析方法、その装置、及び映像音声記録装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811469

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524823

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2989099

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20177035762

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15735630

Country of ref document: US

Ref document number: 2017143404

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: MX/A/2017/016228

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016811469

Country of ref document: EP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112017026743

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112017026743

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20171212