[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2013047325A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2013047325A1
WO2013047325A1 PCT/JP2012/074092 JP2012074092W WO2013047325A1 WO 2013047325 A1 WO2013047325 A1 WO 2013047325A1 JP 2012074092 W JP2012074092 W JP 2012074092W WO 2013047325 A1 WO2013047325 A1 WO 2013047325A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
image
unit
processing
deblocking
Prior art date
Application number
PCT/JP2012/074092
Other languages
English (en)
French (fr)
Inventor
優 池田
小川　一哉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2013047325A1 publication Critical patent/WO2013047325A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of reducing line memory with a simple processing structure.
  • a deblocking filter, an adaptive loop filter, and an adaptive offset filter are employed as in-loop filters.
  • processing is performed in the order of a deblocking filter, an adaptive offset filter, and an adaptive loop filter.
  • LCU boundary On the horizontal boundary of the LCU, which is the largest coding unit (hereinafter also simply referred to as an LCU boundary), each line It is necessary to have a memory, and in total, a large amount of line memory is required.
  • Non-Patent Document 1 the adaptive offset filter processing (tap reference pixel) for a line held for deblocking uses a reconstructed pixel (that is, a pixel before deblocking).
  • a reconstructed pixel that is, a pixel before deblocking
  • Non-Patent Document 1 is processing specialized for LCU-based processing. Therefore, when the deblocking filter, the adaptive offset filter, and the adaptive offset filter each perform frame processing by software or the like, the control becomes quite complicated.
  • the present disclosure has been made in view of such a situation, and can reduce the line memory with a simple processing structure.
  • An image processing device includes a decoding unit that decodes an encoded stream to generate an image, and a first filter process for a reconstructed image of the image generated by the decoding unit.
  • a first filter for performing a second filter process different from the first filter process for the reconstructed image of the image generated by the decoding unit, and the first filter An arithmetic unit that performs arithmetic processing using the image on which the filter processing has been performed and the image on which the second filter processing has been performed is provided.
  • a control unit that controls the first filter and the second filter may be further provided so that the first filter processing and the second filter processing are performed in parallel.
  • the control unit can control to match the output phases of the first filter and the second filter.
  • the image processing apparatus further includes a memory that holds a reconstructed image of the image generated by the decoding unit, and the first filter and the second filter can acquire the reconstructed image from the memory.
  • the first filter is a filter that removes block boundary noise.
  • the first filter is a deblocking filter.
  • the deblocking filter may include a filter applied to the left and right pixels of the vertical boundary and a filter applied to the pixels above and below the horizontal boundary.
  • the control unit can perform control so that the filter processing applied to the left and right pixels of the vertical boundary and the filter processing applied to the pixels above and below the horizontal boundary are performed in parallel.
  • the second filter may include at least one of a third filter that removes ringing and a fourth filter that performs class classification on a block basis.
  • the third filter is an adaptive offset filter
  • the fourth filter is an adaptive loop filter
  • the calculation unit includes an image on which the first filter processing has been performed and an image on which the second filter processing has been performed with a first calculation coefficient corresponding to the first filter processing and the second It is possible to perform arithmetic processing so that addition is performed as a linear sum using the second arithmetic coefficient corresponding to the filter processing.
  • the first calculation coefficient and the second calculation coefficient are set according to the distance from the vertical boundary and the horizontal boundary.
  • an image processing apparatus generates an image by decoding an encoded stream, and performs a first filter process on a reconstructed image of the generated image. Then, a second filter process different from the first filter process is performed on the reconstructed image of the generated image, and the image subjected to the first filter process and the second filter process are performed. An arithmetic process is performed using the broken image.
  • An image processing device includes a first filter that performs a first filter process on a reconstructed image of an image that has been subjected to local decoding processing when the image is encoded, and the local decoding For a reconstructed image of the processed image, a second filter that performs a second filter process different from the first filter process, an image that has been subjected to the first filter process, and the second filter process
  • arithmetic unit that performs arithmetic processing using an image that has been subjected to filter processing
  • an encoding unit that encodes the image using an image that is a result of arithmetic processing performed by the arithmetic unit.
  • a control unit that controls the first filter and the second filter may be further provided so that the first filter processing and the second filter processing are performed in parallel.
  • the control unit can control to match the output phases of the first filter and the second filter.
  • the image processing apparatus further includes a memory that holds a reconstructed image of the image generated by the decoding unit, and the first filter and the second filter can acquire the reconstructed image from the memory.
  • the image processing apparatus performs first filter processing on a reconstructed image of an image that has been locally decoded when the image is encoded, and performs the local decoding
  • a second filter process different from the first filter process is performed on the reconstructed image of the processed image, and the image subjected to the first filter process and the second filter process are performed.
  • the image is subjected to arithmetic processing, and the image is encoded using the image that is the result of the arithmetic processing.
  • An image processing device includes a decoding unit that decodes an encoded stream to generate an image, and a first filter process for a reconstructed image of the image generated by the decoding unit. And a second filter that performs a second filter process different from the first filter process on the image that has been subjected to the first filter process by the first filter. And an arithmetic unit that performs arithmetic processing using the image on which the first filter processing has been performed and the image on which the second filter processing has been performed.
  • an image processing apparatus generates an image by decoding an encoded stream, and performs a first filter process on a reconstructed image of the generated image.
  • the second filter processing different from the first filter processing is performed on the image on which the first filter processing has been performed, and the image on which the first filter processing has been performed and the second filter
  • An arithmetic process is performed using the processed image.
  • an image is generated by decoding an encoded stream, and a first filter process is performed on a reconstructed image of the generated image.
  • a second filter process different from the first filter process is performed on the reconstructed image of the generated image. Then, arithmetic processing is performed using the image on which the first filter processing has been performed and the image on which the second filter processing has been performed.
  • the first filter processing is performed on the reconstructed image of the image that has been locally decoded when the image is encoded.
  • a second filter process different from the first filter process is performed on the reconstructed image of the image subjected to the local decoding process.
  • arithmetic processing is performed using the image that has been subjected to the first filter processing and the image that has been subjected to the second filter processing, and the image is encoded using the image that is the result of the arithmetic processing. It becomes.
  • an image is generated by decoding an encoded stream, and a first filter process is performed on a reconstructed image of the generated image.
  • a second filter process different from the first filter process is performed on the image on which the first filter process has been performed.
  • arithmetic processing is performed using the image on which the first filter processing has been performed and the image on which the second filter processing has been performed.
  • the above-described image processing apparatus may be an independent apparatus, or may be an internal block constituting one image encoding apparatus or image decoding apparatus.
  • an image can be decoded.
  • the line memory can be reduced with a simple processing structure.
  • an image can be encoded.
  • the line memory can be reduced with a simple processing structure.
  • FIG. 1 It is a block diagram which shows the main structural examples of an image coding apparatus. It is a flowchart explaining the example of the flow of an encoding process. It is a block diagram which shows the main structural examples of an image decoding apparatus. It is a flowchart explaining the example of the flow of a decoding process. It is a figure explaining each line memory number required in the LCU boundary of the conventional in-loop filter. It is a block diagram which shows the structural example of the conventional in-loop filter. It is a block diagram which shows the structural example of the in-loop filter to which this indication is applied. It is a figure which shows the example of the pixel of a LCU boundary. FIG.
  • FIG. 8 is a block diagram illustrating a more detailed configuration example of the in-loop filter of FIG. 7. It is a flowchart explaining the process of the in-loop filter of FIG. It is a figure explaining the determination of the weight for a weighted average. It is a figure which shows an example of the weight for a weighted average. It is a figure which shows the output pixel value from the calculating part according to the determination result of the necessity of filtering in a vertical boundary and a horizontal boundary. It is a figure which shows the pattern of the parallel processing which can comprise an in-loop filter. It is a block diagram showing other examples of composition of an in-loop filter to which this indication is applied.
  • FIG. 26 is a block diagram illustrating a main configuration example of a personal computer. It is a block diagram which shows an example of a schematic structure of a television apparatus. It is a block diagram which shows an example of a schematic structure of a mobile telephone. It is a block diagram which shows an example of a schematic structure of a recording / reproducing apparatus. It is a block diagram which shows an example of a schematic structure of an imaging device.
  • FIG. 1 illustrates a configuration of an embodiment of an image encoding device as an image processing device to which the present disclosure is applied.
  • the image encoding device 11 shown in FIG. 1 encodes image data using a prediction process.
  • a prediction process for example, HEVC (High) Efficiency Video Coding) method or the like is used.
  • the image encoding device 11 includes an A / D (Analog / Digital) conversion unit 21, a screen rearrangement buffer 22, a calculation unit 23, an orthogonal transformation unit 24, a quantization unit 25, and a lossless encoding unit 26. And a storage buffer 27.
  • the image encoding device 11 includes an inverse quantization unit 28, an inverse orthogonal transform unit 29, a calculation unit 30, an in-loop filter 31a, a frame memory 32, a selection unit 33, an intra prediction unit 34, a motion prediction / compensation unit 35, A predicted image selection unit 36 and a rate control unit 37 are included.
  • the A / D converter 21 A / D converts the input image data, outputs it to the screen rearrangement buffer 22, and stores it.
  • the screen rearrangement buffer 22 rearranges the stored frame images in the display order in the order of frames for encoding according to the GOP (Group of Picture) structure.
  • the screen rearrangement buffer 22 supplies the image with the rearranged frame order to the arithmetic unit 23.
  • the screen rearrangement buffer 22 also supplies the image in which the frame order is rearranged to the intra prediction unit 34 and the motion prediction / compensation unit 35.
  • the calculation unit 23 subtracts the predicted image supplied from the intra prediction unit 34 or the motion prediction / compensation unit 35 via the predicted image selection unit 36 from the image read from the screen rearrangement buffer 22, and the difference information Is output to the orthogonal transform unit 24.
  • the calculation unit 23 subtracts the prediction image supplied from the intra prediction unit 34 from the image read from the screen rearrangement buffer 22.
  • the calculation unit 23 subtracts the prediction image supplied from the motion prediction / compensation unit 35 from the image read from the screen rearrangement buffer 22.
  • the orthogonal transform unit 24 performs orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform on the difference information supplied from the computation unit 23 and supplies the transform coefficient to the quantization unit 25.
  • the quantization unit 25 quantizes the transform coefficient output from the orthogonal transform unit 24.
  • the quantization unit 25 supplies the quantized transform coefficient to the lossless encoding unit 26.
  • the lossless encoding unit 26 performs lossless encoding such as variable length encoding and arithmetic encoding on the quantized transform coefficient.
  • the lossless encoding unit 26 acquires parameters such as information indicating the intra prediction mode from the intra prediction unit 34, and acquires parameters such as information indicating the inter prediction mode and motion vector information from the motion prediction / compensation unit 35.
  • the lossless encoding unit 26 encodes the quantized transform coefficient, encodes each acquired parameter (syntax element), and uses it as part of the header information of the encoded data (multiplexes).
  • the lossless encoding unit 26 supplies the encoded data obtained by encoding to the accumulation buffer 27 for accumulation.
  • lossless encoding processing such as variable length encoding or arithmetic encoding is performed.
  • variable length coding include CAVLC (Context-Adaptive Variable Length Coding).
  • arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).
  • the accumulation buffer 27 temporarily stores the encoded data supplied from the lossless encoding unit 26, and, for example, as a coded image encoded at a predetermined timing, for example, a recording device (not shown) or a transmission in the subsequent stage. Output to the road.
  • the transform coefficient quantized by the quantization unit 25 is also supplied to the inverse quantization unit 28.
  • the inverse quantization unit 28 inversely quantizes the quantized transform coefficient by a method corresponding to the quantization by the quantization unit 25.
  • the inverse quantization unit 28 supplies the obtained transform coefficient to the inverse orthogonal transform unit 29.
  • the inverse orthogonal transform unit 29 performs inverse orthogonal transform on the supplied transform coefficient by a method corresponding to the orthogonal transform processing by the orthogonal transform unit 24.
  • the inversely orthogonally transformed output (restored difference information) is supplied to the arithmetic unit 30.
  • the calculation unit 30 is supplied from the intra prediction unit 34 or the motion prediction / compensation unit 35 to the inverse orthogonal transform result supplied from the inverse orthogonal transform unit 29, that is, the restored difference information, via the predicted image selection unit 36. Predicted images are added to obtain a locally decoded image (decoded image).
  • the calculation unit 30 adds the prediction image supplied from the intra prediction unit 34 to the difference information.
  • the calculation unit 30 adds the predicted image supplied from the motion prediction / compensation unit 35 to the difference information.
  • the decoded image as the addition result is supplied to the in-loop filter 31a and the frame memory 32.
  • the in-loop filter 31a is configured to include a deblock filter, an adaptive offset filter, and an adaptive loop filter.
  • the in-loop filter 31a applies a process of a deblocking filter, an adaptive offset filter, and an adaptive loop filter to a decoded image pixel (that is, a reconstructed pixel), and an image obtained by adding the filter processing results to the frame memory 32. To supply.
  • the in-loop filter 31a At least two processes of the deblocking filter vertical and horizontal, the adaptive offset filter, and the adaptive loop filter are performed in parallel. Details of the configuration and operation of the in-loop filter 31a will be described later with reference to FIG.
  • the frame memory 32 outputs the stored reference image to the intra prediction unit 34 or the motion prediction / compensation unit 35 via the selection unit 33 at a predetermined timing.
  • the frame memory 32 supplies the reference image to the intra prediction unit 34 via the selection unit 33.
  • the frame memory 32 supplies the reference image to the motion prediction / compensation unit 35 via the selection unit 33.
  • the selection unit 33 supplies the reference image to the intra prediction unit 34 when the reference image supplied from the frame memory 32 is an image to be subjected to intra coding.
  • the selection unit 33 also supplies the reference image to the motion prediction / compensation unit 35 when the reference image supplied from the frame memory 32 is an image to be inter-encoded.
  • the intra prediction unit 34 performs intra prediction (intra-screen prediction) for generating a predicted image using pixel values in the screen.
  • the intra prediction unit 34 performs intra prediction in a plurality of modes (intra prediction modes).
  • the intra prediction unit 34 generates prediction images in all intra prediction modes, evaluates each prediction image, and selects an optimal mode. When the optimal intra prediction mode is selected, the intra prediction unit 34 supplies the prediction image generated in the optimal mode to the calculation unit 23 and the calculation unit 30 via the predicted image selection unit 36.
  • the intra prediction unit 34 supplies parameters such as intra prediction mode information indicating the adopted intra prediction mode to the lossless encoding unit 26 as appropriate.
  • the motion prediction / compensation unit 35 uses the input image supplied from the screen rearrangement buffer 22 and the reference image supplied from the frame memory 32 via the selection unit 33 for the image to be inter-coded, Motion prediction is performed, motion compensation processing is performed according to the detected motion vector, and a predicted image (inter predicted image information) is generated.
  • the motion prediction / compensation unit 35 performs inter prediction processing in all candidate inter prediction modes, and generates a prediction image.
  • the motion prediction / compensation unit 35 supplies the generated predicted image to the calculation unit 23 and the calculation unit 30 via the predicted image selection unit 36.
  • the motion prediction / compensation unit 35 supplies parameters such as inter prediction mode information indicating the employed inter prediction mode and motion vector information indicating the calculated motion vector to the lossless encoding unit 26.
  • the predicted image selection unit 36 supplies the output of the intra prediction unit 34 to the calculation unit 23 and the calculation unit 30 in the case of an image to be subjected to intra coding, and in the case of an image to be subjected to inter coding, the motion prediction / compensation unit 35.
  • the output is supplied to the calculation unit 23 and the calculation unit 30.
  • the rate control unit 37 controls the quantization operation rate of the quantization unit 25 based on the compressed image stored in the storage buffer 27 so that overflow or underflow does not occur.
  • step S11 the A / D converter 21 A / D converts the input image.
  • step S12 the screen rearrangement buffer 22 stores the A / D converted images, and rearranges them from the display order of each picture to the encoding order.
  • a decoded image to be referred to is read from the frame memory 32 and the intra prediction unit via the selection unit 33 34.
  • the intra prediction unit 34 performs intra prediction on the pixels of the block to be processed in all candidate intra prediction modes. Note that pixels that are not filtered by the in-loop filter 31 are used as the decoded pixels that are referred to.
  • intra prediction is performed in all candidate intra prediction modes, and cost function values are calculated for all candidate intra prediction modes. Then, based on the calculated cost function value, the optimal intra prediction mode is selected, and the predicted image generated by the intra prediction of the optimal intra prediction mode and its cost function value are supplied to the predicted image selection unit 36.
  • the processing target image supplied from the screen rearrangement buffer 22 is an inter-processed image
  • the referenced image is read from the frame memory 32 and supplied to the motion prediction / compensation unit 35 via the selection unit 33. Is done.
  • the motion prediction / compensation unit 35 performs motion prediction / compensation processing.
  • motion prediction processing is performed in all candidate inter prediction modes, cost function values are calculated for all candidate inter prediction modes, and optimal inter prediction is performed based on the calculated cost function values. The mode is determined. Then, the predicted image generated in the optimal inter prediction mode and its cost function value are supplied to the predicted image selection unit 36.
  • step S15 the predicted image selection unit 36 selects one of the optimal intra prediction mode and the optimal inter prediction mode based on the cost function values output from the intra prediction unit 34 and the motion prediction / compensation unit 35. Determine the prediction mode. Then, the predicted image selection unit 36 selects a predicted image in the determined optimal prediction mode and supplies it to the calculation units 23 and 30. This predicted image is used for calculations in steps S16 and S21 described later.
  • the prediction image selection information is supplied to the intra prediction unit 34 or the motion prediction / compensation unit 35.
  • the intra prediction unit 34 supplies information indicating the optimal intra prediction mode (that is, a parameter related to intra prediction) to the lossless encoding unit 26.
  • the motion prediction / compensation unit 35 When a prediction image in the optimal inter prediction mode is selected, the motion prediction / compensation unit 35 performs lossless encoding of information indicating the optimal inter prediction mode and information corresponding to the optimal inter prediction mode (that is, parameters relating to motion prediction). To the unit 26.
  • Information according to the optimal inter prediction mode includes motion vector information and reference frame information.
  • step S16 the calculation unit 23 calculates a difference between the image rearranged in step S12 and the predicted image selected in step S15.
  • the predicted image is supplied from the motion prediction / compensation unit 35 in the case of inter prediction, and from the intra prediction unit 34 in the case of intra prediction, to the calculation unit 23 via the predicted image selection unit 36, respectively.
  • ⁇ Difference data has a smaller data volume than the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.
  • step S17 the orthogonal transformation unit 24 orthogonally transforms the difference information supplied from the calculation unit 23. Specifically, orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed, and transformation coefficients are output.
  • orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed, and transformation coefficients are output.
  • step S18 the quantization unit 25 quantizes the transform coefficient.
  • the rate is controlled as described in the process of step S26 described later.
  • step S19 the inverse quantization unit 28 inversely quantizes the transform coefficient quantized by the quantization unit 25 with characteristics corresponding to the characteristics of the quantization unit 25.
  • step S ⁇ b> 20 the inverse orthogonal transform unit 29 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 28 with characteristics corresponding to the characteristics of the orthogonal transform unit 24.
  • step S21 the calculation unit 30 adds the predicted image input via the predicted image selection unit 36 to the locally decoded difference information, and locally decoded (ie, locally decoded) image. (Image corresponding to the input to the calculation unit 23) is generated.
  • step S ⁇ b> 22 the in-loop filter 31 a performs a filter process including a deblocking filter, an adaptive offset filter, and an adaptive loop filter on the image output from the calculation unit 30. At this time, at least two processes of the vertical and horizontal deblocking filters, the adaptive offset filter, and the adaptive loop filter are performed in parallel. Details of the in-loop filter processing will be described later with reference to FIG.
  • the decoded image from the in-loop filter 31a is output to the frame memory 32.
  • step S23 the frame memory 32 stores the filtered image.
  • an image not filtered by the in-loop filter 31a is also supplied from the arithmetic unit 30 and stored.
  • the transform coefficient quantized in step S18 described above is also supplied to the lossless encoding unit 26.
  • the lossless encoding unit 26 encodes the quantized transform coefficient output from the quantization unit 25 and each supplied parameter. That is, the difference image is subjected to lossless encoding such as variable length encoding and arithmetic encoding, and is compressed.
  • step S25 the accumulation buffer 27 accumulates the encoded difference image (that is, the encoded stream) as a compressed image.
  • the compressed image stored in the storage buffer 27 is appropriately read out and transmitted to the decoding side via the transmission path.
  • step S26 the rate control unit 37 controls the quantization operation rate of the quantization unit 25 based on the compressed image stored in the storage buffer 27 so that overflow or underflow does not occur.
  • step S26 ends, the encoding process ends.
  • FIG. 3 illustrates a configuration of an embodiment of an image decoding device as an image processing device to which the present disclosure is applied.
  • An image decoding device 51 shown in FIG. 3 is a decoding device corresponding to the image encoding device 11 of FIG.
  • encoded data encoded by the image encoding device 11 is transmitted to an image decoding device 51 corresponding to the image encoding device 11 via a predetermined transmission path and decoded.
  • the image decoding device 51 includes a storage buffer 61, a lossless decoding unit 62, an inverse quantization unit 63, an inverse orthogonal transform unit 64, a calculation unit 65, an in-loop filter 31b, a screen rearrangement buffer 67, And a D / A converter 68.
  • the image decoding device 51 includes a frame memory 69, a selection unit 70, an intra prediction unit 71, a motion prediction / compensation unit 72, and a selection unit 73.
  • the accumulation buffer 61 accumulates the transmitted encoded data. This encoded data is encoded by the image encoding device 11.
  • the lossless decoding unit 62 decodes the encoded data read from the accumulation buffer 61 at a predetermined timing by a method corresponding to the encoding method of the lossless encoding unit 26 in FIG.
  • the lossless decoding unit 62 supplies parameters such as information indicating the decoded intra prediction mode to the intra prediction unit 71, and supplies parameters such as information indicating the inter prediction mode and motion vector information to the motion prediction / compensation unit 72. .
  • the inverse quantization unit 63 inversely quantizes the coefficient data (quantization coefficient) obtained by decoding by the lossless decoding unit 62 by a method corresponding to the quantization method of the quantization unit 25 in FIG. That is, the inverse quantization unit 63 uses the quantization parameter supplied from the image encoding device 11 to perform inverse quantization of the quantization coefficient by the same method as the inverse quantization unit 28 in FIG.
  • the inverse quantization unit 63 supplies the inversely quantized coefficient data, that is, the orthogonal transform coefficient, to the inverse orthogonal transform unit 64.
  • the inverse orthogonal transform unit 64 is a method corresponding to the orthogonal transform method of the orthogonal transform unit 24 in FIG. 1, performs inverse orthogonal transform on the orthogonal transform coefficient, and converts the residual data before the orthogonal transform in the image encoding device 11 Corresponding decoding residual data is obtained.
  • the decoded residual data obtained by the inverse orthogonal transform is supplied to the arithmetic unit 65. Further, a prediction image is supplied to the calculation unit 65 from the intra prediction unit 71 or the motion prediction / compensation unit 72 via the selection unit 73.
  • the calculating unit 65 adds the decoded residual data and the predicted image, and obtains decoded image data corresponding to the image data before the predicted image is subtracted by the calculating unit 23 of the image encoding device 11.
  • the arithmetic unit 65 supplies the decoded image data to the in-loop filter 31b.
  • the in-loop filter 31b is configured to include a deblocking filter, an adaptive offset filter, and an adaptive loop filter, similarly to the in-loop filter 31a of the image encoding device 11.
  • the in-loop filter 31b performs processing of a deblocking filter, an adaptive offset filter, and an adaptive loop filter on a pixel (that is, a reconstructed pixel) of the decoded image, and rearranges the image obtained by adding the filter processing results. This is supplied to the buffer 67.
  • the in-loop filter 31b At least two processes of the deblocking filter vertical and horizontal, the adaptive offset filter, and the adaptive loop filter are performed in parallel. Details of the configuration and operation of the in-loop filter 31b will be described later with reference to FIG.
  • the screen rearrangement buffer 67 rearranges images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 22 in FIG. 1 is rearranged in the original display order.
  • the D / A converter 68 performs D / A conversion on the image supplied from the screen rearrangement buffer 67, and outputs and displays the image on a display (not shown).
  • the output of the in-loop filter 31b is further supplied to the frame memory 69.
  • the frame memory 69, the selection unit 70, the intra prediction unit 71, the motion prediction / compensation unit 72, and the selection unit 73 are the frame memory 32, the selection unit 33, the intra prediction unit 34, and the motion prediction / compensation unit of the image encoding device 11. 35 and the predicted image selection unit 36, respectively.
  • the selection unit 70 reads out the inter-processed image and the referenced image from the frame memory 69 and supplies the image to the motion prediction / compensation unit 72.
  • the selection unit 70 reads an image used for intra prediction from the frame memory 69 and supplies the image to the intra prediction unit 71.
  • the intra prediction unit 71 is appropriately supplied with information indicating the intra prediction mode obtained by decoding the header information from the lossless decoding unit 62. Based on this information, the intra prediction unit 71 generates a prediction image from the reference image acquired from the frame memory 69 and supplies the generated prediction image to the selection unit 73.
  • the motion prediction / compensation unit 72 is supplied with information (prediction mode information, motion vector information, reference frame information, flags, various parameters, etc.) obtained by decoding the header information from the lossless decoding unit 62.
  • the motion prediction / compensation unit 72 generates a prediction image from the reference image acquired from the frame memory 69 based on the information supplied from the lossless decoding unit 62 and supplies the generated prediction image to the selection unit 73.
  • the selection unit 73 selects the prediction image generated by the motion prediction / compensation unit 72 or the intra prediction unit 71 and supplies the selected prediction image to the calculation unit 65.
  • the storage buffer 61 stores the transmitted encoded data in step S51.
  • the lossless decoding unit 62 decodes the encoded data supplied from the accumulation buffer 61.
  • the I picture, P picture, and B picture encoded by the lossless encoding unit 26 in FIG. 1 are decoded.
  • parameter information such as motion vector information, reference frame information, and prediction mode information (intra prediction mode or inter prediction mode) is also decoded.
  • the prediction mode information is intra prediction mode information
  • the prediction mode information is supplied to the intra prediction unit 71.
  • the prediction mode information is inter prediction mode information
  • motion vector information corresponding to the prediction mode information is supplied to the motion prediction / compensation unit 72.
  • step S53 the intra prediction unit 71 or the motion prediction / compensation unit 72 performs a prediction image generation process corresponding to the prediction mode information supplied from the lossless decoding unit 62, respectively.
  • the intra prediction unit 71 when the intra prediction mode information is supplied from the lossless decoding unit 62, the intra prediction unit 71 generates Most Probable Mode, and generates an intra prediction image of the intra prediction mode by parallel processing.
  • the motion prediction / compensation unit 72 performs an inter prediction mode motion prediction / compensation process to generate an inter prediction image.
  • the prediction image (intra prediction image) generated by the intra prediction unit 71 or the prediction image (inter prediction image) generated by the motion prediction / compensation unit 72 is supplied to the selection unit 73.
  • step S54 the selection unit 73 selects a predicted image. That is, a prediction image generated by the intra prediction unit 71 or a prediction image generated by the motion prediction / compensation unit 72 is supplied. Therefore, the supplied predicted image is selected and supplied to the calculation unit 65, and is added to the output of the inverse orthogonal transform unit 64 in step S57 described later.
  • step S52 the transform coefficient decoded by the lossless decoding unit 62 is also supplied to the inverse quantization unit 63.
  • step S55 the inverse quantization unit 63 inversely quantizes the transform coefficient decoded by the lossless decoding unit 62 with characteristics corresponding to the characteristics of the quantization unit 25 in FIG.
  • step S56 the inverse orthogonal transform unit 29 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 28 with characteristics corresponding to the characteristics of the orthogonal transform unit 24 of FIG. As a result, the difference information corresponding to the input of the orthogonal transform unit 24 of FIG. 1 (the output of the calculation unit 23) is decoded.
  • step S57 the calculation unit 65 adds the prediction image selected in the process of step S54 described above and input via the selection unit 73 to the difference information. As a result, the original image is decoded.
  • step S58 the in-loop filter 31b performs a filter process including a deblocking filter, an adaptive offset filter, and an adaptive loop filter on the image output from the calculation unit 30. At this time, at least two processes of the vertical and horizontal deblocking filters, the adaptive offset filter, and the adaptive loop filter are performed in parallel. Details of the in-loop filter processing will be described later with reference to FIG.
  • the decoded image from the in-loop filter 31 b is output to the frame memory 69 and the screen rearrangement buffer 67.
  • step S59 the frame memory 69 stores the filtered image.
  • step S60 the screen rearrangement buffer 67 rearranges the images after the in-loop filter 31b. That is, the order of frames rearranged for encoding by the screen rearrangement buffer 22 of the image encoding device 11 is rearranged to the original display order.
  • step S61 the D / A converter 68 D / A converts the image from the screen rearrangement buffer 67. This image is output to a display (not shown), and the image is displayed.
  • step S61 ends, the decryption process ends.
  • a conventional in-loop filter processes in series in the order of a deblocking filter, an adaptive offset filter, and an adaptive loop filter, so that line memory is not used at the horizontal boundary of the LCU (Largest Coding Unit) (that is, at the bottom of the LCU). I had to have each.
  • LCU Large Coding Unit
  • H.264 and MPEG (Moving Picture Experts Group) 4 Part 10 AVC (Advanced Video Coding)
  • AVC Advanced Video Coding
  • one macroblock is divided into a plurality of motion compensation blocks. It was possible to have different motion information. That is, H. In the H.264 / AVC format, a hierarchical structure is defined by macroblocks and sub-macroblocks.
  • a coding unit (CU) is defined in the HEVC (High Efficiency Video Coding) method.
  • CU is also called Coding Tree Block (CTB).
  • CTB Coding Tree Block
  • This is an area (partial area of an image in picture units) serving as an encoding (decoding) processing unit that plays the same role as a macroblock in the H.264 / AVC format.
  • the latter is fixed to a size of 16 ⁇ 16 pixels, whereas the size of the former is not fixed, and is specified in the image compression information in each sequence.
  • the maximum size (LCU (Largest Coding Unit)) and the minimum size ((SCU (Smallest Coding Unit)) are specified. Is done.
  • the CU division line is not shown, but the size of the LCU is 16 ⁇ 16 pixels, and four 8 ⁇ 8 pixel CUs are included therein. An example is shown.
  • H In the case of an encoding method in which a CU is defined and various processes are performed in units of the CU as in the HEVC method above, H. It can be considered that a macroblock in the H.264 / AVC format corresponds to an LCU, and a block (subblock) corresponds to a CU. However, since the CU has a hierarchical structure, the size of the LCU in the highest hierarchy is H.264, for example, 128 ⁇ 128 pixels. Generally, it is set larger than the macroblock of the H.264 / AVC format.
  • LCU It also includes macroblocks in the H.264 / AVC format. It also includes blocks (sub-blocks) in the H.264 / AVC format.
  • FIG. 5 an example of a luminance signal is shown.
  • the bottom indicates the LCU boundary, and the circle indicates a pixel.
  • the circles in the first to third lines from the LCU boundary represent pixels at which deblocking V (vertical) filter processing at the horizontal boundary is started when the next LCU is input to the deblocking filter.
  • the circles indicated by hatching in the first to third lines represent pixels that have been partially deblocked H (horizontal) filtered at the vertical boundary of the CUs included in the LCU.
  • white circles represent pixels that are not actually subjected to deblocking H filter processing at the vertical boundary of the CU.
  • the pixel on the fourth line from the LCU boundary is a pixel that has been subjected to deblocking V filter processing and that has not been subjected to adaptive offset filter (SAO: “Sample” adaptive ”offset) processing.
  • the pixels on the fourth line are also referred to in the deblocking V filter processing on the first to third lines.
  • Pixels on the fifth line from the LCU boundary are pixels that have been subjected to deblocking V filter processing and adaptive offset filtering.
  • the pixel on the sixth line from the LCU boundary is a pixel that has been subjected to the adaptive offset filter process and has not been subjected to an adaptive loop filter (ALF).
  • ALF adaptive loop filter
  • the circles on the 7th to 16th lines from the LCU boundary represent pixels after adaptive loop filter (ALF) processing.
  • ALF adaptive loop filter
  • the deblocking filter processes the pixels on the first to third lines from the LCU boundary at the LCU boundary, the LCU pixels (pixels for the next four lines) that are in contact below the LCU boundary are not input.
  • the deblocking V filter process cannot be started.
  • the deblocking filter line memory holds pixels for a total of four lines, that is, the pixels of the first to third lines to be processed next and the pixels of the fourth line as reference pixels, as shown in FIG.
  • the deblocking V filter process is on standby (temporarily stopped).
  • the adaptive offset filter refers to the filter processing of the pixel on the fifth line from the LCU boundary held in the line memory of the adaptive offset filter, and refers to the pixel on the fourth line from the LCU boundary held in the line memory of the deblocking filter. To complete.
  • the adaptive offset filter cannot start processing the pixel on the fourth line from the next LCU boundary. Therefore, the adaptive offset filter processing also waits in the state of FIG. 5 in which the pixel of the fifth line from the LCU boundary is held in the line memory of the adaptive offset filter.
  • the adaptive loop filter completes the filtering process (for example, 5 taps) of the pixel on the seventh line from the LCU boundary with reference to the pixels on the fifth and sixth lines and the pixel on the eighth and ninth lines from the LCU boundary. At this time, the adaptive loop filter releases from the line memory of the adaptive loop filter the 9th line pixel that is not necessary for the filter processing of the 6th line pixel from the next LCU boundary. Pixels for 4th to 8th lines are held.
  • the deblocking filter for the pixel on the fourth line is not completed for the pixel on the fourth line, which is referred to for filtering the pixel on the sixth line from the next LCU boundary
  • the deblocking filter cannot be released, and the adaptive loop filter Is not input to the line memory. Therefore, the adaptive loop filter cannot start the next process. Therefore, the adaptive loop filter processing also waits in the state shown in FIG. 5 in which the pixels of the fourth to fifth lines from the LCU boundary are held in the line memory of the adaptive loop filter.
  • FIG. 6 is a block diagram illustrating a configuration example of a conventional in-loop filter.
  • the in-loop filter shown in FIG. 6 includes a deblocking filter unit 101, an adaptive offset filter unit 102, and an adaptive loop filter unit 103.
  • the deblocking filter unit 101 is configured to include an H (horizontal) filter 111, a V (vertical) filter 112, and a line memory 113, and removes noise at a block CU (LCU) boundary from an input pixel. Blocking filter processing is performed.
  • the H filter 111 is a deblocking filter applied to the left and right (horizontal direction) pixels of the vertical boundary between the left and right adjacent CUs (LCUs) in the input image.
  • the V filter 112 is a deblocking filter that is applied to pixels above and below (vertically) a horizontal boundary between CUs (LCUs) adjacent to each other in the input image.
  • the line memory 113 temporarily holds a reconstructed pixel that is an input pixel input from the previous stage at the LCU boundary. As described above with reference to FIG. 5, the line memory 113 holds pixels for four lines for luminance (Y) and pixels for two lines for color difference (C) at the LCU boundary.
  • the deblocking filter unit 101 normally performs the filtering process by the H filter 111 and the filtering process by the V filter 112 on the reconstructed pixel that is the input pixel from the previous stage (except for the LCU boundary).
  • the deblocking filter unit 101 outputs the filtered pixel to the adaptive offset filter unit 102.
  • the deblocking filter unit 101 once holds the reconstructed pixel, which is the input pixel from the previous stage, in the line memory 113.
  • the deblocking filter unit 101 performs filtering using the H filter 111 using the input pixels and the pixels held in the line memory 113, and the V filter 112. Filter processing is performed.
  • the deblocking filter unit 101 outputs the filtered pixel to the adaptive offset filter unit 102.
  • the adaptive offset filter unit 102 is configured to include an offset filter 121 and a line memory 122, and performs an offset filter process that mainly removes ringing on the decoded image from the deblocking filter unit 101.
  • the line memory 122 holds pixels for one line for luminance (Y) and holds pixels for one line for color difference (C) at the LCU boundary.
  • the adaptive offset filter unit 102 normally performs a filter process using the offset filter 121 on the pixels subjected to the filter process by the deblocking filter unit 101, and outputs the filtered pixels to the adaptive loop filter unit 103. .
  • the adaptive offset filter unit 102 temporarily holds the reconstructed pixel that is an input pixel from the deblocking filter unit 101 in the line memory 122.
  • the adaptive offset filter unit 102 performs a filtering process by the offset filter 121 using the input pixel and the pixel held in the line memory 122.
  • the adaptive offset filter unit 102 outputs the filtered pixel to the adaptive offset filter unit 102.
  • the adaptive loop filter unit 103 is configured to include a loop filter 131 and a line memory 132, performs class classification on a block basis on the decoded image from the adaptive offset filter unit 102, and performs adaptive loop filter processing.
  • the loop filter 131 is composed of, for example, a two-dimensional Wiener filter. As described above with reference to FIG. 5, the line memory 132 holds pixels for four lines for luminance (Y) and pixels for four lines for color difference (C) at the LCU boundary.
  • the adaptive loop filter unit 103 normally performs a filter process by the loop filter 131 on the pixels subjected to the filter process by the adaptive offset filter unit 102, and outputs the filtered pixels to a subsequent frame memory or the like. .
  • the adaptive loop filter unit 103 temporarily holds the reconstructed pixel, which is an input pixel from the adaptive offset filter unit 102, in the line memory 132.
  • the adaptive loop filter unit 103 performs a filtering process by the loop filter 131 using the input pixel and the pixel held in the line memory 132.
  • the adaptive loop filter unit 103 outputs the filtered pixel to a subsequent frame memory or the like.
  • the deblocking filter requires a line memory that holds pixels for four lines, and the adaptive offset filter has a line that holds pixels for one line. Memory was needed. Furthermore, the adaptive loop filter requires a line memory that holds pixels for four lines and includes overlapping pixels, but a line memory that holds pixels for nine lines in total is required.
  • the deblocking filter requires a line memory that holds pixels for two lines, and the adaptive offset filter has one line.
  • a line memory for holding the pixels was required.
  • the adaptive loop filter requires a line memory that holds pixels for four lines and includes overlapping pixels, but a line memory that holds pixels for seven lines in total is required.
  • Non-Patent Document 1 the adaptive offset filter processing (tap reference pixel) for a line held for deblocking uses a reconstructed pixel (that is, a pixel before deblocking).
  • a reconstructed pixel that is, a pixel before deblocking
  • Non-Patent Document 1 is processing specialized for LCU-based processing. Therefore, when the deblocking filter, the adaptive offset filter, and the adaptive offset filter each perform frame processing by software or the like, the control becomes quite complicated.
  • At least two of the deblocking filter, the adaptive offset filter, and the adaptive loop filter are parallelized to share the line memory, thereby reducing the line memory with a simple processing structure. Plan.
  • FIG. 7 is a block diagram illustrating a configuration example of an in-loop filter to which the present disclosure is applied.
  • the configurations of the in-loop filter 31a of the image encoding device 11 shown in FIG. 1 and the in-loop filter 31b of the image decoding device 51 shown in FIG. 3 may be common. Therefore, in the following description, the in-loop filter 31a and the in-loop filter 31b are collectively referred to as the in-loop filter 31 when it is not necessary to distinguish them individually.
  • the in-loop filter 31 includes a line memory 151, a deblocking H (horizontal) filter unit 152, a deblocking V (vertical) filter unit 153, an adaptive offset filter unit 154, an adaptive loop filter unit 155, and an arithmetic operation. It is comprised so that the part 156 may be included.
  • a configuration example of the in-loop filter 31 at the LCU boundary is shown.
  • the line memory 151 temporarily holds the reconstructed pixel input from the previous stage at the LCU boundary.
  • the preceding stage is the arithmetic unit 30 in the case of the image encoding device 11 in FIG. 1, and the arithmetic unit 65 in the case of the image decoding device 51 in FIG.
  • the line memory 151 holds pixels for five lines for luminance (Y) and holds pixels for three lines for color difference (C). Note that the number of lines to be held is not limited because it depends on the architecture and the like.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 share the line memory 151 in which the reconstructed pixels are held.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 perform each filter process in parallel on the reconstructed pixels held in the line memory 151. Then, the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 output the filtered pixels to the calculation unit 156, respectively.
  • the deblocking H filter unit 152 is configured to include the H filter 111 of FIG. 6, and performs a deblocking H filter process that removes block noise at a vertical boundary between adjacent blocks on the left and right.
  • the H filter 111 is a deblocking filter that is applied to the left and right pixels at the vertical boundary between blocks adjacent to the left and right in the input image.
  • the deblocking H filter unit 152 reads out the reconstructed pixel held in the line memory 151 and performs the filtering process by the H filter 111 on the read out reconstructed pixel.
  • the deblocking H filter unit 152 outputs the pixel after the filter processing by the H filter 111 to the calculation unit 156.
  • the deblocking V filter unit 153 is configured to include the V filter 112 of FIG. 6, and performs a deblocking V filter process that removes block noise at the horizontal boundary between vertically adjacent blocks.
  • the V filter 112 is a deblocking filter that is applied to the upper and lower pixels of the horizontal boundary between the upper and lower adjacent blocks in the input image.
  • the deblocking V filter unit 153 reads out the reconstructed pixel held in the line memory 151, and performs a filtering process by the V filter 112 on the read out reconstructed pixel.
  • the deblocking V filter unit 153 outputs the pixel after the filtering process by the V filter 112 to the calculation unit 156.
  • the adaptive offset filter unit 154 is configured to include the offset filter 121 of FIG. 6, and performs an offset filter process that mainly removes ringing on the input image.
  • the offset filter 121 is applied using a quad-tree structure in which the type of the offset filter 121 is determined for each divided region and the offset value for each divided region.
  • the quad-tree structure and the offset value are calculated in the case of the image encoding device 11 in FIG. 1, and are calculated by the image encoding device 11 in FIG. 1 in the case of the image decoding device 51 in FIG. Are decrypted and used.
  • the adaptive offset filter unit 154 reads the reconstructed pixel held in the line memory 151, and performs the filtering process by the offset filter 121 on the read reconstructed pixel.
  • the adaptive offset filter unit 154 outputs the pixel after the filter processing by the offset filter 121 to the calculation unit 156.
  • the adaptive loop filter unit 155 is configured to include the loop filter 131 of FIG. 6, performs class classification on an input image on a block basis, and performs adaptive loop filter processing.
  • the loop filter 131 is configured by, for example, a two-dimensional Wiener filter. Specifically, the loop filter 131 is applied using an adaptive loop filter coefficient.
  • the adaptive loop filter coefficients are classified into blocks on a block basis, and the residual from the original image from the screen rearrangement buffer 22 is minimized for each classified class. The calculated value is used.
  • the adaptive loop filter coefficient is decoded and used as calculated by the image encoding device 11 in FIG.
  • the adaptive loop filter unit 155 reads out the reconstructed pixel held in the line memory 151, and performs the filtering process by the loop filter 131 on the read out reconstructed pixel.
  • the adaptive loop filter unit 155 outputs the pixel after the filter processing by the loop filter 131 to the calculation unit 156.
  • the arithmetic unit 156 adds, for example, addition to the pixels after filtering by the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 at the LCU boundary.
  • the arithmetic processing is performed. Note that this arithmetic processing may include not only addition but also processing such as subtraction and multiplication.
  • the calculating part 156 outputs a calculation result to a back
  • the latter stage is the frame memory 32 in the case of the image encoding device 11 of FIG. 1, and the screen rearrangement buffer 67 and the frame memory 69 in the case of the image decoding device 51 of FIG.
  • FIG. 8 shows an example of pixels at the LCU boundary.
  • a circle represents a reconstructed pixel input to the in-loop filter 31, and a lower line in the figure represents an LCU boundary.
  • the deblocking V filter unit 153 performs the first line from the LCU boundary until pixels for four lines of the next LCU are input. In the processing of the pixels on the third to third lines, a standby state is entered. That is, since the deblocking V filter unit 153 can process only up to the fourth line from the LCU boundary, the other filter units in parallel need to align the output phase with the deblocking V filter unit 153.
  • both the adaptive offset filter unit 154 and the adaptive loop filter unit 155 complete the processing from the LCU boundary to the fourth line, and enter the standby state in the processing of the pixel on the third line from the next LCU boundary.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 are set to three lines from the LCU boundary. The process is started so as to output from the eye pixel.
  • the deblocking H filter unit 152 needs to hold the pixels in the first to third lines from the LCU boundary in the line memory 151.
  • the deblocking V filter unit 153 the pixels in the first to fourth lines from the LCU boundary need to be held in the line memory 151.
  • the adaptive offset filter unit 154 the pixels in the first to fourth lines from the LCU boundary need to be held in the line memory 151.
  • the adaptive loop filter unit 155 needs to hold the pixels in the first to fifth lines from the LCU boundary in the line memory 151.
  • the line memory 151 holds pixels for five lines from the first to fifth lines from the LCU boundary.
  • the number of line memories can be reduced by 4 lines as compared with the conventional 9 lines of pixels described above with reference to FIG.
  • the deblocking V filter unit 153 waits in the processing of the pixels on the first line and the second line from the LCU boundary until the two lines of pixels of the next LCU are input. It becomes a state. That is, since the deblocking V filter unit 153 can process only the third line from the LCU boundary, it is necessary to align the output phase with the deblocking V filter unit 153.
  • both the adaptive offset filter unit 154 and the adaptive loop filter unit 155 complete the processing from the LCU boundary to the third line, and enter the standby state in the processing of the pixel on the second line from the next LCU boundary.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 are also two lines from the LCU boundary. The process is started so as to output from the eye pixel.
  • the deblocking H filter unit 152 needs to hold the pixels on the first and second lines from the LCU boundary in the line memory 151.
  • the deblocking V filter unit 153 the pixels in the first and second lines from the LCU boundary need to be held in the line memory 151.
  • the adaptive offset filter unit 154 needs to hold the pixels in the first to third lines from the LCU boundary in the line memory 151.
  • the adaptive loop filter unit 155 for example, when the color difference is a 5-tap process, the pixels in the first to fourth lines from the LCU boundary need to be held in the line memory 151.
  • the line memory 151 holds pixels for four lines from the first to fourth lines from the LCU boundary.
  • the number of line memories can be reduced by 3 lines as compared with the conventional 7 lines of pixels described above with reference to FIG.
  • FIG. 9 is a block diagram illustrating a more detailed configuration example of the in-loop filter of FIG.
  • the in-loop filter 31 in FIG. 7 shows a configuration in the case of an LCU boundary
  • the in-loop filter 31 in the example in FIG. 9 shows a detailed configuration including the case of an LCU boundary.
  • the in-loop filter 31 is configured to include a line memory 151, a deblocking H filter unit 152, and a deblocking V filter unit 153.
  • the in-loop filter 31 is configured to include an adaptive offset filter unit 154, an adaptive loop filter unit 155, a calculation unit 156, and a coefficient memory 171.
  • the in-loop filter 31 is different from the in-loop filter 31 of FIG. 7 only in that a coefficient memory 171 is added.
  • the reconstructed pixel that is an input pixel from the previous stage is input to the line memory 151, the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, the adaptive loop filter unit 155, and the calculation unit 156. .
  • the line memory 151 is configured to hold the reconstructed pixels for five lines from the LCU boundary for the luminance signal, and to hold the reconstructed pixels for three lines from the LCU boundary for the color difference signal. .
  • the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 are arranged for each reconstructed pixel input from the previous stage. Apply filtering. Then, the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 output the filtered pixels to the calculation unit 156.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 perform filter processing on the reconstructed pixels held in the line memory 151. Apply. Then, the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 output the filtered pixels to the calculation unit 156.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 Resume processing after aligning the phases.
  • the calculation unit 156 includes subtraction units 181-1 to 181-4, multiplication units 182-1 to 182-4, and an addition unit 183, and calculates the output P after each filter process as a linear sum. Note that as the input pixel in the calculation unit 156, the reconstructed pixel from the previous stage is usually used, but the pixel held in the line memory 151 is read and used at the LCU boundary.
  • Subtraction unit 181-1 subtracts the input pixel P in the pixel P DB_H after filtering from the deblocking H filter unit 152, and outputs to the multiplier 182-1.
  • the multiplication unit 182-1 multiplies the input (P DB_H ⁇ P in ) from the subtraction unit 181-1 by the coefficient C DB_H corresponding to the deblocking H filter unit 152 from the coefficient memory 171, and adds the addition unit 183. Output to.
  • Subtraction unit 181-2 subtracts the input pixel P in the pixel P DB_V after filtering from the deblocking V filter unit 153, and outputs to the multiplier 182-2.
  • the multiplication unit 182-2 multiplies the input (P DB_H ⁇ P in ) from the subtraction unit 181-2 by the coefficient C DB_V corresponding to the deblocking V filter unit 153 from the coefficient memory 171, and adds the addition unit 183. Output to.
  • Subtraction unit 181-3 subtracts the input pixel P in the pixel P SAO after filtering from the adaptive offset filter unit 154, and outputs to the multiplier 182-3.
  • the multiplier 182-3 multiplies the input (P SAO ⁇ P in ) from the subtractor 181-3 by the coefficient C SAO corresponding to the adaptive offset filter unit 154 from the coefficient memory 171, and causes the adder 183 to Output.
  • Subtraction unit 181-4 subtracts the input pixel P in the pixel P ALF after filtering from the adaptive loop filter unit 155, and outputs to the multiplier 182-4.
  • the multiplication unit 182-4 multiplies the input (P ALF ⁇ P in ) from the subtraction unit 181-3 by the coefficient C ALF corresponding to the adaptive loop filter unit 155 from the coefficient memory 171, and the addition unit 183 Output.
  • the input pixel P in the multiplication result from the multiplying unit 182-1 through 182-4 adds the equation (1), the P is the addition result is output to the frame memory.
  • the coefficient memory 171 stores a coefficient corresponding to each filter.
  • coefficient memory 171 coefficient C DB_V corresponding to the coefficient C DB_H and deblocking V filter unit 153 corresponds to the deblocking H filter 152 are stored.
  • the coefficient memory 171 stores a coefficient C SAO corresponding to the adaptive offset filter unit 154 and a coefficient C ALF corresponding to the adaptive loop filter unit 155.
  • coefficients may be settable by the user via an operation input unit (not shown). These coefficients may be set according to the characteristics of the image.
  • the coefficient C DB_V corresponding to the coefficient C DB_H and deblocking V filter unit 153 corresponds to the deblocking H filter 152, than other coefficients Is also set larger.
  • the coefficient C SAO corresponding to the adaptive offset filter unit 154 is set larger than the other coefficients.
  • the coefficient CALF corresponding to the adaptive loop filter unit 155 is set larger than the other coefficients.
  • FIG. 10 is an example of the in-loop filter process in step S22 in FIG. 2 described above, and is an example of the in-loop filter process in step S58 in FIG.
  • This in-loop filter process starts from the upper left LCU in the screen.
  • the reconstructed pixels constituting the LCU are input to each part of the in-loop filter 31 from the previous stage.
  • the processes of steps S111 to S114 are executed in parallel using the reconstructed pixels input from the previous stage.
  • the reconstructed pixels constituting the LCU are input to the line memory 151 from the previous stage.
  • the processes in steps S111 to S114 are executed in parallel using the reconstructed pixels held in the line memory 151.
  • the processing is started with the output phases aligned.
  • the input to each part is used by being switched by a switch or the like in each part of the in-loop filter 31.
  • the deblocking H filter unit 152 performs a filtering process by the H filter 111 on the line memory 151 or the reconstructed pixel from the previous stage in step S111.
  • the deblocking H filter unit 152 outputs the pixel after the filter processing by the H filter 111 to the calculation unit 156.
  • step S112 the deblocking V filter unit 153 performs a filtering process by the V filter 112 on the line memory 151 or the reconstructed pixel from the previous stage.
  • the deblocking V filter unit 153 outputs the pixel after the filtering process by the V filter 112 to the calculation unit 156.
  • step S113 the adaptive offset filter unit 154 performs filter processing by the offset filter 121 on the line memory 151 or the reconstructed pixel from the previous stage.
  • the adaptive offset filter unit 154 outputs the pixel after the filter processing by the offset filter 121 to the calculation unit 156.
  • step S114 the adaptive loop filter unit 155 performs filter processing by the loop filter 131 on the line memory 151 or the reconstructed pixel from the previous stage.
  • the adaptive loop filter unit 155 outputs the pixel after the filter processing by the loop filter 131 to the calculation unit 156.
  • step S115 the calculation unit 156 calculates four results after each filter processing by the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155.
  • the calculation unit 156 calculates the four results from the four filter units by, for example, the linear sum as in the above-described equation (1), and outputs the calculation result to the subsequent stage.
  • step S116 the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 determine whether it is the last pixel in the LCU. If it is determined in step S116 that the pixel is not the last pixel in the LCU, the process returns to step S111, and the subsequent processes are repeated.
  • step S116 If it is determined in step S116 that it is the last pixel in the LCU, the process proceeds to step S117.
  • step S117 the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 determine whether or not it is the last pixel in the screen. If it is determined in step S117 that the pixel is not the last pixel in the screen, the process proceeds to step S118.
  • step S118 the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155 select the next LCU, and the process returns to step S111. That is, the processing from step S111 onward is repeated for the LCU selected in step S118.
  • step S117 If it is determined in step S117 that it is not the last pixel in the screen, the in-loop filter process is terminated.
  • the input of the four filter processes constituting the in-loop filter 31 is processed in parallel as a reconstructed pixel, and the line memory is shared at the LCU boundary. Therefore, as described above with reference to FIG. As described above, the number of line memories can be reduced.
  • the in-loop filter 31 has a simple configuration in which switching between normal processing and LCU boundary processing is performed only by switching whether a pixel from the previous stage or a pixel from the line memory is input. Thereby, control when the deblocking filter, the adaptive offset filter, and the adaptive offset filter each perform frame processing by software or the like can be easily performed.
  • the coefficient corresponding to each filter is set in the calculation unit 156 according to the characteristics of the image, it is possible to obtain a better image according to the characteristics of the image than simply outputting at a fixed rate. Is possible.
  • the calculation unit 156 calculates the linear sum of each filter output and outputs the result.
  • a simple average of each filter output may be used, or the output of each filter output may be calculated.
  • a weighted average may be calculated.
  • the arithmetic unit 156 can determine the weight of the weighted average for each pixel according to the distance to the vertical boundary and the distance to the horizontal boundary for each pixel.
  • FIG. 11 is an explanatory diagram for explaining the determination of the weight for the weighted average by the calculation unit 156.
  • the weighted average of the output of the deblocking H filter unit 152 for the vertical boundary Vz and the output of the deblocking V filter unit 153 for the horizontal boundary Hz will be described as an example.
  • the distance Dv between the target pixel Pz and the nearest vertical boundary Vz is 3 pixels.
  • a distance Dh between the target pixel Pz and the nearest horizontal boundary Hz is two pixels.
  • the distance Dh is smaller than the distance Dv.
  • the calculation unit 156 can determine the weight for the output of the deblocking V filter unit 153 for the horizontal boundary Hz larger than the weight for the output of the deblocking H filter unit 152 for the vertical boundary Vz.
  • the weight ratio between the H filter output P DB_H for the vertical boundary Vz and the V filter output P DB_V for the horizontal boundary Hz is determined to be 2: 3.
  • the in-loop filter 31 may include a V filter, an H filter, and one two-dimensional filter that calculates a weighted average at the same time.
  • the implementation becomes extremely complicated.
  • the weighted average is calculated after the two one-dimensional filters are executed in parallel as in the example of FIG. 11, the two-dimensional filter is substantially used while utilizing the existing deblocking filter mechanism. Can be easily realized.
  • FIG. 12 is an explanatory diagram for explaining an example of the weight for the weighted average determined according to the example of FIG.
  • 6 ⁇ 6 36 pixels (pixels at the above-described overlapping positions) located around one intersection of the vertical boundary and the horizontal boundary are shown.
  • the weight ratio between the filter output P DB_H and the filter output P DB_V is 1 to 1 (or 2 to 2 or 3 to 3). It is.
  • the calculation unit 156 weights each pixel according to the edge strength of the vertical boundary and the horizontal boundary corresponding to each pixel.
  • An average weight may be determined.
  • the filter output weight for the stronger edge boundary may be determined to be greater than the filter output weight for the weaker edge boundary.
  • FIG. 13 shows output pixel values from the calculation unit 156 according to the determination result of necessity of filtering at the vertical boundary and the horizontal boundary.
  • the calculation unit 156 selects, for example, the output from the filter unit that has actually performed filtering for pixels that are filtered by one of the deblocking H filter unit 152 and the deblocking V filter unit 153. Further, the calculation unit 156 outputs the input pixel value to the in-loop filter 31 as it is for pixels that are not filtered by either the deblocking H filter unit 152 or the deblocking V filter unit 153.
  • the above weighted average can also be applied to the four filters of the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the adaptive loop filter unit 155.
  • the weights of the outputs to the adaptive offset filter unit 154 and the adaptive loop filter unit 155 are set to 1, and the outputs of the deblocking H filter unit 152 and the deblocking V filter unit 153 are the above weights. Average is adopted. Thereby, an image from which block distortion has been optimally removed can be obtained.
  • the configuration of the in-loop filter 31 is not limited to the four parallels described above, and may be configured as shown in FIG.
  • FIG. 14 a pattern of parallel processing that can constitute the in-loop filter 31 is shown.
  • FIG. 14 will be described in order from the left.
  • the in-loop filter 31 includes a deblocking H filter (DH), a deblocking V filter (DV), an adaptive offset filter (SAO), and an adaptive loop filter (ALF) 4. Configured in parallel.
  • DH deblocking H filter
  • DV deblocking V filter
  • SAO adaptive offset filter
  • ALF adaptive loop filter
  • the deblocking H filter (D-H), deblocking V filter (D-V), adaptive offset filter (SAO), and adaptive loop filter (ALF) perform processing using the reconstructed pixels. Then, the four filter results are output to the calculation unit 156 in phase.
  • the in-loop filter 31 is configured in three parallels including a deblocking H filter (D-H), a deblocking V filter (D-V), and an adaptive offset filter (SAO) ⁇ adaptive loop filter (ALF).
  • D-H deblocking H filter
  • D-V deblocking V filter
  • SAO adaptive offset filter
  • ALF adaptive loop filter
  • the deblocking H filter (D-H), the deblocking V filter (D-V), and the adaptive offset filter (SAO) perform processing using the reconstructed pixel.
  • the adaptive loop filter (ALF) performs processing using the pixels after filtering by the adaptive offset filter (SAO). Then, the three filter results from the deblocking H filter (D-H), the deblocking V filter (D-V), and the adaptive loop filter (ALF) are matched in phase and output to the computing unit 156. Note that a configuration example of the in-loop filter 31 configured in parallel is described later with reference to FIG.
  • the in-loop filter 31 is configured in three parallels including a deblocking H filter (D-H) ⁇ deblocking V filter (D-V), an adaptive offset filter (SAO), and an adaptive loop filter (ALF).
  • D-H deblocking H filter
  • D-V deblocking V filter
  • SAO adaptive offset filter
  • ALF adaptive loop filter
  • the deblocking H filter (D-H), adaptive offset filter (SAO), and adaptive loop filter (ALF) perform processing using the reconstructed pixels.
  • the deblocking V filter (D-V) performs processing using pixels after filtering by the deblocking H filter (D-H). Then, the three filter results from the deblocking V filter (D-V), the adaptive offset filter (SAO), and the adaptive loop filter (ALF) are matched in phase and output to the computing unit 156.
  • the in-loop filter 31 is configured in two parallels including a deblocking H filter (D-H) ⁇ deblocking V filter (D-V) and an adaptive offset filter (SAO) ⁇ adaptive loop filter (ALF).
  • D-H deblocking H filter
  • D-V deblocking V filter
  • SAO adaptive offset filter
  • ALF adaptive loop filter
  • the deblocking H filter (D-H) and the adaptive offset filter (SAO) perform processing using the reconstructed pixels.
  • the deblocking V filter (DV) performs processing using the pixels after filtering by the deblocking H filter (DH), and the adaptive loop filter (ALF) uses pixels after filtering by the adaptive offset filter (SAO). Process. Then, the two filter results from the deblocking V filter (D-V) and the adaptive loop filter (ALF) are matched in phase and output to the arithmetic unit 156.
  • the in-loop filter 31 is configured in two parallels consisting of an adaptive offset filter (SAO) for inputting pixels from the deblocking H filter (D-H) ⁇ deblocking V filter (D-V) and an adaptive loop filter (ALF).
  • SAO adaptive offset filter
  • D-H deblocking H filter
  • D-V deblocking V filter
  • ALF adaptive loop filter
  • the deblocking H filter (D-H) and the adaptive loop filter (ALF) perform processing using the reconstructed pixels.
  • the deblocking V filter (DV) performs processing using pixels after filtering by the deblocking H filter (DH), and the adaptive offset filter (SAO) uses pixels after filtering by the deblocking V filter (DV). Process. Then, two filter results from the adaptive offset filter (SAO) and the adaptive loop filter (ALF) are output in phase to the arithmetic unit 156 in phase.
  • the in-loop filter 31 is configured in two parallels including a deblocking filter (D-H) ⁇ a deblocking V filter (D-V) ⁇ an adaptive offset filter (SAO) and an adaptive loop filter (ALF).
  • D-H deblocking filter
  • D-V deblocking V filter
  • ALF adaptive loop filter
  • the deblocking H filter (DH) performs processing using the reconstructed pixel
  • the deblocking V filter (DV) performs processing using the pixel after filtering by the deblocking H filter (DH).
  • the adaptive offset filter (SAO) and the adaptive loop filter (ALF) perform processing using pixels after filtering by the deblocking V filter (D-V). Then, two filter results from the adaptive offset filter (SAO) and the adaptive loop filter (ALF) are output in phase to the arithmetic unit 156 in phase.
  • the difference between the fifth and sixth components from the left is that the pixel input to the fifth adaptive loop filter (ALF) is the reconstructed pixel, whereas the sixth adaptive loop filter ( ALF) is a pixel after the deblocking filter.
  • ALF adaptive loop filter
  • the adaptive offset filter (SAO) and the adaptive loop filter (ALF) that are processed in series are adaptive loop filters ( ALF) can be arranged after the calculation unit 156.
  • the adaptive loop filter (ALF) is arranged after the arithmetic unit 156 in the third parallel configuration from the left, the deblocking H filter (DH), the deblocking V filter (DV), and the adaptive offset filter (SAO)
  • the three filter results from are matched in phase and output to the calculation unit 156.
  • an adaptive loop filter (ALF) processes using the pixel after the calculation by the calculating part 156, and outputs it to a back
  • FIG. 15 is a block diagram illustrating a configuration example of the in-loop filter.
  • the in-loop filter 31 shown in FIG. 15 is a configuration example in the case of 3 parallel shown second from the left in FIG.
  • the in-loop filter 31 in FIG. 15 is common to the in-loop filter 31 in FIG. 9 in that the in-loop filter 31 in FIG. 15 includes an adaptive offset filter unit 154, a deblocking H filter unit 152, and a deblocking V filter unit 153.
  • the in-loop filter 31 of FIG. 15 includes a line memory 201, an adaptive loop filter unit 202, a calculation unit 203, and a coefficient memory 204 instead of the line memory 151, the adaptive loop filter unit 155, the calculation unit 156, and the coefficient memory 171.
  • the point provided is different from the in-loop filter 31 of FIG.
  • the reconstructed pixels that are input pixels from the previous stage are input to the line memory 201, the deblocking H filter unit 152, the deblocking V filter unit 153, the adaptive offset filter unit 154, and the calculation unit 203.
  • the line memory 201 is configured to hold the reconstructed pixels for four lines from the LCU boundary for the luminance signal, and to hold the reconstructed pixels for three lines from the LCU boundary for the color difference signal. .
  • the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154 share the line memory 201 in which the reconstructed pixels are held.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154 perform each filter processing in parallel on the reconstructed pixels input from the previous stage. I do. Then, the deblocking H filter unit 152 and the deblocking V filter unit 153 output the pixel after the filter processing to the calculation unit 203, respectively. Further, the adaptive offset filter unit 154 outputs the pixel after filter processing to the adaptive loop filter unit 202.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154 perform filter processing on the reconstructed pixels held in the line memory 201 in parallel. Then, the deblocking H filter unit 152 and the deblocking V filter unit 153 output the pixel after the filter processing to the calculation unit 203, respectively. Further, the adaptive offset filter unit 154 outputs the pixel after filter processing to the adaptive loop filter unit 202.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive loop filter unit 202 align the output phases and restart the processing. For this reason, the adaptive offset filter unit 154 resumes the process with an output phase that allows the adaptive loop filter unit 202 to align the output phase with the other filter units.
  • the adaptive loop filter unit 202 is provided between the adaptive offset filter unit 154 and the arithmetic unit 203, and is configured to include the loop filter 131 and the line memory 211 of FIG.
  • the line memory 211 holds the pixels after the adaptive offset filter for four lines from the LCU boundary for the luminance signal, and holds the pixels after the adaptive offset filter for four lines from the LCU boundary for the color difference signal. It is configured.
  • the adaptive loop filter unit 202 classifies the pixels from the adaptive offset filter unit 154 on a block basis, and performs an adaptive loop filter process by the loop filter 131.
  • the adaptive loop filter unit 202 temporarily holds the pixels from the adaptive offset filter unit 154 in the line memory 211.
  • the adaptive loop filter unit 202 classifies the pixels in the line memory 211 on a block basis, and performs adaptive loop filter processing by the loop filter 131.
  • the adaptive loop filter unit 202 outputs the pixels after the filter processing by the loop filter 131 to the calculation unit 203.
  • the calculation unit 203 includes subtraction units 181-1 to 181-3, multiplication units 182-1 to 182-3, and an addition unit 183, and calculates the output P after each filter process by a linear sum. Note that as the input pixel in the arithmetic unit 203, a reconstructed pixel from the previous stage is usually used, but a pixel held in the line memory 201 is read and used at the LCU boundary.
  • Subtraction unit 181-1 subtracts the input pixel P in the pixel P DB_H after filtering from the deblocking H filter unit 152, and outputs to the multiplier 182-1.
  • the multiplication unit 182-1 multiplies the input (P DB_H ⁇ P in ) from the subtraction unit 181-1 by the coefficient C DB_H corresponding to the deblocking H filter unit 152 from the coefficient memory 204, and adds the addition unit 183. Output to.
  • Subtraction unit 181-2 subtracts the input pixel P in the pixel P DB_V after filtering from the deblocking V filter unit 153, and outputs to the multiplier 182-2.
  • the multiplication unit 182-2 multiplies the input (P DB_H ⁇ P in ) from the subtraction unit 181-2 by the coefficient C DB_V corresponding to the deblocking V filter unit 153 from the coefficient memory 204, and adds the addition unit 183. Output to.
  • Subtraction unit 181-3 subtracts the input pixel P in the pixel P ALF after filtering from the adaptive loop filter unit 202, and outputs to the multiplier 182-3.
  • the multiplication unit 182-3 receives the coefficient C SAO / ALF corresponding to the adaptive offset filter unit 154 and the adaptive loop filter unit 202 from the coefficient memory 204 with respect to the input (P ALF ⁇ P in ) from the subtraction unit 181-3. And output to the adder 183.
  • the coefficient memory 204 stores a coefficient corresponding to each filter.
  • the coefficient memory 204, coefficient C DB_V corresponding to the coefficient C DB_H and deblocking V filter unit 153 corresponds to the deblocking H filter 152 are stored.
  • the coefficient memory 204 stores a coefficient C SAO / ALF corresponding to the adaptive offset filter unit 154 and the adaptive loop filter unit 202. These coefficients can also be set by the user via an operation input unit (not shown), similarly to the coefficients in the coefficient memory 204.
  • FIG. 16 shows an example of LCU boundary pixels in the case of a luminance signal.
  • the circles on the first to fourth lines from the LCU boundary are non-deblocking V pixels and are pixels that need to be stored in the line memory 201 at the LCU boundary.
  • Circles on the second to fifth lines from the LCU boundary represent pixels after the offset filter (SAO) and need to be stored in the line memory 211.
  • a circle above the fourth line from the LCU boundary represents a pixel after the loop filter (ALF).
  • the deblocking V filter unit 153 performs the first line through the LCU boundary until the four lines of pixels of the next LCU are input. A standby state is entered in the processing of the pixels on the third line. That is, since the deblocking V filter unit 153 can process only the fourth line from the LCU boundary, the deblocking H filter unit 152 and the adaptive loop filter unit 202 align the output phase with the deblocking V filter unit 153. It will be necessary.
  • the adaptive loop filter unit 202 processes the pixel after the filter (SAO) by the adaptive offset filter unit 154. Therefore, the adaptive offset filter unit 154 completes the processing from the LCU boundary to the second line so that the adaptive loop filter unit 202 can process from the third line. Then, as shown in the post-SAO pixel in FIG. 16, the adaptive offset filter unit 154 enters a standby state in the processing of the pixel on the first line from the next LCU boundary.
  • the deblocking H filter unit 152 and the deblocking V filter unit 153 start processing so as to output from the pixels on the third line from the LCU boundary. Further, the adaptive offset filter unit 154 starts processing so as to output from the pixels on the first line from the LCU boundary.
  • the deblocking H filter unit 152 needs to hold the pixels in the first to third lines from the LCU boundary in the line memory 201.
  • the deblocking V filter unit 153 the pixels in the first to fourth lines from the LCU boundary need to be held in the line memory 201.
  • the adaptive offset filter unit 154 the pixels in the first and second lines from the LCU boundary need to be held in the line memory 201.
  • the line memory 201 only needs to hold pixels for four lines from the first to fourth lines from the LCU boundary.
  • the adaptive offset filter unit 154 performs processing from the LCU boundary to the second line. Therefore, the adaptive loop filter unit 202 completes the process from the LCU boundary to the fourth line, and enters a standby state in the process of the pixel on the third line from the next LCU boundary.
  • the adaptive loop filter unit 202 receives the pixels on the first line from the LCU boundary after the filter processing by the adaptive offset filter unit 154, so that the adaptive loop filter unit 202 From the pixel on the third line.
  • the adaptive loop filter unit 202 needs to hold the pixels for four lines from the second to fifth lines from the LCU boundary in the line memory 211.
  • the in-loop filter 31 of FIG. 15 requires the line memory 201 for four lines and the line memory 211 for four lines, which is compared with the conventional nine lines of pixels. It is possible to reduce the number of line memories for one line.
  • FIG. 17 shows an example of LCU boundary pixels in the case of a color difference signal.
  • the circles in the first to third lines from the LCU boundary are non-deblocking V pixels and represent pixels that need to be stored in the line memory 201 at the LCU boundary.
  • Circles on the second to fifth lines from the LCU boundary represent pixels after the offset filter (SAO) and need to be stored in the line memory 211.
  • a circle above the fourth line from the LCU boundary represents a pixel after the loop filter (ALF).
  • the deblocking V filter unit 153 is in a standby state in processing of the pixels on the first line and the second line from the LCU boundary until the pixels for the next two lines of the LCU are input. It becomes.
  • the adaptive offset filter unit 154 can only complete the processing from the LCU boundary to the second line
  • the adaptive loop filter unit 202 can only complete the processing from the LCU boundary to the fourth line, and the three lines from the LCU boundary.
  • a standby state is entered in the processing of the eye pixel.
  • the deblocking H filter unit 152 and the deblocking V filter unit 153 can process from the pixels on the second line from the LCU boundary.
  • the adaptive loop filter unit 202 can process only from the third line from the LCU boundary, it is necessary to align the output phase with the adaptive loop filter unit 202.
  • the deblocking H filter unit 152 and the deblocking V filter unit 153 start processing so as to output from the pixels on the third line from the LCU boundary. Further, the adaptive offset filter unit 154 starts processing so as to output from the pixels on the first line from the LCU boundary.
  • the deblocking H filter unit 152 needs to hold the pixels in the first and third lines from the LCU boundary in the line memory 201.
  • the deblocking V filter unit 153 the pixels in the first and third lines from the LCU boundary need to be held in the line memory 201.
  • the adaptive offset filter unit 154 the pixels in the first and second lines from the LCU boundary need to be held in the line memory 201.
  • the line memory 201 only needs to hold pixels for three lines from the first to third lines from the LCU boundary.
  • the first line of pixels from the LCU boundary after the filter processing by the adaptive offset filter unit 154 is input to the adaptive loop filter unit 202. Will be output.
  • the adaptive loop filter unit 202 needs to hold the pixels for four lines from the second to fifth lines from the LCU boundary in the line memory 211.
  • the in-loop filter 31 of FIG. 15 requires the line memory 201 for three lines and the line memory 211 for four lines. This is a line memory equivalent to a conventional pixel for seven lines, but the number of line memories is reduced in the case of a luminance signal, so that the effect of the in-loop filter 31 of FIG. It is done.
  • FIG. 10 is an example of the in-loop filter process in step S22 in FIG. 2 described above, and is an example of the in-loop filter process in step S58 in FIG.
  • This in-loop filter process starts from the upper left LCU in the screen.
  • the reconstructed pixels constituting the LCU are input to each part of the in-loop filter 31 from the previous stage.
  • the processes in steps S201 to S203 are executed in parallel using the reconstructed pixels input from the previous stage.
  • the reconstructed pixels constituting the LCU are input to the line memory 201 from the previous stage.
  • the processes in steps S201 to S203 are executed in parallel using the reconstructed pixels held in the line memory 201.
  • steps S201, S202, and S204 processing is started with the output phases aligned.
  • step S203 processing is started at a timing such that the output phases are aligned in steps S201, S202, and S204.
  • the input to each part is used by being switched by a switch or the like in each part of the in-loop filter 31.
  • step S201 the deblocking H filter unit 152 performs a filtering process by the H filter 111 on the line memory 201 or the reconstructed pixel from the previous stage.
  • the deblocking H filter unit 152 outputs the pixel after the filtering process by the H filter 111 to the calculation unit 203.
  • step S202 the deblocking V filter unit 153 performs a filtering process by the V filter 112 on the line memory 201 or the reconstructed pixel from the previous stage.
  • the deblocking V filter unit 153 outputs the pixel after the filter processing by the V filter 112 to the calculation unit 203.
  • step S203 the adaptive offset filter unit 154 performs filter processing by the offset filter 121 on the reconstructed pixels from the line memory 201 or the previous stage.
  • the adaptive offset filter unit 154 outputs the pixel after the filter processing by the offset filter 121 to the adaptive loop filter unit 202.
  • step S204 the adaptive loop filter unit 202 performs a filtering process by the loop filter 131 on the pixels that have already undergone the offset filter 121 from the line memory 211 or the adaptive offset filter unit 154.
  • the adaptive loop filter unit 202 outputs the pixels after the filter processing by the loop filter 131 to the calculation unit 203.
  • step S205 the calculation unit 203 calculates three results after each filter process by the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive loop filter unit 202.
  • the calculation unit 203 calculates the three results obtained by the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive loop filter unit 202 by, for example, a linear sum, and outputs the calculation result to the subsequent stage.
  • step S206 the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive loop filter unit 202 determine whether it is the last pixel in the LCU. If it is determined in step S206 that the pixel is not the last pixel in the LCU, the process returns to step S201, and the subsequent processes are repeated.
  • step S206 If it is determined in step S206 that the pixel is the last pixel in the LCU, the process proceeds to step S207.
  • step S207 the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive loop filter unit 202 determine whether or not the pixel is the last pixel in the screen. If it is determined in step S207 that the pixel is not the last pixel in the screen, the process proceeds to step S208.
  • step S208 the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive loop filter unit 202 select the next LCU, and the process returns to step S201. That is, the processing after step S201 is repeated for the LCU selected in step S208.
  • step S207 If it is determined in step S207 that the pixel is not the last pixel in the screen, the in-loop filter process is terminated.
  • the inputs of the three filter processes constituting the in-loop filter 31 are processed in parallel as reconstructed pixels, and the line memory is shared at the LCU boundary. It is possible to reduce the number of line memories.
  • the in-loop filter 31 has a simple configuration in which switching between normal processing and LCU boundary processing is performed only by switching whether a pixel from the previous stage or a pixel from the line memory is input. Thereby, control when the deblocking filter, the adaptive offset filter, and the adaptive offset filter each perform frame processing by software or the like can be easily performed.
  • the adaptive loop filter unit 202 is disposed before the calculation unit 203 has been described.
  • the adaptive loop filter unit 202 is added after the addition by the calculation unit 203.
  • the unit 202 can also be configured.
  • An example of the in-loop filter 31 constituting the adaptive loop filter after the addition will be described with reference to FIG.
  • FIG. 19 is a block diagram illustrating a configuration example of the in-loop filter.
  • the in-loop filter 31 shown in FIG. 19 is an example when an adaptive loop filter is configured after addition.
  • the in-loop filter 31 in FIG. 19 is common to the in-loop filter 31 of FIG. 15 in that it includes a deblocking H filter unit 152, a deblocking V filter unit 153, and an adaptive offset filter unit 154.
  • the in-loop filter 31 in FIG. 19 is common to the in-loop filter 31 in FIG. 15 in that it includes a line memory 201, a calculation unit 203, and a coefficient memory 204.
  • the in-loop filter 31 of FIG. 19 is different from the in-loop filter 31 of FIG. 15 in that an adaptive loop filter unit 221 is provided instead of the adaptive loop filter unit 202.
  • the adaptive offset filter unit 154 outputs the pixel after the filter processing to the arithmetic unit 203, similarly to the deblocking H filter unit 152 and the deblocking V filter unit 153.
  • Subtraction unit 181-3 of the operation unit 203 subtracts the input pixel P in the pixel P SAO after filtering from the adaptive offset filter unit 154, and outputs to the multiplier 182-3.
  • the multiplication unit 182-3 multiplies the input (P SAO ⁇ P in ) from the subtraction unit 181-3 by the coefficient C SAO corresponding to the adaptive offset filter unit 154 from the coefficient memory 204, and Output.
  • the coefficient memory 204 stores a coefficient C SAO corresponding to the adaptive offset filter unit 154.
  • the adaptive loop filter unit 221 is provided in the subsequent stage of the arithmetic unit 203 and is configured to include the loop filter 131 and the line memory 211 of FIG. 6, similarly to the adaptive loop filter unit 202 of FIG. 15.
  • the line memory 211 holds the pixels after the adaptive offset filter for four lines from the LCU boundary for the luminance signal, and holds the pixels after the adaptive offset filter for four lines from the LCU boundary for the color difference signal. It is configured.
  • the adaptive loop filter unit 221 performs block classification on the pixel from the adder 183 on a block basis and performs an adaptive loop filter process by the loop filter 131.
  • the adaptive loop filter unit 221 temporarily holds the pixels from the adder 183 in the line memory 211, classifies the pixels in the line memory 211 on a block basis, and performs an adaptive loop filter by the loop filter 131.
  • the adaptive loop filter unit 221 outputs the pixels after the filter processing by the loop filter 131 to a subsequent frame memory or the like.
  • the deblocking V filter unit 153 performs the first line through the LCU boundary until the four lines of pixels of the next LCU are input. A standby state is entered in the processing of the pixels on the third line. That is, since the deblocking V filter unit 153 can process only up to the fourth line from the LCU boundary, the other filter units in parallel need to align the output phase with the deblocking V filter unit 153.
  • the adaptive offset filter unit 154 also completes the process from the LCU boundary to the fourth line, and enters a standby state in the process of the pixel on the third line from the next LCU boundary.
  • the deblocking H filter unit 152 When the four lines of pixels of the next LCU are input, the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154 output from the pixels on the third line from the LCU boundary. Start processing.
  • the deblocking H filter unit 152 needs to hold the pixels in the first to third lines from the LCU boundary in the line memory 201.
  • the deblocking V filter unit 153 the pixels in the first to fourth lines from the LCU boundary need to be held in the line memory 201.
  • the adaptive offset filter unit 154 needs to hold the pixels in the first to fourth lines from the LCU boundary in the line memory 201.
  • the line memory 201 only needs to hold pixels for four lines from the first to fourth lines from the LCU boundary.
  • the adaptive loop filter unit 202 processes the pixels after the filter processing by the adaptive offset filter unit 154, the processing from the LCU boundary to the sixth line is completed, and the processing of the pixels on the fifth line from the next LCU boundary is completed. In the standby state.
  • the pixel on the third line from the LCU boundary after the filter processing by the adaptive offset filter unit 154 is input to the adaptive loop filter unit 202. Therefore, from the pixel on the fifth line from the LCU boundary. Will be output.
  • the adaptive loop filter unit 202 needs to hold the pixels for four lines of the fourth to seventh lines from the LCU boundary in the line memory 211.
  • the in-loop filter 31 of FIG. 15 requires the line memory 201 for four lines and the line memory 211 for four lines, which is compared with the conventional nine lines of pixels described above with reference to FIG. Thus, the number of line memories for one line can be reduced.
  • the deblocking V filter unit 153 performs processing of pixels on the first line and the second line from the LCU boundary until pixels for two lines of the next LCU are input. It will be in a standby state. That is, since the deblocking V filter unit 153 can process only up to the third line from the LCU boundary, the other filter units in parallel need to align the output phase with the deblocking V filter unit 153.
  • the adaptive offset filter unit 154 completes the processing from the LCU boundary to the third line, and enters a standby state in the processing of the pixel on the second line from the next LCU boundary.
  • the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154 output the pixels from the second line from the LCU boundary. Start processing.
  • the deblocking H filter unit 152 needs to hold the pixels on the first and second lines from the LCU boundary in the line memory 201.
  • the deblocking V filter unit 153 the pixels in the first and second lines from the LCU boundary need to be held in the line memory 201.
  • the adaptive offset filter unit 154 the pixels in the first and second lines from the LCU boundary need to be held in the line memory 201.
  • the line memory 201 only needs to hold pixels for two lines from the first to second lines from the LCU boundary.
  • the adaptive loop filter unit 202 processes the pixels after the filter processing by the adaptive offset filter unit 154, the processing from the LCU boundary to the fifth line is completed, and the processing of the pixels on the fourth line from the next LCU boundary is completed. In the standby state.
  • the second loop pixel from the LCU boundary after the filter processing by the adaptive offset filter unit 154 is input to the adaptive loop filter unit 202. Will be output.
  • the adaptive loop filter unit 202 needs to hold the pixels for four lines from the third to sixth lines from the LCU boundary in the line memory 211.
  • the in-loop filter 31 of FIG. 15 requires the line memory 201 for two lines and the line memory 211 for four lines, which is compared with the conventional pixel for seven lines described above with reference to FIG. Thus, the number of line memories for one line can be reduced.
  • the number of line memories can be reduced by one line as compared with the conventional pixels for seven lines described above with reference to FIG. .
  • FIG. 20 is an example of the in-loop filter process in step S22 of FIG. 2 described above, and is an example of the in-loop filter process in step S58 of FIG.
  • This in-loop filter process starts from the upper left LCU in the screen.
  • the reconstructed pixels constituting the LCU are input to each part of the in-loop filter 31 from the previous stage.
  • the processes in steps S231 to S233 are executed in parallel using the reconstructed pixels input from the previous stage.
  • the reconstructed pixels constituting the LCU are input to the line memory 201 from the previous stage.
  • the processes in steps S231 to S233 are executed in parallel using the reconstructed pixels held in the line memory 201.
  • steps S231 to S233 processing is started with the output phases aligned.
  • the input to each part is used by being switched by a switch or the like in each part of the in-loop filter 31.
  • step S231 the deblocking H filter unit 152 performs a filtering process by the H filter 111 on the line memory 201 or the reconstructed pixel from the previous stage.
  • the deblocking H filter unit 152 outputs the pixel after the filtering process by the H filter 111 to the calculation unit 203.
  • step S232 the deblocking V filter unit 153 performs a filtering process by the V filter 112 on the line memory 201 or the reconstructed pixel from the previous stage.
  • the deblocking V filter unit 153 outputs the pixel after the filter processing by the V filter 112 to the calculation unit 203.
  • step S233 the adaptive offset filter unit 154 performs filter processing by the offset filter 121 on the line memory 201 or the reconstructed pixel from the previous stage.
  • the adaptive offset filter unit 154 outputs the pixel after the filter processing by the offset filter 121 to the calculation unit 203.
  • step S234 the calculation unit 203 calculates three results after each filter process by the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154.
  • the calculation unit 203 calculates the three results obtained by the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154, for example, by linear sum, and outputs the calculation result to the adaptive loop filter unit 221. To do.
  • step S235 the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154 determine whether it is the last pixel in the LCU. If it is determined in step S235 that the pixel is not the last pixel in the LCU, the process returns to step S231, and the subsequent processes are repeated.
  • step S235 If it is determined in step S235 that the pixel is the last pixel in the LCU, the process proceeds to step S236.
  • step S236 the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154 determine whether or not it is the last pixel in the screen. If it is determined in step S236 that the pixel is not the last pixel in the screen, the process proceeds to step S237.
  • step S237 the deblocking H filter unit 152, the deblocking V filter unit 153, and the adaptive offset filter unit 154 select the next LCU, and the process returns to step S231. That is, the processing from step S231 onward is repeated for the LCU selected in step S237.
  • step S237 If it is determined in step S237 that the pixel is the last pixel in the screen, the process proceeds to step S238.
  • step S238 the adaptive loop filter unit 221 performs a filtering process by the loop filter 131 on the pixel having undergone the offset filter 121 from the line memory 211 or the calculation unit 203 (adding unit 183).
  • the adaptive loop filter unit 221 outputs the pixels after the filter processing by the loop filter 131 to a subsequent frame memory or the like.
  • step S239 the adaptive loop filter unit 221 determines whether it is the last pixel in the LCU. If it is determined in step S239 that the pixel is not the last pixel in the LCU, the processing returns to step S238, and the subsequent processing is repeated.
  • step S239 If it is determined in step S239 that the pixel is the last pixel in the LCU, the process proceeds to step S240.
  • step S240 the adaptive loop filter unit 221 determines whether it is the last pixel in the screen. If it is determined in step S240 that the pixel is not the last pixel in the screen, the process proceeds to step S241.
  • step S241 the adaptive loop filter unit 221 selects the next LCU, and the process returns to step S238. That is, the processing from step S238 onward is repeated for the LCU selected in step S241.
  • step S240 If it is determined in step S240 that the pixel is the last pixel in the screen, the in-loop filter process in FIG. 20 is terminated.
  • the inputs of the three filter processes constituting the in-loop filter 31 are processed in parallel as reconstructed pixels, and the line memory is shared at the LCU boundary. It is possible to reduce the number of line memories.
  • the in-loop filter 31 has a simple configuration in which switching between normal processing and LCU boundary processing is performed only by switching whether a pixel from the previous stage or a pixel from the line memory is input. Thereby, control when the deblocking filter, the adaptive offset filter, and the adaptive offset filter each perform frame processing by software or the like can be easily performed.
  • FIG. 21 is a block diagram illustrating a configuration example of the in-loop filter.
  • the in-loop filter 31 shown in FIG. 21 is a configuration example in the case of two parallels shown sixth from the left in FIG.
  • the in-loop filter 31 in FIG. 21 is configured to include the deblocking filter unit 101 in FIG. 6, the line memory 251, the adaptive offset filter unit 252, the adaptive loop filter unit 253, the calculation unit 254, and the coefficient memory 255. ing.
  • the deblocking filter unit 101 is configured to include an H (horizontal) filter 111, a V (vertical) filter 112, and a line memory 113.
  • the line memory 113 holds four lines of pixels for luminance (Y) and two lines of pixels for color difference (C) at the LCU boundary.
  • the deblocking filter unit 101 normally performs the filtering process by the H filter 111 and the filtering process by the V filter 112 on the reconstructed pixel that is the input pixel from the previous stage (except for the LCU boundary).
  • the deblocking filter unit 101 outputs the filtered pixels to the line memory 251 and the calculation unit 254.
  • the deblocking filter unit 101 once holds the reconstructed pixel, which is the input pixel from the previous stage, in the line memory 113.
  • the deblocking filter unit 101 performs filtering using the H filter 111 using the input pixels and the pixels held in the line memory 113, and the V filter 112. Filter processing is performed.
  • the deblocking filter unit 101 outputs the filtered pixels to the line memory 251 and the calculation unit 254.
  • the deblocking filter unit 101 performs filter processing using the H filter 111 and filter processing using the V filter 112 using the reconstructed pixels that are input pixels from the previous stage.
  • the deblocking filter unit 101 outputs the filtered pixels to the line memory 251 and the calculation unit 254.
  • the line memory 251 once holds the pixels after filtering by the deblocking filter unit 101.
  • the line memory 251 holds pixels for three lines for luminance (Y) and holds pixels for three lines for color difference (C). Note that the number of lines to be held is not limited because it depends on the architecture and the like.
  • the adaptive offset filter unit 252 and the adaptive loop filter unit 253 share the line memory 251 in which the pixels after filtering by the deblocking filter unit 101 are held.
  • the adaptive offset filter unit 252 is basically configured with the adaptive offset filter unit 154 of FIG. 7 so as to include the offset filter 121 of FIG.
  • the adaptive offset filter unit 252 reads out the pixels held in the line memory 251 and applies the filter processing by the offset filter 121 to the read out pixels.
  • the adaptive offset filter unit 252 outputs the pixel after the filter processing by the offset filter 121 to the calculation unit 254.
  • the adaptive offset filter unit 252 performs the filter process by the offset filter 121 on the pixels from the deblocking filter unit 101.
  • the adaptive offset filter unit 252 outputs the pixel after the filter processing by the offset filter 121 to the calculation unit 254.
  • the adaptive loop filter unit 253 is basically configured similarly to the adaptive loop filter unit 155 of FIG. 7 so as to include the loop filter 131 of FIG.
  • the adaptive loop filter unit 253 reads out the pixels held in the line memory 251 and applies the filter processing by the loop filter 131 to the read out pixels.
  • the adaptive loop filter unit 253 outputs the pixel after the filter processing by the loop filter 131 to the calculation unit 254.
  • the adaptive loop filter unit 253 performs filter processing by the loop filter 131 on the pixels from the deblocking filter unit 101.
  • the adaptive loop filter unit 253 outputs the pixel after the filter processing by the loop filter 131 to the calculation unit 254.
  • the adaptive offset filter unit 252 and the adaptive loop filter unit 253 align the output phases and restart the processing.
  • the calculation unit 254 is composed of subtraction units 181-1 and 181-2, multiplication units 182-1 and 182-2, and an addition unit 183, and calculates the output P after each filter processing by a linear sum. Note that as the input pixel in the arithmetic unit 254, the pixel after filtering from the deblocking filter unit 101 is normally used, but the pixel held in the line memory 251 is read and used at the LCU boundary. .
  • the subtracting unit 181-1 subtracts the pixel P DB after the deblocking filter from the filtered pixel P SAO from the adaptive offset filter unit 252, and outputs the result to the multiplying unit 182-1.
  • the multiplication unit 182-1 multiplies the input (P SAO ⁇ P DB ) from the subtraction unit 181-1 by the coefficient C SAO corresponding to the adaptive offset filter unit 252 from the coefficient memory 255, and the addition unit 183 Output.
  • the subtracting unit 181-2 subtracts the pixel P DB after the deblocking filter from the filtered pixel P ALF from the adaptive loop filter unit 253, and outputs the result to the multiplying unit 182-2.
  • the multiplication unit 182-2 multiplies the input (P ALF ⁇ P DB ) from the subtraction unit 181-2 by the coefficient C ALF corresponding to the adaptive loop filter unit P DB from the coefficient memory 255, and adds the addition unit 183. Output to.
  • Addition unit 183 the pixel P DB after deblocking filter, adds the multiplication result from the multiplying unit 182-1 and 182-2, a P is the addition result is output to the frame memory.
  • the coefficient memory 255 stores a coefficient corresponding to each filter.
  • the coefficient memory 255 stores a coefficient C SAO corresponding to the adaptive offset filter unit 154 and a coefficient C ALF corresponding to the adaptive loop filter unit 155.
  • the coefficient C SAO and the coefficient C ALF in the case of FIG. 21 are coefficients that are multiplied by the pixel subjected to the filtering process for the pixel after the deblocking filter unit 101, and therefore correspond to the deblocking filter unit 101, respectively. You may do it.
  • coefficients may also be set by the user via an operation input unit (not shown). These coefficients may also be set according to the characteristics of the image.
  • the deblocking filter unit 101 sequentially applies the filter processing by the H filter 111 and the V filter 112 to the reconstructed pixel that is the input pixel from the previous stage, and the filtered pixel is stored in the line memory 251. Output.
  • the pixels held in the line memory 251 are filtered in parallel by the adaptive offset filter unit 252 and the adaptive loop filter unit 253.
  • the adaptive offset filter unit 252 reads out the pixel after the deblocking filter held in the line memory 251, and performs a filter process by the offset filter 121 on the read out pixel.
  • the adaptive offset filter unit 252 performs filter processing by the offset filter 121 on the processing target pixel using eight pixels (SAO reference pixels in FIG. 22) around the processing target pixel.
  • the adaptive offset filter unit 252 outputs the pixel after the filter processing by the offset filter 121 to the calculation unit 254.
  • the adaptive loop filter unit 253 reads out the pixel after the deblocking filter held in the line memory 251, and performs a filtering process by the loop filter 131 on the read out pixel.
  • the adaptive loop filter unit 253 performs filter processing by the loop filter 131 on the processing target pixel, using 16 pixels of the 5-tap snowflake shape (ALF tap shown in FIG. 22) centering on the processing target pixel. .
  • the adaptive loop filter unit 253 outputs the pixel after the filter processing by the loop filter 131 to the calculation unit 254.
  • the calculation unit 254 calculates the pixel after the filter processing from the adaptive offset filter unit 252 and the pixel after the filter processing from the adaptive loop filter unit 253 as a linear sum, and outputs the result to the subsequent stage.
  • FIG. 23 shows an example of LCU boundary pixels in the case of a luminance signal.
  • the deblocking V (vertical) filter processing at the horizontal boundary is started when the next LCU is input to the deblocking filter. Represents a pixel.
  • the circles indicated by hatching in the first to third lines represent pixels that have been partially deblocked H (horizontal) filtered at the vertical boundary of the CUs included in the LCU.
  • white circles represent pixels that are not actually subjected to deblocking H filter processing at the vertical boundary of the CU.
  • Pixels on the 4th to 7th lines from the LCU boundary are pixels that have been subjected to deblocking V filter processing.
  • the pixel on the fourth line from the LCU boundary is a pixel referred to in the deblocking V filter processing on the first line to the third line.
  • a circle above the sixth line from the LCU boundary represents a pixel after the loop filter (ALF).
  • the deblocking filter unit 101 At the LCU boundary, as described above with reference to FIG. 5, in the case of a luminance signal, the deblocking filter unit 101 first to third lines from the LCU boundary until the four lines of pixels of the next LCU are input. A standby state is entered in the processing of the pixels on the line. That is, the deblocking filter unit 101 can process only up to the fourth line from the LCU boundary.
  • the adaptive offset filter unit 252 and the adaptive loop filter unit 253 process the pixels after the filter (DF) by the deblocking filter unit 101. Therefore, the adaptive loop filter unit 253 can process only up to the sixth line from the LCU boundary. For this reason, the adaptive offset filter unit 252 also enters a standby state in the processing of the pixel on the sixth line from the LCU boundary so that the process can be started from the sixth line from the LCU boundary.
  • the deblocking filter unit 101 starts processing to output from the pixels of the third line from the LCU boundary. Since the pixel on the third line from the LCU boundary is input from the deblocking filter unit 101, the adaptive loop filter unit 253 starts processing to output from the pixel on the fifth line from the LCU boundary. The adaptive offset filter unit 252 also starts processing so as to match the output phase with the adaptive loop filter unit 253 and output from the pixels on the fifth line from the LCU boundary.
  • the deblocking filter unit 101 needs to hold the pixels in the first to fourth lines from the LCU boundary in the line memory 113.
  • the pixels in the fifth and sixth lines from the LCU boundary need to be held in the line memory 251.
  • the pixels in the fifth to seventh lines from the LCU boundary need to be held in the line memory 251.
  • the line memory 251 only needs to hold pixels for three lines from the fifth to seventh lines from the LCU boundary.
  • the in-loop filter 31 of FIG. 21 requires the line memory 113 for 4 lines and the line memory 251 for 3 lines, which is compared with the conventional 9 lines of pixels. It is possible to reduce the number of line memories for two lines.
  • FIG. 24 shows an example of LCU boundary pixels in the case of a color difference signal.
  • the circle on the first line from the LCU boundary represents a pixel where the deblocking V (vertical) filter processing at the horizontal boundary is started when the next LCU is input to the deblocking filter. ing.
  • a circle indicated by hatching in the first line represents a pixel that has been partially deblocked H (horizontal) filtered at the vertical boundary of the CU included in the LCU.
  • white circles represent pixels that are not actually subjected to deblocking H filter processing at the vertical boundary of the CU.
  • Pixels on the 2nd to 5th lines from the LCU boundary are pixels that have been subjected to deblocking V filter processing.
  • the pixel on the second line from the LCU boundary is a pixel referred to in the deblocking V filter process on the first line.
  • a circle above the fourth line from the LCU boundary represents a pixel after the loop filter (ALF).
  • the deblocking filter unit 101 starts the first line from the LCU boundary until pixels for two lines of the next LCU are input. A standby state is entered in pixel processing. That is, the deblocking filter unit 101 can process only the second line from the LCU boundary.
  • the adaptive offset filter unit 252 and the adaptive loop filter unit 253 process the pixels after the filter (DF) by the deblocking filter unit 101. Therefore, the adaptive loop filter unit 253 can process only the fourth line from the LCU boundary. For this reason, the adaptive offset filter unit 252 also enters a standby state in the processing of the pixel on the third line from the LCU boundary so that the process can be started from the third line from the LCU boundary.
  • the deblocking filter unit 101 starts processing so as to output from the pixels on the first line from the LCU boundary. Since the pixel on the first line from the LCU boundary is input from the deblocking filter unit 101, the adaptive loop filter unit 253 starts processing so as to output from the pixel on the third line from the LCU boundary. The adaptive offset filter unit 252 also starts processing so as to match the output phase with the adaptive loop filter unit 253 and output from the pixels on the third line from the LCU boundary.
  • the deblocking filter unit 101 needs to hold the pixels on the first and second lines from the LCU boundary in the line memory 113.
  • the pixels in the third and fourth lines from the LCU boundary need to be held in the line memory 251.
  • the pixels in the third to fifth lines from the LCU boundary need to be held in the line memory 251.
  • the line memory 251 only needs to hold pixels for three lines from the third to fifth lines from the LCU boundary.
  • the in-loop filter 31 of FIG. 21 requires the line memory 113 for two lines and the line memory 251 for three lines, which are compared with the conventional pixels for seven lines. It is possible to reduce the number of line memories for two lines.
  • step S251 the deblocking filter unit 101 performs a deblocking filter process. That is, the deblocking filter unit 101 performs filter processing by the H filter 111 and filter processing by the V filter 112 on the reconstructed pixel.
  • the pixel after the filter processing is output to the line memory 251, the adaptive offset filter unit 252, the adaptive loop filter unit 253, and the calculation unit 254.
  • the deblocking filter unit 101 normally performs a filtering process by the H filter 111 on the reconstructed pixel that is an input pixel from the previous stage (other than the LCU boundary).
  • the deblocking filter unit 101 once holds the reconstructed pixel, which is the input pixel from the previous stage, in the line memory 113.
  • the deblocking filter unit 101 performs filtering using the H filter 111 using the input pixels and the pixels held in the line memory 113, and the V filter 112. Filter processing is performed.
  • step S252 the deblocking filter unit 101 determines whether it is the last pixel in the LCU. If it is determined in step S252 that the pixel is not the last pixel in the LCU, the process returns to step S251, and the subsequent processes are repeated.
  • step S252 If it is determined in step S252 that it is the last pixel in the LCU, the process proceeds to step S253.
  • step S253 the deblocking filter unit 101 determines whether it is the last pixel in the screen. If it is determined in step S253 that the pixel is not the last pixel in the screen, the process proceeds to step S254.
  • step S254 the deblocking filter unit 101 selects the next LCU, and the process returns to step S251. That is, the processing from step S251 onward is repeated for the LCU selected in step S254.
  • step S253 If it is determined in step S253 that the pixel is not the last pixel in the screen, the process proceeds to steps S255 and S256.
  • steps S255 and S256 are executed in parallel using the pixels held in the line memory 251.
  • processing is started with the output phases aligned in steps S255 and S256.
  • the adaptive offset filter unit 252 performs a filtering process by the offset filter 121 on the pixels from the line memory 251 or the deblocking filter unit 101 in step S255.
  • the adaptive offset filter unit 252 outputs the pixel after the filter processing by the offset filter 121 to the calculation unit 254.
  • the adaptive loop filter unit 253 performs filter processing by the loop filter 131 on the pixels from the line memory 251 or the deblocking filter unit 101 in step S256.
  • the adaptive loop filter unit 253 outputs the pixel after the filter processing by the loop filter 131 to the calculation unit 254.
  • step S257 the calculation unit 254 calculates two results after each filter processing by the adaptive offset filter unit 252 and the adaptive loop filter unit 253. The result after the calculation is output to the subsequent stage.
  • step S258 the adaptive offset filter unit 252 and the adaptive loop filter unit 253 determine whether it is the last pixel in the LCU. If it is determined in step S258 that the pixel is not the last pixel in the LCU, the processing returns to steps S255 and S256, and the subsequent processing is repeated.
  • step S258 If it is determined in step S258 that the pixel is the last pixel in the LCU, the process proceeds to step S259.
  • step S259 the adaptive offset filter unit 252 and the adaptive loop filter unit 253 determine whether or not it is the last pixel in the screen. If it is determined in step S259 that the pixel is not the last pixel in the screen, the process proceeds to step S260.
  • step S260 the adaptive offset filter unit 252 and the adaptive loop filter unit 253 select the next LCU, and the process returns to steps S255 and S256. That is, the processes after steps S255 and S256 are repeated for the LCU selected at step S260.
  • step S259 If it is determined in step S259 that the pixel is not the last pixel in the screen, the in-loop filter process is terminated.
  • the input of the two filter processes constituting the in-loop filter 31 is processed in parallel as the pixel after the deblocking filter, and the line memory is shared at the LCU boundary. Therefore, the number of line memories can be reduced.
  • the in-loop filter 31 has a simple configuration in which switching between normal processing and LCU boundary processing is performed only by switching whether a pixel from the previous stage or a pixel from the line memory is input. Accordingly, control when the adaptive offset filter and the adaptive offset filter each perform frame processing can be easily performed by software or the like.
  • the in-loop filter 31 is controlled to process each filter unit in parallel. It can also comprise so that the control part to perform may be provided.
  • the control unit also performs control such that the output phases from the filter units that perform processing in parallel are matched.
  • the HEVC method is used as the encoding method.
  • the present disclosure is not limited to this, and other encoding schemes / decoding schemes including at least two of a deblocking filter, an adaptive offset filter, and an adaptive loop filter can be applied as the in-loop filter. .
  • the present disclosure discloses, for example, image information (bitstream) compressed by orthogonal transformation such as discrete cosine transformation and motion compensation, such as HEVC, satellite broadcasting, cable television, the Internet, or a mobile phone.
  • the present invention can be applied to an image encoding device and an image decoding device used when receiving via a network medium.
  • the present disclosure can be applied to an image encoding device and an image decoding device that are used when processing on a storage medium such as an optical disk, a magnetic disk, and a flash memory.
  • FIG. 26 is a block diagram showing a hardware configuration example of a personal computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • the input / output interface 505 includes an input unit 506 made up of a keyboard, mouse, microphone, etc., an output unit 507 made up of a display, a speaker, etc., a storage unit 508 made up of a hard disk or nonvolatile memory, and a communication unit 509 made up of a network interface.
  • a drive 510 is connected to drive a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. A series of processes are performed.
  • Programs executed by the computer (CPU 501) are, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor.
  • the program can be provided by being recorded on a removable medium 511 as a package medium including a memory.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the storage unit 508. In addition, the program can be installed in the ROM 502 or the storage unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • An image encoding device and an image decoding device include a transmitter or a receiver in optical broadcasting, satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication, etc.
  • the present invention can be applied to various electronic devices such as a recording device that records an image on a medium such as a magnetic disk and a flash memory, or a playback device that reproduces an image from these storage media.
  • a recording device that records an image on a medium such as a magnetic disk and a flash memory
  • a playback device that reproduces an image from these storage media.
  • FIG. 27 illustrates an example of a schematic configuration of a television apparatus to which the above-described embodiment is applied.
  • the television apparatus 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, an external interface 909, a control unit 910, a user interface 911, And a bus 912.
  • Tuner 902 extracts a signal of a desired channel from a broadcast signal received via antenna 901, and demodulates the extracted signal. Then, the tuner 902 outputs the encoded bit stream obtained by the demodulation to the demultiplexer 903. In other words, the tuner 902 serves as a transmission unit in the television apparatus 900 that receives an encoded stream in which an image is encoded.
  • the demultiplexer 903 separates the video stream and audio stream of the viewing target program from the encoded bit stream, and outputs each separated stream to the decoder 904. Further, the demultiplexer 903 extracts auxiliary data such as EPG (Electronic Program Guide) from the encoded bit stream, and supplies the extracted data to the control unit 910. Note that the demultiplexer 903 may perform descrambling when the encoded bit stream is scrambled.
  • EPG Electronic Program Guide
  • the decoder 904 decodes the video stream and audio stream input from the demultiplexer 903. Then, the decoder 904 outputs the video data generated by the decoding process to the video signal processing unit 905. In addition, the decoder 904 outputs audio data generated by the decoding process to the audio signal processing unit 907.
  • the video signal processing unit 905 reproduces the video data input from the decoder 904 and causes the display unit 906 to display the video.
  • the video signal processing unit 905 may cause the display unit 906 to display an application screen supplied via a network.
  • the video signal processing unit 905 may perform additional processing such as noise removal on the video data according to the setting.
  • the video signal processing unit 905 may generate a GUI (Graphical User Interface) image such as a menu, a button, or a cursor, and superimpose the generated image on the output image.
  • GUI Graphic User Interface
  • the display unit 906 is driven by a drive signal supplied from the video signal processing unit 905, and displays an image on a video screen of a display device (for example, a liquid crystal display, a plasma display, or an OELD (Organic ElectroLuminescence Display) (organic EL display)). Or an image is displayed.
  • a display device for example, a liquid crystal display, a plasma display, or an OELD (Organic ElectroLuminescence Display) (organic EL display)). Or an image is displayed.
  • the audio signal processing unit 907 performs reproduction processing such as D / A conversion and amplification on the audio data input from the decoder 904, and outputs audio from the speaker 908.
  • the audio signal processing unit 907 may perform additional processing such as noise removal on the audio data.
  • the external interface 909 is an interface for connecting the television apparatus 900 to an external device or a network.
  • a video stream or an audio stream received via the external interface 909 may be decoded by the decoder 904. That is, the external interface 909 also has a role as a transmission unit in the television apparatus 900 that receives an encoded stream in which an image is encoded.
  • the control unit 910 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, EPG data, data acquired via a network, and the like.
  • the program stored in the memory is read and executed by the CPU when the television apparatus 900 is activated.
  • the CPU executes the program to control the operation of the television device 900 according to an operation signal input from the user interface 911, for example.
  • the user interface 911 is connected to the control unit 910.
  • the user interface 911 includes, for example, buttons and switches for the user to operate the television device 900, a remote control signal receiving unit, and the like.
  • the user interface 911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 910.
  • the bus 912 connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface 909, and the control unit 910 to each other.
  • the decoder 904 has the function of the image decoding apparatus according to the above-described embodiment. As a result, when decoding an image on the television device 900, the line memory can be reduced with a simple processing structure.
  • FIG. 28 shows an example of a schematic configuration of a mobile phone to which the above-described embodiment is applied.
  • a mobile phone 920 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, a control unit 931, an operation A portion 932 and a bus 933.
  • the antenna 921 is connected to the communication unit 922.
  • the speaker 924 and the microphone 925 are connected to the audio codec 923.
  • the operation unit 932 is connected to the control unit 931.
  • the bus 933 connects the communication unit 922, the audio codec 923, the camera unit 926, the image processing unit 927, the demultiplexing unit 928, the recording / reproducing unit 929, the display unit 930, and the control unit 931 to each other.
  • the mobile phone 920 has various operation modes including a voice call mode, a data communication mode, a shooting mode, and a videophone mode, and is used for sending and receiving voice signals, sending and receiving e-mail or image data, taking images, and recording data. Perform the action.
  • the analog voice signal generated by the microphone 925 is supplied to the voice codec 923.
  • the audio codec 923 converts an analog audio signal into audio data, A / D converts the compressed audio data, and compresses it. Then, the audio codec 923 outputs the compressed audio data to the communication unit 922.
  • the communication unit 922 encodes and modulates the audio data and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921. In addition, the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • the communication unit 922 demodulates and decodes the received signal to generate audio data, and outputs the generated audio data to the audio codec 923.
  • the audio codec 923 decompresses the audio data and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the control unit 931 generates character data constituting the e-mail in response to an operation by the user via the operation unit 932.
  • the control unit 931 causes the display unit 930 to display characters.
  • the control unit 931 generates e-mail data in response to a transmission instruction from the user via the operation unit 932, and outputs the generated e-mail data to the communication unit 922.
  • the communication unit 922 encodes and modulates email data and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • the communication unit 922 demodulates and decodes the received signal to restore the email data, and outputs the restored email data to the control unit 931.
  • the control unit 931 displays the content of the electronic mail on the display unit 930 and stores the electronic mail data in the storage medium of the recording / reproducing unit 929.
  • the recording / reproducing unit 929 has an arbitrary readable / writable storage medium.
  • the storage medium may be a built-in storage medium such as RAM or flash memory, and is externally mounted such as a hard disk, magnetic disk, magneto-optical disk, optical disk, USB (Unallocated Space Space Bitmap) memory, or memory card. It may be a storage medium.
  • the camera unit 926 images a subject to generate image data, and outputs the generated image data to the image processing unit 927.
  • the image processing unit 927 encodes the image data input from the camera unit 926 and stores the encoded stream in the storage medium of the storage / playback unit 929.
  • the demultiplexing unit 928 multiplexes the video stream encoded by the image processing unit 927 and the audio stream input from the audio codec 923, and the multiplexed stream is the communication unit 922. Output to.
  • the communication unit 922 encodes and modulates the stream and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • These transmission signal and reception signal may include an encoded bit stream.
  • the communication unit 922 demodulates and decodes the received signal to restore the stream, and outputs the restored stream to the demultiplexing unit 928.
  • the demultiplexing unit 928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 927 and the audio stream to the audio codec 923.
  • the image processing unit 927 decodes the video stream and generates video data.
  • the video data is supplied to the display unit 930, and a series of images is displayed on the display unit 930.
  • the audio codec 923 decompresses the audio stream and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the image processing unit 927 has the functions of the image encoding device and the image decoding device according to the above-described embodiment. As a result, line memory can be reduced with a simple processing structure when encoding and decoding images with the mobile phone 920.
  • FIG. 29 shows an example of a schematic configuration of a recording / reproducing apparatus to which the above-described embodiment is applied.
  • the recording / reproducing device 940 encodes audio data and video data of a received broadcast program and records the encoded data on a recording medium.
  • the recording / reproducing device 940 may encode audio data and video data acquired from another device and record them on a recording medium, for example.
  • the recording / reproducing device 940 reproduces data recorded on the recording medium on a monitor and a speaker, for example, in accordance with a user instruction. At this time, the recording / reproducing device 940 decodes the audio data and the video data.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface 942, an encoder 943, an HDD (Hard Disk Drive) 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) 948, a control unit 949, and a user interface. 950.
  • Tuner 941 extracts a signal of a desired channel from a broadcast signal received via an antenna (not shown), and demodulates the extracted signal. Then, the tuner 941 outputs the encoded bit stream obtained by the demodulation to the selector 946. That is, the tuner 941 has a role as a transmission unit in the recording / reproducing apparatus 940.
  • the external interface 942 is an interface for connecting the recording / reproducing apparatus 940 to an external device or a network.
  • the external interface 942 may be, for example, an IEEE1394 interface, a network interface, a USB interface, or a flash memory interface.
  • video data and audio data received via the external interface 942 are input to the encoder 943. That is, the external interface 942 serves as a transmission unit in the recording / reproducing device 940.
  • the encoder 943 encodes video data and audio data when the video data and audio data input from the external interface 942 are not encoded. Then, the encoder 943 outputs the encoded bit stream to the selector 946.
  • the HDD 944 records an encoded bit stream in which content data such as video and audio is compressed, various programs, and other data on an internal hard disk. Further, the HDD 944 reads out these data from the hard disk when reproducing video and audio.
  • the disk drive 945 performs recording and reading of data to and from the mounted recording medium.
  • the recording medium mounted on the disk drive 945 is, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.) or a Blu-ray (registered trademark) disk. It may be.
  • the selector 946 selects an encoded bit stream input from the tuner 941 or the encoder 943 when recording video and audio, and outputs the selected encoded bit stream to the HDD 944 or the disk drive 945. In addition, the selector 946 outputs the encoded bit stream input from the HDD 944 or the disk drive 945 to the decoder 947 during video and audio reproduction.
  • the decoder 947 decodes the encoded bit stream and generates video data and audio data. Then, the decoder 947 outputs the generated video data to the OSD 948. The decoder 904 outputs the generated audio data to an external speaker.
  • OSD 948 reproduces the video data input from the decoder 947 and displays the video. Further, the OSD 948 may superimpose a GUI image such as a menu, a button, or a cursor on the video to be displayed.
  • the control unit 949 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the recording / reproducing apparatus 940 is activated, for example.
  • the CPU controls the operation of the recording / reproducing apparatus 940 in accordance with an operation signal input from the user interface 950, for example, by executing the program.
  • the user interface 950 is connected to the control unit 949.
  • the user interface 950 includes, for example, buttons and switches for the user to operate the recording / reproducing device 940, a remote control signal receiving unit, and the like.
  • the user interface 950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 949.
  • the encoder 943 has the function of the image encoding apparatus according to the above-described embodiment.
  • the decoder 947 has the function of the image decoding apparatus according to the above-described embodiment.
  • FIG. 30 illustrates an example of a schematic configuration of an imaging apparatus to which the above-described embodiment is applied.
  • the imaging device 960 images a subject to generate an image, encodes the image data, and records it on a recording medium.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a signal processing unit 963, an image processing unit 964, a display unit 965, an external interface 966, a memory 967, a media drive 968, an OSD 969, a control unit 970, a user interface 971, and a bus. 972.
  • the optical block 961 is connected to the imaging unit 962.
  • the imaging unit 962 is connected to the signal processing unit 963.
  • the display unit 965 is connected to the image processing unit 964.
  • the user interface 971 is connected to the control unit 970.
  • the bus 972 connects the image processing unit 964, the external interface 966, the memory 967, the media drive 968, the OSD 969, and the control unit 970 to each other.
  • the optical block 961 includes a focus lens and a diaphragm mechanism.
  • the optical block 961 forms an optical image of the subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 includes an image sensor such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor), and converts an optical image formed on the imaging surface into an image signal as an electrical signal by photoelectric conversion. Then, the imaging unit 962 outputs the image signal to the signal processing unit 963.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 962.
  • the signal processing unit 963 outputs the image data after the camera signal processing to the image processing unit 964.
  • the image processing unit 964 encodes the image data input from the signal processing unit 963 and generates encoded data. Then, the image processing unit 964 outputs the generated encoded data to the external interface 966 or the media drive 968. The image processing unit 964 also decodes encoded data input from the external interface 966 or the media drive 968 to generate image data. Then, the image processing unit 964 outputs the generated image data to the display unit 965. In addition, the image processing unit 964 may display the image by outputting the image data input from the signal processing unit 963 to the display unit 965. Further, the image processing unit 964 may superimpose display data acquired from the OSD 969 on an image output to the display unit 965.
  • the OSD 969 generates a GUI image such as a menu, a button, or a cursor, and outputs the generated image to the image processing unit 964.
  • the external interface 966 is configured as a USB input / output terminal, for example.
  • the external interface 966 connects the imaging device 960 and a printer, for example, when printing an image.
  • a drive is connected to the external interface 966 as necessary.
  • a removable medium such as a magnetic disk or an optical disk is attached to the drive, and a program read from the removable medium can be installed in the imaging device 960.
  • the external interface 966 may be configured as a network interface connected to a network such as a LAN or the Internet. That is, the external interface 966 has a role as a transmission unit in the imaging device 960.
  • the recording medium mounted on the media drive 968 may be any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • a recording medium may be fixedly mounted on the media drive 968, and a non-portable storage unit such as an internal hard disk drive or an SSD (Solid State Drive) may be configured.
  • the control unit 970 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the imaging device 960 is activated, for example.
  • the CPU controls the operation of the imaging device 960 according to an operation signal input from the user interface 971 by executing the program.
  • the user interface 971 is connected to the control unit 970.
  • the user interface 971 includes, for example, buttons and switches for the user to operate the imaging device 960.
  • the user interface 971 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 970.
  • the image processing unit 964 has the functions of the image encoding device and the image decoding device according to the above-described embodiment. As a result, when the image is encoded and decoded by the imaging device 960, the line memory can be reduced with a simple processing structure.
  • the filtering process for the vertical boundary is mainly performed before the filtering process for the horizontal boundary has been described.
  • the present invention is also applicable when the filtering process for the horizontal boundary is performed first.
  • the above-described effects of the technology according to the disclosure can be enjoyed equally.
  • the size of the processing unit of the deblocking filter or the size of the LCU is not limited to the example described in the present specification, and may be other sizes.
  • the filter for the filtering process for the vertical boundary is expressed as “H (horizontal) filter”.
  • the filter taps of the filtering process for the horizontal boundary are arranged along the vertical direction, the filter of the filtering process for the horizontal boundary is expressed as “V (vertical) filter”.
  • V (vertical) filter the filtering process for the vertical boundary
  • H (horizontal) filter the filtering process for the horizontal boundary
  • the method for transmitting such information is not limited to such an example.
  • these pieces of information may be transmitted or recorded as separate data associated with the encoded bitstream without being multiplexed into the encoded bitstream.
  • the term “associate” means that an image (which may be a part of an image such as a slice or a block) included in the bitstream and information corresponding to the image can be linked at the time of decoding. Means. That is, information may be transmitted on a transmission path different from that of the image (or bit stream).
  • Information may be recorded on a recording medium (or another recording area of the same recording medium) different from the image (or bit stream). Furthermore, the information and the image (or bit stream) may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.
  • this technique can also take the following structures.
  • a decoding unit that decodes an encoded stream to generate an image;
  • a first filter that performs a first filter process on the reconstructed image of the image generated by the decoding unit;
  • a second filter that performs a second filter process different from the first filter process on the reconstructed image of the image generated by the decoding unit;
  • An image processing apparatus comprising: an arithmetic unit that performs arithmetic processing using the image on which the first filter processing has been performed and the image on which the second filter processing has been performed.
  • the above (1) further includes a control unit that controls the first filter and the second filter so that the first filter processing and the second filter processing are performed in parallel. The image processing apparatus described.
  • the image processing device wherein the control unit performs control so as to match output phases of the first filter and the second filter.
  • a memory for holding a reconstructed image of the image generated by the decoding unit is further provided.
  • the image processing apparatus according to any one of (1) to (3), wherein the first filter and the second filter acquire the reconstructed image from the memory.
  • the first filter is a filter that removes noise at a block boundary.
  • the first filter is a deblocking filter.
  • the deblocking filter includes a filter applied to left and right pixels of a vertical boundary, and a filter applied to pixels above and below a horizontal boundary.
  • the control unit performs control so that a filter process applied to pixels on the left and right of the vertical boundary and a filter process applied to pixels above and below the horizontal boundary are performed in parallel.
  • Image processing device (9) The image processing apparatus according to any one of (1) to (7), wherein the second filter includes a third filter that removes ringing or a fourth filter that performs class classification on a block basis. . (10) The image processing device according to (9), wherein the third filter is an adaptive offset filter, and the fourth filter is an adaptive loop filter.
  • the calculation unit may use the first calculation coefficient corresponding to the first filter processing as an image on which the first filter processing has been performed and an image on which the second filter processing has been performed.
  • the image processing device according to any one of (1) to (10), wherein arithmetic processing is performed such that addition is performed as a linear sum using a second arithmetic coefficient corresponding to the second filter processing.
  • (12) The image processing device according to (11), wherein the first calculation coefficient and the second calculation coefficient are set according to a distance from a vertical boundary and a horizontal boundary.
  • the image processing apparatus Decoding the encoded stream to generate an image, For the reconstructed image of the generated image, the first filter processing is performed, For the reconstructed image of the generated image, a second filter process different from the first filter process is performed, An image processing method for performing arithmetic processing using an image on which the first filter processing has been performed and an image on which the second filter processing has been performed.
  • a first filter that performs a first filter process on a reconstructed image of an image that has been locally decoded when the image is encoded;
  • a second filter that performs a second filter process different from the first filter process on the reconstructed image of the locally decoded image;
  • An arithmetic unit that performs arithmetic processing using the image subjected to the first filter processing and the image subjected to the second filter processing;
  • An image processing apparatus comprising: an encoding unit that encodes the image using an image that is a result of the arithmetic processing performed by the arithmetic unit.
  • the above (14) further comprising a control unit that controls the first filter and the second filter so that the first filter processing and the second filter processing are performed in parallel.
  • the image processing apparatus The first filter processing is performed on the reconstructed image of the image that has been subjected to local decoding processing when the image is encoded, A second filter process different from the first filter process is performed on the reconstructed image of the image subjected to the local decoding process, Using the image on which the first filter processing has been performed and the image on which the second filter processing has been performed, arithmetic processing is performed, An image processing method for encoding an image using an image that is a result of arithmetic processing.
  • a decoding unit that generates an image by decoding the encoded stream; A first filter that performs a first filter process on the reconstructed image of the image generated by the decoding unit; A second filter that performs a second filter process different from the first filter process for an image on which the first filter process has been performed by the first filter;
  • An image processing apparatus comprising: an arithmetic unit that performs arithmetic processing using the image on which the first filter processing has been performed and the image on which the second filter processing has been performed.
  • the image processing apparatus is Decoding the encoded stream to generate an image, For the reconstructed image of the generated image, the first filter processing is performed, For the image on which the first filter processing has been performed, a second filter processing different from the first filter processing is performed, An image processing method for performing arithmetic processing using an image on which the first filter processing has been performed and an image on which the second filter processing has been performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本技術は、簡単な処理構造で、ラインメモリの削減を図ることができるようにする画像処理装置および方法に関する。 LCU境界において、デブロッキングＨフィルタ部、デブロッキングＶフィルタ部、適応オフセットフィルタ部、および適応ループフィルタ部は、ラインメモリを共有し、ラインメモリに保持されたリコンストラクト画素に対して、並列に各フィルタ処理を行う。演算部は、各フィルタ処理後の画素に対して加算などの演算行い、演算結果を後段に出力する。本開示は、例えば、画像処理装置に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、簡単な処理構造で、ラインメモリの削減を図ることができるようにした画像処理装置および方法に関する。
　近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）などがある。
　そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。
　現時点におけるHEVCのドラフトでは、インループフィルタとして、デブロッキングフィルタ、適応ループフィルタ、および適応オフセットフィルタが採用されている。インループフィルタにおいては、デブロッキングフィルタ、適応オフセットフィルタ、適応ループフィルタの順に処理が行われるが、最大の符号化単位であるLCUの水平境界（以下、単にLCU境界とも称する）においては、それぞれラインメモリを持つ必要があり、トータルすると、大量のラインメモリが必要になる。
　そこで、この大量のラインメモリを削減するために、さまざまな提案がなされている。例えば、非特許文献１においては、デブロッキングのために保持するラインにかかる適応オフセットフィルタの処理（タップ参照画素）は、リコンストラクト画素（すなわち、デブロッキング前の画素）を利用する。これにより、デブロッキング用に保持するラインまでの適応ループフィルタ処理を行い、保持するラインメモリを削減することが提案されている。
" Line Memory Reduction for ALF Decoding", Semih Esenlik, Matthias Narroschke, Thomas Wedi, JCTVC-E225,March 2011
　しかしながら、非特許文献１において提案されている方法は、LCUベース処理に特化した処理である。したがって、ソフトウエアなどで、デブロッキングフィルタ、適応オフセットフィルタ、および適応オフセットフィルタがそれぞれフレーム処理をする場合にかなり複雑な制御になってしまう。
　本開示は、このような状況に鑑みてなされたものであり、簡単な処理構造で、ラインメモリの削減を図ることができるものである。
　本開示の第１の側面の画像処理装置は、符号化ストリームを復号処理して画像を生成する復号部と、前記復号部により生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行う第１のフィルタと、前記復号部により生成された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行う第２のフィルタと、前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する演算部とを備える。
　前記第１のフィルタ処理と前記第２のフィルタ処理とを並列的に行うように、前記第１のフィルタと前記第２のフィルタとを制御する制御部をさらに備えることができる。
　前記制御部は、前記第１のフィルタと前記第２のフィルタとの出力位相とを合わせるように制御することができる。
　前記復号部により生成された画像のリコンストラクト画像を保持するメモリをさらに備え、前記第１のフィルタと前記第２のフィルタは、前記メモリから前記リコンストラクト画像を取得することができる。
　前記第１のフィルタは、ブロック境界のノイズを除去するフィルタである。
　前記第１のフィルタは、デブロッキングフィルタである。
　前記デブロックフィルタは、垂直境界の左右の画素にかけるフィルタ、および水平境界の上下の画素にかけるフィルタを含むことができる。
　前記制御部は、前記垂直境界の左右の画素にかけるフィルタの処理と前記水平境界の上下の画素にかけるフィルタの処理とを並列的に行うように制御することができる。
　前記第２のフィルタは、リンギングを除去する第３のフィルタ、およびブロックベースでクラス分類を行う第４のフィルタの少なくとも一方を含むことができる。
　前記第３のフィルタは、適応オフセットフィルタであって、前記第４のフィルタは、適応ループフィルタである。
　前記演算部は、前記第１のフィルタ処理が行われた画像と、前記第２のフィルタ処理が行われた画像とを、前記第１のフィルタ処理に対応する第１の演算係数と前記第２のフィルタ処理に対応する第２の演算係数とを用いた線形和で加算するように演算処理することができる。
　前記第１の演算係数と前記第２の演算係数とは、垂直境界および水平境界からの距離に応じて設定される。
　本開示の第１の側面の画像処理方法は、画像処理装置が、符号化ストリームを復号処理して画像を生成し、生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行い、生成された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行い、前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する。
　本開示の第２の側面の画像処理装置は、画像を符号化する際にローカル復号処理された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行う第１のフィルタと、前記ローカル復号処理された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行う第２のフィルタと、前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する演算部と、前記演算部により演算処理された結果である画像を用いて、前記画像を符号化する符号化部とを備える。
　前記第１のフィルタ処理と前記第２のフィルタ処理とを並列的に行うように、前記第１のフィルタと前記第２のフィルタとを制御する制御部をさらに備えることができる。
　前記制御部は、前記第１のフィルタと前記第２のフィルタとの出力位相とを合わせるように制御することができる。
　前記復号部により生成された画像のリコンストラクト画像を保持するメモリをさらに備え、前記第１のフィルタと前記第２のフィルタは、前記メモリから前記リコンストラクト画像を取得することができる。
　本開示の第２の側面の画像処理方法は、画像処理装置が、画像を符号化する際にローカル復号処理された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行い、前記ローカル復号処理された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行い、前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理し、演算処理された結果である画像を用いて、前記画像を符号化する。
　本開示の第３の側面の画像処理装置は、符号化ストリームを復号処理して画像を生成する復号部と、前記復号部により生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行う第１のフィルタと、前記第１のフィルタにより前記第１のフィルタ処理が行われた画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行う第２のフィルタと、前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する演算部とを備える。
　本開示の第３の側面の画像処理方法は、画像処理装置が、符号化ストリームを復号処理して画像を生成し、生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行い、前記第１のフィルタ処理が行われた画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行い、前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する。
　本開示の第１の側面においては、符号化ストリームを復号処理して画像が生成され、生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理が行われる。また、生成された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理が行われる。そして、前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理される。
　本開示の第２の側面においては、画像を符号化する際にローカル復号処理された画像のリコンストラクト画像を対象として、第１のフィルタ処理が行われる。また、前記ローカル復号処理された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理が行われる。そして、前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理され、演算処理された結果である画像を用いて、前記画像が符号化される。
　本開示の第３の側面においては、符号化ストリームを復号処理して画像が生成され、生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理が行われる。また、前記第１のフィルタ処理が行われた画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理が行われる。そして、前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理される。
　なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
　本開示の第１の側面および第３の側面によれば、画像を復号することができる。特に、簡単な処理構造で、ラインメモリの削減を図ることができる。
　本開示の第２の側面によれば、画像を符号化することができる。特に、簡単な処理構造で、ラインメモリの削減を図ることができる。
画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 従来のインループフィルタのLCU境界で必要な各ラインメモリ数を説明する図である。 従来のインループフィルタの構成例を示すブロック図である。 本開示を適用したインループフィルタの構成例を示すブロック図である。 LCU境界の画素の例を示す図である。 図７のインループフィルタのさらに詳細な構成例を示すブロック図である。 図８のインループフィルタの処理を説明するフローチャートである。 加重平均のための重みの決定について説明する図である。 加重平均のための重みの一例を示す図である。 垂直境界および水平境界におけるフィルタリング要否の判定結果に応じた演算部からの出力画素値を示す図である。 インループフィルタを構成し得る並列処理のパターンを示す図である。 本開示を適用したインループフィルタの他の構成例を示すブロック図である。 輝度信号の場合のLCU境界で必要な各ラインメモリ数を説明する図である。 色差信号の場合のLCU境界で必要な各ラインメモリ数を説明する図である。 図１５のインループフィルタの処理を説明するフローチャートである。 本開示を適用したインループフィルタのさらに他の構成例を示すブロック図である。 図１９のインループフィルタの処理を説明するフローチャートである。 本開示を適用したインループフィルタのさらに他の構成例を示すブロック図である。 図２１のインループフィルタのLCU境界における処理を説明する図である。 輝度信号の場合のLCU境界で必要な各ラインメモリ数を説明する図である。 色差信号の場合のLCU境界で必要な各ラインメモリ数を説明する図である。 図２１のインループフィルタの処理を説明するフローチャートである。 パーソナルコンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．装置および動作の概要
２．従来の手法の説明
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態
６．第４の実施の形態
７．第５の実施の形態
８．応用例
＜１．装置および動作の概要＞
［画像符号化装置の構成例］
　図１は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
　図１に示される画像符号化装置１１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、HEVC（High Efficiency Video Coding）方式などが用いられる。
　図１の例において、画像符号化装置１１は、A/D（Analog / Digital）変換部２１、画面並べ替えバッファ２２、演算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、および蓄積バッファ２７を有する。また、画像符号化装置１１は、逆量子化部２８、逆直交変換部２９、演算部３０、インループフィルタ３１ａ、フレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、予測画像選択部３６、およびレート制御部３７を有する。
　A/D変換部２１は、入力された画像データをA/D変換し、画面並べ替えバッファ２２に出力し、記憶させる。
　画面並べ替えバッファ２２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、演算部２３に供給する。また、画面並べ替えバッファ２２は、フレームの順番を並び替えた画像を、イントラ予測部３４および動き予測・補償部３５にも供給する。
　演算部２３は、画面並べ替えバッファ２２から読み出された画像から、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を減算し、その差分情報を直交変換部２４に出力する。
　例えば、イントラ符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、イントラ予測部３４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部２３は、画面並べ替えバッファ２２から読み出された画像から、動き予測・補償部３５から供給される予測画像を減算する。
　直交変換部２４は、演算部２３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２５に供給する。
　量子化部２５は、直交変換部２４が出力する変換係数を量子化する。量子化部２５は、量子化された変換係数を可逆符号化部２６に供給する。
　可逆符号化部２６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
　可逆符号化部２６は、イントラ予測モードを示す情報などのパラメータをイントラ予測部３４から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３５から取得する。
　可逆符号化部２６は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタクス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２６は、符号化して得られた符号化データを蓄積バッファ２７に供給して蓄積させる。
　例えば、可逆符号化部２６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
　蓄積バッファ２７は、可逆符号化部２６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
　また、量子化部２５において量子化された変換係数は、逆量子化部２８にも供給される。逆量子化部２８は、その量子化された変換係数を、量子化部２５による量子化に対応する方法で逆量子化する。逆量子化部２８は、得られた変換係数を、逆直交変換部２９に供給する。
　逆直交変換部２９は、供給された変換係数を、直交変換部２４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部３０に供給される。
　演算部３０は、逆直交変換部２９より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部３６を介してイントラ予測部３４若しくは動き予測・補償部３５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
　例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部３０は、その差分情報にイントラ予測部３４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部３０は、その差分情報に動き予測・補償部３５から供給される予測画像を加算する。
　その加算結果である復号画像は、インループフィルタ３１ａおよびフレームメモリ３２に供給される。
　インループフィルタ３１ａは、デブロックフィルタ、適応オフセットフィルタ、および適応ループフィルタを含むように構成される。インループフィルタ３１ａは、復号画像の画素（すなわち、リコンストラクト画素）を対象として、デブロックフィルタ、適応オフセットフィルタ、および適応ループフィルタの処理を施し、フィルタ処理結果を加算した画像を、フレームメモリ３２に供給する。
　なお、インループフィルタ３１ａにおいては、デブロックフィルタの垂直および水平、適応オフセットフィルタ、並びに適応ループフィルタの少なくとも２つの処理が並列で行われる。このインループフィルタ３１ａの構成および動作の詳細は図７を参照して後述される。
　フレームメモリ３２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部３３を介してイントラ予測部３４または動き予測・補償部３５に出力する。
　例えば、イントラ符号化が行われる画像の場合、フレームメモリ３２は、参照画像を、選択部３３を介してイントラ予測部３４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ３２は、参照画像を、選択部３３を介して動き予測・補償部３５に供給する。
　選択部３３は、フレームメモリ３２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部３４に供給する。また、選択部３３は、フレームメモリ３２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部３５に供給する。
　イントラ予測部３４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部３４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
　イントラ予測部３４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部３４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。
　また、上述したように、イントラ予測部３４は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部２６に供給する。
　動き予測・補償部３５は、インター符号化が行われる画像について、画面並べ替えバッファ２２から供給される入力画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用いて、動き予測を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
　動き予測・補償部３５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部３５は、生成された予測画像を、予測画像選択部３６を介して演算部２３や演算部３０に供給する。
　また、動き予測・補償部３５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部２６に供給する。
　予測画像選択部３６は、イントラ符号化を行う画像の場合、イントラ予測部３４の出力を演算部２３や演算部３０に供給し、インター符号化を行う画像の場合、動き予測・補償部３５の出力を演算部２３や演算部３０に供給する。
　レート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。
［画像符号化装置の動作］
　図２を参照して、以上のような画像符号化装置１１により実行される符号化処理の流れについて説明する。
　ステップＳ１１において、A/D変換部２１は入力された画像をA/D変換する。ステップＳ１２において、画面並べ替えバッファ２２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　画面並べ替えバッファ２２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ３２から読み出され、選択部３３を介してイントラ予測部３４に供給される。
　これらの画像に基づいて、ステップＳ１３において、イントラ予測部３４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、インループフィルタ３１によりフィルタされていない画素が用いられる。
　この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。
　画面並べ替えバッファ２２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ３２から読み出され、選択部３３を介して動き予測・補償部３５に供給される。これらの画像に基づいて、ステップＳ１４において、動き予測・補償部３５は、動き予測・補償処理を行う。
　この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部３６に供給される。
　ステップＳ１５において、予測画像選択部３６は、イントラ予測部３４および動き予測・補償部３５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部３６は、決定した最適予測モードの予測画像を選択し、演算部２３，３０に供給する。この予測画像は、後述するステップＳ１６，Ｓ２１の演算に利用される。
　なお、この予測画像の選択情報は、イントラ予測部３４または動き予測・補償部３５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部３４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測に関するパラメータ）を、可逆符号化部２６に供給する。
　最適インター予測モードの予測画像が選択された場合、動き予測・補償部３５は、最適インター予測モードを示す情報と、最適インター予測モードに応じた情報（すなわち、動き予測に関するパラメータ）を可逆符号化部２６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。
　ステップＳ１６において、演算部２３は、ステップＳ１２で並び替えられた画像と、ステップＳ１５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部３５から、イントラ予測する場合はイントラ予測部３４から、それぞれ予測画像選択部３６を介して演算部２３に供給される。
　差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
　ステップＳ１７において、直交変換部２４は演算部２３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
　ステップＳ１８において、量子化部２５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２６の処理で説明されるように、レートが制御される。
　以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１９において、逆量子化部２８は、量子化部２５により量子化された変換係数を量子化部２５の特性に対応する特性で逆量子化する。ステップＳ２０において、逆直交変換部２９は、逆量子化部２８により逆量子化された変換係数を直交変換部２４の特性に対応する特性で逆直交変換する。
　ステップＳ２１において、演算部３０は、予測画像選択部３６を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部２３への入力に対応する画像）を生成する。
　ステップＳ２２においてインループフィルタ３１ａは、演算部３０より出力された画像に対して、デブロックフィルタ、適応オフセットフィルタ、および適応ループフィルタからなるフィルタ処理を行う。このとき、デブロックフィルタの垂直および水平、適応オフセットフィルタ、並びに適応ループフィルタの少なくとも２つの処理が並列で行われる。このインループフィルタ処理の詳細は、図１０を参照して後述される。インループフィルタ３１ａからの復号画像は、フレームメモリ３２に出力される。
　ステップＳ２３においてフレームメモリ３２は、フィルタリングされた画像を記憶する。なお、フレームメモリ３２には、インループフィルタ３１ａによりフィルタされていない画像も演算部３０から供給され、記憶される。
　一方、上述したステップＳ１８において量子化された変換係数は、可逆符号化部２６にも供給される。ステップＳ２４において、可逆符号化部２６は、量子化部２５より出力された量子化された変換係数と、供給された各パラメータを符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。
　ステップＳ２５において蓄積バッファ２７は、符号化された差分画像（すなわち、符号化ストリーム）を、圧縮画像として蓄積する。蓄積バッファ２７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
　ステップＳ２６においてレート制御部３７は、蓄積バッファ２７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。
　ステップＳ２６の処理が終了すると、符号化処理が終了される。
［画像復号装置の構成例］
　図３は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図３に示される画像復号装置５１は、図１の画像符号化装置１１に対応する復号装置である。
　画像符号化装置１１より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１１に対応する画像復号装置５１に伝送され、復号されるものとする。
　図３に示されるように、画像復号装置５１は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、インループフィルタ３１ｂ、画面並べ替えバッファ６７、およびD/A変換部６８を有する。また、画像復号装置５１は、フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３を有する。
　蓄積バッファ６１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１１により符号化されたものである。可逆復号部６２は、蓄積バッファ６１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部２６の符号化方式に対応する方式で復号する。
　可逆復号部６２は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部７１に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部７２に供給する。
　逆量子化部６３は、可逆復号部６２により復号されて得られた係数データ（量子化係数）を、図１の量子化部２５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部６３は、画像符号化装置１１から供給された量子化パラメータを用いて、図１の逆量子化部２８と同様の方法で量子化係数の逆量子化を行う。
　逆量子化部６３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部６４に供給する。逆直交変換部６４は、図１の直交変換部２４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１１において直交変換される前の残差データに対応する復号残差データを得る。
　逆直交変換されて得られた復号残差データは、演算部６５に供給される。また、演算部６５には、選択部７３を介して、イントラ予測部７１若しくは動き予測・補償部７２から予測画像が供給される。
　演算部６５は、その復号残差データと予測画像とを加算し、画像符号化装置１１の演算部２３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部６５は、その復号画像データをインループフィルタ３１ｂに供給する。
　インループフィルタ３１ｂは、画像符号化装置１１のインループフィルタ３１ａと同様に、デブロックフィルタ、適応オフセットフィルタ、および適応ループフィルタを含むように構成される。インループフィルタ３１ｂは、復号画像の画素（すなわち、リコンストラクト画素）を対象として、デブロックフィルタ、適応オフセットフィルタ、および適応ループフィルタの処理を施し、フィルタ処理結果を加算した画像を、画面並べ替えバッファ６７に供給する。
　なお、インループフィルタ３１ｂにおいては、デブロックフィルタの垂直および水平、適応オフセットフィルタ、並びに適応ループフィルタの少なくとも２つの処理が並列で行われる。このインループフィルタ３１ｂの構成および動作の詳細は図７を参照して後述される。
　画面並べ替えバッファ６７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ２２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部６８は、画面並べ替えバッファ６７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
　インループフィルタ３１ｂの出力は、さらに、フレームメモリ６９に供給される。
　フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測・補償部７２、および選択部７３は、画像符号化装置１１のフレームメモリ３２、選択部３３、イントラ予測部３４、動き予測・補償部３５、および予測画像選択部３６にそれぞれ対応する。
　選択部７０は、インター処理される画像と参照される画像をフレームメモリ６９から読み出し、動き予測・補償部７２に供給する。また、選択部７０は、イントラ予測に用いられる画像をフレームメモリ６９から読み出し、イントラ予測部７１に供給する。
　イントラ予測部７１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部６２から適宜供給される。イントラ予測部７１は、この情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。
　動き予測・補償部７２には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部６２から供給される。
　動き予測・補償部７２は、可逆復号部６２から供給されるそれらの情報に基づいて、フレームメモリ６９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部７３に供給する。
　選択部７３は、動き予測・補償部７２またはイントラ予測部７１により生成された予測画像を選択し、演算部６５に供給する。
［画像復号装置の動作］
　図４を参照して、以上のような画像復号装置５１により実行される復号処理の流れの例を説明する。
　復号処理が開始されると、ステップＳ５１において、蓄積バッファ６１は、伝送されてきた符号化データを蓄積する。ステップＳ５２において、可逆復号部６２は、蓄積バッファ６１から供給される符号化データを復号する。図１の可逆符号化部２６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
　ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）などのパラメータの情報も復号される。
　予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部７１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き予測・補償部７２に供給される。
　ステップＳ５３において、イントラ予測部７１または動き予測・補償部７２は、可逆復号部６２から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。
　すなわち、可逆復号部６２からイントラ予測モード情報が供給された場合、イントラ予測部７１は、Most Probable Modeの生成を行い、並列処理により、イントラ予測モードのイントラ予測画像を生成する。可逆復号部６２からインター予測モード情報が供給された場合、動き予測・補償部７２は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。
　この処理により、イントラ予測部７１により生成された予測画像（イントラ予測画像）、または動き予測・補償部７２により生成された予測画像（インター予測画像）が選択部７３に供給される。
　ステップＳ５４において、選択部７３は予測画像を選択する。すなわち、イントラ予測部７１により生成された予測画像、または動き予測・補償部７２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部６５に供給され、後述するステップＳ５７において逆直交変換部６４の出力と加算される。
　上述したステップＳ５２において、可逆復号部６２により復号された変換係数は、逆量子化部６３にも供給される。ステップＳ５５において、逆量子化部６３は可逆復号部６２により復号された変換係数を、図１の量子化部２５の特性に対応する特性で逆量子化する。
　ステップＳ５６において逆直交変換部２９は、逆量子化部２８により逆量子化された変換係数を、図１の直交変換部２４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部２４の入力（演算部２３の出力）に対応する差分情報が復号されたことになる。
　ステップＳ５７において、演算部６５は、上述したステップＳ５４の処理で選択され、選択部７３を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。
　ステップＳ５８においてインループフィルタ３１ｂは、演算部３０より出力された画像に対して、デブロックフィルタ、適応オフセットフィルタ、および適応ループフィルタからなるフィルタ処理を行う。このとき、デブロックフィルタの垂直および水平、適応オフセットフィルタ、並びに適応ループフィルタの少なくとも２つの処理が並列で行われる。このインループフィルタ処理の詳細は、図１０を参照して後述される。インループフィルタ３１ｂからの復号画像は、フレームメモリ６９および画面並べ替えバッファ６７に出力される。
　ステップＳ５９においてフレームメモリ６９は、フィルタリングされた画像を記憶する。
　ステップＳ６０において、画面並べ替えバッファ６７は、インループフィルタ３１ｂ後の画像の並べ替えを行う。すなわち画像符号化装置１１の画面並べ替えバッファ２２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳ６１において、D/A変換部６８は、画面並べ替えバッファ６７からの画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
　ステップＳ６１の処理が終了すると、復号処理が終了される。
　＜従来の手法の説明＞
　従来のインループフィルタは、デブロッキングフィルタ、適応オフセットフィルタ、および適応ループフィルタの順に、直列で処理するため、LCU（Largest Coding Unit）の水平境界（すなわち、LCUの下部）においては、ラインメモリをそれぞれ持つ必要があった。
　ここで、LCU（Largest Coding Unit）とCU（Coding Unit）について簡単に説明する。H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）においては、１つのマクロブロックを、複数の動き補償ブロックに分割し、それぞれに対して異なる動き情報を持たせることが可能であった。すなわち、H．264/AVC方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されていた。これに対して、HEVC（High Efficiency Video Coding）方式においては、コーディングユニット（CU）が規定されている。
　CUは、Coding Tree Block（CTB）とも呼ばれ、H．264/AVC方式におけるマクロブロックと同様の役割を果たす、符号化（復号）の処理単位となる領域（ピクチャ単位の画像の部分領域）である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
　例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。
　それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。例えば、後述する図５の例では、CUの分割ラインは示されていないが、LCUの大きさが１６×１６画素であり、その中に、８×８画素のCUが４つ含まれている例が示されている。
　以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、H．264/AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、H．264/AVC方式のマクロブロックより大きく設定されることが一般的である。
　よって、以下、LCUは、H．264/AVC方式におけるマクロブロックをも含むものとし、CUは、H．264/AVC方式におけるブロック（サブブロック）をも含むものとする。
［LCU境界における従来のインループフィルタの説明］
　図５を参照して、HEVC方式におけるインループフィルタを構成する各フィルタのLCUの水平境界で必要な各ラインメモリ数について説明する。なお、以下、単にLCU境界と称する場合、それは、LCUの水平境界を表すものとして説明する。また、LCU境界からのラインの数は、LCU境界からの上に向かってのラインの数を示すものとして説明する。
　図５の例においては、輝度信号の例が示されている。図５の例において、一番下がLCU境界を示しており、丸は画素を表している。
　LCU境界から１ライン目乃至３ライン目の丸は、次のLCUがデブロッキングフィルタに入力されたときに、水平境界のデブロッキングＶ（垂直）フィルタ処理が開始される画素を表している。なお、１ライン目乃至３ライン目のハッチングで示される丸は、LCUに含まれるCUの垂直境界において部分的にデブロッキングＨ（水平）フィルタ処理された画素を表している。１行目乃至３行目の丸のうち、白丸は、CUの垂直境界において、実際には、デブロッキングＨフィルタ処理が施されない画素を表している。
　LCU境界から４ライン目の画素は、デブロッキングＶフィルタ処理済みの画素であって、かつ、適応オフセットフィルタ(SAO: Sample adaptive offset)処理前の画素である。この４ライン目の画素は、１ライン目乃至３ライン目のデブロッキングＶフィルタ処理において参照される画素でもある。LCU境界から５ライン目の画素は、デブロッキングＶフィルタ処理および適応オフセットフィルタ済みの画素である。
　LCU境界から６ライン目の画素は、適応オフセットフィルタ処理済みの画素であって、かつ、適応ループフィルタ(ALF: Adaptive Loop Filter)処理がなされていない画素である。
　LCU境界から７ライン目乃至１６ライン行目の丸は、適応ループフィルタ(ALF)処理後の画素を表している。
　デブロッキングフィルタは、LCU境界において、LCU境界から１ライン目乃至３ライン目の画素を処理する際、LCU境界を介して下に接するLCUの画素（次の４ライン分の画素）が入力されないとデブロッキングＶフィルタ処理を開始できない。
　したがって、デブロッキングフィルタのラインメモリに、次に処理される対象の１乃至３ライン目の画素と参照画素である４ライン目の画素との計４ライン分の画素が保持された図５の状態で、デブロッキングＶフィルタ処理は待機（一時停止）することになる。
　適応オフセットフィルタは、適応オフセットフィルタのラインメモリに保持されているLCU境界から５ライン目の画素のフィルタ処理を、デブロッキングフィルタのラインメモリに保持されているLCU境界から４ライン目の画素を参照して完了させる。
　しかしながら、LCU境界から３ライン目の画素のデブロッキングフィルタが完了しないために、適応オフセットフィルタは、次のLCU境界から４ライン目の画素の処理を開始することができない。したがって、適応オフセットフィルタのラインメモリにLCU境界から５ライン目の画素が保持された図５の状態で、適応オフセットフィルタの処理も待機することになる。
　適応ループフィルタは、LCU境界から７ライン目の画素のフィルタ処理（例えば、５タップ）を、LCU境界から５および６ライン目の画素と８および９ライン目の画素を参照して完了させる。このとき、適応ループフィルタは、次のLCU境界から６ライン目の画素のフィルタ処理に必要のない９ライン目の画素を、適応ループフィルタのラインメモリから手放し、ラインメモリには、LCU境界から５乃至８ライン目の４ライン分の画素が保持されている。
　しかしながら、次のLCU境界から６ライン目の画素のフィルタ処理に参照される４ライン目の画素が、３ライン目の画素のデブロッキングフィルタが完了しないためにデブロッキングフィルタが手放せず、適応ループフィルタのラインメモリに入力されない。それゆえ、適応ループフィルタは、次の処理を開始することができない。したがって、適応ループフィルタのラインメモリにLCU境界から５乃至８ライン目の４ライン分の画素が保持された図５の状態で、適応ループフィルタの処理も待機することになる。
［従来のインループフィルタの構成］
　図６は、従来のインループフィルタの構成例を示すブロック図である。
　図６に示されるインループフィルタは、デブロッキングフィルタ部１０１、適応オフセットフィルタ部１０２、および適応ループフィルタ部１０３を含むように構成されている。
　デブロッキングフィルタ部１０１は、Ｈ（水平）フィルタ１１１、Ｖ（垂直）フィルタ１１２、およびラインメモリ１１３を含むように構成され、入力画素に対して、ブロックCU(LCU)境界のノイズを除去するデブロッキングフィルタ処理を施す。
　Ｈフィルタ１１１は、入力画像内の左右に隣接するCU(LCU)間の垂直境界の左右（水平方向）の画素にかけるデブロッキングフィルタである。また、Ｖフィルタ１１２は、入力画像内の上下に隣接するCU(LCU)間の水平境界の上下（垂直方向）の画素にかけるデブロッキングフィルタである。ラインメモリ１１３は、LCU境界において、前段から入力される入力画素であるリコンストラクト画素を一旦保持する。ラインメモリ１１３は、図５を参照して上述したように、LCU境界において、輝度（Ｙ）について４ライン分の画素を保持し、色差（Ｃ）について２ライン分の画素を保持する。
　デブロッキングフィルタ部１０１は、通常（LCU境界以外）、前段からの入力画素であるリコンストラクト画素に対して、Ｈフィルタ１１１によるフィルタ処理を施し、Ｖフィルタ１１２によるフィルタ処理を施す。デブロッキングフィルタ部１０１は、フィルタ処理後の画素を、適応オフセットフィルタ部１０２に出力する。
　LCU境界においては、デブロッキングフィルタ部１０１は、前段からの入力画素であるリコンストラクト画素を、一旦ラインメモリ１１３に保持する。そして、必要な画素が入力されると、デブロッキングフィルタ部１０１は、入力された画素と、ラインメモリ１１３に保持されている画素とを用いて、Ｈフィルタ１１１によるフィルタ処理を施し、Ｖフィルタ１１２によるフィルタ処理を施す。デブロッキングフィルタ部１０１は、フィルタ処理後の画素を、適応オフセットフィルタ部１０２に出力する。
　適応オフセットフィルタ部１０２は、オフセットフィルタ１２１およびラインメモリ１２２を含むように構成され、デブロッキングフィルタ部１０１からの復号画像に対して、主にリンギングを除去するオフセットフィルタ処理を行う。
　オフセットフィルタ１２１の種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。ラインメモリ１２２は、図５を参照して上述したように、LCU境界において、輝度（Ｙ）について１ライン分の画素を保持し、色差（Ｃ）について１ライン分の画素を保持する。
　適応オフセットフィルタ部１０２は、通常、デブロッキングフィルタ部１０１によりフィルタ処理が施された画素に対して、オフセットフィルタ１２１によるフィルタ処理を行い、フィルタ処理後の画素を、適応ループフィルタ部１０３に出力する。
　LCU境界においては、適応オフセットフィルタ部１０２は、デブロッキングフィルタ部１０１からの入力画素であるリコンストラクト画素を、一旦ラインメモリ１２２に保持する。そして、必要な画素が入力されると、適応オフセットフィルタ部１０２は、入力された画素とラインメモリ１２２に保持されている画素とを用いて、オフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部１０２は、フィルタ処理後の画素を、適応オフセットフィルタ部１０２に出力する。
　適応ループフィルタ部１０３は、ループフィルタ１３１およびラインメモリ１３２を含むように構成され、適応オフセットフィルタ部１０２からの復号画像に対して、ブロックベースでクラス分類を行い、適応ループフィルタ処理を行う。
　ループフィルタ１３１は、例えば、２次元のウィナーフィルタ（Wiener Filter）で構成される。ラインメモリ１３２は、図５を参照して上述したように、LCU境界において、輝度（Ｙ）について４ライン分の画素を保持し、色差（Ｃ）について４ライン分の画素を保持する。
　適応ループフィルタ部１０３は、通常、適応オフセットフィルタ部１０２によりフィルタ処理が施された画素に対して、ループフィルタ１３１によるフィルタ処理を行い、フィルタ処理後の画素を、後段のフレームメモリなどに出力する。
　LCU境界においては、適応ループフィルタ部１０３は、適応オフセットフィルタ部１０２からの入力画素であるリコンストラクト画素を、一旦ラインメモリ１３２に保持する。そして、必要な画素が入力されると、適応ループフィルタ部１０３は、入力された画素とラインメモリ１３２に保持されている画素とを用いて、ループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部１０３は、フィルタ処理後の画素を、後段のフレームメモリなどに出力する。
　以上のように、輝度信号の場合、LCU境界において、デブロッキングフィルタには、４ライン分の画素を保持するラインメモリが必要であり、適応オフセットフィルタには、１ライン分の画素を保持するラインメモリが必要であった。さらに、適応ループフィルタには、４ライン分の画素を保持するラインメモリが必要であり、重複する画素もあるが、トータルで、９ライン分の画素を保持するラインメモリが必要であった。
　また、色差信号の場合には、その説明を省略するが、LCU境界において、デブロッキングフィルタには、２ライン分の画素を保持するラインメモリが必要であり、適応オフセットフィルタには、１ライン分の画素を保持するラインメモリが必要であった。さらに、適応ループフィルタには、４ライン分の画素を保持するラインメモリが必要であり、重複する画素もあるが、トータルで、７ライン分の画素を保持するラインメモリが必要であった。
　そこで、このような大量のラインメモリを削減するために、さまざまな提案がなされている。例えば、非特許文献１においては、デブロッキングのために保持するラインにかかる適応オフセットフィルタの処理（タップ参照画素）は、リコンストラクト画素（すなわち、デブロッキング前の画素）を利用する。これにより、デブロッキング用に保持するラインまでの適応ループフィルタ処理を行い、保持するラインメモリを削減することが提案されている。
　しかしながら、非特許文献１に記載の提案は、LCUベース処理に特化した処理である。したがって、ソフトウエアなどで、デブロッキングフィルタ、適応オフセットフィルタ、および適応オフセットフィルタがそれぞれフレーム処理をする場合にかなり複雑な制御になってしまう。
　そこで、以下に説明するインループフィルタにおいては、デブロッキングフィルタ、適応オフセットフィルタ、および適応ループフィルタの少なくとも２つを並列化して、ラインメモリを共有することにより、簡単な処理構造でラインメモリの削減を図る。
＜３．第１の実施の形態＞
［インループフィルタの構成例］
　図７は、本開示を適用したインループフィルタの構成例を示すブロック図である。なお、図１に示した画像符号化装置１１のインループフィルタ３１ａおよび図３に示した画像復号装置５１のインループフィルタ３１ｂの構成は、共通であってよい。したがって、これ以降の説明においては、個々に区別する必要がない場合、インループフィルタ３１ａおよびインループフィルタ３１ｂをインループフィルタ３１と総称する。
　図７の例において、インループフィルタ３１は、ラインメモリ１５１、デブロッキングＨ（水平）フィルタ部１５２、デブロッキングＶ（垂直）フィルタ部１５３、適応オフセットフィルタ部１５４、適応ループフィルタ部１５５、および演算部１５６を含むように構成されている。なお、図７の例においては、LCU境界におけるインループフィルタ３１の構成例が示されている。
　ラインメモリ１５１は、LCU境界において、前段から入力されるリコンストラクト画素を一旦保持する。なお、前段とは、図１の画像符号化装置１１の場合、演算部３０であり、図３の画像復号装置５１の場合、演算部６５である。
　図７の例においては、ラインメモリ１５１は、輝度（Ｙ）について、５ライン分の画素を保持し、色差（Ｃ）について、３ライン分の画素を保持する。なお、保持するライン数は、アーキテクチャなどに依存されるため、限定されない。
　LCU境界において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、リコンストラクト画素が保持されたラインメモリ１５１を共有している。
　デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、ラインメモリ１５１に保持されたリコンストラクト画素に対して、並列に各フィルタ処理を行う。そして、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、演算部１５６にフィルタ処理後の画素をそれぞれ出力する。
　すなわち、デブロッキングＨフィルタ部１５２は、図６のＨフィルタ１１１を含むように構成され、左右に隣接するブロック間の垂直境界のブロックノイズを除去するデブロッキングＨフィルタ処理を施す。Ｈフィルタ１１１は、図６を参照して上述したように、入力画像内の左右に隣接するブロック間の垂直境界の左右の画素にかけるデブロッキングフィルタである。
　LCU境界において、デブロッキングＨフィルタ部１５２は、ラインメモリ１５１に保持されているリコンストラクト画素を読み出し、読み出したリコンストラクト画素に対して、Ｈフィルタ１１１によるフィルタ処理を施す。デブロッキングＨフィルタ部１５２は、Ｈフィルタ１１１によるフィルタ処理後の画素を、演算部１５６に出力する。
　デブロッキングＶフィルタ部１５３は、図６のＶフィルタ１１２を含むように構成され、上下に隣接するブロック間の水平境界のブロックノイズを除去するデブロッキングＶフィルタ処理を施す。Ｖフィルタ１１２は、図６を参照して上述したように、入力画像内の上下に隣接するブロック間の水平境界の上下の画素にかけるデブロッキングフィルタである。
　LCU境界において、デブロッキングＶフィルタ部１５３は、ラインメモリ１５１に保持されているリコンストラクト画素を読み出し、読み出したリコンストラクト画素に対して、Ｖフィルタ１１２によるフィルタ処理を施す。デブロッキングＶフィルタ部１５３は、Ｖフィルタ１１２によるフィルタ処理後の画素を、演算部１５６に出力する。
　適応オフセットフィルタ部１５４は、図６のオフセットフィルタ１２１を含むように構成され、入力画像に対して、主にリンギングを除去するオフセットフィルタ処理を行う。
　オフセットフィルタ１２１の種類は、図６を参照して上述したように、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。オフセットフィルタ１２１は、具体的には、分割領域毎にオフセットフィルタ１２１の種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて施される。このquad-tree構造とオフセット値は、図１の画像符号化装置１１の場合、算出されたものが用いられ、図３の画像復号装置５１の場合、図１の画像符号化装置１１により算出されたものが復号されて用いられる。
　LCU境界において、適応オフセットフィルタ部１５４は、ラインメモリ１５１に保持されているリコンストラクト画素を読み出し、読み出したリコンストラクト画素に対して、オフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部１５４は、オフセットフィルタ１２１によるフィルタ処理後の画素を、演算部１５６に出力する。
　適応ループフィルタ部１５５は、図６のループフィルタ１３１を含むように構成され、入力画像に対して、ブロックベースでクラス分類を行い、適応ループフィルタ処理を行う。
　ループフィルタ１３１は、図６を参照して上述したように、例えば、２次元のウィナーフィルタ（Wiener Filter）で構成される。ループフィルタ１３１は、具体的には、適応ループフィルタ係数を用いて施される。この適応ループフィルタ係数は、図１の画像符号化装置１１の場合、ブロックベースでクラス分類を行い、分類されたクラス毎に、画面並べ替えバッファ２２からの原画像との残差を最小とするよう算出されたものが用いられる。また、適応ループフィルタ係数は、図３の画像復号装置５１の場合、図１の画像符号化装置１１により算出されたものが復号されて用いられる。
　LCU境界において、適応ループフィルタ部１５５は、ラインメモリ１５１に保持されているリコンストラクト画素を読み出し、読み出したリコンストラクト画素に対して、ループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部１５５は、ループフィルタ１３１によるフィルタ処理後の画素を、演算部１５６に出力する。
　演算部１５６は、LCU境界において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５による各フィルタ処理後の画素に対して、例えば、加算などの演算処理を行う。なお、この演算処理には、加算だけでなく、例えば、減算、乗算などの処理も含むようにしてよい。そして、演算部１５６は、演算結果を後段に出力する。後段とは、図１の画像符号化装置１１の場合、フレームメモリ３２であり、図３の画像復号装置５１の場合、画面並べ替えバッファ６７およびフレームメモリ６９である。
［LCU境界における各フィルタの詳細］
　図８は、LCU境界の画素の例を示している。図８の例において、丸は、インループフィルタ３１に入力されるリコンストラクト画素を表し、図中下のラインがLCU境界を表している。
　LCU境界においては、デブロッキングＶフィルタ部１５３は、図５を参照して上述したように、輝度信号の場合、次のLCUの４ライン分の画素が入力されるまで、LCU境界から１ライン目乃至３ライン目の画素の処理において待機状態となる。すなわち、デブロッキングＶフィルタ部１５３が、LCU境界から４ライン目までしか処理することができないので、並列する他のフィルタ部は、デブロッキングＶフィルタ部１５３に出力位相を揃えることが必要となる。
　したがって、適応オフセットフィルタ部１５４も、適応ループフィルタ部１５５も、LCU境界から４ライン目までの処理を完了させ、次のLCU境界から３ライン目の画素の処理において待機状態となる。
　そして、次のLCUの４ライン分の画素が入力されると、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、LCU境界から３ライン目の画素から出力するように処理を開始する。
　その際、デブロッキングＨフィルタ部１５２においては、LCU境界から１乃至３ライン目の画素がラインメモリ１５１に保持されている必要がある。デブロッキングＶフィルタ部１５３においては、LCU境界から１乃至４ライン目の画素がラインメモリ１５１に保持されている必要がある。適応オフセットフィルタ部１５４においては、LCU境界から１乃至４ライン目の画素がラインメモリ１５１に保持されている必要がある。また、適応ループフィルタ部１５５においては、LCU境界から１乃至５ライン目の画素がラインメモリ１５１に保持されている必要がある。
　以上により、輝度信号の場合、ラインメモリ１５１には、LCU境界から１乃至５ライン目の５ライン分の画素が保持されていればよい。
　したがって、図５を参照して上述した従来の９ライン分の画素と比して、４ライン分もラインメモリ数を減らすことが可能である。
　なお、色差信号の場合、LCU境界においては、デブロッキングＶフィルタ部１５３は、次のLCUの２ラインの画素が入力されるまで、LCU境界から１ライン目および２ライン目の画素の処理において待機状態となる。すなわち、デブロッキングＶフィルタ部１５３は、LCU境界から３ライン目までしか処理することができないので、デブロッキングＶフィルタ部１５３に出力位相を揃えることが必要となる。
　したがって、適応オフセットフィルタ部１５４も、適応ループフィルタ部１５５も、LCU境界から３ライン目までの処理を完了させ、次のLCU境界から２ライン目の画素の処理において待機状態となる。
　そして、次のLCUの２ライン分の画素が入力されると、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５も、LCU境界から２ライン目の画素から出力するように処理を開始する。
　その際、デブロッキングＨフィルタ部１５２においては、LCU境界から１および２ライン目の画素がラインメモリ１５１に保持されている必要がある。デブロッキングＶフィルタ部１５３においては、LCU境界から１および２ライン目の画素がラインメモリ１５１に保持されている必要がある。適応オフセットフィルタ部１５４においては、LCU境界から１乃至３ライン目の画素がラインメモリ１５１に保持されている必要がある。また、適応ループフィルタ部１５５においては、例えば、色差が５タップの処理である場合、LCU境界から１乃至４ライン目の画素がラインメモリ１５１に保持されている必要がある。
　以上により、色差信号の場合の場合、ラインメモリ１５１には、LCU境界から１乃至４ライン目の４ライン分の画素が保持されていればよい。
　したがって、図５を参照して上述した従来の７ライン分の画素と比して、３ライン分もラインメモリ数を減らすことが可能である。
［インループフィルタの詳細な構成例］
　図９は、図７のインループフィルタのさらに詳細な構成例を示すブロック図である。図７のインループフィルタ３１が、LCU境界の場合の構成を示しているのに対して、図９の例のインループフィルタ３１は、LCU境界の場合も含む詳細な構成を示している。
　図９の例において、インループフィルタ３１は、ラインメモリ１５１、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３を含むように構成されている。また、インループフィルタ３１は、適応オフセットフィルタ部１５４、適応ループフィルタ部１５５、演算部１５６、および係数メモリ１７１を含むように構成されている。
　すなわち、インループフィルタ３１は、係数メモリ１７１が追加されたのみ点が、図７のインループフィルタ３１と異なっている。
　前段からの入力画素であるリコンストラクト画素は、ラインメモリ１５１、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、適応ループフィルタ部１５５、および演算部１５６に入力される。
　LCU境界において、ラインメモリ１５１は、輝度信号について、LCU境界から５ライン分のリコンストラクト画素を保持し、色差信号について、LCU境界から３ライン分のリコンストラクト画素を保持するように構成されている。
　通常（LCU境界以外）の処理においては、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、適応ループフィルタ部１５５は、前段から入力されるリコンストラクト画素に対して各フィルタ処理を施す。そして、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、適応ループフィルタ部１５５は、フィルタ処理後の画素を、演算部１５６に出力する。
　LCU境界においては、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、ラインメモリ１５１に保持されているリコンストラクト画素に対して各フィルタ処理を施す。そして、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、フィルタ処理後の画素を、演算部１５６に出力する。
　なお、上述したように、LCU境界において必要なラインの画素が入力されると、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、出力位相を揃えて処理を再開する。
　演算部１５６は、減算部１８１－１乃至１８１－４、乗算部１８２－１乃至１８２－４、および加算部１８３により構成されており、各フィルタ処理後の出力Ｐを線形和で演算する。なお、演算部１５６における入力画素としては、通常、前段からのリコンストラクト画素が用いられるが、LCU境界においては、ラインメモリ１５１に保持されている画素が読み出されて用いられる。
　減算部１８１－１は、デブロッキングＨフィルタ部１５２からのフィルタ後の画素ＰＤＢ＿Ｈから入力画素Ｐｉｎを減算し、乗算部１８２－１に出力する。乗算部１８２－１は、減算部１８１－１からの入力（ＰＤＢ＿Ｈ－Ｐｉｎ）に対して、係数メモリ１７１からのデブロッキングＨフィルタ部１５２に対応する係数ＣＤＢ＿Ｈを乗算し、加算部１８３に出力する。
　減算部１８１－２は、デブロッキングＶフィルタ部１５３からのフィルタ後の画素ＰＤＢ＿Ｖから入力画素Ｐｉｎを減算し、乗算部１８２－２に出力する。乗算部１８２－２は、減算部１８１－２からの入力（ＰＤＢ＿Ｈ－Ｐｉｎ）に対して、係数メモリ１７１からのデブロッキングＶフィルタ部１５３に対応する係数ＣＤＢ＿Ｖを乗算し、加算部１８３に出力する。
　減算部１８１－３は、適応オフセットフィルタ部１５４からのフィルタ後の画素ＰＳＡＯから入力画素Ｐｉｎを減算し、乗算部１８２－３に出力する。乗算部１８２－３は、減算部１８１－３からの入力（ＰＳＡＯ－Ｐｉｎ）に対して、係数メモリ１７１からの適応オフセットフィルタ部１５４に対応する係数ＣＳＡＯを乗算し、加算部１８３に出力する。
　減算部１８１－４は、適応ループフィルタ部１５５からのフィルタ後の画素ＰＡＬＦから入力画素Ｐｉｎを減算し、乗算部１８２－４に出力する。乗算部１８２－４は、減算部１８１－３からの入力（ＰＡＬＦ－Ｐｉｎ）に対して、係数メモリ１７１からの適応ループフィルタ部１５５に対応する係数ＣＡＬＦを乗算し、加算部１８３に出力する。
　加算部１８３は、入力画素Ｐｉｎに、乗算部１８２－１乃至１８２－４からの乗算結果を、式（１）のように加算し、加算結果であるＰを、フレームメモリに出力する。
　Ｐ　＝　Ｐｉｎ＋ＣＤＢ＿Ｈ×（ＰＤＢ＿Ｈ－Ｐｉｎ）＋ＣＤＢ＿Ｖ×（ＰＤＢ＿Ｖ－Ｐｉｎ）
　　　　　＋ＣＳＡＯ×（ＰＳＡＯ－Ｐｉｎ）＋ＣＡＬＦ×（ＰＡＬＦ－Ｐｉｎ）
　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　係数メモリ１７１は、各フィルタに対応する係数を記憶している。例えば、係数メモリ１７１には、デブロッキングＨフィルタ部１５２に対応する係数ＣＤＢ＿Ｈ、およびデブロッキングＶフィルタ部１５３に対応する係数ＣＤＢ＿Ｖが記憶されている。また、係数メモリ１７１には、適応オフセットフィルタ部１５４に対応する係数ＣＳＡＯ、および適応ループフィルタ部１５５に対応する係数ＣＡＬＦが記憶されている。
　なお、これらの係数は、図示せぬ操作入力部を介してユーザにより設定可能にしてもよい。また、これらの係数は、画像の特性に応じて設定されてもよい。
　具体的には、ブロックノイズが多めの画像であるならば、例えば、デブロッキングＨフィルタ部１５２に対応する係数ＣＤＢ＿Ｈ、およびデブロッキングＶフィルタ部１５３に対応する係数ＣＤＢ＿Ｖが、他の係数よりも大きめに設定される。
　リンギングの多い画像であるならば、例えば、適応オフセットフィルタ部１５４に対応する係数ＣＳＡＯが、他の係数よりも大きめに設定される。
　上述したような特性が特にない画像であるならば、例えば、適応ループフィルタ部１５５に対応する係数ＣＡＬＦが、他の係数よりも大きめに設定される。
　これにより、単に決まった割合で出力するよりも、画像の特性に応じたよりよい画像を得ることが可能になる。
［インループフィルタの処理例］
　次に、図１０のフローチャートを参照して、図９のインループフィルタ３１の処理について説明する。なお、図１０の処理は、上述した図２のステップＳ２２のインループフィルタ処理の例であって、図４のステップＳ５８のインループフィルタ処理の例である。
　このインループフィルタ処理は、画面内の左上のLCUから処理が開始される。通常、LCUを構成するリコンストラクト画素は、前段からインループフィルタ３１の各部に入力される。これに対応して、ステップＳ１１１乃至Ｓ１１４の処理は、前段から入力されるリコンストラクト画素を用いて並行で実行される。
　一方、LCU境界において、LCUを構成するリコンストラクト画素は、前段からラインメモリ１５１に入力される。これに対応して、ステップＳ１１１乃至Ｓ１１４の処理は、ラインメモリ１５１に保持されたリコンストラクト画素を用いて並行で実行される。なお、上述したように、LCU境界において必要なラインの画素が入力された場合、ステップＳ１１１乃至Ｓ１１４においては、出力位相を揃えて処理が開始される。
　また、各部への入力は、インループフィルタ３１の各部においてそれぞれスイッチなどで切り替えられて用いられる。
　すなわち、デブロッキングＨフィルタ部１５２は、ステップＳ１１１において、ラインメモリ１５１または前段からのリコンストラクト画素に対して、Ｈフィルタ１１１によるフィルタ処理を施す。デブロッキングＨフィルタ部１５２は、Ｈフィルタ１１１によるフィルタ処理後の画素を、演算部１５６に出力する。
　デブロッキングＶフィルタ部１５３は、ステップＳ１１２において、ラインメモリ１５１または前段からのリコンストラクト画素に対して、Ｖフィルタ１１２によるフィルタ処理を施す。デブロッキングＶフィルタ部１５３は、Ｖフィルタ１１２によるフィルタ処理後の画素を、演算部１５６に出力する。
　適応オフセットフィルタ部１５４は、ステップＳ１１３において、ラインメモリ１５１または前段からのリコンストラクト画素に対して、オフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部１５４は、オフセットフィルタ１２１によるフィルタ処理後の画素を、演算部１５６に出力する。
　適応ループフィルタ部１５５は、ステップＳ１１４において、ラインメモリ１５１または前段からのリコンストラクト画素に対して、ループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部１５５は、ループフィルタ１３１によるフィルタ処理後の画素を、演算部１５６に出力する。
　ステップＳ１１５において、演算部１５６は、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５による各フィルタ処理後の４つの結果を演算する。
　演算部１５６は、４つのフィルタ部による４つの結果を、例えば、上述した式（１）のような線形和で演算し、演算結果を後段に出力する。
　ステップＳ１１６において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、LCU内の最後の画素であるかを判定する。ステップＳ１１６において、LCU内の最後の画素ではないと判定された場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
　ステップＳ１１６において、LCU内の最後の画素であると判定された場合、処理は、ステップＳ１１７に進む。ステップＳ１１７において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、画面内の最後の画素であるか否かを判定する。ステップＳ１１７において、画面内の最後の画素ではないと判定された場合、処理は、ステップＳ１１８に進む。
　ステップＳ１１８において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５は、次のLCUを選択し、処理は、ステップＳ１１１に戻る。すなわち、ステップＳ１１８で選択されたLCUに対して、ステップＳ１１１以降の処理が繰り返される。
　ステップＳ１１７において、画面内の最後の画素ではないと判定された場合、インループフィルタ処理は終了される。
　以上のように、インループフィルタ３１を構成する４つのフィルタ処理の入力を、リコンストラクト画素として並列処理し、LCU境界においてはラインメモリを共有するようにしたので、図８を参照して上述したように、ラインメモリ数を減らすことが可能である。
　また、インループフィルタ３１は、前段からの画素またはラインメモリからの画素のどちらの画素を入力するかを切り替えるだけで、通常の処理とLCU境界の処理の切り替えを行うというシンプルな構成である。これにより、ソフトウエアなどで、デブロッキングフィルタ、適応オフセットフィルタ、および適応オフセットフィルタがそれぞれフレーム処理をする場合の制御も容易に行うことができる。
　さらに、演算部１５６においては、画像の特性に応じて、各フィルタに対応する係数を設定するようにしたので、単に決まった割合で出力するよりも、画像の特性に応じたよりよい画像を得ることが可能になる。
　なお、上記説明においては、演算部１５６は、各フィルタ出力の線形和を演算し、それを出力する例を説明したが、各フィルタ出力の単純な平均であってもよいし、各フィルタ出力の加重平均を演算するようにしてもよい。この場合、演算部１５６は、例えば、各画素についての加重平均の重みを、各画素のCUに対する垂直境界までの距離および水平境界までの距離に応じて決定することができる。
　図１１は、演算部１５６による加重平均のための重みの決定について説明するための説明図である。図１１の例においては、垂直境界ＶｚについてのデブロッキングＨフィルタ部１５２の出力および水平境界ＨｚについてのデブロッキングＶフィルタ部１５３の出力との加重平均を例に説明する。
　注目画素Ｐｚと最も近くの垂直境界Ｖｚとの間の距離Ｄｖは、３画素である。注目画素Ｐｚと最も近くの水平境界Ｈｚとの間の距離Ｄｈは２画素である。距離Ｄｈは、距離Ｄｖよりも小さい。この場合、演算部１５６は、水平境界ＨｚについてのデブロッキングＶフィルタ部１５３の出力についての重みを、垂直境界ＶｚについてのデブロッキングＨフィルタ部１５２の出力についての重みよりも大きく決定し得る。図１１の例の場合、垂直境界ＶｚについてのＨフィルタ出力ＰＤＢ＿Ｈと水平境界ＨｚについてのＶフィルタ出力ＰＤＢ＿Ｖとの間の重みの比は、２：３と決定されている。
　図１１から理解されるように、２つのフィルタ出力の加重平均が計算される結果として、水平方向に沿ったフィルタタップと垂直方向に沿ったフィルタタップとを有する１つの２次元フィルタが適用された場合と同等の出力画素値を、各注目画素について得ることができる。それにより、垂直境界及び水平境界についてのフィルタリング処理を並列化させた場合にも、垂直境界及び水平境界の双方に現れるブロック歪みを適切に減少させることができる。
　なお、他の例として、インループフィルタ３１は、Ｖフィルタ、Ｈフィルタ、および加重平均を同時に計算する１つの２次元フィルタを有していてもよい。ただし、その場合には、フィルタ係数を画素ごとに様々に変化させる必要性が生じるため、実装が極めて複雑となる。これに対し、図１１の例のように２つの１次元フィルタを並列的に実行した後に加重平均を計算することとすれば、既存のデブロッキングフィルタの仕組みを活かしながら、２次元フィルタに実質的に等しい処理を容易に実現することができる。
　図１２は、図１１の例に従って決定される加重平均のための重みの一例について説明するための説明図である。図１２の例においては、垂直境界と水平境界との１つの交点の周囲に位置する６×６＝３６個の画素（上述した重複位置の画素）が示されている。これら画素のうち、垂直境界及び水平境界から等距離に位置する画素については、フィルタ出力ＰＤＢ＿Ｈとフィルタ出力ＰＤＢ＿Ｖとの間の重みの比は１対１（又は２対２若しくは３対３）である。垂直境界により近い画素については、フィルタ出力ＰＤＢ＿Ｈへの重みの方がフィルタ出力ＰＤＢ＿Ｖへの重みよりも大きく決定されている（例えば、画素Ｐ１の重みの比はＰＤＢ＿Ｈ：ＰＤＢ＿Ｖ＝３：１）。一方、水平境界により近い画素については、フィルタ出力ＰＤＢ＿Ｈへの重みの方がフィルタ出力ＰＤＢ＿Ｖへの重みよりも小さく決定されている（例えば、画素Ｐ２の重みの比はＰＤＢ＿Ｈ：ＰＤＢ＿Ｖ＝１：３）。
　このように各画素と境界との間の距離に応じて加重平均の重みを変化させることで、ブロック歪みをより効果的に抑制して画質を改善することができる。
　なお、上述した重みは一例に過ぎない。例えば、演算部１５６は、各画素と境界との間の距離の代わりに（又はそれに加えて）、各画素に対応する垂直境界及び水平境界のエッジの強さに応じて、各画素についての加重平均の重みを決定してもよい。この場合、よりエッジの強い境界についてのフィルタ出力の重みが、よりエッジの弱い境界についてのフィルタ出力の重みよりも大きく決定され得る。このようにエッジの強さに応じて加重平均の重みを変化させることで、ブロック歪みが強く現れている境界について適応的にデブロックフィルタの効果を高めることができる。
　図１３は、垂直境界および水平境界におけるフィルタリング要否の判定結果に応じた演算部１５６からの出力画素値を示している。
　演算部１５６は、例えば、デブロッキングＨフィルタ部１５２およびデブロッキングＶフィルタ部１５３のいずれか一方によりフィルタリングされる画素については、実際にフィルタリングを行ったフィルタ部からの出力を選択する。また、演算部１５６は、デブロッキングＨフィルタ部１５２およびデブロッキングＶフィルタ部１５３のいずれによってもフィルタリングされない画素については、インループフィルタ３１への入力画素値をそのまま出力する。
　以上の加重平均は、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５の４つのフィルタについても適用することができる。
　例えば、垂直境界および水平境界においては、適応オフセットフィルタ部１５４および適応ループフィルタ部１５５への出力の加重が１とされ、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３の出力については上記加重平均が採用される。これにより、ブロック歪みが最適に除去された画像を得ることができる。
　なお、上記説明においては、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および適応ループフィルタ部１５５が並列に構成されるインループフィルタ３１の例について説明した。
　しかしながら、インループフィルタ３１の構成は、上述した４並列に限らず、図１４に示されるように構成することも可能である。
　図１４の例においては、インループフィルタ３１を構成し得る並列処理のパターンが示されている。左から順に図１４を説明する。
　インループフィルタ３１は、図７を参照して上述したように、デブロッキングＨフィルタ（D-H）、デブロッキングＶフィルタ（D-V）、適応オフセットフィルタ（SAO）、および適応ループフィルタ（ALF）からなる４並列で構成される。
　この場合、デブロッキングＨフィルタ（D-H）、デブロッキングＶフィルタ（D-V）、適応オフセットフィルタ（SAO）、および適応ループフィルタ（ALF）はリコンストラクト画素を用いて処理を行う。そして、４つのフィルタ結果が位相を合わせて、演算部１５６に出力される。
　インループフィルタ３１は、デブロッキングＨフィルタ（D-H）、デブロッキングＶフィルタ（D-V）、および適応オフセットフィルタ（SAO）→適応ループフィルタ（ALF）からなる３並列で構成される。なお、図１４における→は、直列処理を表し、適応オフセットフィルタ（SAO）と適応ループフィルタ（ALF）は、従来のように直列で処理される。
　この場合、デブロッキングＨフィルタ（D-H）、デブロッキングＶフィルタ（D-V）、および適応オフセットフィルタ（SAO）はリコンストラクト画素を用いて処理を行う。適応ループフィルタ（ALF）は、適応オフセットフィルタ（SAO）によるフィルタ後の画素を用いて処理を行う。そして、デブロッキングＨフィルタ（D-H）、デブロッキングＶフィルタ（D-V）、および適応ループフィルタ（ALF）からの３つのフィルタ結果が位相を合わせて、演算部１５６に出力される。なお、この３並列で構成されるインループフィルタ３１の構成例は、図１５を参照して後述される。
　インループフィルタ３１は、デブロッキングＨフィルタ（D-H）→デブロッキングＶフィルタ（D-V）、適応オフセットフィルタ（SAO）、および適応ループフィルタ（ALF）からなる３並列で構成される。なお、この場合、デブロッキングＨフィルタ（D-H）およびデブロッキングＶフィルタ（D-V）は、従来のように直列で処理される。
　また、この場合、デブロッキングＨフィルタ（D-H）、適応オフセットフィルタ（SAO）、および適応ループフィルタ（ALF）はリコンストラクト画素を用いて処理を行う。デブロッキングＶフィルタ（D-V）は、デブロッキングＨフィルタ（D-H）によるフィルタ後の画素を用いて処理を行う。そして、デブロッキングＶフィルタ（D-V）、適応オフセットフィルタ（SAO）、および適応ループフィルタ（ALF）からの３つのフィルタ結果が位相を合わせて、演算部１５６に出力される。
　インループフィルタ３１は、デブロッキングＨフィルタ（D-H）→デブロッキングＶフィルタ（D-V）、並びに、適応オフセットフィルタ（SAO）→適応ループフィルタ（ALF）からなる２並列で構成される。この場合、デブロッキングＨフィルタ（D-H）およびデブロッキングＶフィルタ（D-V）は、従来のように直列で処理され、適応オフセットフィルタ（SAO）と適応ループフィルタ（ALF）は、従来のように直列で処理される。
　また、この場合、デブロッキングＨフィルタ（D-H）、および適応オフセットフィルタ（SAO）はリコンストラクト画素を用いて処理を行う。デブロッキングＶフィルタ（D-V）は、デブロッキングＨフィルタ（D-H）によるフィルタ後の画素を用いて処理を行い、適応ループフィルタ（ALF）は、適応オフセットフィルタ（SAO）によるフィルタ後の画素を用いて処理を行う。そして、デブロッキングＶフィルタ（D-V）、および適応ループフィルタ（ALF）からの２つのフィルタ結果が位相を合わせて、演算部１５６に出力される。
　インループフィルタ３１は、デブロッキングＨフィルタ（D-H）→デブロッキングＶフィルタ（D-V）からの画素を入力する適応オフセットフィルタ（SAO）および適応ループフィルタ（ALF）からなる２並列で構成される。この場合、デブロッキングＨフィルタ（D-H）、デブロッキングＶフィルタ（D-V）、および適応オフセットフィルタ（SAO）は、従来のように直列で処理される。
　また、この場合、デブロッキングＨフィルタ（D-H）、および適応ループフィルタ（ALF）はリコンストラクト画素を用いて処理を行う。デブロッキングＶフィルタ（D-V）は、デブロッキングＨフィルタ（D-H）によるフィルタ後の画素を用いて処理を行い、適応オフセットフィルタ（SAO）は、デブロッキングＶフィルタ（D-V）によるフィルタ後の画素を用いて処理を行う。そして、適応オフセットフィルタ（SAO）、および適応ループフィルタ（ALF）からの２つのフィルタ結果が位相を合わせて、演算部１５６に出力される。
　インループフィルタ３１は、デブロッキングフィルタ（D-H）→デブロッキングＶフィルタ（D-V）→適応オフセットフィルタ（SAO）、および適応ループフィルタ（ALF）からなる２並列で構成される。この場合、デブロッキングＨフィルタ（D-H）、デブロッキングＶフィルタ（D-V）は、従来のように直列で処理される。
　また、この場合、デブロッキングＨフィルタ（D-H）はリコンストラクト画素を用いて処理を行い、デブロッキングＶフィルタ（D-V）は、デブロッキングＨフィルタ（D-H）によるフィルタ後の画素を用いて処理を行う。適応オフセットフィルタ（SAO）および適応ループフィルタ（ALF）は、デブロッキングＶフィルタ（D-V）によるフィルタ後の画素を用いて処理を行う。そして、適応オフセットフィルタ（SAO）、および適応ループフィルタ（ALF）からの２つのフィルタ結果が位相を合わせて、演算部１５６に出力される。
　なお、図中、左から５番目と６番目の構成の違いは、５番目の適応ループフィルタ（ALF）に入力される画素がリコンストラクト画素であるのに対して、６番目の適応ループフィルタ（ALF）に入力される画素がデブロッキングフィルタ後の画素であることである。
　また、図１４の例において、適応オフセットフィルタ（SAO）、および適応ループフィルタ（ALF）が直列に処理されるもの（図中、左から２番目と４番目の構成）については、適応ループフィルタ（ALF）を演算部１５６の後に配置することも可能である。
　左から２番目の３並列の構成において、適応ループフィルタ（ALF）を演算部１５６の後に配置する場合、デブロッキングＨフィルタ（D-H）、デブロッキングＶフィルタ（D-V）、および適応オフセットフィルタ（SAO）からの３つのフィルタ結果が位相を合わせて、演算部１５６に出力される。そして、適応ループフィルタ（ALF）は、演算部１５６による演算後の画素を用いて処理を行い、後段に出力する。この場合の例としては、図１９を参照して後述される。
　左から４番目の２並列の構成において、適応ループフィルタ（ALF）を演算部１５６の後に配置する場合、デブロッキングＶフィルタ（D-V）、および適応オフセットフィルタ（SAO）からの２つのフィルタ結果が位相を合わせて、演算部１５６に出力される。そして、適応ループフィルタ（ALF）は、演算部１５６による演算後の画素を用いて処理を行い、後段に出力する。
＜４．第２の実施の形態＞
［インループフィルタの詳細な構成例］
　図１５は、インループフィルタの構成例を示すブロック図である。図１５に示されるインループフィルタ３１は、図１４の左から２番目に示された３並列の場合の構成例である。
　図１５のインループフィルタ３１は、適応オフセットフィルタ部１５４、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３を含む点が、図９のインループフィルタ３１と共通している。
　図１５のインループフィルタ３１は、ラインメモリ１５１、適応ループフィルタ部１５５、演算部１５６、および係数メモリ１７１の代わりに、ラインメモリ２０１、適応ループフィルタ部２０２、演算部２０３、および係数メモリ２０４を備える点が、図９のインループフィルタ３１と異なる。
　前段からの入力画素であるリコンストラクト画素は、ラインメモリ２０１、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、適応オフセットフィルタ部１５４、および演算部２０３に入力される。
　LCU境界において、ラインメモリ２０１は、輝度信号について、LCU境界から４ライン分のリコンストラクト画素を保持し、色差信号について、LCU境界から３ライン分のリコンストラクト画素を保持するように構成されている。
　LCU境界において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４は、リコンストラクト画素が保持されたラインメモリ２０１を共有している。
　通常（LCU境界以外）の処理においては、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４は、前段から入力されるリコンストラクト画素に対して、並列に各フィルタ処理を行う。そして、デブロッキングＨフィルタ部１５２、およびデブロッキングＶフィルタ部１５３は、演算部２０３にフィルタ処理後の画素をそれぞれ出力する。また、適応オフセットフィルタ部１５４は、適応ループフィルタ部２０２にフィルタ処理後の画素を出力する。
　LCU境界においては、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４は、ラインメモリ２０１に保持されたリコンストラクト画素に対して、並列に各フィルタ処理を行う。そして、デブロッキングＨフィルタ部１５２、およびデブロッキングＶフィルタ部１５３は、演算部２０３にフィルタ処理後の画素をそれぞれ出力する。また、適応オフセットフィルタ部１５４は、適応ループフィルタ部２０２にフィルタ処理後の画素を出力する。
　なお、LCU境界において必要なラインの画素が入力されると、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応ループフィルタ部２０２は、出力位相を揃えて処理を再開する。このため、適応オフセットフィルタ部１５４は、適応ループフィルタ部２０２が他のフィルタ部と出力位相を揃えられるような出力位相で処理を再開する。
　適応ループフィルタ部２０２は、適応オフセットフィルタ部１５４と演算部２０３の間に設けられ、図６のループフィルタ１３１およびラインメモリ２１１を含むように構成される。
　LCU境界において、ラインメモリ２１１は、輝度信号について、LCU境界から４ライン分の適応オフセットフィルタ後の画素を保持し、色差信号について、LCU境界から４ライン分の適応オフセットフィルタ後画素を保持するように構成されている。
　通常、適応ループフィルタ部２０２は、適応オフセットフィルタ部１５４からの画素に対して、ブロックベースでクラス分類を行い、ループフィルタ１３１による適応ループフィルタ処理を行う。LCU境界において、適応ループフィルタ部２０２は、適応オフセットフィルタ部１５４からの画素をラインメモリ２１１に一旦保持する。そして、適応ループフィルタ部２０２は、ラインメモリ２１１の画素に対して、ブロックベースでクラス分類を行い、ループフィルタ１３１による適応ループフィルタ処理を行う。適応ループフィルタ部２０２は、ループフィルタ１３１によるフィルタ処理後の画素を、演算部２０３に出力する。
　演算部２０３は、減算部１８１－１乃至１８１－３、乗算部１８２－１乃至１８２－３、および加算部１８３により構成されており、各フィルタ処理後の出力Ｐを線形和で演算する。なお、演算部２０３における入力画素としては、通常、前段からのリコンストラクト画素が用いられるが、LCU境界においては、ラインメモリ２０１に保持されている画素が読み出されて用いられる。
　減算部１８１－１は、デブロッキングＨフィルタ部１５２からのフィルタ後の画素ＰＤＢ＿Ｈから入力画素Ｐｉｎを減算し、乗算部１８２－１に出力する。乗算部１８２－１は、減算部１８１－１からの入力（ＰＤＢ＿Ｈ－Ｐｉｎ）に対して、係数メモリ２０４からのデブロッキングＨフィルタ部１５２に対応する係数ＣＤＢ＿Ｈを乗算し、加算部１８３に出力する。
　減算部１８１－２は、デブロッキングＶフィルタ部１５３からのフィルタ後の画素ＰＤＢ＿Ｖから入力画素Ｐｉｎを減算し、乗算部１８２－２に出力する。乗算部１８２－２は、減算部１８１－２からの入力（ＰＤＢ＿Ｈ－Ｐｉｎ）に対して、係数メモリ２０４からのデブロッキングＶフィルタ部１５３に対応する係数ＣＤＢ＿Ｖを乗算し、加算部１８３に出力する。
　減算部１８１－３は、適応ループフィルタ部２０２からのフィルタ後の画素ＰＡＬＦから入力画素Ｐｉｎを減算し、乗算部１８２－３に出力する。乗算部１８２－３は、減算部１８１－３からの入力（ＰＡＬＦ－Ｐｉｎ）に対して、係数メモリ２０４からの適応オフセットフィルタ部１５４および適応ループフィルタ部２０２に対応する係数ＣＳＡＯ／ＡＬＦを乗算し、加算部１８３に出力する。
　加算部１８３は、入力画素Ｐｉｎに、乗算部１８２－１乃至１８２－３からの乗算結果を加算し、加算結果であるＰを、フレームメモリに出力する。
　係数メモリ２０４は、各フィルタに対応する係数を記憶している。例えば、係数メモリ２０４には、デブロッキングＨフィルタ部１５２に対応する係数ＣＤＢ＿Ｈ、およびデブロッキングＶフィルタ部１５３に対応する係数ＣＤＢ＿Ｖが記憶されている。また、係数メモリ２０４には、適応オフセットフィルタ部１５４および適応ループフィルタ部２０２に対応する係数ＣＳＡＯ／ＡＬＦが記憶されている。なお、これらの係数も、係数メモリ２０４における係数と同様に、図示せぬ操作入力部を介してユーザにより設定可能である。
　ここで、図１６および図１７を参照して、図１５の例のインループフィルタ３１の場合に必要なラインメモリ数について説明する。図１６および図１７の例において、丸は、画素を表し、図中下のラインがLCU境界を表している。
　図１６は、輝度信号の場合のLCU境界の画素の例を示している。図１６の輝度信号の場合、LCU境界から１ライン目乃至４ライン目の丸は、未デブロッキングＶ画素であって、LCU境界においてラインメモリ２０１への保持が必要な画素である。LCU境界から２ライン目乃至５ライン目の丸は、オフセットフィルタ(SAO)後画素であって、ラインメモリ２１１への保持が必要な画素を表している。LCU境界から４ライン目より上の丸は、ループフィルタ(ALF)後画素を表している。
　LCU境界においては、デブロッキングＶフィルタ部１５３は、図５を参照して上述したように、輝度信号の場合、次のLCUの４ラインの画素が入力されるまで、LCU境界から１ライン目乃至３ライン目の画素の処理において待機状態となる。すなわち、デブロッキングＶフィルタ部１５３が、LCU境界から４ライン目までしか処理することができないので、デブロッキングＨフィルタ部１５２と適応ループフィルタ部２０２は、デブロッキングＶフィルタ部１５３に出力位相を揃えることが必要となる。
　ここで、適応ループフィルタ部２０２は、適応オフセットフィルタ部１５４によるフィルタ(SAO)後の画素を処理する。したがって、適応ループフィルタ部２０２が３ライン目から処理できるように、適応オフセットフィルタ部１５４は、LCU境界から２ライン目までの処理を完了させる。そして、適応オフセットフィルタ部１５４は、図１６のSAO後画素に示されるように、次のLCU境界から１ライン目の画素の処理において待機状態となる。
　そして、次のLCUの４ラインの画素が入力されると、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３は、LCU境界から３ライン目の画素から出力するように処理を開始する。また、適応オフセットフィルタ部１５４は、LCU境界から１ライン目の画素から出力するように処理を開始する。
　その際、デブロッキングＨフィルタ部１５２においては、LCU境界から１乃至３ライン目の画素がラインメモリ２０１に保持されている必要がある。デブロッキングＶフィルタ部１５３においては、LCU境界から１乃至４ライン目の画素がラインメモリ２０１に保持されている必要がある。適応オフセットフィルタ部１５４においては、LCU境界から１および２ライン目の画素がラインメモリ２０１に保持されている必要がある。
　したがって、輝度信号の場合、ラインメモリ２０１には、LCU境界から１乃至４ライン目の４ライン分の画素が保持されていればよい。
　一方、上述したように、適応オフセットフィルタ部１５４においては、LCU境界から２ライン目までは処理がなされる。よって、適応ループフィルタ部２０２は、LCU境界から４ライン目までの処理を完了させ、次のLCU境界から３ライン目の画素の処理において待機状態となる。
　そして、処理が再開されたとき、適応ループフィルタ部２０２には、適応オフセットフィルタ部１５４によるフィルタ処理後のLCU境界から１ライン目の画素が入力されるので、適応ループフィルタ部２０２は、LCU境界から３ライン目の画素から出力する。
　その際、適応ループフィルタ部２０２においては、LCU境界から２乃至５ライン目の４ライン分の画素がラインメモリ２１１に保持されている必要がある。
　以上により、図１５のインループフィルタ３１においては、輝度信号の場合には、４ライン分のラインメモリ２０１および４ライン分のラインメモリ２１１が必要となり、従来の９ライン分の画素と比して、１ライン分のラインメモリ数を減らすことが可能である。
　図１７は、色差信号の場合のLCU境界の画素の例を示している。図１７の色差信号の場合、LCU境界から１ライン目乃至３ライン目の丸は、未デブロッキングＶ画素であって、LCU境界においてラインメモリ２０１への保持が必要な画素を表している。LCU境界から２ライン目乃至５ライン目の丸は、オフセットフィルタ(SAO)後画素であって、ラインメモリ２１１への保持が必要な画素を表している。LCU境界から４ライン目より上の丸は、ループフィルタ(ALF)後画素を表している。
　色差信号の場合のLCU境界においては、デブロッキングＶフィルタ部１５３は、次のLCUの２ライン分の画素が入力されるまで、LCU境界から１ライン目および２ライン目の画素の処理において待機状態となる。
　このため、適応オフセットフィルタ部１５４は、LCU境界から２ライン目までの処理しか完了できないので、適応ループフィルタ部２０２は、LCU境界から４ライン目までの処理しか完了できず、LCU境界から３ライン目の画素の処理において待機状態となる。
　すなわち、デブロッキングＨフィルタ部１５２、およびデブロッキングＶフィルタ部１５３は、LCU境界から２ライン目の画素から処理可能である。しかしながら、適応ループフィルタ部２０２がLCU境界から３ライン目からしか処理することができないので、適応ループフィルタ部２０２に出力位相を揃えることが必要となる。
　したがって、次のLCUの２ラインの画素が入力されると、デブロッキングＨフィルタ部１５２、およびデブロッキングＶフィルタ部１５３は、LCU境界から３ライン目の画素から出力するように処理を開始する。また、適応オフセットフィルタ部１５４は、LCU境界から１ライン目の画素から出力するように処理を開始する。
　その際、デブロッキングＨフィルタ部１５２においては、LCU境界から１および３ライン目の画素がラインメモリ２０１に保持されている必要がある。デブロッキングＶフィルタ部１５３においては、LCU境界から１および３ライン目の画素がラインメモリ２０１に保持されている必要がある。適応オフセットフィルタ部１５４においては、LCU境界から１および２ライン目の画素がラインメモリ２０１に保持されている必要がある。
　したがって、色差信号の場合の場合、ラインメモリ２０１には、LCU境界から１乃至３ライン目の３ライン分の画素が保持されていればよい。
　一方、処理が再開されたとき、適応ループフィルタ部２０２には、適応オフセットフィルタ部１５４によるフィルタ処理後のLCU境界から１ライン目の画素が入力されるので、LCU境界から３ライン目の画素から出力することになる。
　その際、適応ループフィルタ部２０２においては、LCU境界から２乃至５ライン目の４ライン分の画素がラインメモリ２１１に保持されている必要がある。
　以上により、図１５のインループフィルタ３１においては、色差信号の場合には、３ライン分のラインメモリ２０１および４ライン分のラインメモリ２１１が必要となる。これは、従来の７ライン分の画素と同等のラインメモリであるが、輝度信号の場合にラインメモリ数が減るので、図１５のインループフィルタ３１の場合も、総合的に見て効果が得られる。
［インループフィルタの処理例］
　次に、図１８を参照して、図１５のインループフィルタ３１の処理について説明する。なお、図１０の処理は、上述した図２のステップＳ２２のインループフィルタ処理の例であって、図４のステップＳ５８のインループフィルタ処理の例である。
　このインループフィルタ処理は、画面内の左上のLCUから処理が開始される。通常、LCUを構成するリコンストラクト画素は、前段からインループフィルタ３１の各部に入力される。これに対応して、ステップＳ２０１乃至Ｓ２０３の処理は、前段から入力されるリコンストラクト画素を用いて並行で実行される。
　一方、LCU境界において、LCUを構成するリコンストラクト画素は、前段からラインメモリ２０１に入力される。これに対応して、ステップＳ２０１乃至Ｓ２０３の処理は、ラインメモリ２０１に保持されたリコンストラクト画素を用いて並行で実行される。なお、上述したように、LCU境界において必要なラインの画素が入力された場合、ステップＳ２０１、Ｓ２０２、およびＳ２０４においては、出力位相を揃えて処理が開始される。そして、ステップＳ２０３においては、ステップＳ２０１、Ｓ２０２、およびＳ２０４において出力位相が揃うようなタイミングで処理が開始される。
　また、各部への入力は、インループフィルタ３１の各部においてそれぞれスイッチなどで切り替えられて用いられる。
　すなわち、デブロッキングＨフィルタ部１５２は、ステップＳ２０１において、ラインメモリ２０１または前段からのリコンストラクト画素に対して、Ｈフィルタ１１１によるフィルタ処理を施す。デブロッキングＨフィルタ部１５２は、Ｈフィルタ１１１によるフィルタ処理後の画素を、演算部２０３に出力する。
　デブロッキングＶフィルタ部１５３は、ステップＳ２０２において、ラインメモリ２０１または前段からのリコンストラクト画素に対して、Ｖフィルタ１１２によるフィルタ処理を施す。デブロッキングＶフィルタ部１５３は、Ｖフィルタ１１２によるフィルタ処理後の画素を、演算部２０３に出力する。
　適応オフセットフィルタ部１５４は、ステップＳ２０３において、ラインメモリ２０１または前段からのリコンストラクト画素に対して、オフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部１５４は、オフセットフィルタ１２１によるフィルタ処理後の画素を、適応ループフィルタ部２０２に出力する。
　適応ループフィルタ部２０２は、ステップＳ２０４において、ラインメモリ２１１または適応オフセットフィルタ部１５４からのオフセットフィルタ１２１済みの画素に対して、ループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部２０２は、ループフィルタ１３１によるフィルタ処理後の画素を、演算部２０３に出力する。
　ステップＳ２０５において、演算部２０３は、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応ループフィルタ部２０２による各フィルタ処理後の３つの結果を演算する。
　演算部２０３は、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応ループフィルタ部２０２による３つの結果を、例えば、線形和で演算し、演算結果を後段に出力する。
　ステップＳ２０６において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応ループフィルタ部２０２は、LCU内の最後の画素であるかを判定する。ステップＳ２０６において、LCU内の最後の画素ではないと判定された場合、処理は、ステップＳ２０１に戻り、それ以降の処理が繰り返される。
　ステップＳ２０６において、LCU内の最後の画素であると判定された場合、処理は、ステップＳ２０７に進む。ステップＳ２０７において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応ループフィルタ部２０２は、画面内の最後の画素であるか否かを判定する。ステップＳ２０７において、画面内の最後の画素ではないと判定された場合、処理は、ステップＳ２０８に進む。
　ステップＳ２０８において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応ループフィルタ部２０２は、次のLCUを選択し、処理は、ステップＳ２０１に戻る。すなわち、ステップＳ２０８で選択されたLCUに対して、ステップＳ２０１以降の処理が繰り返される。
　ステップＳ２０７において、画面内の最後の画素ではないと判定された場合、インループフィルタ処理は終了される。
　以上のように、図１５の例の場合も、インループフィルタ３１を構成する３つのフィルタ処理の入力を、リコンストラクト画素として並列処理し、LCU境界においてはラインメモリを共有するようにしたので、ラインメモリ数を減らすことが可能である。
　また、インループフィルタ３１は、前段からの画素またはラインメモリからの画素のどちらの画素を入力するかを切り替えるだけで、通常の処理とLCU境界の処理の切り替えを行うというシンプルな構成である。これにより、ソフトウエアなどで、デブロッキングフィルタ、適応オフセットフィルタ、および適応オフセットフィルタがそれぞれフレーム処理をする場合の制御も容易に行うことができる。
　なお、図１５の例においては、適応ループフィルタ部２０２を演算部２０３の前に配置する例を説明したが、図１４を参照して上述したように、演算部２０３による加算後に、適応ループフィルタ部２０２を構成することも可能である。加算後に適応ループフィルタを構成するインループフィルタ３１の例を、次の図１９を参照して説明する。
＜５．第３の実施の形態＞
［インループフィルタの詳細な構成例］
　図１９は、インループフィルタの構成例を示すブロック図である。図１９に示されるインループフィルタ３１は、加算後に適応ループフィルタを構成する場合の例である。
　図１９のインループフィルタ３１は、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４を含む点が、図１５のインループフィルタ３１と共通している。図１９のインループフィルタ３１は、ラインメモリ２０１、演算部２０３、および係数メモリ２０４を含む点が、図１５のインループフィルタ３１と共通している。
　これに対して、図１９のインループフィルタ３１は、適応ループフィルタ部２０２の代わりに、適応ループフィルタ部２２１を備える点が、図１５のインループフィルタ３１と異なる。
　すなわち、適応オフセットフィルタ部１５４は、デブロッキングＨフィルタ部１５２、およびデブロッキングＶフィルタ部１５３と同様に、フィルタ処理後の画素を、演算部２０３に出力する。
　演算部２０３の減算部１８１－３は、適応オフセットフィルタ部１５４からのフィルタ後の画素ＰＳＡＯから入力画素Ｐｉｎを減算し、乗算部１８２－３に出力する。乗算部１８２－３は、減算部１８１－３からの入力（ＰＳＡＯ－Ｐｉｎ）に対して、係数メモリ２０４からの適応オフセットフィルタ部１５４に対応する係数ＣＳＡＯを乗算し、加算部１８３に出力する。なお、図１９の例においては、係数メモリ２０４には、適応オフセットフィルタ部１５４に対応する係数ＣＳＡＯが記憶されている。
　加算部１８３は、入力画素Ｐｉｎに、乗算部１８２－１乃至１８２－３からの乗算結果を加算し、加算結果であるＰを、適応ループフィルタ部２２１に出力する。
　適応ループフィルタ部２２１は、演算部２０３の後段に設けられ、図１５の適応ループフィルタ部２０２と同様に、図６のループフィルタ１３１およびラインメモリ２１１を含むように構成される。
　LCU境界において、ラインメモリ２１１は、輝度信号について、LCU境界から４ライン分の適応オフセットフィルタ後の画素を保持し、色差信号について、LCU境界から４ライン分の適応オフセットフィルタ後画素を保持するように構成されている。
　通常、適応ループフィルタ部２２１は、加算部１８３からの画素に対して、ブロックベースでクラス分類を行い、ループフィルタ１３１による適応ループフィルタ処理を行う。LCU境界において、適応ループフィルタ部２２１は、加算部１８３からの画素をラインメモリ２１１に一旦保持し、ラインメモリ２１１の画素に対して、ブロックベースでクラス分類を行い、ループフィルタ１３１による適応ループフィルタ処理を行う。適応ループフィルタ部２２１は、ループフィルタ１３１によるフィルタ処理後の画素を、後段のフレームメモリなどに出力する。
　ここで、図１９の例のインループフィルタ３１の場合に必要なラインメモリ数について説明する。
　LCU境界においては、デブロッキングＶフィルタ部１５３は、図５を参照して上述したように、輝度信号の場合、次のLCUの４ラインの画素が入力されるまで、LCU境界から１ライン目乃至３ライン目の画素の処理において待機状態となる。すなわち、デブロッキングＶフィルタ部１５３が、LCU境界から４ライン目までしか処理することができないので、並列する他のフィルタ部は、デブロッキングＶフィルタ部１５３に出力位相を揃えることが必要となる。
　したがって、適応オフセットフィルタ部１５４も、LCU境界から４ライン目までの処理を完了し、次のLCU境界から３ライン目の画素の処理において待機状態となる。
　そして、次のLCUの４ラインの画素が入力されると、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４は、LCU境界から３ライン目の画素から出力するように処理を開始する。
　その際、デブロッキングＨフィルタ部１５２においては、LCU境界から１乃至３ライン目の画素がラインメモリ２０１に保持されている必要がある。デブロッキングＶフィルタ部１５３においては、LCU境界から１乃至４ライン目の画素がラインメモリ２０１に保持されている必要がある。適応オフセットフィルタ部１５４においては、LCU境界から１乃至４ライン目の画素がラインメモリ２０１に保持されている必要がある。
　したがって、輝度信号の場合、ラインメモリ２０１には、LCU境界から１乃至４ライン目の４ライン分の画素が保持されていればよい。
　一方、適応ループフィルタ部２０２は、適応オフセットフィルタ部１５４によるフィルタ処理後の画素を処理するので、LCU境界から６ライン目までの処理を完了し、次のLCU境界から５ライン目の画素の処理において待機状態となる。
　そして、処理が再開されたとき、適応ループフィルタ部２０２には、適応オフセットフィルタ部１５４によるフィルタ処理後のLCU境界から３ライン目の画素が入力されるので、LCU境界から５ライン目の画素から出力することになる。
　その際、適応ループフィルタ部２０２においては、LCU境界から４乃至７ライン目の４ライン分の画素がラインメモリ２１１に保持されている必要がある。
　以上により、図１５のインループフィルタ３１においては、４ライン分のラインメモリ２０１および４ライン分のラインメモリ２１１が必要となり、図５を参照して上述した従来の９ライン分の画素と比して、１ライン分のラインメモリ数を減らすことが可能である。
　なお、色差信号の場合、LCU境界においては、デブロッキングＶフィルタ部１５３は、次のLCUの２ライン分の画素が入力されるまで、LCU境界から１ライン目および２ライン目の画素の処理において待機状態となる。すなわち、デブロッキングＶフィルタ部１５３は、LCU境界から３ライン目までしか処理することができないので、並列する他のフィルタ部は、デブロッキングＶフィルタ部１５３に出力位相を揃えることが必要となる。
　したがって、適応オフセットフィルタ部１５４は、LCU境界から３ライン目までの処理を完了させ、次のLCU境界から２ライン目の画素の処理において待機状態となる。
　そして、次のLCUの２ラインの画素が入力されると、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４は、LCU境界から２ライン目の画素から出力するように処理を開始する。
　その際、デブロッキングＨフィルタ部１５２においては、LCU境界から１および２ライン目の画素がラインメモリ２０１に保持されている必要がある。デブロッキングＶフィルタ部１５３においては、LCU境界から１および２ライン目の画素がラインメモリ２０１に保持されている必要がある。適応オフセットフィルタ部１５４においては、LCU境界から１および２ライン目の画素がラインメモリ２０１に保持されている必要がある。
　したがって、色差信号の場合の場合、ラインメモリ２０１には、LCU境界から１乃至２ライン目の２ライン分の画素が保持されていればよい。
　一方、適応ループフィルタ部２０２は、適応オフセットフィルタ部１５４によるフィルタ処理後の画素を処理するので、LCU境界から５ライン目までの処理が完了し、次のLCU境界から４ライン目の画素の処理において待機状態となる。
　そして、処理が再開されたとき、適応ループフィルタ部２０２には、適応オフセットフィルタ部１５４によるフィルタ処理後のLCU境界から２ライン目の画素が入力されるので、LCU境界から４ライン目の画素から出力することになる。
　その際、適応ループフィルタ部２０２においては、LCU境界から３乃至６ライン目の４ライン分の画素がラインメモリ２１１に保持されている必要がある。
　以上により、図１５のインループフィルタ３１においては、２ライン分のラインメモリ２０１および４ライン分のラインメモリ２１１が必要となり、図５を参照して上述した従来の７ライン分の画素と比して、１ライン分のラインメモリ数を減らすことが可能である。
　すなわち、図１５のインループフィルタ３１においては、色差信号の場合、図５を参照して上述した従来の７ライン分の画素と比して、１ライン分ラインメモリ数を減らすことが可能である。
［インループフィルタの処理例］
　次に、図２０を参照して、図１９のインループフィルタ３１の処理について説明する。なお、図２０の処理は、上述した図２のステップＳ２２のインループフィルタ処理の例であって、図４のステップＳ５８のインループフィルタ処理の例である。
　このインループフィルタ処理は、画面内の左上のLCUから処理が開始される。通常、LCUを構成するリコンストラクト画素は、前段からインループフィルタ３１の各部に入力される。これに対応して、ステップＳ２３１乃至Ｓ２３３の処理は、前段から入力されるリコンストラクト画素を用いて並行で実行される。
　一方、LCU境界において、LCUを構成するリコンストラクト画素は、前段からラインメモリ２０１に入力される。これに対応して、ステップＳ２３１乃至Ｓ２３３の処理は、ラインメモリ２０１に保持されたリコンストラクト画素を用いて並行で実行される。なお、上述したように、LCU境界において必要なラインの画素が入力された場合、ステップＳ２３１乃至Ｓ２３３においては、出力位相を揃えて処理が開始される。
　また、各部への入力は、インループフィルタ３１の各部においてそれぞれスイッチなどで切り替えられて用いられる。
　すなわち、デブロッキングＨフィルタ部１５２は、ステップＳ２３１において、ラインメモリ２０１または前段からのリコンストラクト画素に対して、Ｈフィルタ１１１によるフィルタ処理を施す。デブロッキングＨフィルタ部１５２は、Ｈフィルタ１１１によるフィルタ処理後の画素を、演算部２０３に出力する。
　デブロッキングＶフィルタ部１５３は、ステップＳ２３２において、ラインメモリ２０１または前段からのリコンストラクト画素に対して、Ｖフィルタ１１２によるフィルタ処理を施す。デブロッキングＶフィルタ部１５３は、Ｖフィルタ１１２によるフィルタ処理後の画素を、演算部２０３に出力する。
　適応オフセットフィルタ部１５４は、ステップＳ２３３において、ラインメモリ２０１または前段からのリコンストラクト画素に対して、オフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部１５４は、オフセットフィルタ１２１によるフィルタ処理後の画素を、演算部２０３に出力する。
　ステップＳ２３４において、演算部２０３は、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４による各フィルタ処理後の３つの結果を演算する。
　演算部２０３は、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４による３つの結果を、例えば、線形和で演算し、演算結果を、適応ループフィルタ部２２１に出力する。
　ステップＳ２３５において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４は、LCU内の最後の画素であるかを判定する。ステップＳ２３５において、LCU内の最後の画素ではないと判定された場合、処理は、ステップＳ２３１に戻り、それ以降の処理が繰り返される。
　ステップＳ２３５において、LCU内の最後の画素であると判定された場合、処理は、ステップＳ２３６に進む。ステップＳ２３６において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４は、画面内の最後の画素であるか否かを判定する。ステップＳ２３６において、画面内の最後の画素ではないと判定された場合、処理は、ステップＳ２３７に進む。
　ステップＳ２３７において、デブロッキングＨフィルタ部１５２、デブロッキングＶフィルタ部１５３、および適応オフセットフィルタ部１５４は、次のLCUを選択し、処理は、ステップＳ２３１に戻る。すなわち、ステップＳ２３７で選択されたLCUに対して、ステップＳ２３１以降の処理が繰り返される。
　ステップＳ２３７において、画面内の最後の画素であると判定された場合、処理は、ステップＳ２３８に進む。
　適応ループフィルタ部２２１は、ステップＳ２３８において、ラインメモリ２１１または演算部２０３（加算部１８３）からのオフセットフィルタ１２１済みの画素に対して、ループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部２２１は、ループフィルタ１３１によるフィルタ処理後の画素を、後段のフレームメモリなどに出力する。
　ステップＳ２３９において、適応ループフィルタ部２２１は、LCU内の最後の画素であるかを判定する。ステップＳ２３９において、LCU内の最後の画素ではないと判定された場合、処理は、ステップＳ２３８に戻り、それ以降の処理が繰り返される。
　ステップＳ２３９において、LCU内の最後の画素であると判定された場合、処理は、ステップＳ２４０に進む。ステップＳ２４０において、適応ループフィルタ部２２１は、画面内の最後の画素であるか否かを判定する。ステップＳ２４０において、画面内の最後の画素ではないと判定された場合、処理は、ステップＳ２４１に進む。
　ステップＳ２４１において、適応ループフィルタ部２２１は、次のLCUを選択し、処理は、ステップＳ２３８に戻る。すなわち、ステップＳ２４１で選択されたLCUに対して、ステップＳ２３８以降の処理が繰り返される。
　ステップＳ２４０において、画面内の最後の画素であると判定された場合、図２０のインループフィルタ処理は終了される。
　以上のように、図１９の例の場合も、インループフィルタ３１を構成する３つのフィルタ処理の入力を、リコンストラクト画素として並列処理し、LCU境界においてはラインメモリを共有するようにしたので、ラインメモリ数を減らすことが可能である。
　また、インループフィルタ３１は、前段からの画素またはラインメモリからの画素のどちらの画素を入力するかを切り替えるだけで、通常の処理とLCU境界の処理の切り替えを行うというシンプルな構成である。これにより、ソフトウエアなどで、デブロッキングフィルタ、適応オフセットフィルタ、および適応オフセットフィルタがそれぞれフレーム処理をする場合の制御も容易に行うことができる。
＜５．第３の実施の形態＞
［インループフィルタの他の構成例］
　図２１は、インループフィルタの構成例を示すブロック図である。図２１に示されるインループフィルタ３１は、図１４の左から６番目に示された２並列の場合の構成例である。
　図２１のインループフィルタ３１は、図６のデブロッキングフィルタ部１０１、並びに、ラインメモリ２５１、適応オフセットフィルタ部２５２、適応ループフィルタ部２５３、演算部２５４、および係数メモリ２５５を含むように構成されている。
　前段からの入力画素であるリコンストラクト画素は、デブロッキングフィルタ部１０１に入力される。デブロッキングフィルタ部１０１は、図６を参照して上述したように、Ｈ（水平）フィルタ１１１、Ｖ（垂直）フィルタ１１２、およびラインメモリ１１３を含むように構成されている。ラインメモリ１１３は、LCU境界において、輝度（Ｙ）について４ライン分の画素を保持し、色差（Ｃ）について２ライン分の画素を保持する。
　デブロッキングフィルタ部１０１は、通常（LCU境界以外）、前段からの入力画素であるリコンストラクト画素に対して、Ｈフィルタ１１１によるフィルタ処理を施し、Ｖフィルタ１１２によるフィルタ処理を施す。デブロッキングフィルタ部１０１は、フィルタ処理後の画素を、ラインメモリ２５１および演算部２５４に出力する。
　LCU境界においては、デブロッキングフィルタ部１０１は、前段からの入力画素であるリコンストラクト画素を、一旦ラインメモリ１１３に保持する。そして、必要な画素が入力されると、デブロッキングフィルタ部１０１は、入力された画素と、ラインメモリ１１３に保持されている画素とを用いて、Ｈフィルタ１１１によるフィルタ処理を施し、Ｖフィルタ１１２によるフィルタ処理を施す。デブロッキングフィルタ部１０１は、フィルタ処理後の画素を、ラインメモリ２５１および演算部２５４に出力する。
　通常（LCU境界以外）の処理においては、デブロッキングフィルタ部１０１は、前段からの入力画素であるリコンストラクト画素を用いて、Ｈフィルタ１１１によるフィルタ処理を施し、Ｖフィルタ１１２によるフィルタ処理を施す。デブロッキングフィルタ部１０１は、フィルタ処理後の画素を、ラインメモリ２５１および演算部２５４に出力する。
　ラインメモリ２５１は、デブロッキングフィルタ部１０１によるフィルタ後の画素を一旦保持する。図７の例においては、ラインメモリ２５１は、輝度（Ｙ）について、３ライン分の画素を保持し、色差（Ｃ）について、３ライン分の画素を保持する。なお、保持するライン数は、アーキテクチャなどに依存されるため、限定されない。
　LCU境界において、適応オフセットフィルタ部２５２、および適応ループフィルタ部２５３は、デブロッキングフィルタ部１０１によるフィルタ後の画素が保持されたラインメモリ２５１を共有している。
　適応オフセットフィルタ部２５２は、図６のオフセットフィルタ１２１を含むように、図７の適応オフセットフィルタ部１５４と基本的に構成される。
　LCU境界において、適応オフセットフィルタ部２５２は、ラインメモリ２５１に保持されている画素を読み出し、読み出した画素に対して、オフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部２５２は、オフセットフィルタ１２１によるフィルタ処理後の画素を、演算部２５４に出力する。
　通常（LCU境界以外）の処理においては、適応オフセットフィルタ部２５２は、デブロッキングフィルタ部１０１からの画素に対して、オフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部２５２は、オフセットフィルタ１２１によるフィルタ処理後の画素を、演算部２５４に出力する。
　適応ループフィルタ部２５３は、図６のループフィルタ１３１を含むように、図７の適応ループフィルタ部１５５と基本的に同様に構成される。
　LCU境界において、適応ループフィルタ部２５３は、ラインメモリ２５１に保持されている画素を読み出し、読み出した画素に対して、ループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部２５３は、ループフィルタ１３１によるフィルタ処理後の画素を、演算部２５４に出力する。
　通常（LCU境界以外）の処理においては、適応ループフィルタ部２５３は、デブロッキングフィルタ部１０１からの画素に対して、ループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部２５３は、ループフィルタ１３１によるフィルタ処理後の画素を、演算部２５４に出力する。
　なお、LCU境界において必要なラインの画素が入力されると、適応オフセットフィルタ部２５２および適応ループフィルタ部２５３は、出力位相を揃えて処理を再開する。
　演算部２５４は、減算部１８１－１および１８１－２、乗算部１８２－１および１８２－２、および加算部１８３により構成されており、各フィルタ処理後の出力Ｐを線形和で演算する。なお、演算部２５４における入力画素としては、通常、デブロッキングフィルタ部１０１からのフィルタ後の画素が用いられるが、LCU境界においては、ラインメモリ２５１に保持されている画素が読み出されて用いられる。
減算部１８１－１は、適応オフセットフィルタ部２５２からのフィルタ後の画素ＰＳＡＯからデブロッキングフィルタ後の画素ＰＤＢを減算し、乗算部１８２－１に出力する。乗算部１８２－１は、減算部１８１－１からの入力（ＰＳＡＯ－ＰＤＢ）に対して、係数メモリ２５５からの適応オフセットフィルタ部２５２に対応する係数ＣＳＡＯを乗算し、加算部１８３に出力する。
　減算部１８１－２は、適応ループフィルタ部２５３からのフィルタ後の画素ＰＡＬＦからデブロッキングフィルタ後の画素ＰＤＢを減算し、乗算部１８２－２に出力する。乗算部１８２－２は、減算部１８１－２からの入力（ＰＡＬＦ－ＰＤＢ）に対して、係数メモリ２５５からの適応ループフィルタ部ＰＤＢに対応する係数ＣＡＬＦを乗算し、加算部１８３に出力する。
　加算部１８３は、デブロッキングフィルタ後の画素ＰＤＢに、乗算部１８２－１および１８２－２からの乗算結果を加算し、加算結果であるＰを、フレームメモリに出力する。
　係数メモリ２５５は、各フィルタに対応する係数を記憶している。例えば、係数メモリ２５５には、適応オフセットフィルタ部１５４に対応する係数ＣＳＡＯ、および適応ループフィルタ部１５５に対応する係数ＣＡＬＦが記憶されている。なお、図２１の場合の係数ＣＳＡＯと係数ＣＡＬＦは、デブロッキングフィルタ部１０１後の画素についてフィルタ処理された画素に乗算される係数であるので、それぞれ、デブロッキングフィルタ部１０１にも対応させるようにしてもよい。
　なお、これらの係数も、図示せぬ操作入力部を介してユーザにより設定可能にしてもよい。また、これらの係数も、画像の特性に応じて設定されてもよい。
［LCU境界における各フィルタの詳細］
　次に、図２２を参照して、図２１のインループフィルタ３１のLCU境界における具体的な処理について説明する。
　デブロッキングフィルタ部１０１は、LCU境界では、前段からの入力画素であるリコンストラクト画素に対して、Ｈフィルタ１１１およびＶフィルタ１１２によるフィルタ処理を順に施し、フィルタ処理後の画素を、ラインメモリ２５１に出力する。
　このラインメモリ２５１に保持されている画素に対して、適応オフセットフィルタ部２５２および適応ループフィルタ部２５３により並列でフィルタ処理が行われる。
　適応オフセットフィルタ部２５２は、ラインメモリ２５１に保持されているデブロッキングフィルタ後の画素を読み出し、読み出した画素に対して、オフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部２５２は、処理対象画素の周囲８画素（図２２のSAO参照画素）を用いて、処理対象画素に対してのオフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部２５２は、オフセットフィルタ１２１によるフィルタ処理後の画素を、演算部２５４に出力する。
　適応ループフィルタ部２５３は、ラインメモリ２５１に保持されているデブロッキングフィルタ後の画素を読み出し、読み出した画素に対して、ループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部２５３は、処理対象画素を中心とした５タップのスノーフレーク形状の１６画素（図２２に示されるALFタップ）を用いて、処理対象画素に対してのループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部２５３は、ループフィルタ１３１によるフィルタ処理後の画素を、演算部２５４に出力する。
　演算部２５４は、適応オフセットフィルタ部２５２からのフィルタ処理後の画素と、適応ループフィルタ部２５３からのフィルタ処理後の画素とを線形和で演算し、後段に出力する。
　ここで、図２３および図２４を参照して、図２１の例のインループフィルタ３１の場合に必要なラインメモリ数について説明する。図２３および図２４の例において、丸は、画素を表し、図中下のラインがLCU境界を表している。
　図２３は、輝度信号の場合のLCU境界の画素の例を示している。図２３の輝度信号の場合、LCU境界から１ライン目乃至３ライン目の丸は、次のLCUがデブロッキングフィルタに入力されたときに、水平境界のデブロッキングＶ（垂直）フィルタ処理が開始される画素を表している。
　なお、１ライン目乃至３ライン目のハッチングで示される丸は、LCUに含まれるCUの垂直境界において部分的にデブロッキングＨ（水平）フィルタ処理された画素を表している。１行目乃至３行目の丸のうち、白丸は、CUの垂直境界において、実際には、デブロッキングＨフィルタ処理が施されない画素を表している。
　LCU境界から４乃至７ライン目の画素は、デブロッキングＶフィルタ処理済みの画素である。そのうち、LCU境界から４ライン目の画素は、１ライン目乃至３ライン目のデブロッキングＶフィルタ処理において参照される画素である。LCU境界から６ライン目より上の丸は、ループフィルタ(ALF)後画素を表している。
　LCU境界においては、デブロッキングフィルタ部１０１は、図５を参照して上述したように、輝度信号の場合、次のLCUの４ラインの画素が入力されるまで、LCU境界から１ライン目乃至３ライン目の画素の処理において待機状態となる。すなわち、デブロッキングフィルタ部１０１が、LCU境界から４ライン目までしか処理することができない。
　適応オフセットフィルタ部２５２と適応ループフィルタ部２５３は、デブロッキングフィルタ部１０１によるフィルタ（DF）後画素を処理する。したがって、適応ループフィルタ部２５３は、LCU境界から６ライン目までしか処理することができない。このため、適応オフセットフィルタ部２５２も、LCU境界から６ライン目から処理開始できるように、LCU境界から６ライン目の画素の処理において待機状態となる。
　次のLCUの４ラインの画素が入力されると、デブロッキングフィルタ部１０１は、LCU境界から３ライン目の画素から出力するように処理を開始する。LCU境界から３ライン目の画素がデブロッキングフィルタ部１０１から入力されるので、適応ループフィルタ部２５３は、LCU境界から５ライン目の画素から出力するように処理を開始する。適応オフセットフィルタ部２５２も、適応ループフィルタ部２５３に出力位相を合わせて、LCU境界から５ライン目の画素から出力するように処理を開始する。
　その際、デブロッキングフィルタ部１０１においては、LCU境界から１乃至４ライン目の画素がラインメモリ１１３に保持されている必要がある。
　また、適応オフセットフィルタ部２５２においては、LCU境界から５および６ライン目の画素がラインメモリ２５１に保持されている必要がある。適応ループフィルタ部２５３においては、LCU境界から５乃至７ライン目の画素がラインメモリ２５１に保持されている必要がある。
　したがって、輝度信号の場合、ラインメモリ２５１には、LCU境界から５乃至７ライン目の３ライン分の画素が保持されていればよい。
　以上により、図２１のインループフィルタ３１においては、輝度信号の場合には、４ライン分のラインメモリ１１３および３ライン分のラインメモリ２５１が必要となり、従来の９ライン分の画素と比して、２ライン分のラインメモリ数を減らすことが可能である。
　図２４は、色差信号の場合のLCU境界の画素の例を示している。図２４の色差信号の場合、LCU境界から１ライン目の丸は、次のLCUがデブロッキングフィルタに入力されたときに、水平境界のデブロッキングＶ（垂直）フィルタ処理が開始される画素を表している。
　なお、１ライン目のハッチングで示される丸は、LCUに含まれるCUの垂直境界において部分的にデブロッキングＨ（水平）フィルタ処理された画素を表している。１行目の丸のうち、白丸は、CUの垂直境界において、実際には、デブロッキングＨフィルタ処理が施されない画素を表している。
　LCU境界から２乃至５ライン目の画素は、デブロッキングＶフィルタ処理済みの画素である。そのうち、LCU境界から２ライン目の画素は、１ライン目のデブロッキングＶフィルタ処理において参照される画素である。LCU境界から４ライン目より上の丸は、ループフィルタ(ALF)後画素を表している。
　LCU境界においては、デブロッキングフィルタ部１０１は、図５を参照して上述したように、色差信号の場合、次のLCUの２ライン分の画素が入力されるまで、LCU境界から１ライン目の画素の処理において待機状態となる。すなわち、デブロッキングフィルタ部１０１は、LCU境界から２ライン目までしか処理することができない。
　適応オフセットフィルタ部２５２と適応ループフィルタ部２５３は、デブロッキングフィルタ部１０１によるフィルタ（DF）後画素を処理する。したがって、適応ループフィルタ部２５３は、LCU境界から４ライン目までしか処理することができない。このため、適応オフセットフィルタ部２５２も、LCU境界から３ライン目から処理開始できるように、LCU境界から３ライン目の画素の処理において待機状態となる。
　次のLCUの２ライン分の画素が入力されると、デブロッキングフィルタ部１０１は、LCU境界から１ライン目の画素から出力するように処理を開始する。LCU境界から１ライン目の画素がデブロッキングフィルタ部１０１から入力されるので、適応ループフィルタ部２５３は、LCU境界から３ライン目の画素から出力するように処理を開始する。適応オフセットフィルタ部２５２も、適応ループフィルタ部２５３に出力位相を合わせて、LCU境界から３ライン目の画素から出力するように処理を開始する。
　その際、デブロッキングフィルタ部１０１においては、LCU境界から１および２ライン目の画素がラインメモリ１１３に保持されている必要がある。
　また、適応オフセットフィルタ部２５２においては、LCU境界から３および４ライン目の画素がラインメモリ２５１に保持されている必要がある。適応ループフィルタ部２５３においては、LCU境界から３乃至５ライン目の画素がラインメモリ２５１に保持されている必要がある。
　したがって、輝度信号の場合、ラインメモリ２５１には、LCU境界から３乃至５ライン目の３ライン分の画素が保持されていればよい。
　以上により、図２１のインループフィルタ３１においては、色差信号の場合には、２ライン分のラインメモリ１１３および３ライン分のラインメモリ２５１が必要となり、従来の７ライン分の画素と比して、２ライン分のラインメモリ数を減らすことが可能である。
［インループフィルタの処理例］
　次に、図２５のフローチャートを参照して、図２１のインループフィルタ３１の処理について説明する。なお、図２５の処理は、上述した図２のステップＳ２２のインループフィルタ処理の例であって、図４のステップＳ５８のインループフィルタ処理の例である。
　ステップＳ２５１において、デブロッキングフィルタ部１０１は、デブロッキングフィルタ処理を行う。すなわち、デブロッキングフィルタ部１０１は、リコンストラクト画素に対して、Ｈフィルタ１１１によるフィルタ処理を施し、Ｖフィルタ１１２によるフィルタ処理を施す。フィルタ処理後の画素は、ラインメモリ２５１、適応オフセットフィルタ部２５２、適応ループフィルタ部２５３、および演算部２５４に出力される。
　なお、詳細には、デブロッキングフィルタ部１０１は、通常（LCU境界以外）、前段からの入力画素であるリコンストラクト画素に対して、Ｈフィルタ１１１によるフィルタ処理を施す。
　LCU境界においては、デブロッキングフィルタ部１０１は、前段からの入力画素であるリコンストラクト画素を、一旦ラインメモリ１１３に保持する。そして、必要な画素が入力されると、デブロッキングフィルタ部１０１は、入力された画素と、ラインメモリ１１３に保持されている画素とを用いて、Ｈフィルタ１１１によるフィルタ処理を施し、Ｖフィルタ１１２によるフィルタ処理を施す。
　ステップＳ２５２において、デブロッキングフィルタ部１０１は、LCU内の最後の画素であるかを判定する。ステップＳ２５２において、LCU内の最後の画素ではないと判定された場合、処理は、ステップＳ２５１に戻り、それ以降の処理が繰り返される。
　ステップＳ２５２において、LCU内の最後の画素であると判定された場合、処理は、ステップＳ２５３に進む。ステップＳ２５３において、デブロッキングフィルタ部１０１は、画面内の最後の画素であるか否かを判定する。ステップＳ２５３において、画面内の最後の画素ではないと判定された場合、処理は、ステップＳ２５４に進む。
　ステップＳ２５４において、デブロッキングフィルタ部１０１は、次のLCUを選択し、処理は、ステップＳ２５１に戻る。すなわち、ステップＳ２５４で選択されたLCUに対して、ステップＳ２５１以降の処理が繰り返される。
　ステップＳ２５３において、画面内の最後の画素ではないと判定された場合、処理は、ステップＳ２５５およびＳ２５６に進む。
　LCU境界において、ステップＳ２５５およびＳ２５６の処理は、ラインメモリ２５１に保持された画素を用いて並行で実行される。なお、上述したように、LCU境界において必要なラインの画素が入力された場合、ステップＳ２５５およびＳ２５６においては、出力位相を揃えて処理が開始される。
　適応オフセットフィルタ部２５２は、ステップＳ２５５において、ラインメモリ２５１またはデブロッキングフィルタ部１０１からの画素に対して、オフセットフィルタ１２１によるフィルタ処理を施す。適応オフセットフィルタ部２５２は、オフセットフィルタ１２１によるフィルタ処理後の画素を、演算部２５４に出力する。
　適応ループフィルタ部２５３は、ステップＳ２５６において、ラインメモリ２５１またはデブロッキングフィルタ部１０１からの画素に対して、ループフィルタ１３１によるフィルタ処理を施す。適応ループフィルタ部２５３は、ループフィルタ１３１によるフィルタ処理後の画素を、演算部２５４に出力する。
　ステップＳ２５７において、演算部２５４は、適応オフセットフィルタ部２５２および適応ループフィルタ部２５３による各フィルタ処理後の２つの結果を演算する。演算後の結果は、後段に出力される。
　ステップＳ２５８において、適応オフセットフィルタ部２５２および適応ループフィルタ部２５３は、LCU内の最後の画素であるかを判定する。ステップＳ２５８において、LCU内の最後の画素ではないと判定された場合、処理は、ステップＳ２５５およびＳ２５６に戻り、それ以降の処理が繰り返される。
　ステップＳ２５８において、LCU内の最後の画素であると判定された場合、処理は、ステップＳ２５９に進む。ステップＳ２５９において、適応オフセットフィルタ部２５２および適応ループフィルタ部２５３は、画面内の最後の画素であるか否かを判定する。ステップＳ２５９において、画面内の最後の画素ではないと判定された場合、処理は、ステップＳ２６０に進む。
　ステップＳ２６０において、適応オフセットフィルタ部２５２および適応ループフィルタ部２５３は、次のLCUを選択し、処理は、ステップＳ２５５およびＳ２５６に戻る。すなわち、ステップＳ２６０で選択されたLCUに対して、ステップＳ２５５およびＳ２５６以降の処理が繰り返される。
　ステップＳ２５９において、画面内の最後の画素ではないと判定された場合、インループフィルタ処理は終了される。
　以上のように、図２１の例の場合、インループフィルタ３１を構成する２つのフィルタ処理の入力を、デブロッキングフィルタ後の画素として並列処理し、LCU境界においてはラインメモリを共有するようにしたので、ラインメモリ数を減らすことが可能である。
　また、インループフィルタ３１は、前段からの画素またはラインメモリからの画素のどちらの画素を入力するかを切り替えるだけで、通常の処理とLCU境界の処理の切り替えを行うというシンプルな構成である。これにより、ソフトウエアなどで、適応オフセットフィルタおよび適応オフセットフィルタがそれぞれフレーム処理をする場合の制御も容易に行うことができる。
　なお、上述したLCU境界において処理可能なライン、および必要なラインメモリ数（効果）については、アーキテクチャによって異なるため、上述した例に限定されない。
　また、上記説明においては、その図示は省略されているが、例えば、図９、図１５、図１９、および図２１において、インループフィルタ３１を、各フィルタ部を並列的に処理するように制御する制御部を備えるように構成することもできる。インループフィルタ３１に制御部が含まれる場合、例えば、その制御部は、並列的に処理をする各フィルタ部からの出力位相を合わせるような制御も行うものとする。
　以上においては、符号化方式としてHEVC方式をベースに用いるようにした。ただし、本開示はこれに限らず、インループフィルタとして、デブロックフィルタ、適応オフセットフィルタ、および適応ループフィルタのうちの少なくとも２つを含む、その他の符号化方式／復号方式を適用することができる。
　なお、本開示は、例えば、HEVC方式等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
　＜７．第５の実施の形態＞
　［パーソナルコンピュータ］
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
　図２６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
　パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動する及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータではそして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
　＜８．応用例＞
［第１の応用例：テレビジョン受像機］
　図２７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
　外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
　ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、簡単な処理構造で、ラインメモリの削減を図ることができることができる。
　［第２の応用例：携帯電話機］
　図２８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
　携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、簡単な処理構造で、ラインメモリの削減を図ることができる。
　［第３の応用例：記録再生装置］
　図２９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
　記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
　外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
　セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
　OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
　制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
　ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、簡単な処理構造で、ラインメモリの削減を図ることができる。
　［第４の応用例：撮像装置］
　図３０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
　光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
　光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
　信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
　ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、簡単な処理構造で、ラインメモリの削減を図ることができる。
　なお、本明細書においては、主に垂直境界についてのフィルタリング処理が水平境界についてのフィルタリング処理よりも先に行われる例を説明したが、水平境界についてのフィルタリング処理が先に行われる場合にも本開示に係る技術による上述した効果は同等に享受され得る。また、デブロックフィルタの処理単位のサイズ又はLCUのサイズは、本明細書で説明した例に限定されず、他のサイズであってもよい。
　また、本明細書においては、垂直境界についてのフィルタリング処理のフィルタタップは水平方向に沿って並ぶことから、垂直境界についてのフィルタリング処理のフィルタを「Ｈ（水平）フィルタ」と表現した。同様に、水平境界についてのフィルタリング処理のフィルタタップは垂直方向に沿って並ぶことから、水平境界についてのフィルタリング処理のフィルタを「Ｖ（垂直）フィルタ」と表現した。しかしながら、一般に、垂直境界についてのフィルタリング処理のフィルタをが「Ｖ（垂直）フィルタ」、水平境界についてのフィルタリング処理のフィルタが「Ｈ（水平）フィルタ」とそれぞれ呼ばれる場合もあることに留意されたい。
　なお、本明細書では、予測モード、適応オフセットフィルタ、および、適応ループフィルタの各パラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　符号化ストリームを復号処理して画像を生成する復号部と、
　前記復号部により生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行う第１のフィルタと、
　前記復号部により生成された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行う第２のフィルタと、
　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する演算部と
　を備える画像処理装置。
　（２）　前記第１のフィルタ処理と前記第２のフィルタ処理とを並列的に行うように、前記第１のフィルタと前記第２のフィルタとを制御する制御部を
　さらに備える前記（１）に記載の画像処理装置。
　（３）　前記制御部は、前記第１のフィルタと前記第２のフィルタとの出力位相とを合わせるように制御する
　前記（２）に記載の画像処理装置。
　（４）　前記復号部により生成された画像のリコンストラクト画像を保持するメモリを
　さらに備え、
　前記第１のフィルタと前記第２のフィルタは、前記メモリから前記リコンストラクト画像を取得する前記（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記第１のフィルタは、ブロック境界のノイズを除去するフィルタである
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記第１のフィルタは、デブロッキングフィルタである
　前記（５）に記載の画像処理装置。
　（７）　前記デブロックフィルタは、垂直境界の左右の画素にかけるフィルタ、および水平境界の上下の画素にかけるフィルタを含む
　前記（６）に記載の画像処理装置。
　（８）　前記制御部は、前記垂直境界の左右の画素にかけるフィルタの処理と前記水平境界の上下の画素にかけるフィルタの処理とを並列的に行うように制御する
　前記（７）に記載の画像処理装置。
　（９）　前記第２のフィルタは、リンギングを除去する第３のフィルタ、またはブロックベースでクラス分類を行う第４のフィルタを含む
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
　（１０）　前記第３のフィルタは、適応オフセットフィルタであって、前記第４のフィルタは、適応ループフィルタである
　前記（９）に記載の画像処理装置。
　（１１）　前記演算部は、前記第１のフィルタ処理が行われた画像と、前記第２のフィルタ処理が行われた画像とを、前記第１のフィルタ処理に対応する第１の演算係数と前記第２のフィルタ処理に対応する第２の演算係数とを用いた線形和で加算するように演算処理する
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記第１の演算係数と前記第２の演算係数とは、垂直境界および水平境界からの距離に応じて設定される
　前記（１１）に記載の画像処理装置。
　（１３）　画像処理装置が、
　符号化ストリームを復号処理して画像を生成し、
　生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行い、
　生成された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行い、
　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する
　画像処理方法。
　（１４）　画像を符号化する際にローカル復号処理された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行う第１のフィルタと、
　前記ローカル復号処理された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行う第２のフィルタと、
　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する演算部と、
　前記演算部により演算処理された結果である画像を用いて、前記画像を符号化する符号化部と
　を備える画像処理装置。
　（１５）　前記第１のフィルタ処理と前記第２のフィルタ処理とを並列的に行うように、前記第１のフィルタと前記第２のフィルタとを制御する制御部を
　さらに備える前記（１４）に記載の画像処理装置。
　（１６）　前記制御部は、前記第１のフィルタと前記第２のフィルタとの出力位相とを合わせるように制御する
　前記（１５）に記載の画像処理装置。
　（１７）　前記復号部により生成された画像のリコンストラクト画像を保持するメモリを
　さらに備え、
　前記第１のフィルタと前記第２のフィルタは、前記メモリから前記リコンストラクト画像を取得する前記（１４）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　画像処理装置が、
　画像を符号化する際にローカル復号処理された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行い、
　前記ローカル復号処理された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行い、
　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理し、
　演算処理された結果である画像を用いて、前記画像を符号化する
　画像処理方法。
　（１９）　符号化ストリームを復号処理して画像を生成する復号部と、
　前記復号部により生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行う第１のフィルタと、
　前記第１のフィルタにより前記第１のフィルタ処理が行われた画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行う第２のフィルタと、
　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する演算部と
　を備える画像処理装置。
　（２０）画像処理装置が、
　符号化ストリームを復号処理して画像を生成し、
　生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行い、
　前記第１のフィルタ処理が行われた画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行い、
　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する
　画像処理方法。
　　１１　画像符号化装置，　２６　可逆符号化部，　３１，３１ａ，３１ｂ　インループフィルタ，５１　画像復号装置，　６２　可逆復号部，　１１１　Ｈフィルタ，　１１２　Ｖフィルタ，　１２１　オフセットフィルタ，　１３１　ループフィルタ，　１５１　ラインメモリ，　１５２　デブロッキングＨフィルタ部，　１５３　デブロッキングＶフィルタ部，　１５４　適応オフセットフィルタ部，　１５５　適応ループフィルタ部，　１５６　演算部，　１７１　係数メモリ，　２０１　ラインメモリ，　２０２　適応ループフィルタ部，　２０３　演算部，　２０４　係数メモリ，　２１１　ラインメモリ，　 ２２１　適応ループフィルタ部，　２５１　ラインメモリ，　２５２　適応オフセットフィルタ部，　２５３　適応ループフィルタ部，　２５４　演算部，　２５５　係数メモリ

Claims (20)

  1. 　符号化ストリームを復号処理して画像を生成する復号部と、
    　前記復号部により生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行う第１のフィルタと、
    　前記復号部により生成された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行う第２のフィルタと、
    　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する演算部と
    　を備える画像処理装置。
  2. 　前記第１のフィルタ処理と前記第２のフィルタ処理とを並列的に行うように、前記第１のフィルタと前記第２のフィルタとを制御する制御部を
    　さらに備える請求項１に記載の画像処理装置。
  3. 　前記制御部は、前記第１のフィルタと前記第２のフィルタとの出力位相とを合わせるように制御する
    　請求項２に記載の画像処理装置。
  4. 　前記復号部により生成された画像のリコンストラクト画像を保持するメモリを
    　さらに備え、
    　前記第１のフィルタと前記第２のフィルタは、前記メモリから前記リコンストラクト画像を取得する
    　請求項３に記載の画像処理装置。
  5. 　前記第１のフィルタは、ブロック境界のノイズを除去するフィルタである
    　請求項３に記載の画像処理装置。
  6. 　前記第１のフィルタは、デブロッキングフィルタである
    　請求項５に記載の画像処理装置。
  7. 　前記デブロックフィルタは、垂直境界の左右の画素にかけるフィルタ、および水平境界の上下の画素にかけるフィルタを含む
    　請求項６に記載の画像処理装置。
  8. 　前記制御部は、前記垂直境界の左右の画素にかけるフィルタの処理と前記水平境界の上下の画素にかけるフィルタの処理とを並列的に行うように制御する
    　請求項７に記載の画像処理装置。
  9. 　前記第２のフィルタは、リンギングを除去する第３のフィルタ、またはブロックベースでクラス分類を行う第４のフィルタを含む
    　請求項５に記載の画像処理装置。
  10. 　前記第３のフィルタは、適応オフセットフィルタであって、前記第４のフィルタは、適応ループフィルタである
    　請求項９に記載の画像処理装置。
  11. 　前記演算部は、前記第１のフィルタ処理が行われた画像と、前記第２のフィルタ処理が行われた画像とを、前記第１のフィルタ処理に対応する第１の演算係数と前記第２のフィルタ処理に対応する第２の演算係数とを用いた線形和で加算するように演算処理する
    　請求項９に記載の画像処理装置。
  12. 　前記第１の演算係数と前記第２の演算係数とは、垂直境界および水平境界からの距離に応じて設定される
    　請求項１１に記載の画像処理装置。
  13. 　画像処理装置が、
    　符号化ストリームを復号処理して画像を生成し、
    　生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行い、
    　生成された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行い、
    　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する
    　画像処理方法。
  14. 　画像を符号化する際にローカル復号処理された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行う第１のフィルタと、
    　前記ローカル復号処理された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行う第２のフィルタと、
    　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する演算部と、
    　前記演算部により演算処理された結果である画像を用いて、前記画像を符号化する符号化部と
    　を備える画像処理装置。
  15. 　前記第１のフィルタ処理と前記第２のフィルタ処理とを並列的に行うように、前記第１のフィルタと前記第２のフィルタとを制御する制御部を
    　さらに備える請求項１４に記載の画像処理装置。
  16. 　前記制御部は、前記第１のフィルタと前記第２のフィルタとの出力位相とを合わせるように制御する
    　請求項１５に記載の画像処理装置。
  17. 　前記復号部により生成された画像のリコンストラクト画像を保持するメモリを
    　さらに備え、
    　前記第１のフィルタと前記第２のフィルタは、前記メモリから前記リコンストラクト画像を取得する
    　請求項１６に記載の画像処理装置。
  18. 　画像処理装置が、
    　画像を符号化する際にローカル復号処理された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行い、
    　前記ローカル復号処理された画像のリコンストラクト画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行い、
    　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理し、
    　演算処理された結果である画像を用いて、前記画像を符号化する
    　画像処理方法。
  19. 　符号化ストリームを復号処理して画像を生成する復号部と、
    　前記復号部により生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行う第１のフィルタと、
    　前記第１のフィルタにより前記第１のフィルタ処理が行われた画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行う第２のフィルタと、
    　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する演算部と
    　を備える画像処理装置。
  20. 　画像処理装置が、
    　符号化ストリームを復号処理して画像を生成し、
    　生成された画像のリコンストラクト画像を対象として、第１のフィルタ処理を行い、
    　前記第１のフィルタ処理が行われた画像を対象として、前記第１のフィルタ処理とは異なる第２のフィルタ処理を行い、
    　前記第１のフィルタ処理が行われた画像と前記第２のフィルタ処理が行われた画像とを用いて、演算処理する
    　画像処理方法。
PCT/JP2012/074092 2011-09-27 2012-09-20 画像処理装置および方法 WO2013047325A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011211226A JP2013074416A (ja) 2011-09-27 2011-09-27 画像処理装置および方法
JP2011-211226 2011-09-27

Publications (1)

Publication Number Publication Date
WO2013047325A1 true WO2013047325A1 (ja) 2013-04-04

Family

ID=47995357

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/074092 WO2013047325A1 (ja) 2011-09-27 2012-09-20 画像処理装置および方法

Country Status (2)

Country Link
JP (1) JP2013074416A (ja)
WO (1) WO2013047325A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182159A1 (ja) * 2018-03-23 2019-09-26 シャープ株式会社 画像フィルタ装置、画像復号装置、及び画像符号化装置
WO2019182429A1 (en) * 2018-03-23 2019-09-26 Samsung Electronics Co., Ltd. Method and apparatus for beam management for multi-stream transmission
CN113489998A (zh) * 2021-05-27 2021-10-08 杭州博雅鸿图视频技术有限公司 一种去块效应滤波方法、装置、电子设备及介质
WO2023077427A1 (en) * 2021-11-05 2023-05-11 Apple Inc. Configuration and default beam techniques at high movement speeds

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517806B1 (ko) * 2014-02-18 2015-05-06 전자부품연구원 영상 복호화 방법 및 이를 적용한 영상 기기
US12058314B2 (en) 2021-04-30 2024-08-06 Tencent America LLC Block-wise content-adaptive online training in neural image compression with post filtering

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MASARU IKEDA ET AL.: "CE12 Subset2: Parallel deblocking filter", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-E181, 5TH MEETING, 16 March 2011 (2011-03-16) - 23 March 2011 (2011-03-23), GENEVA, CH, pages 1 - 9, XP030008687 *
MASARU IKEDA ET AL.: "Parallel deblocking improvement", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-F214, 14 July 2011 (2011-07-14) - 22 July 2011 (2011-07-22), TORINO, IT, pages 1 - 7, XP030009237 *
SEMIH ESENLIK ET AL.: "Line Memory Reduction for ALF Decoding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-E225, 5TH MEETING, 16 March 2011 (2011-03-16) - 23 March 2011 (2011-03-23), GENEVA, CH, pages 1 - 10, XP030008731 *
TOMOHIRO IKAI ET AL.: "A parallel adaptive loop filter", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-B064, 2ND MEETING, 21 July 2010 (2010-07-21) - 28 July 2010 (2010-07-28), GENEVA, CH, pages 1 - 11, XP030007644 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182159A1 (ja) * 2018-03-23 2019-09-26 シャープ株式会社 画像フィルタ装置、画像復号装置、及び画像符号化装置
WO2019182429A1 (en) * 2018-03-23 2019-09-26 Samsung Electronics Co., Ltd. Method and apparatus for beam management for multi-stream transmission
US11889070B2 (en) 2018-03-23 2024-01-30 Sharp Kabushiki Kaisha Image filtering apparatus, image decoding apparatus, and image coding apparatus
CN113489998A (zh) * 2021-05-27 2021-10-08 杭州博雅鸿图视频技术有限公司 一种去块效应滤波方法、装置、电子设备及介质
WO2023077427A1 (en) * 2021-11-05 2023-05-11 Apple Inc. Configuration and default beam techniques at high movement speeds

Also Published As

Publication number Publication date
JP2013074416A (ja) 2013-04-22

Similar Documents

Publication Publication Date Title
KR102005209B1 (ko) 화상 처리 장치와 화상 처리 방법
TWI749530B (zh) 資訊處理設備及資訊處理方法
JP5942990B2 (ja) 画像処理装置および方法
US10419756B2 (en) Image processing device and method
JP5464435B2 (ja) 画像復号装置および方法
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
WO2011089972A1 (ja) 画像処理装置および方法
JP5884313B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US20140086501A1 (en) Image processing device and image processing method
WO2011125866A1 (ja) 画像処理装置および方法
WO2014050676A1 (ja) 画像処理装置および方法
JP5556996B2 (ja) 画像処理装置および方法
JP2014207536A (ja) 画像処理装置および方法
WO2013108688A1 (ja) 画像処理装置および方法
WO2013065570A1 (ja) 画像処理装置および方法
WO2013047325A1 (ja) 画像処理装置および方法
WO2014156708A1 (ja) 画像復号装置および方法
WO2013051452A1 (ja) 画像処理装置および方法
JP6217826B2 (ja) 画像処理装置及び画像処理方法
WO2013065567A1 (ja) 画像処理装置および方法
JP2013074491A (ja) 画像処理装置および方法
WO2014002900A1 (ja) 画像処理装置および画像処理方法
WO2013105457A1 (ja) 画像処理装置および方法
WO2014103765A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JP2013012996A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12836257

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12836257

Country of ref document: EP

Kind code of ref document: A1