[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2016116984A1 - 動画像符号化装置、動画像符号化方法および動画像符号化プログラム - Google Patents

動画像符号化装置、動画像符号化方法および動画像符号化プログラム Download PDF

Info

Publication number
WO2016116984A1
WO2016116984A1 PCT/JP2015/006271 JP2015006271W WO2016116984A1 WO 2016116984 A1 WO2016116984 A1 WO 2016116984A1 JP 2015006271 W JP2015006271 W JP 2015006271W WO 2016116984 A1 WO2016116984 A1 WO 2016116984A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
parameter
code amount
block size
status information
Prior art date
Application number
PCT/JP2015/006271
Other languages
English (en)
French (fr)
Inventor
誠也 柴田
貴之 石田
慶一 蝶野
紀章 鈴木
栄太 小林
健太 徳満
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/541,068 priority Critical patent/US20180027256A1/en
Priority to JP2016570215A priority patent/JP6652068B2/ja
Publication of WO2016116984A1 publication Critical patent/WO2016116984A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Definitions

  • the present invention relates to a moving picture coding apparatus, a moving picture coding method, and a moving picture coding program that perform coding processing on a unit based on a recursive quadtree structure.
  • Non-Patent Document 1 describes HEVC (High Efficiency Video Coding) which is a video encoding system based on the ITU-T Recommendation H.265 standard.
  • HEVC High Efficiency Video Coding
  • each frame of a digitized video is divided into coding tree units (CTU: Coding Tree Units), and each CTU is coded in raster scan order.
  • Each CTU has a quad tree structure and is encoded by being divided into coding units (CU: Coding Unit).
  • CU Coding Unit
  • Each CU is predicted by being divided into prediction units (PU: Prediction Unit).
  • PU Prediction Unit
  • the prediction error of each CU is divided into transform units (TU: Transform) Unit) in a quadtree structure, and is frequency-transformed.
  • the largest CU is called the largest CU (LCU: Largest Coding Unit), and the smallest CU is called the smallest CU (SCU: Smallest Coding Unit).
  • CU is predictively encoded by intra prediction or inter-frame prediction (inter prediction).
  • FIG. 19 is an explanatory diagram showing an example of CU division when the CTU size is 64 ⁇ 64 (64 pixels ⁇ 64 pixels).
  • FIG. 19A shows an example of a divided shape (hereinafter also referred to as a block structure), and
  • FIG. 19B shows a CU quadtree structure corresponding to the divided shape shown in FIG. It is shown.
  • CU is also divided into TUs in a quad tree structure.
  • the way of division is the same as in the case of CU division shown in FIG.
  • FIG. 20 is an explanatory diagram showing an example of PU partitioning of a CU.
  • FIG. 20A illustrates an example of CU division of CTU.
  • FIG. 20B an example of PU partitioning for inter prediction is shown in the upper part, and an example of PU partitioning for intra prediction is shown in the lower part.
  • the same size as the CU size (2N ⁇ 2N), two types of symmetric rectangular divisions (2N ⁇ N, N ⁇ 2N), and four types of asymmetric rectangular divisions (2N XnU, 2N ⁇ nD, nR ⁇ 2N, nL ⁇ 2N) can be selected.
  • either the same size (2N ⁇ 2N) as the CU size or a size obtained by dividing the CU size into four (N ⁇ N) can be selected.
  • N ⁇ N can be selected when the CU is the minimum size.
  • the TU When division is performed when encoding is performed by intra prediction, the TU is sequentially divided starting from a PU that is a block of the same size as the CU or a block obtained by dividing the CU into four.
  • the TU When encoding is performed by inter prediction, the TU is sequentially divided starting from the CU.
  • the moving picture encoding apparatus shown in FIG. 21 includes an encoding parameter searcher 210 and an encoder 220.
  • the encoder 220 includes a transformer 221, a quantizer 222, an entropy encoder 227, an inverse quantizer 223, an inverse transformer 224, a buffer 225, and a predictor 226.
  • the coding parameter searcher 210 calculates the respective coding costs with respect to the CU quadtree structure / PU split shape / TU quadtree structure of the CTU CU, the prediction mode of the CU, the intra prediction direction of the intra PU, and the motion vector of the inter PU.
  • the encoding parameters are determined by calculating and comparing the respective encoding costs.
  • the encoding cost reflects a value related to the code amount and encoding distortion (correlated with image quality).
  • the encoding parameter searcher 210 uses the following RD (Rate Distortion) cost.
  • D is coding distortion
  • R is the amount of code including the transform coefficient
  • ⁇ is a Lagrange multiplier
  • the coding parameter searcher 210 determines the CU quadtree structure / PU partition shape / TU quadtree structure for each CTU so that the coding efficiency increases according to the feature of the image.
  • the predictor 226 generates a prediction signal for the input image signal of the CU based on the CU quadtree structure and the PU partition shape determined by the encoding parameter searcher 210.
  • the prediction signal is generated based on intra prediction or inter prediction.
  • the converter 221 performs frequency conversion on the prediction error image (prediction error signal) obtained by subtracting the prediction signal from the input image signal based on the TU quadtree structure determined by the encoding parameter searcher 210.
  • the converter 221 uses orthogonal transform of 4 ⁇ 4, 8 ⁇ 8, 16 ⁇ 16 or 32 ⁇ 32 block size based on frequency transform in transform coding of the prediction error signal.
  • DST Discrete Sine Transform
  • DCT Discrete Cosine Transform
  • the quantizer 222 performs a quantization process using the quantization parameter Qp and the transform coefficient (orthogonal transform coefficient) cij supplied from the transformer 221 as input, and obtains a quantized coefficient qij. qij is obtained by the following calculation.
  • Mij is the quantization weighting coefficient
  • Qscale is the quantization step coefficient
  • BitDepth is the pixel bit precision of the input image
  • N is the size of the orthogonal transformation. The larger Qp is, the larger Qstep is, and the smaller the amount of code of the resulting value qij is.
  • the inverse quantizer 223 inversely quantizes the quantization coefficient. Further, the inverse transformer 224 inversely transforms the inverse quantization result. The prediction error image obtained by the inverse transformation is added with a prediction signal and supplied to the buffer 225. The buffer 225 stores the image as a reference image.
  • the moving picture coding apparatus includes a code amount control unit (not shown).
  • the code amount control unit controls the encoding process so that the code amount as a result of encoding the currently encoded frame becomes the target code amount.
  • the code amount of the quantization coefficient qij is controlled by changing the quantization parameter Qp. Note that by making ⁇ a function of Qp, the function (determination of CU quadtree structure / PU split shape / TU quadtree structure) of the coding parameter searcher 210 can also be controlled via Qp.
  • Patent Document 1 discloses a code amount control technique that is different from the code amount control described above and is determined when the code amount exceeds the target code amount. Specifically, in order not to exceed the target code amount, the code amount is reduced by transmitting only information indicating that it is a copy of the encoded frame. Information that it is a copy is realized only by signaling that it is a skip mode.
  • Skip mode is a mode that is the same as the motion vector of the adjacent block and indicates that the quantization coefficient of the prediction error signal is not in the block. In other words, among the plurality of encoding modes provided by the video encoding system, only that the motion vector of the block to be encoded is the same as the motion vector of the spatially or temporally adjacent block. This is the transmission mode for transmission.
  • FIG. 22 exemplifies the change of the motion vector before and after setting all the blocks other than the upper left block among the eight existing blocks to the skip mode.
  • each block holds a different motion vector.
  • FIG. 22B after the skip mode, all blocks have the same vector as the upper left block. Further, if the block at the upper left corner is also set to the skip mode, the motion vector becomes zero. Therefore, by using the skip mode for the entire screen, it is possible to transmit that there is no motion and there is no prediction residual signal, that is, a copy image using the reference image as it is.
  • Patent Document 1 describes that the skip mode is applied when the transmission rate exceeds a predetermined value.
  • the target code amount may be exceeded only with the code amount of the motion vector used for the. In such a case, since the target code amount cannot be achieved only by controlling the code amount of the quantization coefficient by controlling the quantization parameter Qp, it is necessary to reduce the code amount of the motion vector.
  • the moving picture coding apparatus described in Patent Document 1 forcibly uses the skip mode when the transmission rate exceeds a predetermined value (corresponding to the target code quantity) in order to reduce the code quantity of the motion vector.
  • a predetermined value corresponding to the target code quantity
  • a moving image encoding apparatus includes a moving image encoding device that includes an input video as an input and outputs an encoding parameter, and an encoding unit that inputs an input video and an encoding parameter to perform encoding.
  • An image encoding device comprising: a code amount control means for determining a block size expansion parameter indicating at least a degree of expansion based on a target code amount and encoding status information; and an input video block based on the block size expansion parameter And a block size enlarging means for enlarging the size.
  • a moving image encoding method is a moving image encoding method in which an input video is input to generate an encoding parameter, and the input video and the encoding parameter are input to perform encoding.
  • a block size expansion parameter indicating at least a degree of expansion is determined based on the coding status information, and the input video block size is expanded based on the block size expansion parameter.
  • a moving image encoding program is a moving image encoding program for generating an encoding parameter by inputting an input image and inputting the input image and the encoding parameter to perform encoding. And executing a process for determining a block size expansion parameter indicating at least a degree of expansion based on the target code amount and the coding status information, and a process for expanding the input video block size based on the block size expansion parameter. It is characterized by.
  • FIG. FIG. 1 is a block diagram showing a first embodiment of a moving picture coding apparatus.
  • the moving picture encoding apparatus shown in FIG. 1 includes an encoding parameter searcher 110 that generates and outputs an encoding parameter using input video as an input, an encoder 120, a block expander 140, and a code amount controller 130. Including.
  • the encoder 120 is configured similarly to the encoder 220 shown in FIG.
  • the block expander 140 receives the encoding parameter and the block size expansion parameter as input, and changes and outputs the block division and motion vector information in the encoding parameter.
  • the changing method changes according to the block size enlargement parameter.
  • the output encoding parameter is input to the encoder 120.
  • the block size expansion parameter can be roughly divided into the following three pieces of information.
  • Enlargement determination condition (2) Enlargement policy (3) Motion vector selection method at enlargement
  • the enlargement permission determination condition is, for example, one of the following.
  • First condition all four blocks corresponding to child nodes of a quadtree structure have the same size, all four are inter prediction blocks, and furthermore, these four are 2N ⁇ 2N PUs (Merge multiple blocks into one).
  • Second condition Expansion is performed when all four blocks corresponding to the child nodes of the quadtree structure have the same size, and all the four blocks are inter prediction blocks. There is no question about these four PU sizes.
  • Third condition All four blocks corresponding to the child nodes of the quadtree structure have the same size, and are all 2N ⁇ 2N PUs, and m out of these four (less than a predetermined 4) Of natural number) or less if it is an intra prediction block. In this case, one expanded block is an inter prediction block.
  • Fourth condition Expanded when the four blocks corresponding to the child nodes of the quadtree structure are all the same size and m or less of the four blocks are intra prediction blocks. At this time, there is no question about the PU size of the four blocks.
  • the code amount controller 130 determines that the code amount (bit rate) per unit time output from the encoder 120 is the first threshold value (the target code amount).
  • the value of m is maximized (3 in the above example) and is smaller than the first threshold when it exceeds or is likely to exceed
  • the threshold value of 2 is exceeded or is likely to be exceeded, the value of m is set to a value smaller than the maximum value.
  • the code amount controller 130 may output all of the first condition to the fourth condition as the block size enlargement parameter of the enlargement possibility determination condition, but the situation (for example, the unit time output by the encoder 120)
  • the block size enlargement parameter of the enlargement permission / inhibition determination condition may be changed in accordance with the code amount per hit. For example, the code amount controller 130 initially outputs only the first condition, and adds other conditions as the code amount per unit time increases.
  • a block that is not a 2N ⁇ 2N block (divided into a plurality of PUs according to the PU division shown in the upper part of FIG. 20B).
  • motion vectors for five or more PUs existing before expansion are represented by one motion vector. Therefore, it is expected that the code amount for expressing the motion vector is reduced as compared with the case where the first condition is selected.
  • the moving image does not become a still image, the image quality deteriorates.
  • the inter prediction block and the intra prediction block are mixed before expansion, the inter prediction block is merged into one inter prediction block, so that the code amount reduction effect is large.
  • the moving image is not a still image, the image quality is deteriorated as compared with the case of the first condition and the second condition.
  • code amount controller 130 may use only a part of the first condition to the fourth condition.
  • the expansion policy is, for example, one of the following. That is, the “expansion policy” indicates the degree of expansion.
  • the block size enlargement parameter may be 0 to indicate that the block size is not enlarged.
  • the code amount controller 130 can arbitrarily output the above seven parameters as the block size expansion parameter of the expansion policy. As an example, in the code amount controller 130, the code amount per unit time output from the encoder 120 exceeds the first threshold (which is determined based on the target code amount, but smaller than the target code amount). If it is, or is likely to exceed, the parameter “3” of the above 1 to 3 or the parameter “6” of the above 4 to 6 is output.
  • the first threshold which is determined based on the target code amount, but smaller than the target code amount.
  • code amount controller 130 may use only some of the above seven parameters.
  • the motion vector selection method at the time of expansion is, for example, one of the following.
  • the motion vector of the upper left position block is set as the motion vector of the enlarged block (see FIG. 2A).
  • the motion vector of the upper right position block is set as the motion vector of the enlarged block (see FIG. 2B).
  • the motion vector of the lower left position block is used as the motion vector of the enlarged block (see FIG. 2C).
  • 3 The motion vector of the lower right position block is set as the motion vector of the enlarged block (see FIG. 2D).
  • the average vector of the motion vectors of 4 4 blocks is set as the motion vector of the expanded block (see FIG. 3).
  • code amount controller 130 may be configured to always output any one of the above five parameters, or a parameter to be used according to the situation (for example, the content of the image). May be configured to switch.
  • code amount controller 130 may use only a part of the above five parameters.
  • the code amount controller 130 receives the target code amount and the code amount information (for example, the code amount per unit time output from the encoder 120), and the code amount of the video currently being encoded determines the target code amount. Output the block size expansion parameter so that it does not exceed.
  • the encoding parameter searcher 110 When encoding of an input image is started, first, the encoding parameter searcher 110 performs block division, searches for an encoding mode and a prediction mode for each block, and determines an encoding parameter # 1 (step S101). . For example, the encoding parameter searcher 110 determines an encoding parameter so as to increase the RD cost, and outputs it as an encoding parameter # 1. At the same time, the code amount controller 130 determines a block size expansion parameter based on the target code amount and the coding status information (step S102).
  • the encoding status information is, for example, the bit rate of the code amount output from the encoder 120. However, the coding status information is not limited to the bit rate. As will be described later, other information may be used as long as it is information capable of recognizing the operation status of the encoder 120 (that is, for example, the bit rate increase status) (see the second embodiment).
  • the code amount controller 130 outputs the block size expansion parameters of the above “enlargement permission determination condition”, “enlargement policy”, and “motion vector selection method during expansion”.
  • the block expander 140 determines whether or not the block size expansion parameter is 0 according to the “enlargement policy” (step S103). If the block size expansion parameter is not 0, the block expander 140 modifies the encoding parameter # 1 obtained in the process of step S102 based on the block size expansion parameter, and outputs the encoding parameter # 2 (step S104). Specifically, the block expander 140 determines whether or not to expand the block based on the condition (any one of the first condition to the fourth condition) included in the “expandability determination condition”, and expands the block. When it is determined that the method should be expanded, the expansion method is determined according to the “enlargement policy”, and the “motion vector selection method at the time of expansion” input from the code amount controller 130 is used as the motion vector determination method.
  • FIG. 5 is a block diagram illustrating a first example of the video encoding apparatus according to the first embodiment.
  • the code amount controller 130 illustrated in FIG. 5 stores a parameter table 131 in order to output a block size expansion parameter.
  • FIG. 6 shows an example of the contents stored in the parameter table 131.
  • the parameter table 131 stores a plurality of sets of threshold values and block size expansion parameters (Th1 and param1, Th2 and param2, ThN and paramN). Note that each of param1, param2, and paramN includes the parameters of the above “enlargement possibility determination condition”, “enlargement policy”, and “motion vector selection method during enlargement”.
  • FIG. 7 is a flowchart showing a method for selecting a block size enlargement parameter. As shown in FIG. 7, the code amount controller 130 outputs a block size expansion parameter according to whether or not the coding status information exceeds each threshold value.
  • the first block size expansion parameter (param1) is output (step S1012).
  • the second block size expansion parameter (param2) is output (step S1013).
  • the Nth block size expansion parameter (paramN) is output.
  • paramN includes a block size expansion parameter that provides the highest code amount reduction effect.
  • the parameter that increases the code amount reduction effect is a parameter corresponding to, for example, being enlarged to a larger size (with respect to the “enlargement policy”) or being easily selected with respect to the “enlargement policy” .
  • FIG. 8 is a block diagram illustrating a second example of the moving picture coding apparatus according to the first embodiment.
  • the code amount controller 130 uses past statistical information 132 instead of the threshold value in the first example.
  • the past statistical information 132 is statistical information (for example, an average value of bit rates) of coding status information input in the past.
  • the code amount controller 130 determines whether the code amount exceeds the target code amount by comparing using the past statistical information 132 and the current coding status information. Outputs block size expansion parameters that are not.
  • FIG. 9 is a block diagram showing a second embodiment of the video encoding apparatus.
  • FIG. 9 clearly shows an encoding status information output unit 150 that outputs encoding status information.
  • FIG. 10 is a block diagram illustrating a first example of the moving picture encoding apparatus according to the second embodiment.
  • the coding status information output unit 150 illustrated in FIG. 10 includes a code amount output unit 151.
  • the operations of the encoding parameter searcher 110, the code amount controller 130, the block expander 140, and the encoder 120 are the same as those in the first embodiment.
  • the code amount output unit 151 inputs the amount of encoded data (code amount) of the block or picture, and uses the code amount as encoding status information. Output.
  • FIG. 11 is a block diagram illustrating a second example of the video encoding apparatus according to the second embodiment. 11 includes a complexity calculator 152. The encoding status information output unit 150 illustrated in FIG.
  • the operations of the encoding parameter searcher 110, the code amount controller 130, the block expander 140, and the encoder 120 are the same as those in the first embodiment.
  • the complexity calculator 152 analyzes the input video and outputs a feature quantity that can be used to predict the encoded code quantity. For example, the complexity calculator 152 calculates a variance of pixel values in each block when one frame is divided into blocks of a predetermined size, or calculates a difference frame between a certain frame and the previous frame of a predetermined size. The variance of pixel values in each block when divided into blocks is calculated, and the calculated value is output as a feature amount. Therefore, the feature amount indicates the degree of difficulty in encoding the input video (the amount of code amount (large / small) generated by the encoder 120).
  • the encoding status information output unit 150 outputs the feature amount output by the complexity calculator 152 as encoding status information.
  • the code amount controller 130 determines the encoding result (specifically, encoded data) of the encoder 120. Predict the code amount. Then, the code amount controller 130 determines whether or not the code amount exceeds the target code amount, and outputs a block size expansion parameter that is not 0 when it is determined that the code amount exceeds the target code amount.
  • FIG. 12 is a block diagram illustrating a third example of the moving picture coding apparatus according to the second embodiment.
  • 12 includes a motion vector buffer occupancy ratio calculator 153.
  • the motion vector buffer occupancy rate calculator 153 includes an encoding result buffer 1531 and an occupancy rate calculator 1532.
  • the operations of the encoding parameter searcher 110, the code amount controller 130, the block expander 140, and the encoder 120 are the same as those in the first embodiment.
  • the motion vector buffer occupancy ratio calculator 153 temporarily stores the encoding result (specifically, encoded data) of the encoder 120.
  • the occupation rate calculator 1532 calculates the ratio of the motion vector code amount to the data amount (code amount) accumulated in the encoding result buffer 1531. Then, the coding status information output unit 150 outputs the ratio calculated by the occupation rate calculator 1532 as the coding status information.
  • the code amount controller 130 outputs the block size expansion parameter by the control described in the first embodiment based on the ratio as the encoding status information.
  • a block size expansion parameter is output that increases the code amount reduction effect as the value (that is, the rate occupied by the code amount of the motion vector) indicated by the encoding status information increases.
  • FIG. 13 is a block diagram illustrating a fourth example of the moving picture coding apparatus according to the second embodiment. 13 includes a scene change detector 154. The encoding status information output unit 150 illustrated in FIG.
  • the operations of the encoding parameter searcher 110, the code amount controller 130, the block expander 140, and the encoder 120 are the same as those in the first embodiment.
  • the scene change detector 154 When the scene change detector 154 detects a steep change (scene change) in the input video, the scene change detector 154 outputs a scene change detection signal to the code amount controller 130 as encoding state information.
  • a scene change detection signal There are various methods for detecting a scene change. Basically, feature quantities of consecutive frames are compared, and a frame having a large change is determined as a frame in which a scene change has occurred.
  • the code amount controller 130 When the scene change detection signal is input, the code amount controller 130 outputs a block size expansion parameter according to the control described in the first embodiment. However, in the first embodiment, the code amount controller 130 can output a parameter selected from a plurality of block size enlargement parameters, but in this example, when the scene change detection signal is not input, the code amount control is performed.
  • FIG. 14 is a block diagram illustrating a fifth example of the moving picture coding apparatus according to the second embodiment.
  • 14 includes a GOP (Group of Picture) structure determiner 155.
  • the GOP structure determiner 155 may be provided outside the encoding status information output unit 150.
  • the operations of the encoding parameter searcher 110, the code amount controller 130, the block expander 140, and the encoder 120 are the same as those in the first embodiment.
  • the GOP structure determiner 155 determines a picture group structure (GOP structure) at the time of video encoding. Then, when changing the group configuration, the GOP structure determiner 155 outputs data indicating that the GOP structure is changed and data indicating the changed GOP structure as coding status information.
  • GOP structure picture group structure
  • FIG. FIG. 15 is a block diagram illustrating a third embodiment of the video encoding apparatus.
  • the encoding status information output unit 150 includes a target code amount determiner 156.
  • the operations of the encoding parameter searcher 110, the code amount controller 130, the block expander 140, and the encoder 120 are the same as those in the first embodiment.
  • the encoding status information output unit 150 has a function (see FIGS. 10 to 14) for executing one or more methods of the first to fifth examples in the second embodiment. Also good.
  • the target code amount determiner 156 supplies the changed target code amount to the code amount controller 130.
  • the target code amount is changed when, for example, the target code amount input from the outside of the moving image encoding apparatus changes, or when the past code amount in the code amount controller 130 has been set. For example, when the amount of time that does not exceed the amount continues for a predetermined period or more, or when the frequency at which the past amount of code in the code amount controller 130 exceeds the set target code amount exceeds a predetermined threshold.
  • the target code amount determiner 156 may be configured to output data indicating that the target code amount is changed as the encoding status information. In this case, the code amount controller 130 determines which block size expansion parameter to output when the target code amount changes.
  • the block expander 140 and the encoder 120 operate according to the block size expansion parameter output from the code amount controller 130, so that the code amount increases rapidly and exceeds the target code amount as it is. Even in the situation, it is possible to reduce the number of motion vectors and perform video encoding so as not to exceed the target code amount. This is because the number of motion vectors is reduced by increasing the block size.
  • the motion vectors of all the blocks have the same direction and the image quality deteriorates (see FIG. 22).
  • the block size is increased.
  • the direction of the motion vector is not always the same, and motion information is stored to some extent (see FIG. 16). That is, image quality deterioration can be reduced.
  • the moving picture encoding apparatus of said embodiment can also be comprised with hardware, it is also possible to implement
  • the information processing system shown in FIG. 17 includes a processor 1001, a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bitstream.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • the program memory 1002 stores a program for realizing the function of each block (excluding the block of the buffer) in the moving picture encoding apparatus of the above embodiment. Then, the processor 1001 implements the function of the moving picture coding apparatus according to the above-described embodiment by executing processing according to the program stored in the program memory 1002.
  • FIG. 18 is a block diagram showing the main part of the moving picture coding apparatus according to the present invention.
  • the moving image coding apparatus is realized by a coding parameter search unit 10 (for example, the coding parameter searcher 110 shown in FIG. 1) that outputs an input video as an input and outputs a coding parameter. )
  • an encoding means 20 (which is realized by the encoder 120 shown in FIG. 1 as an example) that inputs an input video and an encoding parameter to perform encoding.
  • code amount control means 30 for determining a block size enlargement parameter indicating at least the degree of enlargement (for example, realized by the code amount controller 130 shown in FIG. 1).
  • a block size enlarging means 40 for enlarging the input video block size based on the block size enlarging parameter (for example, the block expander 140 shown in FIG. Revealed is.) And a.
  • the moving image encoding apparatus includes a parameter table (corresponding to the parameter table 131 shown in FIG. 5) that stores a plurality of sets of threshold values and block size expansion parameters relating to encoding status information, and the code amount control means 30 is inputted.
  • the block size enlargement parameter corresponding to the comparison result between the value indicated by the encoding status information and the threshold value may be selected from the parameter table.
  • the code amount control unit 30 selects a block size expansion parameter according to a comparison result between statistical information of encoding status information input in the past and a value indicated by the input encoding status information. It may be configured to.
  • the moving image encoding apparatus may include code amount output means (corresponding to the code amount output device 151 shown in FIG. 10) that outputs the code amount of the encoded data as the encoding status information.
  • the moving picture coding apparatus analyzes the input video, calculates a feature quantity that can be used for prediction of the encoded code quantity, and outputs it as encoding status information (complexity calculation shown in FIG. 11). May correspond to the device 152).
  • the moving picture coding apparatus calculates a ratio occupied by the code amount of the motion vector out of the code amount of the encoded data and outputs it as coding status information (corresponding to the occupancy calculator 1532 shown in FIG. 12). ) May be provided.
  • the moving image encoding device may include a scene change detection unit (corresponding to the scene change detector 154 shown in FIG. 13) that outputs a scene change detection signal as encoding status information when a scene change of the input video is detected. Good.
  • a scene change detection unit corresponding to the scene change detector 154 shown in FIG. 13
  • the moving picture encoding apparatus includes GOP structure determining means (corresponding to the GOP structure determining unit 155 shown in FIG. 14) that outputs data indicating the changed GOP structure as encoding status information when the GOP is changed. It may be.
  • the present invention can be applied to a video compression device at a fixed bit rate and a program for realizing video compression at a fixed bit rate on a computer.
  • the present invention can also be applied to a video compression apparatus with a variable bit rate having an upper limit bit rate and a program for realizing a video compression with a variable bit rate having an upper limit bit rate by a computer.
  • a moving picture encoding apparatus having an encoding parameter search means for inputting an input video and outputting an encoding parameter, and an encoding means for inputting and inputting the input video and the encoding parameter.
  • Code amount control means for determining a block size enlargement parameter indicating at least the degree of enlargement based on the target code amount and coding status information, and a block size for enlarging the input video block size based on the block size enlargement parameter
  • a moving picture coding apparatus comprising: an enlargement unit; and the coding status information is a notification that the target code amount signal has changed.
  • a moving picture coding apparatus having coding parameter searching means for outputting coding parameters with input video as input, and coding means for performing coding by inputting input video and coding parameters.
  • Code amount control means for determining a block size enlargement parameter indicating at least the degree of enlargement based on the target code amount and coding status information, and a block size for enlarging the input video block size based on the block size enlargement parameter
  • a moving picture encoding apparatus comprising: an enlargement unit, wherein the block size enlargement unit supplies a block size enlargement determination condition as a block size enlargement parameter;
  • a moving picture coding apparatus having coding parameter search means for receiving coding parameters as input and outputting coding parameters, and coding means for performing coding by inputting input videos and coding parameters.
  • Code amount control means for determining a block size enlargement parameter indicating at least the degree of enlargement based on the target code amount and coding status information, and a block size for enlarging the input video block size based on the block size enlargement parameter
  • a moving picture encoding apparatus comprising: an enlargement unit, wherein the block size enlargement unit supplies a block size enlargement policy as a block size enlargement parameter;
  • a moving picture encoding apparatus having an encoding parameter search means for inputting an input video and outputting an encoding parameter, and an encoding means for inputting the input video and the encoding parameter to perform encoding.
  • Code amount control means for determining a block size enlargement parameter indicating at least the degree of enlargement based on the target code amount and coding status information, and a block size for enlarging the input video block size based on the block size enlargement parameter
  • a moving picture encoding apparatus comprising: an enlargement unit, wherein the block size enlargement unit supplies a motion vector selection method at the time of block size enlargement as a block size enlargement parameter;
  • Encoding parameter search means 20 Encoding means 30 Code amount control means 40 Block size expansion means 110 Encoding parameter searcher 120 Encoder 130 Code amount controller 131 Parameter table 132 Past statistical information 140 Block expander 150 Encoding situation Information output unit 151 Code amount output unit 152 Complexity calculator 153 Motion vector buffer occupancy rate calculator 1531 Encoding result buffer 1532 Occupancy rate calculator 154 Scene change detector 155 GOP structure determiner 156 Target code amount determiner 210 Encoding Parameter Searcher 220 Encoder 221 Transformer 222 Quantizer 223 Inverse Quantizer 224 Inverse Transformer 225 Buffer 226 Predictor 227 Entropy Encoder 1001 Processor 1002 Program Frame memory 1003 storage medium 1004 storage medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　動画像符号化装置は、入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段１０と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段２０とを有し、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段３０と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段４０とを備える。

Description

動画像符号化装置、動画像符号化方法および動画像符号化プログラム
　本発明は、再帰的クアッドツリー構造に基づくユニットについて符号化処理を行う動画像符号化装置、動画像符号化方法および動画像符号化プログラムに関する。
　非特許文献１には、ITU-T 勧告H.265 規格に基づく映像符号化方式であるHEVC（High Efficiency Video Coding）が記載されている。
　HEVCでは、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）といい、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。
　CUは、イントラ予測またはフレーム間予測（インター予測）によって予測符号化される。
　図１９は、CTU サイズが６４×６４（６４画素×６４画素）の場合のCU分割例を示す説明図である。図１９（Ａ）には、分割形状（以下、ブロック構造ともいう。）の一例が示され、図１９（Ｂ）には、図１９（Ａ）に示す分割形状に対応するCUクアッドツリー構造が示されている。
　また、CUは、クアッドツリー構造でTUに分割される。分割の仕方は、図１９（Ａ）に示すCU分割の場合と同様である。
　図２０は、CUのPU分割例を示す説明図である。ただし、図２０（Ａ）には、CTU のCU分割例が例示されている。
　図２０（Ｂ）において、上段には、インター予測のPU分割例が示され、下段には、イントラ予測のPU分割例が示されている。インター予測で符号化が行われる場合には、ＣＵサイズと同じサイズ（２Ｎ×２Ｎ）、２通りの対称な長方形分割（２Ｎ×Ｎ、Ｎ×２Ｎ）、および４通りの非対称な長方形分割（２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＲ×２Ｎ、ｎＬ×２Ｎ）の計７通りのいずれかを選択しうる。イントラ予測で符号化が行われる場合は、ＣＵサイズと同じサイズ（２Ｎ×２Ｎ）とＣＵサイズを４分割したサイズ（Ｎ×Ｎ）とのいずれかを選択しうる。ただし、Ｎ×ＮはＣＵが最小サイズの場合に選択可能である。
　インター予測で符号化が行われる場合、PU毎に動きベクトルを伝送できる。よって、CUクアッドツリー構造によって、CTU あたりの動きベクトルの数が変化する。分割が細かいほど動きベクトルの数は増え、動きベクトルの符号量が増大する。
　イントラ予測で符号化が行われる場合で分割がなされるときには、TUは、CUと同じサイズのブロックまたはCUが４分割されたブロックであるPUを起点にして逐次分割される。インター予測で符号化が行われる場合には、TUは、CUを起点にして逐次分割される。
　図２１を参照して、ディジタル化された映像の各フレームを入力画像としてビットストリームを出力する一般的な動画像符号化装置の構成と動作を説明する。
　図２１に示す動画像符号化装置は、符号化パラメータ探索器２１０と符号化器２２０とを備える。符号化器２２０は、変換器２２１、量子化器２２２、エントロピー符号化器２２７、逆量子化器２２３、逆変換器２２４、バッファ２２５、および予測器２２６を含む。
　符号化パラメータ探索器２１０は、CTU のCUクアッドツリー構造／PU分割形状／TUクアッドツリー構造、CUの予測モード、イントラPUのイントラ予測方向、およびインターPUの動きベクトルに関して、それぞれの符号化コストを計算し、それぞれの符号化コストを比較することによって、符号化パラメータを決定する。符号化コストには、符号量に関する値と符号化歪み（画質に相関する。）とが反映されている。符号化パラメータ探索器２１０は、一例として、以下のRD（Rate Distortion ）コストを使用する。
　　Cost ＝ D ＋　λ・R
　D は符号化歪みであり、R は、変換係数まで加味した符号量であり、λはラグランジェ乗数である。
　符号化パラメータ探索器２１０は、CTU 毎に、画像の特徴に合わせて符号化効率が高くなるように、CUクアッドツリー構造／PU分割形状／TUクアッドツリー構造を決定する。
　予測器２２６は、符号化パラメータ探索器２１０が決定したCUクアッドツリー構造およびPU分割形状に基づいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、イントラ予測またはインター予測に基づいて生成される。
　変換器２２１は、符号化パラメータ探索器２１０が決定したTUクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像（予測誤差信号）を周波数変換する。変換器２２１は、予測誤差信号の変換符号化において、周波数変換に基づいた４×４、８×８、１６×１６または３２×３２ブロックサイズの直交変換を使用する。具体的には、イントラ符号化またはインター符号化されるCUの輝度成分の４×４TUに対して、整数演算で近似した（整数精度の）DST （Discrete Sine Transform ：離散サイン変換）を使用する。その他のTUに対して、そのブロックサイズに対応する、整数演算で近似した（整数精度の）DCT （Discrete Cosine Transform ：離散コサイン変換）を使用する。
　量子化器２２２は、量子化パラメータQpと変換器２２１から供給される変換係数（直交変換係数）cij を入力として量子化処理を行い、量子化係数qij を得る。qij は以下の計算で得られる。
　qij = Int(cij / Qstep)
　Qstep = (mij * 2qbit) / (Qscale(Qp%6))
　qbit = 25 + (Qp / 6) - (BitDepth - log2(N)
　mij は量子化重み付け係数、Qscaleは量子化ステップ係数、BitDepthは入力画像の画素ビット精度、N は直交変換のサイズである。Qpが大きいほどQstep が大きくなり、結果として得られる値qij の符号量は小さくなる。
　逆量子化器２２３は、量子化係数を逆量子化する。さらに、逆変換器２２４は、逆量子化結果を逆変換する。逆変換により得られた予測誤差画像は、予測信号が加えられて、バッファ２２５に供給される。バッファ２２５は、画像を参照画像として格納する。
　動画像符号化装置は、符号量制御部（図示せず）を含む。符号量制御部は、現在符号化中のフレームを符号化した結果の符号量が、目標符号量となるように符号化処理を制御する。たとえば量子化パラメータQpを変化させることにより、量子化係数qij の符号量を制御する。なお、λをQpの関数とすることにより、Qpを介して符号化パラメータ探索器２１０の機能（CUクアッドツリー構造／PU分割形状／TUクアッドツリー構造の決定）を制御することもできる。
　特許文献１には、上記の符号量制御とは異なる技術であって、符号量が目標符号量を超過すると判断されたときの符号量制御技術が開示されている。具体的には、目標符号量を超過しないようにするために、符号化済みフレームのコピーであるとの情報のみを伝送することによって符号量を削減する。コピーであるとの情報は、スキップモードであることのみをシグナリングすることで実現される。
　スキップモードは、隣接ブロックの動きベクトルと同じであり、かつ、予測誤差信号の量子化係数がブロック中にないことを示すモードである。換言すれば、動画像符号化方式が提供する複数の符号化モードのうち、符号化対象ブロックの持つ動きベクトルが、空間的または時間的に隣接するブロックの持つ動きベクトルと同一であることのみを伝送する伝送モードである。
　図２２には、８個存在するブロックのうち、左上端のブロック以外の全てをスキップモードにする前後での動きベクトルの変化が例示されている。図２２（Ａ）に示す例では、スキップモードにする前では、それぞれのブロックが異なる動きベクトルを保持している。しかし、図２２（Ｂ）に示すように、スキップモードにした後では、全てのブロックが左上端のブロックと同じベクトルを持つ。さらに、左上端のブロックもスキップモードにすると、動きベクトルは０になる。よって、画面全体でスキップモードを使用することによって、動きがなく、かつ予測残差信号もないこと、すなわち参照画像をそのまま使用したコピー画像であることを伝送することができる。
　なお、特許文献１には、伝送レートが所定値を超える場合に、スキップモードを適用することが記載されている。
特開平６－３０３０９６号公報
ITU-T 勧告 H.265 High efficiency video coding, April 2013
　例えば、映像が大きく変化する場合（シーンチェンジ）や、符号化困難な映像が原画として入力された場合、さらには動きベクトルなどの符号化パラメータの選択が適切でなかった場合などに、画面間予測に用いる動きベクトルの符号量だけで、目標符号量を超過してしまう可能性がある。そのような場合には、量子化パラメータQpの制御による量子化係数の符号量制御だけでは目標符号量を達成することはできないので、動きベクトルの符号量を削減する必要がある。
　特許文献１に記載された動画像符号化装置は、動きベクトルの符号量を削減するために、伝送レートが所定値（目標符号量に相当）を超える場合にスキップモードを強制的に使用する。スキップモードを画面全体で強制的に用いることによって、全てのブロックの動きベクトルが０であること、すなわち、動きが全くないことのみを伝送し、伝送される符号量を少なくすることができる。
　しかし、動きがある映像に対して、画面全体へのスキップモードを適用する場合には、本来動きのある映像であるのに対して静止した映像が伝送されることになり、画質劣化が生ずる。
　本発明は、動きベクトルの符号量削減に伴う画質劣化を軽減できる動画像符号化装置、動画像符号化方法および動画像符号化プログラムを提供することを目的とする。
　本発明による動画像符号化装置は、入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備えることを特徴とする。
　本発明による動画像符号化方法は、入力映像を入力として符号化パラメータを生成し、入力映像と符号化パラメータとを入力して符号化を行う動画像符号化方法であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定し、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大することを特徴とする。
　本発明による動画像符号化プログラムは、入力映像を入力として符号化パラメータを生成し、入力映像と符号化パラメータとを入力して符号化を行うための動画像符号化プログラムであって、コンピュータに、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する処理と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大する処理とを実行させることを特徴とする。
　本発明によれば、動きベクトルの符号量削減に伴う画質劣化を軽減できる。
動画像符号化装置の第１の実施形態を示すブロック図である。 動きベクトル選定方法を示す説明図である。 動きベクトルの平均ベクトルを説明するための説明図である。 動画像符号化装置の動作を示すフローチャートである。 第１の実施形態の動画像符号化装置の第１の例を示すブロック図である。 パラメータテーブルの記憶内容の一例を示す説明図である。 ブロックサイズ拡大パラメータの選択方法を示すフローチャートである。 第１の実施形態の動画像符号化装置の第２の例を示すブロック図である。 動画像符号化装置の第２の実施形態を示すブロック図である。 第２の実施形態の動画像符号化装置の第１の例を示すブロック図である。 第２の実施形態の動画像符号化装置の第２の例を示すブロック図である。 第２の実施形態の動画像符号化装置の第３の例を示すブロック図である。 第２の実施形態の動画像符号化装置の第４の例を示すブロック図である。 第２の実施形態の動画像符号化装置の第５の例を示すブロック図である。 動画像符号化装置の第３の実施形態を示すブロック図である。 ブロック拡大の前後での動きベクトルの変化を示す説明図である。 本発明による動画像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による動画像符号化装置の主要部を示すブロック図である。 CTU サイズが６４×６４の場合のCU分割例を示す説明図である。 CUのPU分割例を示す説明図である。 一般的な動画像符号化装置を示すブロック図である。 スキップモードにする前後での動きベクトルの変化を示す説明図である。
実施形態１．
　図１は、動画像符号化装置の第１の実施形態を示すブロック図である。図１に示す動画像符号化装置は、入力映像を入力として符号化パラメータを生成して出力する符号化パラメータ探索器１１０と、符号化器１２０と、ブロック拡大器１４０と、符号量制御器１３０とを含む。符号化器１２０は、図２１に示された符号化器２２０と同様に構成される。
　ブロック拡大器１４０は、符号化パラメータとブロックサイズ拡大パラメータとを入力として、符号化パラメータ中のブロック分割および動きベクトル情報を変更して出力する。変更の方法は、ブロックサイズ拡大パラメータに応じて変化する。出力された符号化パラメータは符号化器１２０に入力される。
　ブロックサイズ拡大パラメータは大別すると以下の３つの情報に分けることができる。
（１）拡大可否判断条件
（２）拡大方針
（３）拡大時の動きベクトル選択方法
　「拡大可否判断条件」は、例えば、以下のうちのいずれかである。
第１条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、それら４つ全てがインター予測ブロックであり、さらに、それら４つが２Ｎ×２ＮのPUである場合に拡大（複数ブロックを１つにマージ）。
第２条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、それら４つ全てがインター予測ブロックである場合に拡大。それら４つのPUサイズについては不問。
第３条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、全て２Ｎ×２ＮのPUであり、かつ、それら４つのうちｍ（予め定められている４未満の自然数）個以下がイントラ予測ブロックである場合に拡大。なお、この場合には、拡大後の１つのブロックは、インター予測ブロックとされる。
第４条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、それら４つのうちｍ個以下がイントラ予測ブロックである場合に拡大。このとき、４つのブロックのPUサイズについては不問。
　なお、上記のｍは、任意に定められるが、一例として、符号量制御器１３０は、符号化器１２０が出力する単位時間当たりの符号量（ビットレート）が第１の閾値（目標符号量に基づいて決定されるが、目標符号量よりも少ない量）を超える場合、または、超えそうな場合に、ｍの値を最大（上記の例では、３）にし、第１の閾値よりも小さい第２の閾値を超える場合、または、超えそうな場合に、ｍの値を最大値よりも小さい値に設定する。
　また、符号量制御器１３０は、拡大可否判断条件のブロックサイズ拡大パラメータとして、第１条件～第４条件の全てを出力してもよいが、状況（例えば、符号化器１２０が出力する単位時間当たりの符号量）に応じて、拡大可否判断条件のブロックサイズ拡大パラメータを変更してもよい。例えば、符号量制御器１３０は、最初は第１条件のみを出力し、単位時間当たりの符号量が増えるに従って、他の条件を追加する。
　第１条件～第４条件の各々が選択された場合、以下のような状態が生ずる。
　第１条件について：例えば、４つのブロックが１つのブロックにマージされるので、その場合、４つの動きベクトルが１つの動きベクトルで代表される。よって、画質が悪くなるが、動きベクトルを表現するための符号量が１／４程度に減ることが期待される。ただし、動画像が静止した映像になるというほどではないが、画質はやや劣化する。
　第２条件について：例えば、４つのブロックの中に、２Ｎ×２Ｎのブロックではないブロック（図２０（Ｂ）の上段に示されたPU分割によれば、複数のPUに分割される。）がある場合には、拡大前に存在する５つ以上のPUについての動きベクトルが１つの動きベクトルで代表される。よって、動きベクトルを表現するための符号量は、第１条件が選択された場合に比べて減ることが期待される。ただし、動画像が静止した映像になるというほどではないが、画質は劣化する。
　第３条件および第４条件について：拡大前にインター予測ブロックとイントラ予測ブロックとが混在している場合に、１つのインター予測ブロックにマージされるので、符号量削減効果が大きい。ただし、動画像が静止した映像になるというほどではないが、第１条件および第２条件の場合よりも画質は劣化する。
　なお、符号量制御器１３０は、第１条件～第４条件のうち一部のみを使用してもよい。
　「拡大方針」は、例えば、以下のうちのいずれかである。すなわち、「拡大方針」は、拡大の程度を示す。
０：拡大しない
１：１段階大きいサイズへ拡大
２：２段階大きいサイズへ拡大
３：３段階大きいサイズへ拡大
４：１６×１６より小さいサイズのブロックをすべて１６×１６に拡大
５：３２×３２より小さいサイズのブロックをすべて３２×３２に拡大
６：６４×６４より小さいサイズのブロックをすべて６４×６４に拡大
　以下、ブロックサイズを拡大しないことを、ブロックサイズ拡大パラメータが０であるということがある。
　なお、符号量制御器１３０は、拡大方針のブロックサイズ拡大パラメータとして、上記の７つのパラメータを任意に出力できる。一例として、符号量制御器１３０は、符号化器１２０が出力する単位時間当たりの符号量が第１の閾値（目標符号量に基づいて決定されるが、目標符号量よりも少ない量）を超える場合、または、超えそうな場合に、上記の１～３のうちの「３」のパラメータ、または、上記の４～６のうちの「６」のパラメータを出力する。
　なお、符号量制御器１３０は、上記の７つのパラメータのうち一部のみを使用してもよい。
　「拡大時の動きベクトル選定方法」は、例えば、以下のうちのいずれかである。
０：左上位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ａ）参照）。
１：右上位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ｂ）参照）。
２：左下位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ｃ）参照）。
３：右下位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ｄ）参照）。
４：４ブロックの動きベクトルの平均ベクトルを、拡大後ブロックの動きベクトルとする（図３参照）。
　なお、符号量制御器１３０は、上記の５つのパラメータのうちのいずれかのパラメータを常に出力するように構成されていてもよいし、状況（例えば、画像の内容）に応じて、使用するパラメータを切り替えるように構成されていてもよい。
　また、符号量制御器１３０は、上記の５つのパラメータのうちの一部のみを使用してもよい。
　符号量制御器１３０は、目標符号量と符号量情報（例えば、符号化器１２０が出力する単位時間当たりの符号量）とを入力として、現在符号化中の映像の符号量が目標符号量を超過しないようにブロックサイズ拡大パラメータを出力する。
　次に、図４のフローチャートを参照して本実施形態の動画像符号化装置の動作を説明する。
　入力画像の符号化が開始されると、まず、符号化パラメータ探索器１１０が、ブロック分割を行い、ブロック毎の符号化モードおよび予測モードを探索し符号化パラメータ＃１を決定する（ステップＳ１０１）。符号化パラメータ探索器１１０は、例えば、RDコストが高くなるように符号化パラメータを決定し、符号化パラメータ＃１として出力する。同時に、符号量制御器１３０は、目標符号量と符号化状況情報を基にしてブロックサイズ拡大パラメータを決定する（ステップＳ１０２）。なお、符号化状況情報は、例えば、符号化器１２０が出力する符号量のビットレートである。しかし、符号化状況情報は、ビットレートに限定されない。後述するように、符号化器１２０の動作状況（すなわち、例えば、ビットレートの増加状況）を認識可能な情報であれば、他の情報を用いてもよい（第２の実施形態参照）。
　符号量制御器１３０は、上記の「拡大可否判断条件」、「拡大方針」および「拡大時の動きベクトル選定方法」のブロックサイズ拡大パラメータを出力する。
　次に、ブロック拡大器１４０は、「拡大方針」によって、ブロックサイズ拡大パラメータが０であるかどうかを判断する（ステップＳ１０３）。ブロックサイズ拡大パラメータが０でない場合、ブロック拡大器１４０は、ブロックサイズ拡大パラメータに基づいて、ステップＳ１０２の処理で得られた符号化パラメータ＃１を修正し、符号化パラメータ＃２を出力する（ステップＳ１０４）。具体的には、ブロック拡大器１４０は、「拡大可否判断条件」に含まれる条件（第１条件～第４条件のいずれか）に基づいてブロックを拡大すべきか否か決定し、ブロックを拡大すべきと決定した場合には、「拡大方針」に従って拡大の仕方を決定し、符号量制御器１３０から入力した「拡大時の動きベクトル選定方法」を動きベクトルの決定方法とする。
　ブロック拡大器１４０は、ブロックサイズ拡大パラメータが０である場合には、符号化パラメータ＃１を修正せず、符号化パラメータ＃１を符号化パラメータ＃２とする。そして、符号化器１２０は、符号化パラメータ＃２を用いて、入力画像を符号化する（ステップＳ１０５）。なお、ブロック拡大器１４０は、「拡大方針」が「拡大しない」（＝０）でない場合であっても、「拡大可否判断条件」が満たされない場合には、符号化パラメータ＃１を修正しない。
　次に、符号量制御器１３０の具体例を説明する。図５は、第１の実施形態の動画像符号化装置の第１の例を示すブロック図である。図５に示す符号量制御器１３０は、ブロックサイズ拡大パラメータを出力するために、パラメータテーブル１３１を記憶する。
　図６は、パラメータテーブル１３１の記憶内容の一例を示す。図６に示す例では、パラメータテーブル１３１には、閾値とブロックサイズ拡大パラメータとの組（Ｔｈ１とｐａｒａｍ１、Ｔｈ２とｐａｒａｍ２、ＴｈＮとｐａｒａｍＮ）が複数記憶される。なお、ｐａｒａｍ１、ｐａｒａｍ２およびｐａｒａｍＮの各々は、上記の「拡大可否判断条件」、「拡大方針」および「拡大時の動きベクトル選定方法」のパラメータを含む。
　図７は、ブロックサイズ拡大パラメータの選択方法を示すフローチャートである。図７に示すように、符号量制御器１３０は、符号化状況情報が各々の閾値を超えているか否かに応じたブロックサイズ拡大パラメータを出力する。
　具体的には、符号量制御器１３０は、符号化状況情報が示す値が第１の閾値（Ｔｈ１）よりも小さいときには、「拡大しない」（＝０）を示すデータを出力する（ステップＳ１０１１）。符号化状況情報が示す値が第２の閾値（Ｔｈ２）よりも小さいときには、第１のブロックサイズ拡大パラメータ（ｐａｒａｍ１）を出力する（ステップＳ１０１２）。符号化状況情報が示す値が第３の閾値（ＴｈＮ）よりも小さいときには、第２のブロックサイズ拡大パラメータ（ｐａｒａｍ２）を出力する（ステップＳ１０１３）。また、符号化状況情報が示す値が第３の閾値（ＴｈＮ）以上であるときには、第Ｎのブロックサイズ拡大パラメータ（ｐａｒａｍＮ）を出力する。
　なお、この例では、ｐａｒａｍＮは、最も符号量低減効果が高くなるブロックサイズ拡大パラメータを含む。符号量低減効果が高くなるパラメータは、例えば、より大きいサイズに拡大されたり（「拡大方針」に関して）、「拡大」が選択されやすいこと（「拡大可否判断条件」に関して）に対応するパラメータである。
　次に、符号化状況情報の具体例について説明する。
　図８は、第１の実施形態の動画像符号化装置の第２の例を示すブロック図である。図８に示す例では、符号量制御器１３０は、第１の例における閾値に代えて、過去統計情報１３２を使用する。過去統計情報１３２は、過去に入力された符号化状況情報の統計情報（例えば、ビットレートの平均値）である。符号量制御器１３０は、過去統計情報１３２と、現在の符号化状況情報とを用いて比較することによって符号量が目標符号量を超過するかどうか判断し、超過すると判断した場合には、０ではないブロックサイズ拡大パラメータを出力する。
　なお、符号量制御器１３０は、過去統計情報１３２と第１の例におけるパラメータテーブル１３１とを併用してもよい。その場合、一例として、過去統計情報１３２に基づいて、符号量が目標符号量を超過しそうであると判断したときに、第１の例に基づいてブロックサイズ拡大パラメータを出力する。ただし、第１の例では、符号量制御器１３０は、「拡大しない」（＝０）を示すデータを出力することがあるが、第２の例では、「拡大しない」（＝０）を示すデータを出力しないようにする。第２の例では、符号量が目標符号量を超過すると判断した場合に、０ではないブロックサイズ拡大パラメータを出力するように制御されるからである。
実施形態２．
　図９は、動画像符号化装置の第２の実施形態を示すブロック図である。図９には、符号化状況情報を出力する符号化状況情報出力器１５０が明示されている。
　図１０は、第２の実施形態の動画像符号化装置の第１の例を示すブロック図である。図１０に示す符号化状況情報出力器１５０は、符号量出力器１５１を含む。
　なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
　符号量出力器１５１は、符号化器１２０がブロックまたはピクチャの符号化を完了するごとに、そのブロックまたはピクチャの符号化データの量（符号量）を入力し、符号量を符号化状況情報として出力する。
　図１１は、第２の実施形態の動画像符号化装置の第２の例を示すブロック図である。図１１に示す符号化状況情報出力器１５０は、複雑度算出器１５２を含む。
　なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
　複雑度算出器１５２は、入力映像を解析し、符号化後の符号量の予測に使用可能な特徴量を出力する。複雑度算出器１５２は、一例として、１フレームを所定サイズのブロックに分割したときの各ブロック内の画素値の分散を算出したり、あるフレームとその前フレームとの差分フレームを所定のサイズのブロックに分割したときの各ブロック内の画素値の分散を算出し、算出した値を特徴量として出力する。従って、特徴量は、入力映像の符号化の困難さの度合い（符号化器１２０が発生する符号量の程度（多い／少ない））を示す。
　符号化状況情報出力器１５０は、複雑度算出器１５２が出力した特徴量を符号化状況情報として出力する。
　符号量制御器１３０は、符号化状況情報出力器１５０が出力した符号化状況情報（特徴量）に基づいて、符号化器１２０の符号化結果（具体的には、符号化されたデータ）の符号量を予測する。そして、符号量制御器１３０は、符号量が目標符号量を超過するかどうか判断し、超過すると判断した場合には、０ではないブロックサイズ拡大パラメータを出力する。
　図１２は、第２の実施形態の動画像符号化装置の第３の例を示すブロック図である。図１２に示す符号化状況情報出力器１５０は、動きベクトルバッファ占有率算出器１５３を含む。動きベクトルバッファ占有率算出器１５３は、符号化結果バッファ１５３１と占有率算出器１５３２とを有する。
　なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
　動きベクトルバッファ占有率算出器１５３は、符号化器１２０の符号化結果（具体的には、符号化されたデータ）を一時記憶する。占有率算出器１５３２は、符号化結果バッファ１５３１に蓄積されたデータ量（符号量）のうち動きベクトルの符号量が占める割合を算出する。そして、符号化状況情報出力器１５０は、占有率算出器１５３２が算出した割合を符号化状況情報として出力する。
　符号量制御器１３０は、符号化状況情報として割合に基づいて、第１の実施形態について説明された制御によって、ブロックサイズ拡大パラメータを出力する。この例では、符号化状況情報が示す値（すなわち、動きベクトルの符号量が占める割合）が大きいほど、符号量低減効果が高くなるブロックサイズ拡大パラメータを出力する。
　図１３は、第２の実施形態の動画像符号化装置の第４の例を示すブロック図である。図１３に示す符号化状況情報出力器１５０は、シーンチェンジ検出器１５４を含む。
　なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
　シーンチェンジ検出器１５４は、入力映像の急峻な変化（シーンチェンジ）を検出すると、符号量制御器１３０に、シーンチェンジ検出信号を符号化状況情報として出力する。なお、シーンチェンジを検出する方法として種々の方法があるが、基本的には連続するフレームの特徴量を比較し、その変化が大きいフレームをシーンチェンジが発生したフレームとする。
　符号量制御器１３０は、シーンチェンジ検出信号が入力されると、第１の実施形態について説明された制御によって、ブロックサイズ拡大パラメータを出力する。ただし、第１の実施形態では、符号量制御器１３０は、複数のブロックサイズ拡大パラメータから選択されたパラメータを出力可能であるが、この例では、シーンチェンジ検出信号が入力されないときには、符号量制御器１３０は、「拡大しない」（＝０）を示すデータを出力し、シーンチェンジ検出信号が入力されたときには、一例として、あらかじめ決められているブロックサイズ拡大パラメータを出力する。
　図１４は、第２の実施形態の動画像符号化装置の第５の例を示すブロック図である。図１４に示す符号化状況情報出力器１５０は、ＧＯＰ（Group of Picture）構造決定器１５５を含む。ＧＯＰ構造決定器１５５は、符号化状況情報出力器１５０の外部に設けられていてもよい。
　なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
　ＧＯＰ構造決定器１５５は、映像符号化時のピクチャのグループ構成（ＧＯＰ構造）を決定する。そして、ＧＯＰ構造決定器１５５は、グループ構成を変更するときに、ＧＯＰ構造を変更することを示すデータと変更後のＧＯＰ構造を示すデータとを符号化状況情報として出力する。
　符号量制御器１３０は、ＧＯＰ構造を変更することを示すデータと変更後のＧＯＰ構造を示すデータが入力されると、第１の実施形態について説明された制御によって、ブロックサイズ拡大パラメータを出力する。例えば、ＧＯＰ構造を変更することを示すデータが入力されると、「拡大しない」（＝０）を示すデータを出力することに決定し、変更後のＧＯＰ構造を示すデータを基に、いずれのブロックサイズ拡大パラメータを出力するのかを決定する。
　なお、上記の第１の例～第５の例として示された方法のうちのいずれか１つが用いられてもよいし、それらの方法のうちの任意の２つ以上の方法が併用されてもよい。
実施形態３．
　図１５は、動画像符号化装置の第３の実施形態を示すブロック図である。図１５に示す動画像符号化装置において、符号化状況情報出力器１５０は、目標符号量決定器１５６を含む。
　なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
　また、符号化状況情報出力器１５０は、第２の実施形態における第１の例～第５の例のいずれか１つ以上の方法を実行する機能（図１０～図１４参照）を備えていてもよい。
　目標符号量決定器１５６は、例えば、目標符号量が変更されたときに、変更後の目標符号量を符号量制御器１３０に供給する。なお、目標符号量が変更される契機は、例えば、動画像符号化装置の外部から入力される目標符号量が変化するときや、符号量制御器１３０における過去の符号量が設定済の目標符号量を超過しない期間が所定期間以上継続したときや、符号量制御器１３０における過去の符号量が設定済の目標符号量を超過する頻度が所定の閾値を超えたときなどである。
　また、目標符号量決定器１５６は、目標符号量が変化することを示すデータを符号化状況情報として出力するように構成されていてもよい。その場合、符号量制御器１３０は、目標符号量が変化するときに、いずれのブロックサイズ拡大パラメータを出力するのかを決定する。
　本発明では、ブロック拡大器１４０および符号化器１２０が、符号量制御器１３０が出力するブロックサイズ拡大パラメータに従って動作することによって、符号量が急激に多くなりそのままでは目標符号量を超過するような状況においても、動きベクトルの数を削減し、目標符号量を超過しないような映像符号化を行うことができる。ブロックサイズが拡大されることによって動きベクトルの数が削減されるからである。
　スキップモードを使用する場合、スキップモードにした後では、全てのブロックの動きベクトルの向きが同じになり画質が劣化するが（図２２参照）、本発明によれば、ブロックサイズが拡大された後の動きベクトルの向きが常に同じということにはならず、動き情報がある程度保存される（図１６参照）。すなわち、画質劣化を軽減することができる。
　なお、上記の実施形態の動画像符号化装置を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図１７に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備えている。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図１７に示された情報処理システムにおいて、プログラムメモリ１００２には、上記の実施形態の動画像符号化装置における各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、上記の実施形態の動画像符号化装置の機能を実現する。
　図１８は、本発明による動画像符号化装置の主要部を示すブロック図である。図１８に示すように、動画像符号化装置は、入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段１０（一例として、図１に示す符号化パラメータ探索器１１０で実現される。）と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段２０（一例として、図１に示す符号化器１２０で実現される。）とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段３０（一例として、図１に示す符号量制御器１３０で実現される。）と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段４０（一例として、図１に示すブロック拡大器１４０で実現される。）とを備える。
　動画像符号化装置は、符号化状況情報に関する閾値とブロックサイズ拡大パラメータとの組を複数記憶するパラメータテーブル（図５に示すパラメータテーブル１３１に相当）を備え、符号量制御手段３０が、入力された符号化状況情報が示す値と閾値との比較結果に応じたブロックサイズ拡大パラメータをパラメータテーブルから選択するように構成されていてもよい。
　動画像符号化装置は、符号量制御手段３０が、過去に入力された符号化状況情報の統計情報と入力された符号化状況情報が示す値との比較結果に応じたブロックサイズ拡大パラメータを選択するように構成されていてもよい。
　動画像符号化装置は、符号化データの符号量を符号化状況情報として出力する符号量出力手段（図１０に示す符号量出力器１５１に相当）を備えていてもよい。
　動画像符号化装置は、入力映像を解析し、符号化後の符号量の予測に使用可能な特徴量を算出して符号化状況情報として出力する複雑度算出手段（図１１に示す複雑度算出器１５２に相当）を備えていてもよい。
　動画像符号化装置は、符号化データの符号量のうち動きベクトルの符号量が占める割合を算出して符号化状況情報として出力する占有率算出手段（図１２に示す占有率算出器１５３２に相当）を備えていてもよい。
　動画像符号化装置は、入力映像のシーンチェンジを検出すると、シーンチェンジ検出信号を符号化状況情報として出力するシーンチェンジ検出手段（図１３に示すシーンチェンジ検出器１５４に相当）を備えていてもよい。
　動画像符号化装置は、ＧＯＰが変更されるときに、変更後のＧＯＰ構造を示すデータを符号化状況情報として出力するＧＯＰ構造決定手段（図１４に示すＧＯＰ構造決定器１５５に相当）を備えていてもよい。
　なお、本発明は、固定ビットレートでの映像圧縮装置や、固定ビットレートでの映像圧縮をコンピュータ上で実現するためのプログラムに適用可能である。また、上限ビットレートが存在する変動ビットレートでの映像圧縮装置や、上限ビットレートが存在する変動ビットレートでの映像圧縮をコンピュータで実現するためのプログラムにも適用可能である。
　上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
（付記１）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、符号化状況情報が、目標符号量信号が変化したことの通知である動画像符号化装置。
（付記２）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、ブロックサイズ拡大手段が、ブロックサイズ拡大パラメータとして、ブロックサイズ拡大可能判断条件を供給する動画像符号化装置。
（付記３）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、ブロックサイズ拡大手段が、ブロックサイズ拡大パラメータとして、ブロックサイズ拡大方針を供給する動画像符号化装置。
（付記４）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、ブロックサイズ拡大手段が、ブロックサイズ拡大パラメータとして、ブロックサイズ拡大時の動きベクトル選択方法を供給する動画像符号化装置。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年１月１９日に出願された日本特許出願２０１５－００７５６２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　　符号化パラメータ探索手段
　２０　　　符号化手段
　３０　　　符号量制御手段
　４０　　　ブロックサイズ拡大手段
　１１０　　符号化パラメータ探索器
　１２０　　符号化器
　１３０　　符号量制御器
　１３１　　パラメータテーブル
　１３２　　過去統計情報
　１４０　　ブロック拡大器
　１５０　　符号化状況情報出力器
　１５１　　符号量出力器
　１５２　　複雑度算出器
　１５３　　動きベクトルバッファ占有率算出器
　１５３１　符号化結果バッファ
　１５３２　占有率算出器
　１５４　　シーンチェンジ検出器
　１５５　　ＧＯＰ構造決定器
　１５６　　目標符号量決定器
　２１０　　符号化パラメータ探索器
　２２０　　符号化器
　２２１　　変換器
　２２２　　量子化器
　２２３　　逆量子化器
　２２４　　逆変換器
　２２５　　バッファ
　２２６　　予測器
　２２７　　エントロピー符号化器
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　記憶媒体
　１００４　記憶媒体

Claims (10)

  1. 　入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、
    　前記入力映像と前記符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、
    　目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、
    　前記ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備える
    　ことを特徴とする動画像符号化装置。
  2. 　符号化状況情報に関する閾値とブロックサイズ拡大パラメータとの組を複数記憶するパラメータテーブルを備え、
    　前記符号量制御手段は、入力された符号化状況情報が示す値と閾値との比較結果に応じた前記ブロックサイズ拡大パラメータを前記パラメータテーブルから選択する
    　請求項１記載の動画像符号化装置。
  3. 　前記符号量制御手段は、過去に入力された符号化状況情報の統計情報と入力された符号化状況情報が示す値との比較結果に応じた前記ブロックサイズ拡大パラメータを選択する
    　請求項１記載の動画像符号化装置。
  4. 　符号化データの符号量を符号化状況情報として出力する符号量出力手段を備える
    　請求項１から請求項３のうちのいずれか１項に記載の動画像符号化装置。
  5. 　入力映像を解析し、符号化後の符号量の予測に使用可能な特徴量を算出して符号化状況情報として出力する複雑度算出手段を備える
    　請求項１から請求項４のうちのいずれか１項に記載の動画像符号化装置。
  6. 　符号化データの符号量のうち動きベクトルの符号量が占める割合を算出して符号化状況情報として出力する占有率算出手段を備える
    　請求項１から請求項５のうちのいずれか１項に記載の動画像符号化装置。
  7. 　入力映像のシーンチェンジを検出すると、シーンチェンジ検出信号を符号化状況情報として出力するシーンチェンジ検出手段を備える
    　請求項１から請求項６のうちのいずれか１項に記載の動画像符号化装置。
  8. 　ＧＯＰが変更されるときに、変更後のＧＯＰ構造を示すデータを符号化状況情報として出力するＧＯＰ構造決定手段を備える
    　請求項１から請求項７のうちのいずれか１項に記載の動画像符号化装置。
  9. 　入力映像を入力として符号化パラメータを生成し、
    　前記入力映像と前記符号化パラメータとを入力して符号化を行う動画像符号化方法であって、
    　目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定し、
    　前記ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大する
    　ことを特徴とする動画像符号化方法。
  10. 　入力映像を入力として符号化パラメータを生成し、前記入力映像と前記符号化パラメータとを入力して符号化を行うための動画像符号化プログラムであって、
    　コンピュータに、
    　目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する処理と、
    　前記ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大する処理とを実行させる
    　ための動画像符号化プログラム。
PCT/JP2015/006271 2015-01-19 2015-12-16 動画像符号化装置、動画像符号化方法および動画像符号化プログラム WO2016116984A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/541,068 US20180027256A1 (en) 2015-01-19 2015-12-16 Video encoding device, video encoding method, and video encoding program
JP2016570215A JP6652068B2 (ja) 2015-01-19 2015-12-16 動画像符号化装置、動画像符号化方法および動画像符号化プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-007562 2015-01-19
JP2015007562 2015-01-19

Publications (1)

Publication Number Publication Date
WO2016116984A1 true WO2016116984A1 (ja) 2016-07-28

Family

ID=56416554

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/006271 WO2016116984A1 (ja) 2015-01-19 2015-12-16 動画像符号化装置、動画像符号化方法および動画像符号化プログラム

Country Status (3)

Country Link
US (1) US20180027256A1 (ja)
JP (1) JP6652068B2 (ja)
WO (1) WO2016116984A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018047952A1 (ja) * 2016-09-12 2019-07-11 日本電気株式会社 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019170259A1 (en) 2018-03-09 2019-09-12 Huawei Technologies Co., Ltd. Method and apparatus for image filtering with adaptive multiplier coefficients
EP3925222A4 (en) 2019-02-20 2022-08-10 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND APPARATUS FOR ROUNDING, SHAPING AND STORING MOTION VECTOR FOR INTERPREDICTION BASED ON MANTISSA-EXPOSITOR REPRESENTATIONS
CN115379228A (zh) * 2022-08-25 2022-11-22 北京大学深圳研究生院 一种视频编码的码率控制方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818976A (ja) * 1994-06-29 1996-01-19 Toshiba Corp 動画像符号化／復号化装置
JP2000511366A (ja) * 1995-10-25 2000-08-29 サーノフ コーポレイション ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法
JP2008022405A (ja) * 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2009147807A (ja) * 2007-12-17 2009-07-02 Fujifilm Corp 画像処理装置
JP2012257148A (ja) * 2011-06-10 2012-12-27 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置、符号化装置、復号装置、及びこれらのプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4649318B2 (ja) * 2004-12-13 2011-03-09 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
JP4697557B2 (ja) * 2009-01-07 2011-06-08 ソニー株式会社 符号化装置、符号化方法、記録媒体及び画像処理装置
WO2011080925A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 画像符号化装置および方法
US9124913B2 (en) * 2010-04-02 2015-09-01 Panasonic Intellectual Property Corporation Of America Wireless communication device and wireless communication method
WO2012117955A1 (ja) * 2011-02-28 2012-09-07 株式会社メガチップス 画像符号化装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818976A (ja) * 1994-06-29 1996-01-19 Toshiba Corp 動画像符号化／復号化装置
JP2000511366A (ja) * 1995-10-25 2000-08-29 サーノフ コーポレイション ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法
JP2008022405A (ja) * 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2009147807A (ja) * 2007-12-17 2009-07-02 Fujifilm Corp 画像処理装置
JP2012257148A (ja) * 2011-06-10 2012-12-27 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置、符号化装置、復号装置、及びこれらのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018047952A1 (ja) * 2016-09-12 2019-07-11 日本電気株式会社 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム
US10721468B2 (en) 2016-09-12 2020-07-21 Nec Corporation Intra-prediction mode determination method, intra-prediction mode determination device, and storage medium for storing intra-prediction mode determination program

Also Published As

Publication number Publication date
US20180027256A1 (en) 2018-01-25
JP6652068B2 (ja) 2020-02-19
JPWO2016116984A1 (ja) 2017-10-26

Similar Documents

Publication Publication Date Title
KR102678522B1 (ko) 인트라 예측 방법 및 그 장치
KR102631638B1 (ko) 영상 부호화/복호화 방법 및 장치
JP6931690B2 (ja) コンテンツをエンコードする方法及び計算装置
RU2654129C2 (ru) Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений
US7643559B2 (en) Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
CN107396116B (zh) 视频编码和解码设备及非暂时性计算机可读存储介质
KR102412934B1 (ko) 인트라 예측 방법 및 그 장치
US10652570B2 (en) Moving image encoding device, moving image encoding method, and recording medium for recording moving image encoding program
JP2009111691A (ja) 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
WO2016116984A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
US20140233645A1 (en) Moving image encoding apparatus, method of controlling the same, and program
WO2013014693A1 (ja) 動画像復号化方法及び画像符号化方法
JP2008271127A (ja) 符号化装置
JP2008153907A (ja) 画像符号化装置及びそれらを含む情報端末ならびに画像符号化方法
US10015484B2 (en) Adaptive scan device and method for scanning thereof
JP6248783B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP5832263B2 (ja) 画像符号化装置及び画像符号化方法
JP2007013298A (ja) 画像符号化装置
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
JP4708821B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体
KR20160106348A (ko) 비디오 부호화 방법 및 그 장치
KR20110067648A (ko) 영상 부호화/복호화 방법 및 이를 수행하는 장치
JP2007208802A (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15878681

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016570215

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15541068

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15878681

Country of ref document: EP

Kind code of ref document: A1