JP2022140729A - Video decoding device and program - Google Patents
Video decoding device and program Download PDFInfo
- Publication number
- JP2022140729A JP2022140729A JP2022124300A JP2022124300A JP2022140729A JP 2022140729 A JP2022140729 A JP 2022140729A JP 2022124300 A JP2022124300 A JP 2022124300A JP 2022124300 A JP2022124300 A JP 2022124300A JP 2022140729 A JP2022140729 A JP 2022140729A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- pixel value
- block
- color difference
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 128
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 21
- 238000013139 quantization Methods 0.000 claims description 16
- 238000012886 linear function Methods 0.000 claims 10
- 238000001914 filtration Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像符号化装置、映像復号装置及びプログラムに関する。 The present invention relates to a video encoding device, a video decoding device and a program.
図6は、AVC(Advanced Video Coding)/H.264方式や、HEVC(High Efficiency Video Coding)/H.265方式による一般的な映像符号化装置9の構成を示す図である。入力映像のフレームは、ブロック分割部100において符号化ブロックに分割される。符号化対象フレームに対する以降の処理は、符号化ブロックごとに行われる。符号化対象フレームは、減算部101において予測信号との差分がとられた後、直交変換部102においてDCT(離散コサイン変換)やDST(離散サイン変換)などの直交変換が適用され、量子化部103において量子化される。量子化後の係数は、エントロピー符号化部104においてエントロピー符号化される。
FIG. 6 shows AVC (Advanced Video Coding)/H. 264 system, HEVC (High Efficiency Video Coding)/H. 1 is a diagram showing the configuration of a general video encoding device 9 based on the H.265 system. FIG. A frame of the input video is divided into coding blocks in the
また、量子化後の係数は、逆量子化部105において逆量子化された後に、逆直交変換部106において逆DCTや逆DSTなどの逆直交変換が適用される。その後、加算部107で予測信号が加算され、局所復号画像が得られる。フレーム内予測部110は、符号化対象フレームと同一フレーム内の局所復号画像を用いて画素値の予測を行う。フレーム間予測部111は、ループフィルタ108が適用された後の局所復号画像を格納した参照メモリ109を参照して、画素値の予測を行う。
The quantized coefficients are inversely quantized in
フレーム内予測部110で作成された予測信号、又は、フレーム間予測部111で作成された予測信号が、フレーム内予測・フレーム間予測切替部112により選択される。予測信号は、減算部101で、次の符号化処理の際に減算されるとともに、加算部107での加算にも用いられる。なお図示していないが、フレーム内予測部110で用いるモードや、フレーム間予測部111で用いる動きベクトルや、フレーム内予測・フレーム間予測切替部112で用いる切替信号も、エントロピー符号化部104でエントロピー符号化され送出される。
A prediction signal generated by the
例えば、水面がきらめいている川や、波立っている海などの映像などのように、細かいテクスチャを持ちほぼ一様な色を有する領域を、AVC/H.264やHEVC/H.265などを用いて符号化すると、本来は一様である色が変化し、符号化ブロックの境界が目立つ場合がある。 For example, an area with fine textures and almost uniform colors, such as images of a river with sparkling water or a choppy sea, can be captured using AVC/H.264 or HEVC/H.265. When encoded using , the otherwise uniform color may change, and the boundaries of encoded blocks may become conspicuous.
本発明は、このような事情を考慮してなされたもので、符号化ブロックの境界を目立たせないようにすることができる映像符号化装置、映像復号装置及びプログラムを提供する。 The present invention has been made in consideration of such circumstances, and provides a video encoding device, a video decoding device, and a program capable of making boundaries between encoding blocks inconspicuous.
本発明の一態様は、フレーム間予測またはフレーム内予測により符号化ブロック毎に映像の信号を符号化する映像符号化装置であって、前記フレーム間予測またはフレーム内予測に用いられる前記符号化ブロックの局所復号画像が持つ色差信号に対し、所定の画素値を中心とした第一の範囲内の画素値を、前記所定の画素値を中心とし、かつ、前記第一の範囲よりも狭い第二の範囲内の画素値に変換する色差変換処理を行う色差変換部、を備えることを特徴とする映像符号化装置である。 One aspect of the present invention is a video encoding device that encodes a video signal for each encoding block by inter-frame prediction or intra-frame prediction, wherein the encoding block used for the inter-frame prediction or the intra-frame prediction With respect to the color difference signal of the local decoded image, the pixel values within a first range centered on a predetermined pixel value are set to a second range centered on the predetermined pixel value and narrower than the first range and a color-difference conversion unit that performs color-difference conversion processing to convert pixel values into values within the range of .
本発明の一態様は、上述の映像符号化装置であって、前記所定の画素値と、前記第一の範囲と、前記第二の範囲とのうち一以上を示す情報を、符号化された前記信号を送出する符号化ストリームに設定する第一設定部をさらに備える、ことを特徴とする。 One aspect of the present invention is the video encoding device described above, wherein information indicating one or more of the predetermined pixel value, the first range, and the second range is encoded It is characterized by further comprising a first setting unit for setting an encoded stream for transmitting the signal.
本発明の一態様は、上述の映像符号化装置であって、前記符号化ブロックに対する前記色差変換処理の有無を示す情報を、符号化された前記信号を送出する符号化ストリームに設定する第二設定部をさらに備える、ことを特徴とする。 One aspect of the present invention is the video encoding device described above, wherein information indicating whether or not the color difference conversion process is performed on the encoded block is set in an encoded stream for transmitting the encoded signal. It is characterized by further comprising a setting unit.
本発明の一態様は、フレーム間予測またはフレーム内予測により復号ブロック毎に、符号化された映像の信号を復号する映像復号装置であって、前記フレーム間予測またはフレーム内予測に用いられる前記復号ブロックの局所復号画像が持つ色差信号に対し、所定の画素値を中心とした第一の範囲内の画素値を、前記所定の画素値を中心とし、かつ、前記第一の範囲よりも狭い第二の範囲内の画素値に変換する色差変換処理を行う色差変換部、を備えることを特徴とする映像復号装置である。 One aspect of the present invention is a video decoding device that decodes a signal of a video encoded for each decoded block by inter-frame prediction or intra-frame prediction, wherein the decoding used for the inter-frame prediction or the intra-frame prediction With respect to the color difference signal of the local decoded image of the block, a pixel value within a first range centered on a predetermined pixel value is set to a pixel value centered on the predetermined pixel value and narrower than the first range. and a color-difference conversion unit that performs color-difference conversion processing to convert pixel values into two ranges.
本発明の一態様は、上述の映像復号装置であって、前記所定の画素値と、前記第一の範囲と、前記第二の範囲とのうち一以上を示す情報を、符号化された前記信号が設定された符号化ストリームから取得する第一情報取得部をさらに備える、ことを特徴とする。 One aspect of the present invention is the video decoding device described above, wherein information indicating one or more of the predetermined pixel value, the first range, and the second range is encoded as the It is characterized by further comprising a first information acquisition unit that acquires from the encoded stream in which the signal is set.
本発明の一態様は、上述の映像復号装置であって、前記復号ブロックに対する前記色差変換処理の有無を示す情報を、符号化された前記信号が設定された符号化ストリームから取得する第二情報取得部をさらに備える、ことを特徴とする。 An aspect of the present invention is the video decoding device described above, wherein the information indicating whether or not the color difference conversion process is performed on the decoded block is second information obtained from the encoded stream in which the encoded signal is set. It is characterized by further comprising an acquisition unit.
本発明の一態様は、フレーム間予測またはフレーム内予測により符号化ブロック毎に映像の信号を符号化する映像符号化装置として用いられるコンピュータに、前記フレーム間予測またはフレーム内予測に用いられる前記符号化ブロックの局所復号画像が持つ色差信号に対し、所定の画素値を中心とした第一の範囲内の画素値を、前記所定の画素値を中心とし、かつ、前記第一の範囲よりも狭い第二の範囲内の画素値に変換する色差変換ステップ、を実行させるプログラムである。 According to one aspect of the present invention, a computer used as a video encoding device that encodes a video signal for each encoding block by inter-frame prediction or intra-frame prediction is provided with the code used for inter-frame prediction or intra-frame prediction a pixel value within a first range centered on a predetermined pixel value for a color difference signal of a local decoded image of a localized block, centered on the predetermined pixel value and narrower than the first range. A program for executing a color-difference conversion step of converting to pixel values within a second range.
本発明の一態様は、フレーム間予測またはフレーム内予測により復号ブロック毎に、符号化された映像の信号を復号する映像復号装置として用いられるコンピュータに、前記フレーム間予測またはフレーム内予測に用いられる前記復号ブロックの局所復号画像が持つ色差信号に対し、所定の画素値を中心とした第一の範囲内の画素値を、前記所定の画素値を中心とし、かつ、前記第一の範囲よりも狭い第二の範囲内の画素値に変換する色差変換ステップ、を実行させるプログラムである。 One aspect of the present invention is a computer used as a video decoding device that decodes a video signal encoded for each decoding block by inter-frame prediction or intra-frame prediction. With respect to the color difference signal of the local decoded image of the decoded block, the pixel values within a first range centered on a predetermined pixel value are set centered on the predetermined pixel value and more than the first range. A program for executing a color difference conversion step for converting pixel values within a narrow second range.
本発明によれば、符号化ブロックの境界を目立たせないようにすることができる。 ADVANTAGE OF THE INVENTION According to this invention, the boundary of a coding block can be made inconspicuous.
以下、図面を参照しながら本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[第1の実施形態]
図1は、本発明の実施形態による映像符号化装置1の構成を示すブロック図である。同図において、図6に示す従来技術による映像符号化装置9と同一の部分には同一の符号を付している。同図に示す映像符号化装置1は、ブロック分割部100、減算部101、直交変換部102、量子化部103、エントロピー符号化部202、逆量子化部105、逆直交変換部106、加算部107、色差変換部201、ループフィルタ108、参照メモリ109、フレーム内予測部110、フレーム間予測部111、及び、フレーム内予測・フレーム間予測切替部112を備えて構成される。このように、本実施形態の映像符号化装置1が従来技術の映像符号化装置9と異なる点は、色差変換部201をさらに備える点、及び、エントロピー符号化部104に代えてエントロピー符号化部202を備える点である。
[First Embodiment]
FIG. 1 is a block diagram showing the configuration of a
ブロック分割部100は、入力映像のフレームを符号化ブロックに分割する。符号化ブロックは、例えば、AVC/H.264方式ではマクロブロックであり、HEVC/H.265方式ではコーディングユニット(CU)やプレディクションユニット(PU)である。映像符号化装置1は、符号化対象フレームに対する以降の処理を符号化ブロックごとに行う。
The
減算部101は、符号化対象フレームと、フレーム内予測・フレーム間予測切替部112が選択した予測信号との差分である予測残差信号を直交変換部102に出力する。直交変換部102は、減算部101から入力した予測残差信号に直交変換を行う。量子化部103は、直交変換部102による直交変換の結果得られた変換係数を量子化し、エントロピー符号化部202及び逆量子化部105に出力する。
逆量子化部105は、量子化部103により量子化された変換係数を逆量子化する。逆直交変換部106は、逆量子化部105により逆量子化された変換係数を逆直交変換する。加算部107は、逆直交変換部106により逆直交変換された結果と、フレーム内予測・フレーム間予測切替部112が選択した予測信号とを加算して、局所復号画像を得る。色差変換部201は、局所復号画像の色差信号に対して、色差変換処理を行う。色差変換処理では、色差信号が任意に定めた値を中心とした所定範囲以内にある時に、その色差信号の値が予め定めた画素値に近づくような変換を行う。
The
ループフィルタ108は、色差変換処理が行われた局所復号画像からブロック境界の歪みの低減や隣接画素値の値に基づいた画素値の補正などのフィルタ処理を行う。参照メモリ109は、ループフィルタ108が適用された後の局所復号画像を記憶する。フレーム内予測部110は、符号化対象フレームと同一フレーム内の局所復号画像を用いて画素値の予測を行う。フレーム間予測部111は、ループフィルタ108が適用された後の局所復号画像を格納した参照メモリ109を参照して、画素値の予測を行う。フレーム内予測・フレーム間予測切替部112は、フレーム内予測部110による予測結果と、フレーム間予測部111による予測結果とのいずれかを選択し、予測画像として減算部101及び加算部107に出力する。
The
エントロピー符号化部202は、量子化部103により量子化された変換係数や、フレーム内予測部110で用いるモード、フレーム間予測部111で用いる動きベクトル、フレーム内予測・フレーム間予測切替部112で用いる切替信号を、エントロピー符号化して送出する。エントロピー符号化部202は、後述する第8の実施形態に記載の映像復号装置3において色差変換部201と同様の色差変換処理を行うためのパラメータをさらにエントロピー符号化して送出してもよい。
The
AVC/H.264やHEVC/H.265などを用いて、細かいテクスチャを持ち、かつ、ほぼ一様な色を有する領域を符号化したときに、本来は一様である色が変化し、符号化ブロックの境界が目立つという現象が発生することがある。この現象は、例えば原画像ではほぼ無彩色の領域が、符号化により薄い緑色や紫色等に変化し、その変化が符号化ブロックにより異なることが原因で発生する。そこで、映像符号化装置1は、色差信号を逆直交変換し、予測信号の加算を行った局所復号画像の色差信号に対して色差変換処理を行う。映像符号化装置1は、この色差変換処理を色差信号のみに適用し、輝度信号には適用しない。つまり、映像符号化装置1は、局所復号画像の輝度信号であるy信号については、色差変換部201による色差変換処理を適用せず、従来と同じ動作を行う。一方、映像符号化装置1は、局所復号画像の色差信号であるu信号及びv信号については、色差変換部201による色差変換処理を適用して色差の値を変更する。
When a region having a fine texture and a substantially uniform color is coded using AVC/H.264, HEVC/H.265, or the like, the originally uniform color changes, resulting in a change in the code. In some cases, a phenomenon occurs where the boundary between blocks becomes conspicuous. This phenomenon occurs because, for example, an almost achromatic area in the original image changes to light green, purple, or the like due to encoding, and the change differs depending on the encoded block. Therefore, the
色差変換部201が行う色差変換処理により、予め定められた色差値付近の値を持つ色差信号が、予測処理や量子化処理により色が大きく変化することが抑制される。これにより、ほぼ一様な色を有し細かいテクスチャを持つ領域を符号化する際に、色が変化することにより符号化ブロックの境界が目立つ現象が抑制される。
The color difference conversion processing performed by the color
図2は、本実施形態の色差変換処理に用いられる関数を示す図である。本実施形態の色差変換部201は、色差変換処理において同図に示す関数を用いる。同図に示す関数は、横軸が入力信号を、縦軸が出力信号を表わしている。色差信号の値をM、色差信号の値の幅をw(w>0)としたときに、色差変換部201は、入力信号の値sが(M-w,M+w)の範囲のときは画素値としてMを出力し、この範囲以外の値のときには、入力信号の値sのまま出力する。
FIG. 2 is a diagram showing functions used in the color difference conversion process of this embodiment. The
M及びwはそれぞれ、予め定められた値でもよく、ユーザーが設定した値でもよく、符号化対象のフレーム又は符号化対象のフレームを含む複数のフレームから得られる所定の1以上の特徴量やその特徴量に対して所定の演算を行った結果などに応じて決められる値でもよい。また、映像符号化装置1は、符号化対象のフレームに適用されるM及びwの少なくとも一方をパラメータとして、映像復号装置3(後述する第8の実施形態の図5参照)に通知してもよい。この場合、エントロピー符号化部202は、エントロピー符号化結果を送信する符号化ストリーム中にパラメータを埋め込む。
Each of M and w may be a predetermined value or a value set by a user, and may be one or more predetermined feature values obtained from a frame to be encoded or a plurality of frames including the frame to be encoded, or It may be a value determined according to the result of performing a predetermined calculation on the feature amount. Also, the
後述する映像復号装置3の色差変換部302(後述する第8の実施形態の図5参照)は、予め定められた、又は、ユーザーが設定した映像符号化装置1と同じM及びwを用いて、色差変換部201と同様の色差変換処理を行う。映像復号装置3の色差変換部302は、符号化ストリームからM及びwのうち一以上が設定されたパラメータを読み取った場合は、読み取ったパラメータを用いて、本実施形態の色差変換部201と同様の色差変換処理を行う。
A color difference conversion unit 302 (see FIG. 5 of an eighth embodiment, which will be described later) of the video decoding device 3, which will be described later, uses the same M and w as those of the
[第2の実施形態]
第2の実施形態による映像符号化装置の構成は、図1に示す第1の実施形態の映像符号化装置1と同様である。ただし、本実施形態では、色差変換部201は、図3に示す関数を用いて色差変換処理を行う。
[Second embodiment]
The configuration of the video encoding device according to the second embodiment is the same as that of the
図3は、本実施形態の色差変換処理に用いられる関数を示す図である。同図に示す関数は、図2と同様に、横軸が入力信号を、縦軸が出力信号を表わしている。なお、色差信号がとり得る最大の値をsmaxとする。 FIG. 3 is a diagram showing functions used in the color difference conversion process of this embodiment. As in FIG. 2, the function shown in FIG. 2 represents the input signal on the horizontal axis and the output signal on the vertical axis. Note that s max is the maximum value that the color difference signal can take.
(1)入力信号の値sが(M-w)以下の場合、s×((M-k)/(M-w))を出力。
(2)入力信号の値sが(M-w,M+w)の範囲の場合、M+(s-M)×(k/w)を出力。
(3)入力信号の値sが(M+w)以上の場合、(M+k)+(s-(M+w))×(smax-(M+k))/(smax-(M+w))を出力。
(1) If the value s of the input signal is less than (M−w), output s×((M−k)/(M−w)).
(2) Output M+(s−M)×(k/w) when the value s of the input signal is in the range of (M−w, M+w).
(3) Output (M+k)+(s−(M+w))×(s max −(M+k))/(s max −(M+w)) when the value s of the input signal is greater than or equal to (M+w).
このように、入力信号の(M-w,M+w)の範囲の値を、(M-k,M+k)の範囲の値に変換する。なお、0<k<wである。 Thus, values in the range (M−w, M+w) of the input signal are converted to values in the range (M−k, M+k). Note that 0<k<w.
M、w及びkはそれぞれ、予め定められた値でもよく、ユーザーが設定した値でもよく符号化対象のフレーム又は符号化対象のフレームを含む複数のフレームから得られる所定の1以上の特徴量やその特徴量に対して所定の演算を行った結果などに応じて決められる値でもよい。M及びwについては、第1の実施形態と同様に得られる値でもよい。映像符号化装置1のエントロピー符号化部202は、M、w及びkの値のうち一以上をパラメータとして、符号化ストリーム中に埋め込んで伝送してもよい。
Each of M, w, and k may be a predetermined value, or may be a value set by a user. It may be a value determined according to the result of performing a predetermined calculation on the feature amount. Values obtained in the same manner as in the first embodiment may be used for M and w. The
後述する映像復号装置3の色差変換部302は、予め定められた、又は、ユーザーが設定した映像符号化装置1と同じM、w及びkを用いて、本実施形態の色差変換部201と同様の色差変換処理を行う。映像復号装置3の色差変換部302は、符号化ストリームからM、w及びkのうち一以上が設定されたパラメータを読み取った場合は、読み取ったパラメータを用いて、本実施形態の色差変換部201と同様の色差変換処理を行う。
The color
第1の実施形態では、色差信号の値がM付近の値以外であるときには元の値が維持されるが、色差変換部201の出力値が不連続となる。そのため、グラデーションなどで色差信号がなだらかに変化している領域があるフレームに適用すると、不連続が目立つ場合がある。本実施形態では、全ての色差信号が元の値から変化するが、色差変換部201からの出力される値が不連続にならないため、このような領域への適用に好適である。
In the first embodiment, when the value of the color difference signal is other than the value near M, the original value is maintained, but the output value of the color
[第3の実施形態]
第3の実施形態による映像符号化装置の構成は、図1に示す第1の実施形態の映像符号化装置1と同様である。ただし、本実施形態では、色差変換部201は、図4に示す関数を用いて色差変換処理を行う。
[Third Embodiment]
The configuration of the video encoding device according to the third embodiment is the same as that of the
図4は、本実施形態の色差変換処理に用いられる関数を示す図である。同図に示す関数は、図2、図3と同様に、横軸が入力信号を、縦軸が出力信号を表わしている。色差変換部201は、以下の値を出力する。ただし、0<k<w<dである。
FIG. 4 is a diagram showing functions used in the color difference conversion process of this embodiment. In the function shown in the figure, the horizontal axis represents the input signal and the vertical axis represents the output signal, as in FIGS. The color
(1)入力信号の値sが(M-d)以下の場合及び(M+d)以上の場合、sを出力。
(2)入力信号の値sが(M-d,M-w)の範囲の場合、(M-d)+(s-(M-d))×(d-k)/(d-w)を出力。
(3)入力信号の値sが(M-w,M+w)の範囲の場合、M+(s-M)×(k/w)を出力。
(4)入力信号の値sが(M+w,M+d)の範囲の場合、(M+k)+(s-(M+w))×(d-k)/(d-w)を出力。
(1) Output s when the input signal value s is less than (M−d) or greater than (M+d).
(2) When the input signal value s is in the range of (Md, Mw), (Md)+(s-(Md))×(dk)/(dw) output.
(3) Output M+(s−M)×(k/w) when the input signal value s is in the range of (M−w, M+w).
(4) Output (M+k)+(s−(M+w))×(d−k)/(d−w) when the input signal value s is in the range of (M+w, M+d).
M、w、k及びdはそれぞれ、予め定められた値でもよく、ユーザーが設定した値でもよく、符号化対象のフレーム又は符号化対象のフレームを含む複数のフレームから得られる所定の1以上の特徴量やその特徴量に対して所定の演算を行った結果などに応じて決められる値でもよい。M、w及びkは、第2の実施形態と同様に得られる値でもよい。映像符号化装置1のエントロピー符号化部202は、M、w、k及びdの値のうち一以上をパラメータとして、符号化ストリーム中に埋め込んで伝送してもよい。
Each of M, w, k, and d may be a predetermined value or a value set by a user, and may be one or more predetermined values obtained from a frame to be encoded or a plurality of frames including the frame to be encoded. It may be a value determined according to the feature amount or the result of performing a predetermined calculation on the feature amount. M, w and k may be values obtained in the same manner as in the second embodiment. The
後述する映像復号装置3の色差変換部302は、予め定められた、又は、ユーザーが設定した映像符号化装置1と同じM、w、k及びdを用いて、本実施形態の色差変換部201と同様の色差変換処理を行う。映像復号装置3の色差変換部302は、符号化ストリームからM、w、k及びdのうち一以上が設定されたパラメータを読み取った場合は、読み取ったパラメータを用いて、本実施形態の色差変換部201と同様の色差変換処理を行う。
The color
本実施形態では、第2の実施形態と比較して、色差信号が元の値から変化する範囲が(M-d,M+d)に抑えられる効果がある。 Compared to the second embodiment, this embodiment has the effect of suppressing the range in which the color difference signal changes from the original value to (M−d, M+d).
[第4の実施形態]
本実施形態は、上述した第1の実施形態~第3の実施形態において、u信号及びv信号のそれぞれについて独立してMの値を定める。
[Fourth embodiment]
This embodiment independently determines the value of M for each of the u signal and the v signal in the first to third embodiments described above.
[第5の実施形態]
本実施形態では、u信号についての画素値MをMu、v信号についての画素値MをMvとしたとき、色差変換部201は、u信号の値が(Mu-w,Mu+w)の範囲内であり、かつ、v信号の値が(Mv-w,Mv+w)の範囲内であるという条件を満たさない場合には、入力信号をそのまま出力する。
[Fifth Embodiment]
In this embodiment, when the pixel value M for the u signal is Mu and the pixel value M for the v signal is Mv, the color
例えば、u信号はMuに近い値で一様であるがv信号は位置により値が大きく変動しているような領域は、カラー画像として見た際に「ほぼ一様な色を有している」とは言えない、さまざまな色を有している領域である。第1~第3の実施形態では、u信号及びv信号の二つの色差信号をそれぞれ独立に処理するため、このような領域に対しても、色差変換処理を適用してしまい、符号化画質が低下する場合がある。本実施形態では、そのような領域に対しては信号を変化させないため、符号化画質の低下が抑制される。 For example, in a region where the u signal is uniform and has a value close to Mu, but the v signal varies greatly depending on the position, when viewed as a color image, it has "substantially uniform color." It is an area with various colors that cannot be said to be ". In the first to third embodiments, since the two color difference signals of the u signal and the v signal are processed independently of each other, the color difference conversion process is applied even to such a region, and the encoded image quality deteriorates. may decrease. In this embodiment, since the signal is not changed for such a region, deterioration of the encoded image quality is suppressed.
[第6の実施形態]
本実施形態は、上述した第1の実施形態~第5の実施形態において、符号化ブロック毎に、M、Mu、Mv、w、k、d等のパラメータの値を変更可能とする。映像符号化装置1は、符号化ブロックに適用するパラメータを、直前の符号化ブロックに適用したパラメータから変更する場合、パラメータの値を変更することを示すフラグと、変更後のパラメータ(M、Mu、Mv、w、k、dのうち一以上)も送出する。映像符号化装置1の色差変換部201は、例えば、符号化対象の符号化ブロック又は符号化対象の符号化ブロックを含む複数の符号化ブロックから得られた1以上の特徴量や、その特徴量に所定の演算を行った結果等に基づいて、パラメータを変更するか否かを判断してもよい。例えば、符号化対象の符号化ブロックと、符号化済みの符号化ブロックとで特徴量や、その特徴量に所定の演算を行った結果等が所定よりも変化した場合に、パラメータの値を変更すると判断するようにしてもよい。
[Sixth Embodiment]
In the present embodiment, the values of parameters such as M, Mu, Mv, w, k, and d can be changed for each encoding block in the first to fifth embodiments described above. When changing the parameter applied to the encoding block from the parameter applied to the immediately preceding encoding block, the
後述する映像復号装置3は、映像符号化装置1からパラメータの値を変更することを示すフラグを受信した復号ブロックについては、変更後のM、Mu、Mv、w、k、d等のパラメータも受信する。後述する色差変換部302は、受信したパラメータにより値を更新し、更新後のパラメータを用いて映像符号化装置1の色差変換部201と同様の色差変換処理を行う。なお、色差変換部302は、変更が通知されなかったパラメータについては、前回色差変換処理を行ったときと同じ値を用いて色差変換処理を行う。また、色差変換部302は、パラメータの値を変更することを示すフラグを受信しなかった復号ブロックについては、前回色差変換処理を行ったときと同じパラメータを用いて色差変換処理を行う。
The video decoding device 3, which will be described later, receives from the video encoding device 1 a flag indicating that a parameter value is to be changed, and for the decoded block, the changed parameters such as M, Mu, Mv, w, k, and d are also changed. receive. The color
[第7の実施形態]
本実施形態は、上述した第3~第6の実施形態において、色差変換処理の有無を、符号化ブロック毎に切替える。映像符号化装置1の色差変換部201は、例えば、符号化対象の符号化ブロック又は符号化対象の符号化ブロックを含む複数の符号化ブロックから得られる1以上の特徴量や、その特徴量に所定の演算を行った結果等に基づいて、符号化ブロック毎に色差変換処理を行うか否かを判断する。色差変換部201は、色差変換処理の対象と判断したブロックには、第3~第6の実施形態の色差変換処理を行い、色差変換処理の対象ではないと判断したブロックには、色差変換処理を行わない。映像符号化装置1のエントロピー符号化部202は、各符号化ブロックが色差変換処理の対象であるか否かを示す情報を、符号化ストリーム中に埋め込んで伝送する。なお、色差変換処理の対象の符号化ブロックのみにフラグを設定してもよく、色差変換処理の対象ではない符号化ブロックのみにフラグを設定してもよい。
[Seventh Embodiment]
In the present embodiment, the presence or absence of color difference conversion processing is switched for each encoded block in the above-described third to sixth embodiments. The color
後述する映像復号装置3の色差変換部302は、色差変換処理有りを示すフラグが設定された、又は、色差変換処理無しを示すフラグが設定されていない復号ブロックについては色差変換処理を行う。また、色差変換部302は、色差変換処理無しを示すフラグが設定された、又は、色差変換処理有りを示すフラグが設定されていない復号ブロックについては色差変換処理を行わない。
The
映像符号化装置1は、前回色差変換処理有りから無しに変わった符号化ブロック及び前回色差変換処理無しから有りに変わった符号化ブロックにフラグを設定してもよい。この場合、映像復号装置3の色差変換部302は、フラグが設定された復号ブロックを受信したときに、前回と色差変換処理の有無を切替える。
The
[第8の実施形態]
本実施形態は、第1~第7の実施形態による映像符号化装置により符号化された映像の信号を復号する映像復号装置である。
[Eighth Embodiment]
This embodiment is a video decoding device for decoding video signals encoded by the video encoding devices according to the first to seventh embodiments.
図5は、本実施形態による映像復号装置3の構成を示すブロック図である。同図において、図1に示す第1の実施形態による映像符号化装置1と同一の部分には同一の符号を付している。同図に示す映像復号装置3は、エントロピー復号部301、逆量子化部105、逆直交変換部106、加算部107、色差変換部302、ループフィルタ108、参照メモリ109、フレーム内予測部110、フレーム間予測部111、及び、フレーム内予測・フレーム間予測切替部112を備えて構成される。
FIG. 5 is a block diagram showing the configuration of the video decoding device 3 according to this embodiment. In the figure, the same reference numerals are given to the same parts as in the
エントロピー復号部301は、第1~第7の実施形態による映像符号化装置1から受信した符号化ストリームを入力し、復号対象の符号化ブロックである復号ブロックの量子化変換係数をエントロピー復号する。さらに、エントロピー復号部301は、フレーム内予測に関する情報やフレーム間予測に関する情報、色差変換処理のパラメータやフラグを復号する。エントロピー復号部301は、エントロピー復号した結果を逆量子化部105に出力し、フレーム内予測に関する情報をフレーム内予測部110に出力し、フレーム間予測に関する情報をフレーム間予測部111に出力する。エントロピー復号部301は、復号により色差変換処理のパラメータやフラグが得られた場合は、色差変換部302に出力する。
The
逆量子化部105は、量子化変換係数を逆量子化して変換係数を出力する。逆直交変換部106は、逆量子化部105により逆量子化された変換係数を逆直交変換する。加算部107は、逆直交変換部106により逆直交変換された結果と、フレーム内予測・フレーム間予測切替部112が選択した予測信号とを加算して、局所復号画像を得る。色差変換部302は、予め定められたパラメータや、ユーザーが設定したパラメータ、あるいは、エントロピー復号部301が符号化ストリームから得たパラメータやフラグを用いて、第1~第7の実施形態と同様の色差変換処理を行う。
An
ループフィルタ108は、色差変換処理が行われた局所復号画像からブロック境界の歪みの低減や隣接画素値の値に基づいた画素値の補正などのフィルタ処理を行う。参照メモリ109は、ループフィルタ108が適用された後の局所復号画像を記憶する。フレーム内予測部110は、復号対象フレームと同一フレーム内の局所復号画像を用いて画素値の予測を行う。フレーム間予測部111は、ループフィルタ108が適用された後の局所復号画像を格納した参照メモリ109を参照して、画素値の予測を行う。フレーム内予測・フレーム間予測切替部112は、フレーム内予測部110による予測結果と、フレーム間予測部111による予測結果とのいずれかを選択し、予測画像として加算部107に出力する。
The
以上説明した実施形態によれば、フレーム間予測またはフレーム内予測により符号化ブロック毎に映像の信号を符号化する映像符号化装置は、色差変換部を備える。例えば、映像符号化装置は、実施形態の映像符号化装置1であり、色差変換部は、色差変換部201である。色差変換部は、フレーム間予測またはフレーム内予測に用いられる符号化ブロックの局所復号画像が持つ色差信号に対し、色差変換処理を行う。色差変換処理では、色差信号の画素値のうち、所定の画素値を中心とした第一の範囲内の画素値を、その所定の画素値を中心とし、かつ、第一の範囲よりも狭い第二の範囲内の画素値に変換する。
According to the embodiments described above, the video encoding device that encodes video signals for each encoding block by inter-frame prediction or intra-frame prediction includes a color difference conversion unit. For example, the video encoding device is the
なお、色差変換部は、局所復号画像が持つ色差信号の第一の範囲外の画素値については変換を行わないようにしてもよい。あるいは、色差変換部は、局所復号画像が持つ色差信号の第一の範囲外の画素値に対しても変換を行ってもよい。この場合、色差変換部は、例えば、図3、図4に示すように、変換前の画素値が大きいほど変換後の画素値が大きくなり、かつ、色差信号がとり得る最小の画素値から最大の画素値までの変化に対し、第一の範囲外の画素値を変換した後の画素値と第一の範囲内の画素値を変換した後の画素値とが連続して変化するような変換規則により、第一の範囲外の画素値を変換する。また、第一の範囲及び第二の範囲は、色差信号のu信号とv信号のそれぞれについて独立に定められてもよい。すなわち、u信号とv信号とで、上記の所定の画素値が同じであってもよく、異なってもよい。このとき、u信号とv信号とが独立に定められたそれぞれの第一の範囲内にあるときにのみ画素値の変換を行ってもよい。 Note that the chrominance conversion unit may not convert pixel values outside the first range of the chrominance signal of the local decoded image. Alternatively, the chrominance conversion unit may also convert pixel values outside the first range of the chrominance signal of the local decoded image. In this case, for example, as shown in FIGS. 3 and 4, the chrominance conversion unit increases the pixel value after conversion as the pixel value before conversion increases, and also converts the pixel value from the minimum pixel value that the color difference signal can take to the maximum pixel value. conversion such that the pixel values after converting the pixel values outside the first range and the pixel values after converting the pixel values within the first range change continuously A rule transforms pixel values outside the first range. Also, the first range and the second range may be determined independently for each of the u signal and the v signal of the color difference signal. That is, the predetermined pixel value may be the same or different between the u signal and the v signal. At this time, pixel value conversion may be performed only when the u signal and the v signal are within independently determined first ranges.
映像符号化装置は、所定の画素値と、第一の範囲と、第二の範囲のうち一以上を示す情報を、符号化された映像の信号を送出する符号化ストリームに設定する第一設定部をさらに備えてもよい。例えば、所定の画素値を示す情報はMであり、第一の範囲を表す情報はw、又は、M及びwであり、第二の範囲を表す情報はk、又は、M及びkである。また、映像符号化装置は、符号化ブロックに対する色差変換処理の有無を示す情報を、符号化された映像の信号を送出する符号化ストリームに設定する第二設定部をさらに備えてもよい。第一設定部及び第二設定部は、例えば、上述した実施形態におけるエントロピー符号化部104である。
The video encoding device performs first setting for setting information indicating one or more of a predetermined pixel value, a first range, and a second range in an encoded stream for transmitting an encoded video signal. You may further provide a part. For example, the information indicating the predetermined pixel value is M, the information representing the first range is w or M and w, and the information representing the second range is k or M and k. The video encoding device may further include a second setting unit that sets information indicating whether or not color difference conversion processing is performed on the encoded block in the encoded stream that transmits the encoded video signal. The first setting unit and the second setting unit are, for example, the
また、フレーム間予測またはフレーム内予測により復号ブロック毎に、符号化された映像の信号を復号する映像復号装置は、色差変換部を備える。例えば、映像復号装置は、実施形態の映像復号装置3であり、色差変換部は、色差変換部302である。色差変換部は、フレーム間予測またはフレーム内予測に用いられる復号ブロックの局所復号画像が持つ色差信号に対し、映像符号化装置の色差変換部と同様の色差変換処理を行う。
A video decoding device that decodes a video signal encoded for each decoding block by inter-frame prediction or intra-frame prediction includes a color difference conversion unit. For example, the video decoding device is the video decoding device 3 of the embodiment, and the color difference conversion section is the color
映像復号装置は、所定の画素値と、第一の範囲と、第二の範囲とのうち一以上を示す情報を、符号化された信号が設定された符号化ストリームから取得する第一情報取得部をさらに備えてもよい。また、映像復号装置は、復号ブロックに対する色差変換処理の有無を示す情報を、符号化された信号が設定された符号化ストリームから取得する第二情報取得部をさらに備えてもよい。第一設定部及び第二設定部は、例えば、エントロピー復号部301である。
The video decoding device acquires information indicating one or more of a predetermined pixel value, a first range, and a second range from the encoded stream in which the encoded signal is set. You may further provide a part. Also, the video decoding device may further include a second information acquiring unit that acquires information indicating whether or not color difference conversion processing is performed on the decoded block from the encoded stream in which the encoded signal is set. The first setting unit and the second setting unit are, for example, the
上述した実施形態によれば、符号化ブロックの境界を目立たせないようにすることができる。 According to the above-described embodiments, it is possible to make the boundaries of coding blocks inconspicuous.
なお、上述の映像符号化装置1及び映像復号装置3の各機能の全て又は一部は、ハードウェアを用いて実現されてもよく、ソフトウェアを用いて実現されてもよい。映像符号化装置1及び映像復号装置3の各機能の全て又は一部をソフトウェアにより実現する場合、映像符号化装置1及び映像復号装置3は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、この機能を実現するためのプログラムを実行する。なお、このプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えば光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、このプログラムは、電気通信回線を介して送信されても良い。
All or part of the functions of the
1、9…映像符号化装置
3…映像復号装置
100…ブロック分割部
101…減算部
102…直交変換部
103…量子化部
104、202…エントロピー符号化部
105…逆量子化部
106…逆直交変換部
107…加算部
201、302…色差変換部
108…ループフィルタ
109…参照メモリ
110…フレーム内予測部
111…フレーム間予測部
112…フレーム内予測・フレーム間予測切替部
301…エントロピー復号部
Claims (6)
前記量子化変換係数を逆量子化して変換係数を出力する逆量子化部と、
前記変換係数を逆変換する逆変換部と、
前記逆変換部により逆変換された結果と、前記ブロックに対応する予測信号とを加算して復号画像ブロックを得る加算部と、
前記加算部が出力する前記復号画像ブロックの色成分の各画素値を入力信号として区分線形関数により変換する画素値変換処理を前記ブロック単位で行う画素値変換部と、
前記画素値変換処理が行われた前記復号画像ブロックに対するフィルタ処理を行うループフィルタと、を備え、
前記画素値変換部は、前記画素値変換部の入出力信号の最小値及び最大値を変換しない条件下で、
それぞれ線形関数と対応付けられた複数の入力区分の中から前記入力信号の値が属する入力区分を特定し、
当該特定された入力区分に対応する前記線形関数により前記入力信号の値を変換して出力する
ことを特徴とする映像復号装置。 an entropy decoding unit that entropy-decodes the quantized transform coefficients of the blocks to be decoded that have been divided into blocks from the encoded stream;
an inverse quantization unit that inversely quantizes the quantized transform coefficients and outputs transform coefficients;
an inverse transform unit that inverse transforms the transform coefficients;
an adding unit for obtaining a decoded image block by adding a result of the inverse transform by the inverse transform unit and a prediction signal corresponding to the block;
a pixel value conversion unit that performs a pixel value conversion process in which each pixel value of the color component of the decoded image block output from the addition unit is used as an input signal and converted by a piecewise linear function on a block-by-block basis;
a loop filter that performs filtering on the decoded image block that has undergone the pixel value conversion process;
Under the condition that the pixel value conversion unit does not convert the minimum value and the maximum value of the input/output signal of the pixel value conversion unit,
identifying an input section to which the value of the input signal belongs from among a plurality of input sections each associated with a linear function;
A video decoding device that transforms the value of the input signal by the linear function corresponding to the specified input segment and outputs the result.
前記量子化変換係数を逆量子化して変換係数を出力する逆量子化部と、
前記変換係数を逆変換する逆変換部と、
前記逆変換部により逆変換された結果と、前記ブロックに対応する予測信号とを加算して復号画像ブロックを得る加算部と、
前記取得された情報により前記画素値変換処理を用いることが示された場合、前記加算部が出力する前記復号画像ブロックの色成分の各画素値を入力信号として区分線形関数により変換する前記画素値変換処理を前記ブロック単位で行う画素値変換部と、
前記画素値変換処理が行われた前記復号画像ブロックに対するフィルタ処理を行うループフィルタと、を備え、
前記画素値変換部は、
それぞれ線形関数と対応付けられた複数の入力区分の中から前記入力信号の値が属する入力区分を特定し、
当該特定された入力区分に対応する前記線形関数により前記入力信号の値を変換して出力する
ことを特徴とする映像復号装置。 an entropy decoding unit that entropy-decodes quantized transform coefficients of a block to be decoded that has been divided into blocks from an encoded stream, and acquires from the encoded stream information indicating whether pixel value conversion processing is necessary for the block;
an inverse quantization unit that inversely quantizes the quantized transform coefficients and outputs transform coefficients;
an inverse transform unit that inverse transforms the transform coefficients;
an adding unit for obtaining a decoded image block by adding a result of the inverse transform by the inverse transform unit and a prediction signal corresponding to the block;
When the obtained information indicates that the pixel value conversion process is to be used, the pixel value converted by a piecewise linear function using each pixel value of the color component of the decoded image block output by the adding unit as an input signal. a pixel value conversion unit that performs conversion processing on a block-by-block basis;
a loop filter that performs filtering on the decoded image block that has undergone the pixel value conversion process;
The pixel value conversion unit
identifying an input segment to which the value of the input signal belongs from among a plurality of input segments each associated with a linear function;
A video decoding device that transforms the value of the input signal by the linear function corresponding to the identified input segment and outputs the result.
前記線形関数の傾きは、当該線形関数に対応する入力区分の幅と当該線形関数に対応する出力区分の幅とにより定められることを特徴とする請求項1又は2に記載の映像復号装置。 each of the plurality of input segments is associated with an output segment that is a range of possible values of the input signal transformed by the linear function;
3. The video decoding apparatus according to claim 1, wherein the slope of said linear function is determined by the width of an input section corresponding to said linear function and the width of an output section corresponding to said linear function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022124300A JP7323685B2 (en) | 2017-07-13 | 2022-08-03 | Video decoding device and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017137117A JP7118604B2 (en) | 2017-07-13 | 2017-07-13 | Video encoding device, video decoding device and program |
JP2022124300A JP7323685B2 (en) | 2017-07-13 | 2022-08-03 | Video decoding device and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017137117A Division JP7118604B2 (en) | 2017-07-13 | 2017-07-13 | Video encoding device, video decoding device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022140729A true JP2022140729A (en) | 2022-09-27 |
JP7323685B2 JP7323685B2 (en) | 2023-08-08 |
Family
ID=87519421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022124300A Active JP7323685B2 (en) | 2017-07-13 | 2022-08-03 | Video decoding device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7323685B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1051768A (en) * | 1996-07-31 | 1998-02-20 | Matsushita Electric Ind Co Ltd | Image coder and image decoder |
JP2008259071A (en) * | 2007-04-06 | 2008-10-23 | Seiko Epson Corp | Image compressing method, image compressing apparatus and program |
WO2015104891A1 (en) * | 2014-01-08 | 2015-07-16 | ソニー株式会社 | Image processing device and image processing method |
JP2015144404A (en) * | 2013-10-15 | 2015-08-06 | ソニー株式会社 | Decoder and decoding method, and encoder and encoding method |
JP2016048888A (en) * | 2014-08-28 | 2016-04-07 | ソニー株式会社 | Transmitter, transmission method, receiver and reception method |
-
2022
- 2022-08-03 JP JP2022124300A patent/JP7323685B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1051768A (en) * | 1996-07-31 | 1998-02-20 | Matsushita Electric Ind Co Ltd | Image coder and image decoder |
JP2008259071A (en) * | 2007-04-06 | 2008-10-23 | Seiko Epson Corp | Image compressing method, image compressing apparatus and program |
JP2015144404A (en) * | 2013-10-15 | 2015-08-06 | ソニー株式会社 | Decoder and decoding method, and encoder and encoding method |
WO2015104891A1 (en) * | 2014-01-08 | 2015-07-16 | ソニー株式会社 | Image processing device and image processing method |
JP2016048888A (en) * | 2014-08-28 | 2016-04-07 | ソニー株式会社 | Transmitter, transmission method, receiver and reception method |
Non-Patent Citations (1)
Title |
---|
YU-LIN CHANG, ET AL.: "CE8 Subset3: Controlled Clipping", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH M, vol. JCTVC-D123, JPN6021024645, 17 January 2011 (2011-01-17), pages 1 - 12, ISSN: 0005109192 * |
Also Published As
Publication number | Publication date |
---|---|
JP7323685B2 (en) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102165340B1 (en) | Methods of determination for chroma quantization parameter and apparatuses for using the same | |
RU2736421C1 (en) | Method of encoding and decoding images and encoding and decoding device | |
KR101802957B1 (en) | Method and apparatus for image encoding/decoding | |
KR101455578B1 (en) | Dynamic image encoding device and dynamic image decoding device | |
CN112261410B (en) | Video encoding device, video decoding device, video encoding method, video decoding method, and program | |
JP2018143002A (en) | Method and apparatus for image decoding | |
EP4018650A1 (en) | Cross-component adaptive loop filter for chroma | |
JP5989841B2 (en) | Video decoding device | |
KR20110056388A (en) | System and method for video encoding using adaptive segmentation | |
CN114786019B (en) | Image prediction method, encoder, decoder, and storage medium | |
JP2007251758A (en) | Moving image coding apparatus, and method | |
KR20190091422A (en) | Method and apparatus for generating reconstruction block | |
KR101462637B1 (en) | Method and apparatus for image encoding/decoding | |
KR102321895B1 (en) | Decoding apparatus of digital video | |
CN106028031B (en) | Video encoding device and method, video decoding device and method | |
JP2008503177A (en) | Method for color difference deblocking | |
JP7118604B2 (en) | Video encoding device, video decoding device and program | |
JP7323685B2 (en) | Video decoding device and program | |
KR102720196B1 (en) | Image decoding method and device using chroma quantization parameter table | |
RU2782400C2 (en) | Method of encoding and decoding images, device for encoding and decoding and corresponding software | |
KR20240089011A (en) | Video coding using optional neural network-based coding tools | |
CN116998150A (en) | State transition for grid quantization in video coding and decoding | |
CN114830650A (en) | Image encoding method and image decoding method | |
JP2018050150A (en) | Image coding device, image coding method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7323685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |