KR102620281B1 - Apparatus and Method for Selecting Skip Frames - Google Patents
Apparatus and Method for Selecting Skip Frames Download PDFInfo
- Publication number
- KR102620281B1 KR102620281B1 KR1020210062514A KR20210062514A KR102620281B1 KR 102620281 B1 KR102620281 B1 KR 102620281B1 KR 1020210062514 A KR1020210062514 A KR 1020210062514A KR 20210062514 A KR20210062514 A KR 20210062514A KR 102620281 B1 KR102620281 B1 KR 102620281B1
- Authority
- KR
- South Korea
- Prior art keywords
- skip
- frame
- frames
- skippable
- compression rate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000006835 compression Effects 0.000 claims abstract description 76
- 238000007906 compression Methods 0.000 claims abstract description 76
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 238000006073 displacement reaction Methods 0.000 claims description 23
- 238000010187 selection method Methods 0.000 claims description 12
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 230000009849 deactivation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 입력 영상의 다수의 프레임 중 스킵 가능 프레임과 고정 프레임을 설정하는 프레임 설정부, 미리 학습된 인공 신경망으로 구현되어, 학습된 방식에 따라 스킵 가능 프레임 각각과 스킵 가능 프레임 각각의 인접 프레임으로부터 스킵 가능 프레임 각각의 스킵 여부를 판별하여 스킵 플래그를 활성화 또는 비활성화하는 스킵 프레임 선별부 및 스킵 플래그가 활성화된 스킵 프레임을 제외한 나머지 프레임을 기지정된 방식으로 인코딩하여 인코딩 영상을 획득하는 인코더를 포함하되, 스킵 프레임 선별부는 스킵 프레임의 제외 여부에 따른 인코딩 영상의 압축률과 인코딩 영상을 디코딩한 디코딩 영상과 스킵 프레임의 제외 여부에 따라 스킵 프레임을 복원한 복원 영상 사이의 화질 차이에 기초하여 미리 학습되어, 비디오 영상의 품질을 유지하면서 압축률을 향상시킬 수 있는 스킵 프레임 선별 장치 및 방법을 제공한다.The present invention is implemented with a frame setting unit that sets skippable frames and fixed frames among a plurality of frames of an input image, and a pre-trained artificial neural network, and selects each skippable frame and adjacent frames of each skippable frame according to the learned method. It includes a skip frame selector that determines whether each skippable frame is skipped and activates or deactivates the skip flag, and an encoder that obtains an encoded video by encoding the remaining frames except the skip frame with the skip flag activated in a predetermined manner, The skip frame selection unit is trained in advance based on the compression rate of the encoded video depending on whether the skip frame is excluded and the image quality difference between the decoded video obtained by decoding the encoded video and the restored video obtained by restoring the skip frame depending on whether the skip frame is excluded. Provided is a skip frame selection device and method that can improve compression rate while maintaining video quality.
Description
본 발명은 스킵 프레임 선별 장치 및 방법에 관한 것으로, 인공 신경망을 이용한 스킵 프레임 선별 장치 및 방법에 관한 것이다.The present invention relates to a skip frame selection device and method, and to a skip frame selection device and method using an artificial neural network.
영상 압축 기법에서는 다수 프레임 중 일부 프레임을 스킵하여 전체 프레임 수를 줄임으로써 압축을 수행하는 프레임 스키핑 기법이 제안된 바 있다.In video compression techniques, a frame skipping technique has been proposed that performs compression by skipping some frames among multiple frames to reduce the total number of frames.
프레임 스키핑 기법은 다수 프레임의 비디오 영상에서 시간적인 중복성을 제거하기 위해 일부 프레임을 제거하여 프레임의 수를 줄이는 기법으로 크게 두가지 방식으로 적용되었다. 첫번째는 우선 제한적 스트리밍 환경에서 단순히 비트율을 조절하기 위해 프레임을 스킵하여 전송하는 방식이다. 두번째는 프레임 보간 기법을 통한 프레임 복원을 고려하여, 입력 영상의 모션에 따라 프레임을 선별적으로 스킵하는 방식이다. 즉 프레임 스키핑 기법은 단순히 고정된 주기로 프레임을 스킵하는 기법에서, 입력 영상의 모션을 분석하여 적응적으로 프레임을 선택하여 스킵하는 방식으로 발전하여 비디오 영상의 압축률을 향상시켰다.The frame skipping technique is a technique to reduce the number of frames by removing some frames to remove temporal redundancy in video images of multiple frames. It was largely applied in two ways. The first method is to simply skip and transmit frames to adjust the bit rate in a limited streaming environment. The second method is to selectively skip frames according to the motion of the input image, considering frame restoration through frame interpolation techniques. In other words, the frame skipping technique has evolved from a technique of simply skipping frames at a fixed cycle to a technique of adaptively selecting and skipping frames by analyzing the motion of the input image, thereby improving the compression rate of video images.
그러나 이러한 기존의 프레임 스키핑 기법은 코덱에 따른 영상 인코딩 및 디코딩시의 영상 품질 변화나 프레임 보간을 통해 복원되는 프레임의 품질 등을 충분하게 고려하지 못한 방식으로 프레임을 선별하였다. 즉 단순히 비트율을 조절하기 위해 고정된 프레임 또는 임의의 프레임을 스킵하는 경우, 이후 스킵된 프레임을 프레임 보간 기법으로 복구할지라도 영상 품질이 크게 저하되어 비트율의 이득 대비 화질 손실이 매우 크게 나타나는 문제가 있다. 그리고 프레임 보간 기법을 통한 프레임 복원을 고려하여 프레임을 스킵하는 경우에도, 입력 영상의 모션에 기초하여 기지정된 방식으로 선택되는 프레임을 스킵함에 따라, 코덱 보간되어 생성되는 프레임의 품질이 저하되는 문제가 있으며, 압축률을 크게 향상시키기 어렵다는 한계가 있다.However, these existing frame skipping techniques select frames in a way that does not sufficiently consider changes in video quality during video encoding and decoding depending on the codec or the quality of frames restored through frame interpolation. In other words, if a fixed frame or a random frame is skipped simply to adjust the bit rate, the image quality is greatly degraded even if the skipped frame is later recovered using a frame interpolation technique, resulting in a very large loss in image quality compared to the gain in bit rate. . And even when frames are skipped considering frame restoration through frame interpolation techniques, the quality of frames generated through codec interpolation deteriorates as frames selected in a predetermined manner based on the motion of the input video are skipped. There is a limitation that it is difficult to significantly improve the compression rate.
본 발명의 목적은 인코딩 및 디코딩된 이후 프레임 보간으로 획득되는 프레임의 품질을 고려하여 스킵 프레임을 선별할 수 있는 스킵 프레임 선별 장치 및 방법을 제공하는데 있다.The purpose of the present invention is to provide a skip frame selection device and method that can select skip frames by considering the quality of frames obtained through frame interpolation after encoding and decoding.
본 발명의 다른 목적은 비디오 영상의 품질을 유지하면서 압축률을 향상시킬 수 있는 스킵 프레임 선별 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide a skip frame selection device and method that can improve the compression rate while maintaining the quality of video images.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스킵 프레임 선별 장치는 입력 영상의 다수의 프레임 중 스킵 가능 프레임과 고정 프레임을 설정하는 프레임 설정부; 미리 학습된 인공 신경망으로 구현되어, 학습된 방식에 따라 상기 스킵 가능 프레임 각각과 상기 스킵 가능 프레임 각각의 인접 프레임으로부터 상기 스킵 가능 프레임 각각의 스킵 여부를 판별하여 스킵 플래그를 활성화 또는 비활성화하는 스킵 프레임 선별부; 및 상기 스킵 플래그가 활성화된 스킵 프레임을 제외한 나머지 프레임을 기지정된 방식으로 인코딩하여 인코딩 영상을 획득하는 인코더를 포함하되, 상기 스킵 프레임 선별부는 상기 스킵 프레임의 제외 여부에 따른 인코딩 영상의 압축률과 인코딩 영상을 디코딩한 디코딩 영상과 상기 스킵 프레임의 제외 여부에 따라 스킵 프레임을 복원한 복원 영상 사이의 화질 차이에 기초하여 미리 학습된다.In order to achieve the above object, a skip frame selection device according to an embodiment of the present invention includes a frame setting unit that sets a skippable frame and a fixed frame among a plurality of frames of an input video; Skip frame selection is implemented with a pre-trained artificial neural network and activates or deactivates a skip flag by determining whether each skippable frame is skipped from each of the skippable frames and adjacent frames of each of the skippable frames according to a learned method. wealth; And an encoder that obtains an encoded video by encoding the remaining frames except for the skip frame for which the skip flag is activated in a predetermined manner, wherein the skip frame selection unit determines the compression rate of the encoded video and the encoded video according to whether the skip frame is excluded. is learned in advance based on the difference in picture quality between the decoded image and the restored image in which the skip frame is restored depending on whether the skip frame is excluded.
상기 스킵 프레임 선별부는 상기 스킵 프레임을 제외하지 않은 상기 입력 영상의 다수의 프레임을 인코딩한 인코딩 영상의 압축률과 이를 디코딩한 디코딩 영상의 화질을 미리 지정된 방식에 따라 계산하여 압축률과 화질을 축으로 하는 2차원 공간의 좌표로 투영하고, 상기 스킵 프레임을 제외한 다수의 프레임을 인코딩한 인코딩 영상의 압축률과 이를 디코딩하고 스킵 프레임을 복원한 복원 영상의 화질을 계산하여 상기 2차원 공간의 좌표로 투영하여 두 좌표 간의 변위를 기반으로 학습될 수 있다.The skip frame selection unit calculates the compression rate of the encoded video encoding the plurality of frames of the input video not excluding the skip frame and the quality of the decoded video decoding the same according to a predetermined method, and 2 with the compression rate and picture quality as the axes. Project to the coordinates of the two-dimensional space, calculate the compression rate of the encoded video encoding a plurality of frames excluding the skip frame, and the image quality of the restored video obtained by decoding it and restoring the skip frame, and project it to the coordinates of the two-dimensional space to calculate the two coordinates. It can be learned based on the displacement of the liver.
상기 스킵 프레임 선별부는 학습된 방식에 따라 상기 스킵 가능 프레임에 대한 스킵 확률값을 획득하고, 획득된 스킵 확기지정된 기준값 이상인지 여부에 따라 스킵 플래그를 비활성화 또는 활성화할 수 있다.The skip frame selection unit may obtain a skip probability value for the skippable frame according to a learned method, and may deactivate or activate a skip flag depending on whether the obtained skip extension is greater than a specified reference value.
상기 스킵 프레임 선별부는 상기 2차원 공간에 상기 스킵 프레임을 제외하지 않은 경우에 투영된 압축률과 화질의 패턴을 추종하는 피팅 함수를 획득하고, 획득된 피팅 함수와 스킵 프레임을 제외한 경우에 투영된 압축률과 화질의 좌표 사이의 변위를 기반으로 학습될 수 있다.The skip frame selection unit obtains a compression rate and a fitting function that follows a pattern of image quality projected in the two-dimensional space when the skip frame is not excluded, and the obtained fitting function and a compression rate projected when the skip frame is excluded. It can be learned based on the displacement between coordinates of image quality.
상기 스킵 프레임 선별부는 스킵 프레임을 제외한 경우에 투영된 압축률과 화질의 좌표와 상기 피팅 함수 사이의 변위와 상기 스킵 확률값 사이의 차가 손실로 역전파되어 학습될 수 있다.When a skip frame is excluded, the skip frame selector may learn the difference between the displacement between the projected compression rate and image quality coordinates and the fitting function and the skip probability value by backpropagating the skip probability value.
상기 스킵 프레임 선별부는 스킵 프레임을 제외한 경우에 투영된 압축률과 화질의 좌표와 상기 피팅 함수 사이의 변위가 기지정된 기준 변위 이상인지 여부에 따라 결정되는 스킵 판별값과 상기 스킵 플래그의 활성화 또는 비활성화 상태를 비교하여 획득되는 손실이 역전파되어 학습될 수 있다.The skip frame selection unit determines a skip discrimination value determined depending on whether the displacement between the coordinates of the projected compression rate and image quality and the fitting function when a skip frame is excluded is greater than or equal to a predetermined reference displacement, and an activation or deactivation state of the skip flag. The loss obtained by comparison can be back-propagated and learned.
상기 프레임 설정부는 상기 다수의 프레임 중 초기 프레임으로부터 기지정된 간격으로 고정 프레임을 설정하고 나머지 프레임을 스킵 가능 프레임으로 설정할 수 있다.The frame setting unit may set fixed frames at predetermined intervals from an initial frame among the plurality of frames and set the remaining frames as skippable frames.
상기 프레임 설정부는 상기 스킵 가능 프레임 각각과 상기 스킵 가능 프레임의 인접 프레임을 상기 스킵 프레임 선별부로 인가하되, 인접 프레임에 대한 스킵 플래그가 이미 활성화된 경우를 제외하여 다음 스킵 가능 프레임과 인접 프레임을 인가할 수 있다.The frame setting unit applies each of the skippable frames and adjacent frames of the skippable frame to the skip frame selection unit, and applies the next skippable frame and the adjacent frame except when the skip flag for the adjacent frame is already activated. You can.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 스킵 프레임 선별 방법은 입력 영상의 다수의 프레임 중 스킵 가능 프레임과 고정 프레임을 설정하는 단계; 미리 학습된 인공 신경망을 이용하여, 학습된 방식에 따라 상기 스킵 가능 프레임 각각과 상기 스킵 가능 프레임 각각의 인접 프레임으로부터 상기 스킵 가능 프레임 각각의 스킵 여부를 판별하여 스킵 플래그를 활성화 또는 비활성화하는 단계; 및 상기 스킵 플래그가 활성화된 스킵 프레임을 제외한 나머지 프레임을 기지정된 방식으로 인코딩하여 인코딩 영상을 획득하는 단계를 포함하되, 상기 인공 신경망은 상기 스킵 프레임의 제외 여부에 따른 인코딩 영상의 압축률과 인코딩 영상을 디코딩한 디코딩 영상과 상기 스킵 프레임의 제외 여부에 따라 스킵 프레임을 복원한 복원 영상 사이의 화질 차이에 기초하여 미리 학습된다.A skip frame selection method according to another embodiment of the present invention to achieve the above object includes the steps of setting a skippable frame and a fixed frame among a plurality of frames of an input video; Using a pre-trained artificial neural network, activating or deactivating a skip flag by determining whether to skip each of the skippable frames from each of the skippable frames and adjacent frames of each of the skippable frames according to a learned method; And obtaining an encoded video by encoding the remaining frames excluding the skip frame for which the skip flag is activated in a predetermined manner, wherein the artificial neural network determines the compression rate of the encoded video and the encoded video according to whether the skip frame is excluded. It is learned in advance based on the difference in picture quality between the decoded decoded video and the restored video in which the skip frame is restored depending on whether the skip frame is excluded.
따라서, 본 발명의 실시예에 따른 스킵 프레임 선별 장치 및 방법은 코덱에 따른 인코딩 및 디코딩된 이후 프레임 보간으로 획득되는 프레임의 품질을 사전에 고려하여 스킵 프레임을 선별함으로써, 비디오 영상의 품질을 유지하면서 압축률을 향상시킬 수 있다.Therefore, the skip frame selection device and method according to an embodiment of the present invention selects skip frames by considering the quality of the frame obtained through frame interpolation after encoding and decoding according to the codec, thereby maintaining the quality of the video image. Compression rate can be improved.
도 1은 본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템을 나타낸다.
도 2는 도 1의 영상 압축 및 복원 시스템의 영상 압축 및 복원 개념을 설명하기 위한 도면이다.
도 3은 도 1의 스킵 프레임 보간부의 상세 구성의 일 예를 나타낸다.
도 4는 도 1의 프레임 선별 학습부의 상세 구성의 일 예를 나타낸다.
도 5는 도 1의 스킵 프레임 선별부를 학습시키는 개념을 설명하기 위한 도면이다.
도 6은 압축률과 화질에 따른 손실을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 스킵 프레임 선별 방법을 나타낸다.Figure 1 shows an image compression and restoration system according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining the image compression and restoration concept of the image compression and restoration system of FIG. 1.
FIG. 3 shows an example of the detailed configuration of the skip frame interpolation unit of FIG. 1.
Figure 4 shows an example of the detailed configuration of the frame selection learning unit of Figure 1.
FIG. 5 is a diagram for explaining the concept of learning the skip frame selection unit of FIG. 1.
Figure 6 is a diagram to explain loss according to compression rate and image quality.
Figure 7 shows a skip frame selection method according to an embodiment of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, its operational advantages, and the objectives achieved by practicing the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention may be implemented in many different forms and is not limited to the described embodiments. In order to clearly explain the present invention, parts that are not relevant to the description are omitted, and like reference numerals in the drawings indicate like members.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part "includes" a certain element, this does not mean excluding other elements, unless specifically stated to the contrary, but rather means that it may further include other elements. In addition, terms such as "... unit", "... unit", "module", and "block" used in the specification refer to a unit that processes at least one function or operation, which is hardware, software, or hardware. and software.
도 1은 본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템을 나타내고, 도 2는 도 1의 영상 압축 및 복원 시스템의 영상 압축 및 복원 개념을 설명하기 위한 도면이다.FIG. 1 shows an image compression and restoration system according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining the image compression and restoration concept of the image compression and restoration system of FIG. 1.
도 1을 참조하면, 본 실시예에 따른 영상 압축 및 복원 시스템은 연속하는 다수 프레임으로 구성된 입력 영상을 인가받아 기지정된 방식으로 압축하는 영상 압축 장치(100)와 압축된 영상을 인가받아 기지정된 방식으로 복원하는 영상 복원 장치(200)를 포함할 수 있다.Referring to FIG. 1, the image compression and restoration system according to this embodiment includes an image compression device 100 that receives an input image consisting of a plurality of consecutive frames and compresses it in a predetermined manner, and an image compression device 100 that receives the compressed image and compresses it in a predetermined manner. It may include an image restoration device 200 that restores.
영상 압축 장치(100)가 영상을 압축하는 방식에서는 크게 화면 내 예측을 기반으로 하는 압축 기술과 화면간 예측을 기반으로 하는 압축 기술로 구분될 수 있다. 화면 내 예측 기술은 동일 프레임 내에서 인접한 픽셀은 서로 상관성이 높다는 성질을 이용하여, 화면 내에서 예측 가능한 픽셀을 제거함으로써 공간적 중복성이 최소화되도록 압축하는 방식으로 픽셀 스킵 기법으로 볼 수 있다. 그리고 화면 간 예측 기술은 연속하는 다수의 프레임은 시간적으로 높은 상관성을 갖는다는 성질을 이용하여, 다수 프레임에서 예측 가능한 프레임을 제거함으로써 시간적 중복성이 최소화되도록 압축하는 방식으로 프레임 스킵 기법으로 볼 수 있다.The method by which the image compression device 100 compresses images can be broadly divided into compression technology based on intra-screen prediction and compression technology based on inter-screen prediction. Intra-screen prediction technology utilizes the property that adjacent pixels within the same frame have a high correlation with each other, and compresses to minimize spatial redundancy by removing predictable pixels from the screen. It can be viewed as a pixel skipping technique. Inter-screen prediction technology utilizes the property that multiple consecutive frames have high temporal correlation and compresses them to minimize temporal redundancy by removing predictable frames from multiple frames, and can be viewed as a frame skipping technique.
영상 압축 장치(100)는 화면 내 예측 및 화면 간 예측 중 적어도 하나를 이용하여 압축을 수행할 수도 있으나, 화면 간 예측을 기반으로 프레임을 제거하는 프레임 스킵 기법은 압축률에 대비하여 복원된 프레임의 화질 손실이 커 실제로는 압축에는 거의 이용되고 있지 않은 실정이다. 이에 본 실시예에서 영상 압축 장치(100)는 복원되는 영상의 프레임의 품질을 고려하여, 화질 저하를 방지할 수 있으면서 동시에 압축률을 높일 수 있는 프레임을 선별하고, 선별된 프레임을 스킵하여 압축함으로써 프레임 스킵 기법이 실질적으로 영상 압축에 이용될 수 있도록 한다.The video compression apparatus 100 may perform compression using at least one of intra-screen prediction and inter-screen prediction. However, the frame skip technique, which removes frames based on inter-screen prediction, is used to compare the image quality of the restored frame compared to the compression rate. Because of its high loss, it is rarely used for compression in reality. Accordingly, in this embodiment, the image compression device 100 considers the quality of the frames of the restored image, selects frames that can prevent deterioration in image quality and at the same time increase the compression rate, and skips the selected frames to compress the frames. This allows the skip technique to be practically used for video compression.
이에 도 1의 영상 압축 장치(100)는 본 발명에 따른 스킵 프레임 선별 장치라고 할 수 있다. 스킵 프레임 선별 장치(100)는 프레임 설정부(110), 스킵 프레임 선별부(120) 및 인코더(130)를 포함할 수 있다.Accordingly, the image compression device 100 of FIG. 1 can be said to be a skip frame selection device according to the present invention. The skip frame selection device 100 may include a frame setting unit 110, a skip frame selection unit 120, and an encoder 130.
프레임 설정부(110)는 압축 대상이 되는 연속하는 다수 프레임으로 구성된 영상을 인가받고, 인가된 영상의 다수 프레임 중에서 제거될 수 있는 스킵 가능 프레임과 제거되어서는 안되는 고정 프레임을 설정한다. 상기한 바와 같이 화면 간 예측을 기반으로 하는 프레임 스킵 기법은 스킵되는 프레임과 인접한 프레임들 사이의 시간적 상관성을 기반으로 하므로, 다수의 프레임이 연속적으로 스킵되면 시간적 상관성이 낮아져 스킵된 프레임을 정상적으로 복구할 수 없게 되는 문제가 발생한다.The frame setting unit 110 receives an image composed of multiple consecutive frames to be compressed, and sets skippable frames that can be removed and fixed frames that must not be removed among the multiple frames of the approved image. As mentioned above, the frame skipping technique based on inter-screen prediction is based on the temporal correlation between the skipped frame and adjacent frames, so when multiple frames are skipped in succession, the temporal correlation decreases, making it impossible to normally recover the skipped frames. A problem arises that makes it impossible to do so.
이러한 문제를 방지하기 위해서 본 실시예의 스킵 프레임 선별 장치(100)에서 프레임 설정부(110)는 연속하는 다수의 프레임을 제거 가능한 스킵 가능 프레임과 제거되어서는 안되는 고정 프레임으로 구분할 수 있다. 이때 프레임 설정부(110)는 다수의 프레임에서 스킵 가능 프레임과 고정 프레임을 기지정된 주기에 따라 설정할 수 있다.In order to prevent this problem, in the skip frame selection device 100 of this embodiment, the frame setting unit 110 may divide a plurality of consecutive frames into skippable frames that can be removed and fixed frames that should not be removed. At this time, the frame setting unit 110 may set skippable frames and fixed frames in multiple frames according to a predetermined period.
가장 단순한 일 예로서 프레임 설정부(110)는 다수의 프레임을 시간 순서에 따라 고정 프레임과 스킵 가능 프레임으로 교대로 설정할 수 있다. 즉 홀수번째 프레임을 고정 프레임으로 설정하고, 짝수 번째 프레임은 스킵 가능 프레임으로 설정할 수도 있다. 이는 스킵 가능 프레임에 시간적으로 인접한 2개의 프레임이 고정 프레임으로 설정됨에 따라 스킵 가능 프레임을 용이하게 복원할 수 있도록 하기 위함이다.As the simplest example, the frame setting unit 110 may alternately set multiple frames into fixed frames and skippable frames in chronological order. That is, the odd-numbered frame can be set as a fixed frame, and the even-numbered frame can be set as a skippable frame. This is to ensure that the skippable frame can be easily restored as two frames temporally adjacent to the skippable frame are set as fixed frames.
또한 프레임 설정부(110)는 다수의 프레임에서 초기 프레임 이후 4의 주기로 고정 프레임을 설정하고, 설정된 고정 프레임 사이의 프레임을 스킵 가능 프레임으로 설정할 수 있다. 고정 프레임과 스킵 가능 프레임을 교대로 설정하는 경우, 스킵 가능 프레임을 용이하게 복원할 수 있는 장점이 있는 반면, 본 실시예에서는 화질 저하를 고려하여 스킵 가능 프레임을 모두 스킵하지 않으므로, 압축률의 개선 효과가 크지 않을 수 있다. 이에 스킵 프레임 선별 장치(100)는 다수의 프레임 중 고정 프레임의 비율을 줄이고 스킵 가능 프레임의 비율을 높임으로써, 짝수번째 프레임뿐만 아니라 일부 홀수번째 프레임도 스킵될 수 있도록 하여, 스킵 가능한 프레임 수를 증가시킴으로써 압축율이 개선되도록 할 수 있다. 상기한 바와 같이, 4개 프레임 주기로 고정 프레임을 설정하는 경우, 고정 프레임 사이의 3개의 프레임이 스킵 가능 프레임으로 설정된다.Additionally, the frame setting unit 110 may set fixed frames in a plurality of frames at a cycle of 4 after the initial frame, and set frames between set fixed frames as skippable frames. When setting fixed frames and skippable frames alternately, there is an advantage in that skippable frames can be easily restored. However, in this embodiment, all skippable frames are not skipped in consideration of image quality deterioration, resulting in an improvement in compression rate. may not be large. Accordingly, the skip frame selection device 100 reduces the ratio of fixed frames among a plurality of frames and increases the ratio of skippable frames, allowing not only even-numbered frames but also some odd-numbered frames to be skipped, thereby increasing the number of skippable frames. By doing so, the compression ratio can be improved. As described above, when setting a fixed frame in a period of 4 frames, 3 frames between fixed frames are set as skippable frames.
프레임 설정부(110)는 다수의 프레임 중 고정 프레임과 스킵 가능 프레임이 설정되면, 다수의 프레임에서 기지정된 순서로 기지정된 개수의 프레임을 순차적으로 선택하여 스킵 프레임 선별부(120)로 전달한다. 일 예로 프레임 설정부(110)는 연속하는 3개씩의 프레임을 순차적으로 스킵 프레임 선별부(120)로 전달할 수 있다. 이때 프레임 설정부(110)는 고정 프레임과 스킵 가능 프레임의 설정에 따라 스킵 프레임 선별부(120)로 전달할 프레임을 상이하게 선택할 수 있다.When fixed frames and skippable frames are set among the plurality of frames, the frame setting unit 110 sequentially selects a predetermined number of frames in a predetermined order from the plurality of frames and transmits them to the skip frame selection unit 120. For example, the frame setting unit 110 may sequentially transmit three consecutive frames to the skip frame selection unit 120. At this time, the frame setting unit 110 may select different frames to be transmitted to the skip frame selection unit 120 depending on the settings of the fixed frame and the skippable frame.
만일 프레임 설정부(110)가 다수의 프레임에서 고정 프레임과 스킵 가능 프레임을 교대로 설정하고, 3개씩의 프레임을 전송하는 경우, 프레임 설정부(110)는 우선 제1 내지 제3 프레임을 전송하고, 이후 제3 내지 제5 프레임을 전송하는 방식으로 스킵 가능 프레임이 중앙 위치하는 방식으로 순차적으로 3개씩의 프레임을 선택하여 전송할 수 있다. 이는 고정 프레임이 3개의 프레임의 중앙에 위치하여 전송되어, 스킵 프레임 선별부(120)에서 스킵 프레임으로 선별되더라도 고정 프레임은 스킵될 수 없으므로 무의미하기 때문이다.If the frame setting unit 110 alternately sets fixed frames and skippable frames in a plurality of frames and transmits three frames each, the frame setting unit 110 first transmits the first to third frames and , Then, by transmitting the third to fifth frames, three frames at a time can be selected and transmitted sequentially in such a way that the skippable frame is located in the center. This is because the fixed frame is transmitted in the center of the three frames, and even if the skip frame selection unit 120 selects it as a skip frame, the fixed frame cannot be skipped and is therefore meaningless.
또한 프레임 설정부(110)는 이전 스킵 프레임 선별부(120)에서 선별된 스핍 프레임이, 다시 스킵 프레임 선별부(120)로 전달되지 않도록 프레임을 선택할 수 있다. 상기한 바와 같이, 만일 3개의 프레임이 스킵 가능 프레임으로 설정될지라도 연속하는 2개 이상의 프레임이 스킵되는 경우, 스킵된 프레임을 정상적으로 복원하기 어렵다는 문제가 있다. 이러한 문제가 발생하는 것을 방지하기 위해, 프레임 설정부(110)는 스킵 프레임 선별부(120)가 이전 전송된 프레임에 대해 스킵 프레임으로 선별한 경우, 이미 선별된 스킵 프레임을 기반으로 화면간 예측, 즉 프레임 보간 가능성을 추정하지 않도록 스킵 프레임을 제외한 순서로 기지정된 개수의 프레임을 스킵 프레임 선별부(120)로 전달한다.Additionally, the frame setting unit 110 may select a frame so that the skipped frame selected in the previous skip frame selecting unit 120 is not transmitted to the skip frame selecting unit 120 again. As described above, even if three frames are set as skippable frames, if two or more consecutive frames are skipped, there is a problem that it is difficult to restore the skipped frames normally. In order to prevent this problem from occurring, when the skip frame selection unit 120 selects a previously transmitted frame as a skip frame, the frame setting unit 110 performs inter-screen prediction based on the already selected skip frame, That is, a predetermined number of frames are delivered to the skip frame selection unit 120 in an order excluding skip frames so as not to estimate the possibility of frame interpolation.
일 예로 제2 내지 제4 프레임이 스킵 가능 프레임으로 설정된 경우일지라도, 제1 내지 제3 프레임을 스킵 프레임 선별부(120)으로 전송하여, 스킵 프레임 선별부(120)에서 제2 프레임이 스킵 프레임으로 선별되면, 이미 제2 프레임이 스킵될 것으로 확정되었으므로, 제2 및 제4 프레임으로부터 제3 프레임을 예측할 수 없게 된다. 따라서 프레임 설정부(110)는 제2 내지 제4 프레임을 스킵 프레임 선별부(120)으로 전송하여 제3 프레임의 스킵 여부를 판별할 필요가 없다. 이 경우 프레임 설정부(110)는 스킵 프레임으로 선별된 제2 프레임을 스킵하여, 제3 내지 제5 프레임을 선택하여 스킵 프레임 선별부(120)로 전송할 수 있다.For example, even if the second to fourth frames are set as skippable frames, the first to third frames are transmitted to the skip frame selection unit 120, and the skip frame selection unit 120 determines that the second frame is a skip frame. If selected, the third frame cannot be predicted from the second and fourth frames because it has already been determined that the second frame will be skipped. Therefore, the frame setting unit 110 does not need to transmit the second to fourth frames to the skip frame selection unit 120 to determine whether to skip the third frame. In this case, the frame setting unit 110 may skip the second frame selected as a skip frame, select the third to fifth frames, and transmit them to the skip frame selecting unit 120.
프레임 설정부(110)는 스킵 프레임 선별부(120)가 인가된 프레임의 스킵 여부를 판별한 결과로 출력하는 스킵 플래그를 인가받아, 스킵 프레임 선별부(120)로 전송할 다수의 프레임에 스킵 플래그에 대응하는 프레임을 포함할지 여부를 결정할 수 있다.The frame setting unit 110 receives the skip flag that the skip frame selection unit 120 outputs as a result of determining whether the approved frame is skipped, and adds the skip flag to a plurality of frames to be transmitted to the skip frame selection unit 120. You can decide whether to include the corresponding frame.
스킵 프레임 선별부(120)는 미리 학습된 인공 신경망으로 구현되어, 학습된 방식에 따라 프레임 설정부(110)에서 인가된 다수의 프레임 중 기지정된 위치의 프레임의 스킵 여부를 판별하고, 판별 결과에 따라 스킵 플래그를 출력한다.The skip frame selection unit 120 is implemented with a pre-trained artificial neural network, determines whether to skip a frame at a predetermined position among a plurality of frames applied from the frame setting unit 110 according to the learned method, and determines whether to skip the frame at a predetermined position according to the learned method. The skip flag is output accordingly.
스킵 프레임 선별부(120)는 일 예로 다수의 컨볼루션 커널(Convolution Kenel)과 완전 연결 레이어(Fully Connected Layer)를 포함하는 컨볼루션 신경망(Convolution Neural Network: CNN)으로 구현될 수 있다. 스킵 프레임 선별부(120)는 다수의 프레임이 인가되면, 다수의 프레임 중 가운데 위치하는 프레임의 미리 학습된 방식에 따라 복원될 프레임의 화질을 고려한 복원 가능성을 분석하여 스킵 여부를 판별한다. 이때, 스킵 프레임 선별부(120)는 후술하는 인코더(130) 및 디코더(210)의 인코딩과 디코딩 과정에 따른 프레임 화질 변화를 함께 고려하여 스킵 여부를 판별할 수 있다. 그리고 판별 결과에 따라 스킵 플래그의 값을 변경하여 출력할 수 있다. 여기서 스킵 플래그는 해당 프레임을 스킵하는 것으로 판별한 경우 1의 값을 갖는 반면, 스킵하지 않는 것으로 판별한 경우 0의 값을 갖도록 이진값으로 출력될 수도 있다. 그러나 경우에 따라서 스킵 프레임 선별부(120)는 스킵 확률값을 획득하고, 획득된 스킵 확률값이 미리 지정된 기준값 이상인지 여부에 따라 스킵 플래그를 0 또는 1로 비활성화 또는 활성화하여 출력하도록 구성될 수도 있다.For example, the skip frame selection unit 120 may be implemented as a convolution neural network (CNN) including a plurality of convolution kernels and a fully connected layer. When a plurality of frames are applied, the skip frame selection unit 120 determines whether to skip the frame by analyzing the possibility of restoration considering the image quality of the frame to be restored according to a pre-learned method of the frame located in the middle among the plurality of frames. At this time, the skip frame selection unit 120 can determine whether to skip the frame by considering changes in frame image quality according to the encoding and decoding processes of the encoder 130 and decoder 210, which will be described later. And, depending on the determination result, the value of the skip flag can be changed and output. Here, the skip flag may be output as a binary value to have a value of 1 when it is determined that the corresponding frame is to be skipped, while it has a value of 0 if it is determined not to be skipped. However, in some cases, the skip frame selection unit 120 may be configured to obtain a skip probability value and output the skip flag by deactivating or activating it as 0 or 1 depending on whether the obtained skip probability value is greater than or equal to a predetermined reference value.
상기한 바와 같이 스킵 프레임 선별부(120)는 인공 신경망으로 구현되므로, 미리 학습되어야만 정상적으로 동작을 수행할 수 있으며, 스킵 프레임 선별부(120)의 학습 방법은 후술하도록 한다.As described above, the skip frame selection unit 120 is implemented with an artificial neural network, so it can operate normally only if it is trained in advance. The learning method of the skip frame selection unit 120 will be described later.
인코더(130)는 스킵 프레임 선별부(120)에서 출력되는 스킵 플래그에 따라 프레임 설정부(110)에 입력된 다수의 프레임 중 스킵되지 않는 것으로 판별된 프레임을 인가받아 미리 지정된 방식에 따라 인코딩하여 인코딩 영상을 출력한다. 이때 인코더(130)는 다수 프레임 각각에 대한 스킵 플래그를 함께 인코딩하여 인코딩 영상을 획득할 수 있으며, 인코딩 영상을 비트스트림(bitstream) 형태로 영상 복원 장치(200)로 전송할 수 있다.The encoder 130 receives frames determined not to be skipped among the plurality of frames input to the frame setting unit 110 according to the skip flag output from the skip frame selection unit 120, and encodes them according to a predetermined method. Output the video. At this time, the encoder 130 can obtain an encoded video by encoding the skip flag for each of the multiple frames, and can transmit the encoded video to the video restoration device 200 in the form of a bitstream.
한편, 영상 복원 장치(200)는 스킵 프레임 선별 장치(100)에서 전송되는 인코딩 영상을 인가받아 미리 지정된 방식에 따라 디코딩하고, 디코딩된 영상에서 스킵된 프레임을 복구하여 입력 영상을 복원한다.Meanwhile, the video restoration device 200 receives the encoded video transmitted from the skip frame selection device 100, decodes it according to a predetermined method, and restores the input video by recovering skipped frames from the decoded video.
영상 복원 장치(200)는 디코더(210) 및 스킵 프레임 보간부(220)를 포함할 수 있다. 우선 디코더(210)는 인코딩 영상을 인가받아 미리 지정된 방식에 따라 디코딩하여 디코딩 영상을 획득한다. 여기서 디코더(210)는 인코더(130)의 지정된 인코딩 방식에 대응하는 방식으로 디코딩을 수행하며, 인코더(130)의 인코딩 방식과 디코더(210)의 디코딩 방식은 영상 압축 및 복원 시스템에서 이용하는 것으로 설정된 코덱(Codec)에 따라 미리 지정된다.The image restoration apparatus 200 may include a decoder 210 and a skip frame interpolator 220. First, the decoder 210 receives the encoded video and decodes it according to a predetermined method to obtain a decoded video. Here, the decoder 210 performs decoding in a manner corresponding to the designated encoding method of the encoder 130, and the encoding method of the encoder 130 and the decoding method of the decoder 210 are codecs set to be used in the video compression and restoration system. It is specified in advance according to (Codec).
그리고 디코더(210)는 인코딩 영상을 디코딩함으로써 인코딩 영상에 포함된 스킵 플래그를 디코딩 영상과 함께 획득할 수 있다.And the decoder 210 can obtain the skip flag included in the encoded video together with the decoded video by decoding the encoded video.
스킵 프레임 보간부(220)는 디코더(210)로부터 디코딩 영상과 스킵 플래그를 인가받고, 인가된 스킵 플래그에 따라 스킵 프레임 선별 장치(100)에서 전송시에 제외된 스킵 프레임을 판별하고, 판별된 스킵 프레임의 인접 프레임을 기반으로 스킵 프레임을 프레임 보간 기법에 따라 복원한다.The skip frame interpolator 220 receives the decoded video and the skip flag from the decoder 210, determines the skip frame excluded during transmission from the skip frame selection device 100 according to the approved skip flag, and determines the skip frame that is excluded from the skip frame 100. Based on the frame's adjacent frames, the skipped frame is restored using a frame interpolation technique.
즉 본 발명의 영상 압축 및 복원 시스템은 도 2에 도시된 바와 같이, 다수의 프레임으로 구성된 비디오 입력인 입력 영상을 인가받아 다수 프레임 중 제거할 스킵 프레임을 판별하여 제거하고 나머지 프레임의 영상을 인코딩하여 인코딩 영상을 비트스트림 형태로 전송하고, 비트스트림 형태로 전송된 인코딩 영상을 디코딩하고, 스킵된 프레임을 프레임 보간 기법으로 복구하여 입력 영상을 재구축할 수 있다.That is, as shown in FIG. 2, the video compression and restoration system of the present invention receives an input video, which is a video input consisting of a plurality of frames, determines and removes the skip frame to be removed among the plurality of frames, and encodes the video of the remaining frames. The input video can be reconstructed by transmitting the encoded video in bitstream format, decoding the encoded video transmitted in bitstream format, and recovering skipped frames using frame interpolation techniques.
이때 스킵 프레임 선별 장치(100)는 인코더(130) 및 디코더(210)의 인코딩과 디코딩 및 스킵 프레임 보간부(220)의 프레임 보간에 따른 복원된 영상의 화질 변화를 고려하여 다수의 프레임의 스킵 여부를 판별하여 프레임을 스킵하여 전송함으로써, 복원되는 영상의 화질 저하를 방지하면서 프레임 스킵에 따른 압축률 향상 효과를 획득할 수 있다.At this time, the skip frame selection device 100 determines whether to skip a plurality of frames by considering the change in image quality of the restored video due to the encoding and decoding of the encoder 130 and the decoder 210 and the frame interpolation of the skip frame interpolator 220. By determining , skipping and transmitting the frame, it is possible to obtain the effect of improving the compression rate due to frame skipping while preventing the image quality of the restored video from deteriorating.
프레임 선별 학습부(300)는 학습 시에 구비되어 스킵 프레임 선별부(120)를 학습시킨다. 인공 신경망으로 구현되는 스킵 프레임 선별부(120)는 영상 압축 및 복원 시스템의 실제 활용 이전에 미리 학습되어야 하며, 이에 프레임 선별 학습부(300)는 스킵 프레임 선별부(120)가 인코더(130) 및 디코더(210)의 인코딩과 디코딩 및 스킵 프레임 보간부(220)의 프레임 보간에 따른 복원된 영상의 화질 변화에 따라 프레임의 스킵 여부를 판별하도록 학습시킨다. 프레임 선별 학습부(300)에 대한 상세한 설명은 후술하도록 한다.The frame selection learning unit 300 is provided during learning to learn the skip frame selection unit 120. The skip frame selection unit 120 implemented with an artificial neural network must be learned in advance before actual use of the video compression and restoration system. Accordingly, the frame selection learning unit 300 has the skip frame selection unit 120 connected to the encoder 130 and the frame selection learning unit 300. It is taught to determine whether or not a frame is skipped according to changes in image quality of the restored image due to encoding and decoding of the decoder 210 and frame interpolation of the skip frame interpolator 220. A detailed description of the frame selection learning unit 300 will be provided later.
도 3은 도 1의 스킵 프레임 보간부의 상세 구성의 일 예를 나타내고, 도 4는 도 3의 스킵 프레임 보간부의 학습 방법의 일 예를 나타낸다.FIG. 3 shows an example of the detailed configuration of the skip frame interpolation unit of FIG. 1, and FIG. 4 shows an example of a learning method of the skip frame interpolation unit of FIG. 3.
두 개의 프레임 사이의 상관성을 이용하여 두 프레임 사이의 가운데 프레임을 획득하는 프레임 보간 기법은 잘 알려진 기법으로 다양한 방식으로 구현될 수 있다. 종래 프레임 보간 기법은 주로 수치 해석적 기법으로 인접 프레임들에서 블록 단위로 서로 유사한 블록을 검출하여 유사 블록의 위치 변화와 블록값의 차이를 기반으로 중간 프레임의 각 블록을 복원하는 기법이 이용되었다. 그러나 최근 인공 신경망의 발전에 따라 프레임 보간 기법 또한 인공 신경망을 이용하여 수행되는 경우가 대부분이며, 이에 본 실시예에서도 스킵 프레임 보간부(220)는 인공 신경망으로 구현되어 스킵 프레임을 복원하는 것으로 가정한다.The frame interpolation technique, which uses the correlation between two frames to obtain the middle frame between two frames, is a well-known technique and can be implemented in various ways. The conventional frame interpolation technique is mainly a numerical analysis technique that detects blocks that are similar to each other block by block in adjacent frames and restores each block of an intermediate frame based on the change in position of similar blocks and the difference in block values. However, with the recent development of artificial neural networks, frame interpolation techniques are also often performed using artificial neural networks. Therefore, in this embodiment, it is assumed that the skip frame interpolation unit 220 is implemented with an artificial neural network to restore the skip frame. .
도 3을 참조하면, 스킵 프레임 보간부(220)는 특징 추출부(221), 특징 보간부(222), 특징 상관부(223), 프레임 획득부(224)를 포함할 수 있다.Referring to FIG. 3, the skip frame interpolation unit 220 may include a feature extraction unit 221, a feature interpolation unit 222, a feature correlation unit 223, and a frame acquisition unit 224.
특징 추출부(221)는 디코더(210)에서 디코딩된 영상의 다수의 프레임 중 스킵 플래그에 의해 지정된 스킵 프레임에 인접한 기지정된 개수(여기서는 일예로 2개)의 프레임을 인가받고, 미리 학습된 방식에 따라 인가된 프레임 각각의 특징을 추출하여 다수의 특징맵을 획득한다. 특징 추출부(221)는 제1 및 제2 특징 추출부(2211, 2312)를 포함할 수 있다.The feature extractor 221 receives a predetermined number (here, two) of frames adjacent to the skip frame designated by the skip flag among the plurality of frames of the video decoded by the decoder 210, and uses a pre-learned method. Accordingly, the features of each approved frame are extracted and a number of feature maps are obtained. The feature extraction unit 221 may include first and second feature extraction units 2211 and 2312.
제1 특징 추출부(2211)는 다수의 프레임에서 스킵 프레임을 기준으로 시간적으로 이전 순서의 프레임을 인가받아 특징을 추출하여 제1 특징맵을 출력하고, 제2 특징 추출부(2212)는 다수의 프레임에서 스킵 프레임을 기준으로 시간적으로 다음 순서의 프레임을 인가받아 특징을 추출하여 제2 특징맵을 출력한다.The first feature extractor 2211 receives frames in the previous order in time based on the skip frame from a plurality of frames, extracts features, and outputs a first feature map, and the second feature extractor 2212 extracts a plurality of frames. Based on the skip frame, the frame in the next order is received temporally, features are extracted, and a second feature map is output.
특징 보간부(222)는 특징 추출부(221)의 제1 및 제2 특징 추출부(2211, 2312)에서 각각 획득된 제1 및 제2 특징맵을 인가받고, 인가된 제1 및 제2 특징맵을 미리 지정된 방식에 따라 보간하여 보간 특징맵을 획득한다. 이때 특징 보간부(222)는 기지정된 수학적 장식에 따라 제1 및 제2 특징맵을 보간하여 보간 특징맵을 획득할 수도 있으나, 특징 보간부(222) 또한 인공 신경망으로 구현되어 학습된 방식에 따라 보간 특징맵을 획득할 수도 있다.The feature interpolation unit 222 receives the first and second feature maps obtained from the first and second feature extraction units 2211 and 2312 of the feature extraction unit 221, respectively, and extracts the approved first and second features. The map is interpolated according to a pre-specified method to obtain an interpolated feature map. At this time, the feature interpolator 222 may obtain an interpolated feature map by interpolating the first and second feature maps according to a predetermined mathematical decoration, but the feature interpolator 222 is also implemented as an artificial neural network and follows the learned method. An interpolated feature map can also be obtained.
특징 상관부(223)는 제1 및 제2 특징맵 및 보간 특징맵을 인가받아 미리 학습된 방식에 따라 제1 특징맵과 보간 특징맵 및 제2 특징맵 사이의 시간적 상관성을 반영하여 제1 및 제2 특징맵 및 보간 특징맵 각각에 대응하는 제1 및 제2 히든맵 및 보간 히든맵을 출력한다. 특징 상관부(223)는 일 예로 인공 신경망 중에서 시간적 상관성을 반영하는 LSTM(Long Short-Term Memory)으로 구현될 수 있다.The feature correlation unit 223 receives the first and second feature maps and the interpolated feature map and reflects the temporal correlation between the first feature map, the interpolated feature map, and the second feature map according to a pre-learned method to generate the first and second feature maps. First and second hidden maps and interpolated hidden maps corresponding to the second feature map and the interpolated feature map, respectively, are output. For example, the feature correlation unit 223 may be implemented as LSTM (Long Short-Term Memory), which reflects temporal correlation among artificial neural networks.
프레임 획득부(224)는 제1 및 제2 프레임 획득부(2241, 2342)과 보간 프레임 획득부(2243)를 포함할 수 있다. 제1 프레임 획득부(2241)는 제1 히든맵을 인가받아 미리 학습된 방식에 따라 스킵 프레임의 이전 프레임에 대응하는 제1 프레임을 획득하고, 제2 프레임 획득부(2242)는 제2 히든맵을 인가받아 미리 학습된 방식에 따라 스킵 프레임의 이후 프레임에 대응하는 제2 프레임을 획득할 수 있다. 그리고 보간 프레임 획득부(2243)는 보간 히든맵을 인가받아 미리 학습된 방식에 따라 스킵 프레임에 대응하는 보간 프레임을 획득한다. 제1 및 제2 프레임 획득부(2241, 2342)과 보간 프레임 획득부(2243) 각각은 일 예로 컨볼루션 신경망으로 구현될 수 있다.The frame acquisition unit 224 may include first and second frame acquisition units 2241 and 2342 and an interpolation frame acquisition unit 2243. The first frame acquisition unit 2241 receives the first hidden map and acquires the first frame corresponding to the previous frame of the skip frame according to a previously learned method, and the second frame acquisition unit 2242 acquires the second hidden map. By receiving authorization, a second frame corresponding to the frame after the skip frame can be obtained according to a method learned in advance. Then, the interpolation frame acquisition unit 2243 receives the interpolation hidden map and acquires an interpolation frame corresponding to the skip frame according to a method learned in advance. Each of the first and second frame acquisition units 2241 and 2342 and the interpolation frame acquisition unit 2243 may be implemented, for example, as a convolutional neural network.
이와 같이, 스킵 프레임 보간부(220)가 스킵 플래그에 의해 지정된 스킵 프레임에서 시간적으로 인접한 이전 및 이후 프레임을 인가받아, 보간 프레임을 획득할 뿐만아니라, 보간 프레임의 이전 및 이후 프레임인 제1 및 제2 프레임 또한 다시 획득하는 것은 스킵 프레임 보간부(220)가 단순히 보간 프레임을 획득하는데 그치지 않고, 인코더(130) 및 디코더(210)에서 인코딩 및 디코딩 과정에서 발생할 수 있는 화질 저하를 보상할 수 있도록 하기 위해서이다.In this way, the skip frame interpolator 220 not only obtains the interpolation frame by receiving the temporally adjacent previous and subsequent frames from the skip frame designated by the skip flag, but also obtains the first and second frames that are the previous and subsequent frames of the interpolation frame. Re-acquiring 2 frames also allows the skip frame interpolator 220 to not only acquire interpolated frames, but also to compensate for image quality degradation that may occur during the encoding and decoding process in the encoder 130 and decoder 210. It's for the sake of it.
인공 신경망으로 구성되는 프레임 획득부(224)는 제1 및 제2 프레임 및 보간 프레임을 각각 대응하는 입력 영상의 프레임, 즉 입력 영상에서 선별된 스킵 프레임과 스킵 프레임의 이전 및 이후 프레임과 비교하여 손실을 계산하고, 계산된 손실을 역전파함으로써 학습될 수 있다. 이때, 입력 영상의 프레임이 스킵 프레임 보간부(220)에 입력되는 과정에는 코덱에 의해 지정된 인코더(130) 및 디코더(210)의 인코딩 및 디코딩 과정이 포함된다. 따라서 스킵 프레임 보간부(220)가 제1 및 제2 프레임 및 보간 프레임을 입력 영상의 대응하는 프레임과 비교하여 획득된 손실에 따라 학습되면, 스킵 프레임 보간부(220)는 단순히 보간 프레임만을 획득하는 것이 아니라, 인코딩 및 디코딩 과정에서 발생할 수 있는 제1 및 제2 프레임의 화질 저하를 함께 보상할 수 있다.The frame acquisition unit 224, which is composed of an artificial neural network, compares the first and second frames and the interpolation frame with the corresponding frames of the input image, that is, the skip frame selected from the input image and the frames before and after the skip frame to determine the loss. It can be learned by calculating and backpropagating the calculated loss. At this time, the process of inputting the frame of the input video to the skip frame interpolator 220 includes encoding and decoding processes of the encoder 130 and decoder 210 specified by the codec. Therefore, if the skip frame interpolation unit 220 learns according to the loss obtained by comparing the first and second frames and the interpolation frame with the corresponding frame of the input image, the skip frame interpolation unit 220 simply obtains the interpolation frame. Rather, it is possible to compensate for the deterioration in picture quality of the first and second frames that may occur during the encoding and decoding process.
한편, 스킵 프레임 보간부(220)는 보간 프레임의 이전 및 이후 프레임인 제1 및 제2 프레임 또한 다시 획득하지 않도록 구성될 수도 있으며, 이 경우, 제1 및 제2 프레임 획득부(2241, 2342)는 생략될 수 있다. 경우에 따라서는 특징 상관부(223) 또한 생략되어, 보간 프레임 획득부(2243)가 보간 특징맵으로부터 곧바로 보간 프레임을 획득하도록 구성될 수도 있다. 이와 같이 스킵 프레임 보간부(220)가 보간 프레임만을 획득하도록 구성되는 경우, 스킵 프레임 보간부(220)는 스킵 프레임 선별 장치(100)에서 제거된 스킵 프레임과 보간 프레임 사이의 차이만을 비교하여 손실을 계산하고, 계산된 손실을 역전파함으로써, 학습될 수 있다.Meanwhile, the skip frame interpolation unit 220 may be configured not to reacquire the first and second frames, which are the frames before and after the interpolation frame. In this case, the first and second frame acquisition units 2241 and 2342 can be omitted. In some cases, the feature correlation unit 223 may also be omitted, and the interpolation frame acquisition unit 2243 may be configured to obtain an interpolation frame directly from the interpolation feature map. In this way, when the skip frame interpolation unit 220 is configured to acquire only interpolation frames, the skip frame interpolation unit 220 compares only the difference between the skip frame removed from the skip frame selection device 100 and the interpolation frame to reduce loss. It can be learned by calculating and backpropagating the calculated loss.
도 4는 도 1의 프레임 선별 학습부의 상세 구성의 일 예를 나타내고, 도 5는 도 1의 스킵 프레임 선별부를 학습시키는 개념을 설명하기 위한 도면이며, 도 6은 압축률과 화질에 따른 손실을 설명하기 위한 도면이다.FIG. 4 shows an example of the detailed configuration of the frame selection learning unit of FIG. 1, FIG. 5 is a diagram for explaining the concept of learning the skip frame selection unit of FIG. 1, and FIG. 6 illustrates loss according to compression rate and image quality. This is a drawing for
도 4를 참조하면, 프레임 선별 학습부(300)는 압축률 계산부(310), 영상 화질 측정부(320), 2차원 투영부(330) 및 손실 계산부(340)를 포함할 수 있다.Referring to FIG. 4 , the frame selection learning unit 300 may include a compression rate calculation unit 310, an image quality measurement unit 320, a two-dimensional projection unit 330, and a loss calculation unit 340.
도 5를 참조하여, 도 4의 프레임 선별 학습부(300)의 동작을 설명하면, 압축률 계산부(310)는 입력 영상에서 연속하는 다수의 프레임(x1, x, x2)이 스킵 되지 않고 모두 기지정된 비디오 코덱에 따라 인코더(130)에서 인코딩된 경우의 압축률(R1)을 계산하여 획득한다. 또한 압축률 계산부(310)는 다수의 프레임(x1, x, x2) 중 스킵 프레임 선별부(120)에 의해 스킵되는 것으로 선택된 프레임(x)을 제외한 나머지 프레임(x1, x2)이 인코더(130)에서 인코딩된 경우의 압축률(R2)을 계산하여 획득한다.Referring to FIG. 5, when explaining the operation of the frame selection learning unit 300 of FIG. 4, the compression rate calculation unit 310 does not skip a plurality of consecutive frames (x 1 , x, x 2 ) in the input image. The compression ratio (R 1 ) when encoded in the encoder 130 according to a pre-specified video codec is calculated and obtained. In addition, the compression rate calculation unit 310 determines that the remaining frames (x 1 , x 2 ) excluding the frame (x) selected to be skipped by the skip frame selection unit 120 among the plurality of frames (x 1 , x, The compression ratio (R 2 ) when encoded in the encoder 130 is calculated and obtained.
한편 영상 화질 측정부(320)는 입력 영상의 다수의 프레임(x1, x, x2)이 스킵되지 않고 인코딩되어 전송된 후, 디코더(210)에 의해 디코딩된 디코딩 영상을 입력 영상의 대응하는 프레임(x1, x, x2)과 비교하여, 입력 영상의 다수의 프레임(x1, x, x2)에 대비한 디코딩 영상의 화질(D1)을 계산한다. 또한 영상 화질 측정부(320)는 입력 영상의 다수의 프레임(x1, x, x2) 중 적어하나의 프레임(x)이 스킵되어 인코딩된 후, 디코더(210)에 의해 디코딩되고, 스킵 프레임 보간부(220)에서 보간되어 획득된 다수의 복원 프레임을 입력 영상의 프레임(x1, x, x2)과 비교하여, 입력 영상의 다수의 프레임(x1, x, x2)에 대비한 복원 프레임의 화질(D2)을 계산한다.Meanwhile, the video quality measurement unit 320 encodes and transmits a plurality of frames (x 1 , Compare with the frame (x 1 , x, x 2 ) and calculate the image quality (D 1 ) of the decoded image for multiple frames (x 1 , x, x 2 ) of the input image. In addition, the video quality measurement unit 320 skips and encodes at least one frame (x) among the plurality of frames (x 1 , x, x 2 ) of the input video, and then decodes the skip frame. A number of restored frames obtained by interpolation in the interpolation unit 220 are compared with the frames (x 1 , x, x 2 ) of the input image, and compared to the multiple frames (x 1 , x, x 2 ) of the input image. Calculate the image quality (D 2 ) of the restored frame.
즉 프레임 스킵 여부에 따른 압축률(R1, R2)와 프레임 화질(D1, D2)을 각각 계산한다.That is, the compression ratio (R 1 , R 2 ) and frame quality (D 1 , D 2 ) are calculated respectively depending on whether or not the frame is skipped.
2차원 투영부(330)는 프레임을 스킵 여부에 따라 계산된 압축률(R1, R2)과 프레임 화질(D1, D2)을 도 6에 도시된 바와 같이 압축률과 왜곡 수준을 2개의 축으로 하는 2차원 공간 상의 좌표에 투영한다. 도 6에서 파란색 라인(3 Frame)은 프레임이 스킵되지 않은 경우에 압축률에 대비한 프레임 화질의 왜곡 수준을 나타내고, 붉은색 라인(2 Frame)은 프레임 스킵에 따른 압축률에 대비한 프레임 화질의 왜곡 수준을 나타낸다.The two-dimensional projection unit 330 calculates the compression ratio (R 1 , R 2 ) and the frame image quality (D 1 , D 2 ) calculated according to whether or not to skip a frame, by dividing the compression ratio and distortion level into two axes, as shown in FIG. 6 . Project to coordinates in two-dimensional space. In FIG. 6, the blue line (3 Frame) represents the distortion level of the frame quality compared to the compression rate when the frame is not skipped, and the red line (2 Frame) represents the distortion level of the frame image quality compared to the compression rate when the frame is skipped. represents.
이에 손실 계산부(340)는 스킵 플래그에 따라 2차원 좌표계에서 프레임을 스킵하지 않은 상태의 압축률과 화질(R1, D1)과 프레임을 스킵한 상태의 압축률과 화질(R2, D2) 사이의 변위(D)를 계산하고, 계산된 변위(D)가 기지정된 기준 변위(Dref) 이상이면, 프레임을 스킵하지 않아야 하는 것으로 판별하여 스킵 판별값을 출력할 수 있다. 이 때 스킵 프레임 선별부(120)에서 출력되는 스킵 플래그는 프레임을 스킵하지 않도록 비활성화되어 출력되어야 한다. 그에 반해, 계산된 변위(D)가 기지정된 기준 변위(Dref) 미만이면, 프레임을 스킵해야 하는 것으로 판별하여 스킵 판별값을 출력한다. 이때 스킵 프레임 선별부(120)에서 출력되는 스킵 플래그는 프레임을 스킵하도록 활성화되어야 한다.Accordingly, the loss calculation unit 340 calculates the compression rate and image quality (R 1 , D 1 ) without skipping the frame and the compression rate and image quality (R 2 , D 2 ) with the frame skipped in a two-dimensional coordinate system according to the skip flag. The displacement (D) between frames is calculated, and if the calculated displacement (D) is greater than or equal to a predetermined reference displacement (D ref ), it is determined that the frame should not be skipped and a skip determination value can be output. At this time, the skip flag output from the skip frame selection unit 120 must be deactivated and output so as not to skip the frame. On the other hand, if the calculated displacement (D) is less than the predetermined reference displacement (D ref ), it is determined that the frame should be skipped and a skip determination value is output. At this time, the skip flag output from the skip frame selection unit 120 must be activated to skip the frame.
이에 손실 계산부(340)는 학습 과정에서 스킵 프레임 선별부(120)에서 실제 출력된 스킵 플래그의 활성화 또는 비활성화 상태와 손실 계산부(340)에서 판별한 스킵 판별값을 비교하여 손실을 계산하여 역전파함으로써, 스킵 프레임 선별부(120)를 학습시킬 수 있다.Accordingly, the loss calculation unit 340 calculates the loss by comparing the activation or deactivation state of the skip flag actually output from the skip frame selection unit 120 and the skip discrimination value determined by the loss calculation unit 340 during the learning process. By propagating, the skip frame selection unit 120 can be trained.
다만 스킵 플래그가 상기한 바와 같이 이진값으로 출력되고, 손실 계산부(340) 또한 스킵 여부만을 판단하여 서로 동일한지 여부만을 판단하는 경우, 학습 시간이 길어질 수 있다. 이에 스킵 프레임 선별부(120)가 스킵 확률값을 출력하고, 스킵 확률값을 기반으로 스킵 플래그를 활성화 또는 비활성화하도록 구성된 경우, 획득된 스킵 확률값과 계산된 변위(D)를 정규화한 값의 차이를 손실로 계산하여 역전파함으로써 학습을 수행할 수도 있다.However, if the skip flag is output as a binary value as described above, and the loss calculation unit 340 also determines only whether to skip or not and whether they are the same, the learning time may be long. Accordingly, when the skip frame selection unit 120 is configured to output a skip probability value and activate or deactivate the skip flag based on the skip probability value, the difference between the obtained skip probability value and the normalized value of the calculated displacement (D) is converted to loss. Learning can also be performed by calculating and back-propagating.
한편, 도 6의 파란색 라인과 같이 스킵하지 않은 상태의 압축률과 화질(R1, D1)에 따른 2차원 패턴을 모두 획득하는 것은 매우 번거로운 작업이다. 이에 프레임을 스킵하지 않은 경우에 압축률(R1)과 프레임 화질(D1) 사이의 관계가 획득되면, 이를 보라색 라인과 같이 3차 함수(F(x) = a3x3+ a2x2+ a1x+ a0) 형태로 피팅(Fitting)하여 피팅 함수(Fitting Function)를 획득하고, 피팅 함수(Fitting Function)와 프레임을 스킵한 상태의 압축률과 화질(R2, D2) 사이의 변위(D)를 계산하여 손실을 계산할 수도 있다.Meanwhile, as shown in the blue line in FIG. 6, it is a very cumbersome task to obtain both a two-dimensional pattern according to the compression rate and image quality (R 1 , D 1 ) in a non-skipped state. Accordingly, if the relationship between the compression rate (R 1 ) and the frame quality (D 1 ) is obtained when the frame is not skipped, it can be expressed as a cubic function (F(x) = a 3 x 3 + a 2 x 2 as shown in the purple line) + a 1 _ You can also calculate the loss by calculating (D).
도 7은 본 발명의 일 실시예에 따른 스킵 프레임 선별 방법을 나타낸다.Figure 7 shows a skip frame selection method according to an embodiment of the present invention.
도 1 내지 도 6을 참조하여, 도 7의 스킵 프레임 선별 방법을 설명하면, 스킵 프레임 선별 방법(S10)은 우선 입력 영상의 다수의 프레임 중 고정 및 스킵 가능 프레임을 기지정된 방식으로 설정한다(S11). 이때 우선 다수의 프레임 중 초기 프레임으로부터 기지정된 간격으로 고정 프레임을 설정하고 나머지 프레임을 스킵 가능 프레임으로 설정할 수 있다.Referring to FIGS. 1 to 6 and explaining the skip frame selection method of FIG. 7, the skip frame selection method (S10) first sets fixed and skippable frames among a plurality of frames of the input image in a predetermined manner (S11) ). At this time, first of all, fixed frames can be set at predetermined intervals from the initial frame among the plurality of frames, and the remaining frames can be set as skippable frames.
고정 및 스킵 가능 프레임이 설정되면, 스킵 가능 프레임의 스킵 여부를 판별하도록 미리 학습된 인공 신경망으로 순차적으로 연속하여 기지정된 개수씩 인가한다(S12). 이때, 이전 스킵되는 것으로 판별된 스킵 프레임은 포함되지 않도록 한다.When fixed and skippable frames are set, a predetermined number of frames are sequentially applied to an artificial neural network trained in advance to determine whether to skip the skippable frames (S12). At this time, skip frames previously determined to be skipped are not included.
학습된 인공 신경망은 학습된 방식에 따라 인가된 프레임 중 기지정된 위치의 프레임의 스킵 여부를 판별한다(S13). 이때 인공 신경망은 입력된 프레임들로부터 프레임이 스킵되는 경우에 이후 지정된 코덱에 의해 인코딩 및 디코딩 되고, 스킵된 프레임이 보간되어 복원된 영상의 화질을 고려하여 스킵 여부를 판별하도록 학습될 수 있다.The learned artificial neural network determines whether to skip a frame at a predetermined position among the approved frames according to the learned method (S13). At this time, when a frame is skipped from input frames, the artificial neural network is later encoded and decoded by a designated codec, and the skipped frame is interpolated and can be learned to determine whether to skip it by considering the quality of the restored image.
만일 스킵 프레임으로 판별되면, 스킵 플래그를 활성화한다. 이때 스킵 플래그는 0 또는 1의 이진값을 가질 수 있으며, 일 예로 스킵 플래그는 1로 활성화되어 출력될 수 있다. 경우에 따라서는 인공 신경망으로부터 스킵 확률값이 획득되고, 획득된 스킵 확률값이 기지정된 기준값 이상인지 여부에 따라 스킵 플래그를 비활성화 또는 활성화할 수도 있다.If it is determined to be a skip frame, the skip flag is activated. At this time, the skip flag may have a binary value of 0 or 1. For example, the skip flag may be activated and output as 1. In some cases, a skip probability value is obtained from an artificial neural network, and the skip flag may be deactivated or activated depending on whether the obtained skip probability value is greater than or equal to a predetermined reference value.
스킵 플래그가 활성화되면, 활성화된 스킵 플래그에 대응하는 프레임을 제외한 나머지 프레임들을 코덱에 의해 지정된 방식에 따라 순차적으로 인코딩하여 인코딩 영상을 획득한다(S15). 이때 스킵 플래그 또한 함께 인코딩되어 인코딩 영상에 포함된다.When the skip flag is activated, the remaining frames, excluding the frame corresponding to the activated skip flag, are sequentially encoded according to the method specified by the codec to obtain an encoded image (S15). At this time, the skip flag is also encoded and included in the encoded video.
스킵 프레임 선별 방법(S10)은 인코딩 영상을 획득하는 것으로 완료될 수 있으나, 스킵되고 인코딩되어 압축된 영상은 이후 입력 영상과 유사하게 복원될 수 있어야 한다. 이에 이하에서는 영상 복원 방법을 추가적으로 설명한다. 영상 복원 방법(S20)에서는 우선 인코딩된 프레임을 인가받아 코덱에 의해 지정된 방식에 따라 디코딩하여 디코딩 영상을 획득한다(S21). 인코딩 영상이 디코딩됨에 따라 디코딩 영상에서는 스킵 플래그가 복구된다.The skip frame selection method (S10) can be completed by obtaining an encoded video, but the skipped, encoded, and compressed video must be able to be restored similarly to the input video later. Accordingly, the image restoration method will be additionally described below. In the video restoration method (S20), an encoded frame is first received and decoded according to a method specified by the codec to obtain a decoded video (S21). As the encoded video is decoded, the skip flag is recovered in the decoded video.
그리고 복구된 스킵 플래그 중 활성화된 스킵 플래그가 검출되는지 판별한다(S22). 만일 활성화된 스킵 플래그가 검출되면, 검출된 스킵 플래그에 시간적으로 인접한 이전 및 이후 프레임을 추출한다(S23). 그리고 추출된 인접 프레임을 기지정된 방식으로 보간하여 보간 프레임을 획득한다(S24). 이때 보간 프레임은 기지정된 수학적 방식에 따라 획득되거나 미리 학습된 인공 신경망을 이용하여 획득될 수 있다. 또한 인공 신경망을 이용하여 획득되는 경우, 코덱에 따른 인코딩 및 디코딩 과정에서 발생하는 인접 프레임의 왜곡을 함께 보상하도록 인공 신경망이 미리 학습될 수도 있다.Then, it is determined whether an activated skip flag is detected among the recovered skip flags (S22). If an activated skip flag is detected, previous and subsequent frames temporally adjacent to the detected skip flag are extracted (S23). Then, the extracted adjacent frames are interpolated in a predetermined manner to obtain an interpolated frame (S24). At this time, the interpolation frame may be obtained according to a predetermined mathematical method or may be obtained using a pre-trained artificial neural network. Additionally, when acquired using an artificial neural network, the artificial neural network may be trained in advance to compensate for distortion of adjacent frames that occur during the encoding and decoding process according to the codec.
보간 프레임이 획득되면, 인접 프레임 사이에 보간 프레임을 배치하여 입력 영상을 복원한 복원 영상을 획득한다(S25).Once the interpolation frame is obtained, the interpolation frame is placed between adjacent frames to obtain a restored image that reconstructs the input image (S25).
여기서 프레임의 스킵 여부를 판별하는 인공 신경망은 프레임을 스킵하지 않고 인코딩한 압축률(R1)과 프레임을 스킵하여 인코딩한 압축률(R2) 및 프레임을 스킵하지 않고 인코딩된 인코딩 영상들을 디코딩하여 획득된 디코딩 영상의 왜곡 수준(D1)을 프레임을 스킵하여 인코딩 및 디코딩하고 스킵된 프레임을 보간하여 삽입한 다수의 복원 프레임의 왜곡 수준(D2)에 따른 변위(D)를 계산하고, 계산된 변위를 정규화한 정규화된 변위와 스킵 확률값 사이의 오차를 손실로 계산하여 역전파하여 학습될 수 있다. 또는 변위(D)에 따른 스킵 여부와 스킵 플래그의 이진값을 비교하여 손실로 역전파함으로써 학습될 수도 있다.Here, the artificial neural network that determines whether to skip a frame is obtained by decoding the compression ratio encoded without skipping the frame (R 1 ), the compression ratio encoded by skipping the frame (R 2 ), and the encoded images encoded without skipping the frame. Encode and decode the distortion level (D 1 ) of the decoded image by skipping frames, calculate the displacement (D) according to the distortion level (D 2 ) of multiple restored frames inserted by interpolating the skipped frames, and calculate the calculated displacement. It can be learned by calculating the error between the normalized displacement and the skip probability value as loss and back-propagating it. Alternatively, it may be learned by comparing whether to skip according to the displacement (D) and the binary value of the skip flag and back-propagating it with a loss.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention can be implemented as a computer program stored on a medium for execution on a computer. Here, computer-readable media may be any available media that can be accessed by a computer, and may also include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data, including read-only memory (ROM). It may include dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage device, etc.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the attached claims.
100: 스킵 프레임 선별 장치 200: 영상 복원 장치
300: 프레임 선별 학습부 110: 프레임 설정부
120: 스킵 프레임 선별부 130: 인코더
210: 디코더 220: 스킵 프레임 보간부
310: 압축률 계산부 320: 영상 화질 측정부
330: 2차원 투영부 340: 손실 계산부100: Skip frame selection device 200: Image restoration device
300: Frame selection learning unit 110: Frame setting unit
120: Skip frame selection unit 130: Encoder
210: Decoder 220: Skip frame interpolation unit
310: Compression rate calculation unit 320: Video quality measurement unit
330: two-dimensional projection unit 340: loss calculation unit
Claims (16)
미리 학습된 인공 신경망으로 구현되어, 학습된 방식에 따라 상기 스킵 가능 프레임 각각과 상기 스킵 가능 프레임 각각의 인접 프레임으로부터 상기 스킵 가능 프레임 각각의 스킵 여부를 판별하여 스킵 플래그를 활성화 또는 비활성화하는 스킵 프레임 선별부; 및
상기 스킵 플래그가 활성화된 스킵 프레임을 제외한 나머지 프레임을 기지정된 방식으로 인코딩하여 인코딩 영상을 획득하는 인코더를 포함하되,
상기 스킵 프레임 선별부는 상기 스킵 프레임의 제외 여부에 따른 인코딩 영상의 압축률과 인코딩 영상을 디코딩한 디코딩 영상과 상기 스킵 프레임의 제외 여부에 따라 스킵 프레임을 복원한 복원 영상 사이의 화질 차이에 기초하여 미리 학습되고,
상기 스킵 프레임 선별부는 상기 스킵 프레임을 제외하지 않은 상기 입력 영상의 다수의 프레임을 인코딩한 인코딩 영상의 압축률과 이를 디코딩한 디코딩 영상의 화질을 미리 지정된 방식에 따라 계산하여 압축률과 화질을 축으로 하는 2차원 공간의 좌표로 투영하고,
상기 스킵 프레임 선별부는 상기 2차원 공간에 상기 스킵 프레임을 제외하지 않은 경우에 투영된 압축률과 화질의 패턴을 추종하는 피팅 함수를 획득하고, 획득된 피팅 함수와 스킵 프레임을 제외한 경우에 투영된 압축률과 화질의 좌표 사이의 변위를 기반으로 학습되는 스킵 프레임 선별 장치.
A frame setting unit that sets skippable frames and fixed frames among multiple frames of the input video;
Skip frame selection is implemented with a pre-trained artificial neural network and activates or deactivates a skip flag by determining whether each skippable frame is skipped from each of the skippable frames and adjacent frames of each of the skippable frames according to a learned method. wealth; and
An encoder that obtains an encoded video by encoding the remaining frames except for the skip frame for which the skip flag is activated in a predetermined manner,
The skip frame selection unit learns in advance based on the compression rate of the encoded video depending on whether the skip frame is excluded and the difference in image quality between the decoded video obtained by decoding the encoded video and the reconstructed video obtained by restoring the skip frame depending on whether the skip frame is excluded. become,
The skip frame selection unit calculates the compression rate of the encoded video encoding the plurality of frames of the input video not excluding the skip frame and the picture quality of the decoded video decoding the same according to a predetermined method, and the compression rate and picture quality are the axes. Project to coordinates in dimensional space,
The skip frame selection unit obtains a compression ratio and a fitting function that follows a pattern of image quality projected in the two-dimensional space when the skip frame is not excluded, and the obtained fitting function and a compression ratio projected when the skip frame is excluded. A skip frame selection device that learns based on the displacement between image quality coordinates.
학습된 방식에 따라 상기 스킵 가능 프레임에 대한 스킵 확률값을 획득하고, 획득된 스킵 확률값이 기지정된 기준값 이상인지 여부에 따라 스킵 플래그를 비활성화 또는 활성화하는 스킵 프레임 선별 장치.
The method of claim 1, wherein the skip frame selection unit
A skip frame selection device that obtains a skip probability value for the skippable frame according to a learned method and deactivates or activates a skip flag depending on whether the obtained skip probability value is greater than or equal to a predetermined reference value.
스킵 프레임을 제외한 경우에 투영된 압축률과 화질의 좌표와 상기 피팅 함수 사이의 변위와 상기 스킵 확률값 사이의 차가 손실로 역전파되어 학습되는 스킵 프레임 선별 장치.The method of claim 3, wherein the skip frame selection unit
A skip frame selection device in which the difference between the displacement between the projected compression rate and image quality coordinates and the fitting function and the skip probability value when skip frames are excluded is back-propagated and learned with loss.
스킵 프레임을 제외한 경우에 투영된 압축률과 화질의 좌표와 상기 피팅 함수 사이의 변위가 기지정된 기준 변위 이상인지 여부에 따라 결정되는 스킵 판별값과 상기 스킵 플래그의 활성화 또는 비활성화 상태를 비교하여 획득되는 손실이 역전파되어 학습되는 스킵 프레임 선별 장치.The method of claim 1, wherein the skip frame selection unit
In the case of excluding skip frames, a loss obtained by comparing the activation or deactivation state of the skip flag with a skip discrimination value determined depending on whether the displacement between the coordinates of the projected compression rate and image quality and the fitting function is greater than or equal to a predetermined reference displacement. This backpropagates and learns the skip frame selection device.
상기 다수의 프레임 중 초기 프레임으로부터 기지정된 간격으로 고정 프레임을 설정하고 나머지 프레임을 스킵 가능 프레임으로 설정하는 스킵 프레임 선별 장치.The method of claim 1, wherein the frame setting unit
A skip frame selection device that sets fixed frames at predetermined intervals from the initial frame among the plurality of frames and sets the remaining frames as skippable frames.
상기 스킵 가능 프레임 각각과 상기 스킵 가능 프레임의 인접 프레임을 상기 스킵 프레임 선별부로 인가하되, 인접 프레임에 대한 스킵 플래그가 이미 활성화된 경우를 제외하여 다음 스킵 가능 프레임과 인접 프레임을 인가하는 스킵 프레임 선별 장치.The method of claim 7, wherein the frame setting unit
A skip frame selection device that applies each of the skippable frames and adjacent frames of the skippable frame to the skip frame selection unit, and applies the next skippable frame and adjacent frames, except in cases where the skip flag for the adjacent frame is already activated. .
미리 학습된 인공 신경망을 이용하여, 학습된 방식에 따라 상기 스킵 가능 프레임 각각과 상기 스킵 가능 프레임 각각의 인접 프레임으로부터 상기 스킵 가능 프레임 각각의 스킵 여부를 판별하여 스킵 플래그를 활성화 또는 비활성화하는 단계; 및
상기 스킵 플래그가 활성화된 스킵 프레임을 제외한 나머지 프레임을 기지정된 방식으로 인코딩하여 인코딩 영상을 획득하는 단계를 포함하되,
상기 인공 신경망은 상기 스킵 프레임의 제외 여부에 따른 인코딩 영상의 압축률과 인코딩 영상을 디코딩한 디코딩 영상과 상기 스킵 프레임의 제외 여부에 따라 스킵 프레임을 복원한 복원 영상 사이의 화질 차이에 기초하여 미리 학습되고,
상기 인공 신경망은 상기 스킵 프레임을 제외하지 않은 상기 입력 영상의 다수의 프레임을 인코딩한 인코딩 영상의 압축률과 이를 디코딩한 디코딩 영상의 화질을 미리 지정된 방식에 따라 계산하여 압축률과 화질을 축으로 하는 2차원 공간의 좌표로 투영하고,
상기 인공 신경망은 상기 2차원 공간에 상기 스킵 프레임을 제외하지 않은 경우에 투영된 압축률과 화질의 패턴을 추종하는 피팅 함수를 획득하고, 획득된 피팅 함수와 스킵 프레임을 제외한 경우에 투영된 압축률과 화질의 좌표 사이의 변위를 기반으로 학습되는 스킵 프레임 선별 방법.
Setting a skippable frame and a fixed frame among a plurality of frames of the input video;
Using a pre-trained artificial neural network, activating or deactivating a skip flag by determining whether to skip each of the skippable frames from each of the skippable frames and adjacent frames of each of the skippable frames according to a learned method; and
Obtaining an encoded video by encoding the remaining frames except for the skip frame for which the skip flag is activated in a predetermined manner,
The artificial neural network is trained in advance based on the compression rate of the encoded video depending on whether the skip frame is excluded and the image quality difference between the decoded video obtained by decoding the encoded video and the restored image obtained by restoring the skip frame depending on whether the skip frame is excluded. ,
The artificial neural network calculates the compression rate of the encoded video encoding the plurality of frames of the input video without excluding the skip frame and the quality of the decoded video decoding them according to a predetermined method, and creates a two-dimensional system with the compression rate and picture quality as the axes. Project to coordinates in space,
The artificial neural network obtains a fitting function that follows the pattern of the compression rate and image quality projected into the two-dimensional space when the skip frame is not excluded, and the compression rate and image quality projected when the skip frame is excluded from the obtained fitting function. A skip frame selection method that is learned based on the displacement between coordinates.
학습된 방식에 따라 상기 스킵 가능 프레임에 대한 스킵 확률값을 획득하고, 획득된 스킵 확률값이 기지정된 기준값 이상인지 여부에 따라 스킵 플래그를 비활성화 또는 활성화하는 스킵 프레임 선별 방법.
The method of claim 9, wherein activating or deactivating the skip flag
A skip frame selection method that obtains a skip probability value for the skippable frame according to a learned method and deactivates or activates a skip flag depending on whether the obtained skip probability value is greater than or equal to a predetermined reference value.
스킵 프레임을 제외한 경우에 투영된 압축률과 화질의 좌표와 상기 피팅 함수 사이의 변위와 상기 스킵 확률값 사이의 차가 손실로 역전파되어 학습되는 스킵 프레임 선별 방법.The method of claim 11, wherein the artificial neural network is
A skip frame selection method in which, when skip frames are excluded, the difference between the displacement between the coordinates of the projected compression rate and image quality and the fitting function and the skip probability value is back-propagated and learned with loss.
스킵 프레임을 제외한 경우에 투영된 압축률과 화질의 좌표와 상기 피팅 함수 사이의 변위가 기지정된 기준 변위 이상인지 여부에 따라 결정되는 스킵 판별값과 상기 스킵 플래그의 활성화 또는 비활성화 상태를 비교하여 획득되는 손실이 역전파되어 학습되는 스킵 프레임 선별 방법.The method of claim 9, wherein the artificial neural network is
In the case of excluding skip frames, a loss obtained by comparing the activation or deactivation state of the skip flag with a skip discrimination value determined depending on whether the displacement between the coordinates of the projected compression rate and image quality and the fitting function is greater than or equal to a predetermined reference displacement. The skip frame selection method is learned through backpropagation.
상기 다수의 프레임 중 초기 프레임으로부터 기지정된 간격으로 고정 프레임을 설정하고 나머지 프레임을 스킵 가능 프레임으로 설정하는 스킵 프레임 선별 방법.The method of claim 9, wherein setting the fixed frame includes
A skip frame selection method that sets fixed frames at predetermined intervals from the initial frame among the plurality of frames and sets the remaining frames as skippable frames.
상기 스킵 가능 프레임 각각과 상기 스킵 가능 프레임의 인접 프레임을 상기 인공 신경망으로 인가하되, 인접 프레임에 대한 스킵 플래그가 이미 활성화된 경우를 제외하여 다음 스킵 가능 프레임과 인접 프레임을 인가하는 스킵 프레임 선별 방법.The method of claim 15, wherein setting the fixed frame includes
A skip frame selection method for applying each of the skippable frames and the adjacent frames of the skippable frames to the artificial neural network, and applying the next skippable frame and the adjacent frames, except when the skip flag for the adjacent frame is already activated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210062514A KR102620281B1 (en) | 2021-05-14 | 2021-05-14 | Apparatus and Method for Selecting Skip Frames |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210062514A KR102620281B1 (en) | 2021-05-14 | 2021-05-14 | Apparatus and Method for Selecting Skip Frames |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220154940A KR20220154940A (en) | 2022-11-22 |
| KR102620281B1 true KR102620281B1 (en) | 2023-12-29 |
Family
ID=84236251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210062514A KR102620281B1 (en) | 2021-05-14 | 2021-05-14 | Apparatus and Method for Selecting Skip Frames |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102620281B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008236789A (en) * | 2001-03-05 | 2008-10-02 | Intervideo Inc | Method for selecting video sequence frame to be skipped during execution of encoding process |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102207736B1 (en) | 2020-01-14 | 2021-01-26 | 한국과학기술원 | Frame interpolation, apparatus and method using deep neural network |
-
2021
- 2021-05-14 KR KR1020210062514A patent/KR102620281B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008236789A (en) * | 2001-03-05 | 2008-10-02 | Intervideo Inc | Method for selecting video sequence frame to be skipped during execution of encoding process |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220154940A (en) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7643690B2 (en) | Image decoding and encoding apparatus, method and computer readable storage medium | |
| JP5580453B2 (en) | Direct mode encoding and decoding apparatus | |
| US5134478A (en) | Method and apparatus for compressing and decompressing a digital video signal using predicted and error images | |
| JP5144545B2 (en) | Moving picture codec apparatus and method | |
| KR100538731B1 (en) | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks | |
| JPH02172389A (en) | High efficient coding system for animated picture signal | |
| JPH07193822A (en) | Motion prediction processor and device therefor | |
| US20050265443A1 (en) | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal | |
| US7424130B2 (en) | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal | |
| US20220398692A1 (en) | Video conferencing based on adaptive face re-enactment and face restoration | |
| KR100537123B1 (en) | Picture signal coding device, picture signal coding method, picture signal decoding device, picture signal decoding method, and recording medium | |
| KR102620281B1 (en) | Apparatus and Method for Selecting Skip Frames | |
| CN112004114B (en) | Video processing method and device, readable storage medium and electronic equipment | |
| US20240171769A1 (en) | Parameter map for machine-learned video compression | |
| KR101979379B1 (en) | Method and apparatus for encoding image, and method and apparatus for decoding image | |
| CN114885178A (en) | Extremely-low-bit-rate face video hybrid compression method and system based on bidirectional frame prediction | |
| JPH06217273A (en) | Method and device for encoding image data | |
| EP0993199A2 (en) | Apparatus and method for image data coding with additional data embedding | |
| JP4239894B2 (en) | Image encoding apparatus and image decoding apparatus | |
| KR100275543B1 (en) | A high-speed mapping parameter detection device and its detection method | |
| JP2621341B2 (en) | Predictive coding method for video using background prediction and its apparatus | |
| CN117376606A (en) | Video frame supplementing method and device, electronic equipment and storage medium | |
| JP3310633B2 (en) | Decryption device | |
| JP2002290978A (en) | Moving image error recovering method | |
| JP3469597B2 (en) | Decoding device for block transform code |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |