KR102066012B1

KR102066012B1 - Motion prediction method for generating interpolation frame and apparatus

Info

Publication number: KR102066012B1
Application number: KR1020170081448A
Authority: KR
Inventors: 강주미; 정제창
Original assignee: 한양대학교 산학협력단
Priority date: 2017-06-27
Filing date: 2017-06-27
Publication date: 2020-01-14
Also published as: KR20190001444A

Abstract

복수의 프레임 중에서 시간상으로 인접한 두 개의 프레임 사이에 보간 프레임을 생성하기 위한 움직임 예측 방법이 개시된다. 움직임 예측 방법은, 상기 복수의 프레임 중에서 선정된 두 개의 프레임 내에 각각 속하고 미리 설정된 크기를 갖는 제1 블록과 제2 블록의 규칙성을 판단하는 단계, 상기 제1 블록과 상기 제2 블록의 규칙성이 일치하는지 결정하는 단계 및 규칙성이 일치하면, 상기 제1 블록과 상기 제2 블록 상호간의 유사도를 판단하는 단계를 포함할 수 있다. 따라서, 움직임 예측의 효율을 향상시킬 수 있다.Disclosed is a motion prediction method for generating an interpolated frame between two adjacent frames in time among a plurality of frames. The motion prediction method may include determining the regularity of the first block and the second block each belonging to two frames selected from the plurality of frames, each having a predetermined size, and the rules of the first block and the second block. The method may include determining whether the sexes match and regularity, and determining the similarity between the first block and the second block. Therefore, the efficiency of motion prediction can be improved.

Description

Motion prediction method and apparatus for generating interpolation frame {MOTION PREDICTION METHOD FOR GENERATING INTERPOLATION FRAME AND APPARATUS}

본 발명은 보간 프레임을 생성하기 위한 움직임 예측 방법 및 장치에 관한 것으로, 더욱 상세하게는 보간 프레임을 생성하기 위한 움직임 예측시 블록 매칭되는 블록의 크기를 적응적으로 결정하는 방법에 관한 것이다.The present invention relates to a motion prediction method and apparatus for generating an interpolation frame, and more particularly, to a method of adaptively determining a block matching block size in motion prediction for generating an interpolation frame.

TV 방송을 비롯한 각종 영상 콘텐츠의 유통이 증가하고 통신 기술이 발전함에 따라 고품질 영상에 대한 수요가 증가하고 있다. As the distribution of various video contents including TV broadcasting increases and communication technology develops, the demand for high quality images increases.

영상 콘텐츠에서 초당 프레임 수(frame per second, FPS)와 해상도, 비트 레이트(bitrate)가 화질을 결정하는 주 요소이고 이 때문에 고품질의 영상 콘텐츠를 생성하여 제공하기 위한 연구가 지속되고 있다.Frame per second (FPS), resolution, and bitrate are the major factors that determine the quality of image content. Therefore, researches for generating and providing high-quality image content have continued.

고품질의 영상 콘텐츠를 제공하기 위한 방법의 하나로서, 프레임 수를 증가시키는 방법이 활발하게 제안되고 있는데, 이와 같은 프레임율 향상 기법(Frame rate up conversion)들로는 같은 프레임을 반복시키는 프레임 반복 기법, 프레임 평활화 기법 등이 있다. 그러나, 기존의 프레임율 향상 기법들은 움직임을 고려하지 않아 영상의 이어짐이 부드럽지 못한 문제점이 있다.As one of the methods for providing high quality image content, a method of increasing the number of frames has been actively proposed. Such frame rate up conversion methods include a frame repetition technique and a frame smoothing method for repeating the same frame. Techniques, etc. However, the existing frame rate enhancement techniques do not consider motion, so there is a problem that the continuation of the image is not smooth.

상기 문제점을 해결하기 위하여 움직임을 고려한 기법인 움직임 보상 프레임율 향상 기법(motion compensation frame rate up conversion, MC-FRUC)이 제안되었다. 움직임 보상 프레임율 향상 기법은 블록 정합 기법을 사용하여 움직임(또는 움직임 벡터)을 정확하게 예측하는 움직임 예측 단계와 움직임 벡터를 사용하여 보간 프레임에 적합한 픽셀 값을 결정하는 움직임 보상 단계로 구성될 수 있다.In order to solve the above problems, a motion compensation frame rate up conversion (MC-FRUC) method, which is a technique considering motion, has been proposed. The motion compensation frame rate enhancement technique may include a motion prediction step of accurately predicting a motion (or motion vector) using a block matching technique and a motion compensation step of determining a pixel value suitable for an interpolation frame using the motion vector.

여기서, 움직임 예측 단계에서의 블록 정합 기법은 프레임간의 블록을 비교하여 유사 블록을 찾는데, 전역 탐색으로 유사한 블록을 찾을 경우 지나치게 속도가 느려질 수 있고, 블록의 크기에 따라 움직임 예측의 정확도가 감소하는 문제점이 있다. Here, the block matching technique in the motion prediction step finds similar blocks by comparing blocks between frames, and when searching for similar blocks by global search, the speed may be too slow, and the accuracy of motion prediction decreases according to the block size. There is this.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 움직임 예측 방법을 제공하는데 있다.An object of the present invention for solving the above problems is to provide a motion prediction method.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 움직임 예측 장치를 제공하는데 있다.Another object of the present invention for solving the above problems is to provide a motion prediction apparatus.

상기 목적을 달성하기 위한 본 발명은, 복수의 프레임 중에서 시간상으로 인접한 두 개의 프레임 사이에 보간 프레임을 생성하기 위한 움직임 예측 방법을 제공한다.The present invention for achieving the above object, there is provided a motion prediction method for generating an interpolation frame between two adjacent frames in time among a plurality of frames.

여기서, 움직임 예측 방법은, 복수의 프레임 중에서 선정된 두 개의 프레임 내에 각각 속하고 미리 설정된 크기를 갖는 제1 블록과 제2 블록의 규칙성을 판단하는 단계, 제1 블록과 제2 블록의 규칙성이 일치하는지 결정하는 단계 및 규칙성이 일치하면, 제1 블록과 제2 블록 상호간의 유사도를 판단하는 단계를 포함할 수 있다.Here, the motion prediction method, determining the regularity of the first block and the second block each belonging to two frames selected from the plurality of frames, each having a predetermined size, regularity of the first block and the second block If the match and the regularity is matched, it may include determining the similarity between the first block and the second block.

여기서 제1 블록과 제2 블록의 규칙성을 판단하는 단계는, 제1 블록이 속하는 프레임의 FEJND(Free-Energy Principle Based Just Noticeable Difference)와 제1 블록의 FEJND를 비교하여 제1 블록의 규칙성을 판단하고, 제2 블록이 속하는 프레임의 FEJND와 제2 블록의 FEJND를 비교하여 제2 블록의 규칙성을 판단할 수 있다.In the determining of the regularity of the first block and the second block, the regularity of the first block may be compared by comparing the free-energy based just noticeable difference (FEJND) of the frame to which the first block belongs to the FEJND of the first block. The regularity of the second block may be determined by comparing the FEJND of the frame to which the second block belongs and the FEJND of the second block.

여기서 제1 블록과 제2 블록의 규칙성을 판단하는 단계는, 제1 블록의 FEJND 가 제1 블록이 속하는 프레임의 FEJND보다 크면, 제1 블록의 규칙성은 불규칙한 것으로 판단하는 단계를 포함할 수 있다.The determining of the regularity of the first block and the second block may include determining that the regularity of the first block is irregular when the FEJND of the first block is larger than the FEJND of the frame to which the first block belongs. .

여기서 제1 블록의 FEJND는, 제1 블록에 포함된 각 픽셀의 FEJND 값의 평균값으로 산출될 수 있다.Here, the FEJND of the first block may be calculated as an average value of the FEJND values of each pixel included in the first block.

여기서 제1 블록에 포함된 각 픽셀의 FEJND 값은, 제1 블록에 포함된 각 픽셀의 규칙성 임계값(JND_p)과 불규칙성 임계값(JND_d)을 이용하여 산출될 수 있다.Here, the FEJND value of each pixel included in the first block may be calculated using the regularity threshold value JND _p and the irregularity threshold value JND _d of each pixel included in the first block.

여기서 규칙성 임계값을 산출하는 과정은, 제1 블록에 대하여 AR 모델(autoregressive model)에 기초한 예측 블록을 생성하는 단계, 예측 블록에 대한 휘도 적응을 수행하는 단계 및 예측 블록에 대한 공간적 마스킹을 수행하는 단계를 포함할 수 있다.The calculating of the regularity threshold may include generating a prediction block based on an AR model (autoregressive model) with respect to the first block, performing luminance adaptation on the prediction block, and performing spatial masking on the prediction block. It may include the step.

여기서 불규칙성 임계값을 산출하는 과정은, 제1 블록에 대하여 AR 모델(autoregressive model)에 기초한 예측 블록을 생성하는 단계, 생성된 예측 블록의 각 픽셀값을 제1 블록의 각 픽셀값으로부터 차분하여 차분 블록을 생성하는 단계 및 차분 블록의 각 픽셀에 대한 불규칙성 임계값을 도출하는 단계를 포함할 수 있다.The calculating of the irregularity threshold may include generating a prediction block based on an AR model (autoregressive model) with respect to the first block, and subtracting each pixel value of the generated prediction block from each pixel value of the first block. Generating a block and deriving an irregularity threshold for each pixel of the difference block.

여기서 움직임 예측 방법은, 제1 블록과 제2 블록의 규칙성이 일치하지 않으면, 미리 설정된 크기를 더 작은 크기로 재설정하는 단계를 더 포함할 수 있다.Here, the motion prediction method may further include resetting the preset size to a smaller size if the regularity of the first block and the second block do not match.

여기서 움직임 예측 방법은, 재설정된 크기를 갖고 제1 블록에 포함되는 제3 블록 및 재설정된 크기를 갖고 제2 블록에 포함되는 제4 블록 상호간의 유사도를 판단하는 단계를 더 포함할 수 있다.The motion prediction method may further include determining similarity between the third block having the reset size and included in the first block and the fourth block having the reset size and included in the second block.

여기서 움직임 예측 방법은, 미리 설정된 크기 대신에 재설정된 크기를 기초로, 규칙성을 판단하는 단계를 재수행하는 단계를 더 포함할 수 있다.Here, the motion prediction method may further include performing a step of determining regularity based on the reset size instead of the preset size.

상기 목적을 달성하기 위한 본 발명의 다른 측면은, 연속된 복수의 프레임 중에서 시간상으로 인접한 두 개의 프레임 사이에 보간 프레임을 생성하기 위한 움직임 예측 장치를 제공한다.Another aspect of the present invention for achieving the above object, there is provided a motion prediction apparatus for generating an interpolation frame between two adjacent frames in time among a plurality of consecutive frames.

여기서 움직임 예측 장치는, 적어도 하나의 프로세서(processor) 및 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.Here, the motion prediction apparatus may include at least one processor and a memory storing instructions for instructing the at least one processor to perform at least one step.

여기서 적어도 하나의 단계는, 복수의 프레임 중에서 선정된 두 개의 프레임 내에 각각 속하고 미리 설정된 크기를 갖는 제1 블록과 제2 블록의 규칙성을 판단하는 단계, 제1 블록과 제2 블록의 규칙성이 일치하는지 결정하는 단계 및 규칙성이 일치하면, 제1 블록과 제2 블록 상호간의 유사도를 판단하는 단계를 포함할 수 있다.The at least one step may include determining the regularity of the first block and the second block belonging to two frames selected from the plurality of frames, each having a predetermined size, and the regularity of the first block and the second block. If the match and the regularity is matched, it may include determining the similarity between the first block and the second block.

여기서, 제1 블록과 제2 블록의 규칙성을 판단하는 단계는, 제1 블록이 속하는 프레임의 FEJND(Free-Energy Principle Just Noticeable Difference)와 제1 블록의 FEJND를 비교하여 제1 블록의 규칙성을 판단하고, 제2 블록이 속하는 프레임의 FEJND와 제2 블록의 FEJND를 비교하여 제2 블록의 규칙성을 판단할 수 있다.The determining of the regularity of the first block and the second block may include comparing the regularity of the first block by comparing a free-energy principle just noticeable difference (FEJND) of the frame to which the first block belongs to the FEJND of the first block. The regularity of the second block may be determined by comparing the FEJND of the frame to which the second block belongs and the FEJND of the second block.

여기서, 제1 블록과 제2 블록의 규칙성을 판단하는 단계는, 제1 블록의 FEJND 가 제1 블록이 속하는 프레임의 FEJND보다 크면, 제1 블록의 규칙성은 불규칙한 것으로 판단하는 단계를 포함할 수 있다.The determining of the regularity of the first block and the second block may include determining that the regularity of the first block is irregular if the FEJND of the first block is greater than the FEJND of the frame to which the first block belongs. have.

여기서, 제1 블록의 FEJND는, 제1 블록에 포함된 각 픽셀의 FEJND 값의 평균값으로 산출될 수 있다.Here, the FEJND of the first block may be calculated as an average value of the FEJND values of each pixel included in the first block.

여기서, 제1 블록에 포함된 각 픽셀의 FEJND 값은, 제1 블록에 포함된 각 픽셀의 규칙성 임계값(JND_p)과 불규칙성 임계값(JND_d)을 이용하여 산출될 수 있다.Here, the FEJND value of each pixel included in the first block may be calculated using the regularity threshold value JND _p and the irregularity threshold value JND _d of each pixel included in the first block.

여기서, 규칙성 임계값을 도출하는 과정은, 제1 블록에 대하여 AR 모델(autoregressive model)에 기초한 예측 블록을 생성하는 단계, 예측 블록에 대한 휘도 적응을 수행하는 단계 및 예측 블록에 대한 공간적 마스킹을 수행하는 단계를 포함할 수 있다.The derivation of the regularity threshold may include generating a prediction block based on an AR model (autoregressive model), performing luminance adaptation on the prediction block, and spatial masking on the prediction block. It may include the step of performing.

여기서, 불규칙성 임계값을 도출하는 과정은, 제1 블록에 대하여 AR 모델(autoregressive model)에 기초한 예측 블록을 생성하는 단계, 생성된 예측 블록의 각 픽셀값을 제1 블록의 각 픽셀값으로부터 차분하여 차분 블록을 생성하는 단계 및 차분 블록의 각 픽셀에 대한 불규칙성 임계값을 도출하는 단계를 포함할 수 있다.The derivation of the irregularity threshold may include generating a prediction block based on an AR model (autoregressive model) with respect to the first block, and subtracting each pixel value of the generated prediction block from each pixel value of the first block. Generating a difference block and deriving an irregularity threshold for each pixel of the difference block.

여기서 명령어들은 프로세서가, 제1 블록과 제2 블록의 규칙성이 일치하지 않으면, 미리 설정된 크기를 더 작은 크기로 재설정하는 단계를 더 수행하도록 지시할 수 있다.Here, the instructions may instruct the processor to further perform resetting the preset size to a smaller size if the regularities of the first block and the second block do not match.

여기서 명령어들은 프로세서가, 재설정된 크기를 갖고 제1 블록에 포함되는 제3 블록 및 재설정된 크기를 갖고 제2 블록에 포함되는 제4 블록 상호간의 유사도를 판단하는 단계를 더 수행하도록 지시할 수 있다.The instructions may instruct the processor to further perform a step of determining similarity between the third block having the reset size and included in the first block and the fourth block having the reset size and included in the second block. .

여기서 명령어들은 프로세서가, 미리 설정된 크기 대신에 재설정된 크기를 기초로, 규칙성을 판단하는 단계를 재수행하는 단계를 더 수행하도록 지시할 수 있다.The instructions here may instruct the processor to further perform the step of re-determining the regularity based on the reset size instead of the preset size.

상기와 같은 본 발명에 따른 움직임 예측 방법 및 장치를 이용할 경우에는 움직임 예측 과정에서의 블록 매칭시, 블록 크기를 적응적으로 결정함으로써 정확한 움직임 예측을 수행할 수 있다.In the case of using the motion prediction method and apparatus according to the present invention as described above, it is possible to perform accurate motion prediction by adaptively determining the block size during block matching in the motion prediction process.

또한, 전역 탐색이 아닌 지역 탐색을 수행함으로써 탐색 속도를 개선하는 장점이 있다.In addition, there is an advantage of improving the search speed by performing a local search instead of a global search.

도 1은 보간 프레임을 생성하기 위한 단방향 움직임 예측 방법에 대한 개념도이다.
도 2는 보간 프레임을 생성하기 위한 양방향 움직임 예측 방법에 대한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 다중 프레임 기반 양방향 움직임 예측 방법에 대한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 예측 영상과 잔차 영상을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 FEJND를 도출하는 방법에 대한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 보간 프레임을 생성하기 위한 움직임 예측 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 보간 프레임을 생성하기 위한 움직임 예측 장치에 대한 구성도이다.
도 8은 본 발명의 일 실시예에 따른 보간 프레임을 생성하기 위한 움직임 예측에 대한 결과를 나타내는 제1 예시도이다.
도 9는 본 발명의 일 실시예에 따른 보간 프레임을 생성하기 위한 움직임 예측에 대한 결과를 나타내는 제2 예시도이다.1 is a conceptual diagram of a unidirectional motion prediction method for generating an interpolated frame.
2 is a conceptual diagram of a bidirectional motion prediction method for generating an interpolated frame.
3 is a conceptual diagram of a multi-frame based bidirectional motion prediction method according to an embodiment of the present invention.
4 is a conceptual diagram illustrating a prediction image and a residual image according to an embodiment of the present invention.
5 is a flowchart illustrating a method of deriving FEJND according to an embodiment of the present invention.
6 is a flowchart illustrating a motion prediction method for generating an interpolation frame according to an embodiment of the present invention.
7 is a block diagram of a motion prediction apparatus for generating an interpolation frame according to an embodiment of the present invention.
8 is a first exemplary diagram illustrating a result of motion prediction for generating an interpolation frame according to an embodiment of the present invention.
9 is a second exemplary diagram illustrating a result of motion prediction for generating an interpolated frame according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 보간 프레임을 생성하기 위한 단방향 움직임 예측 방법에 대한 개념도이다. 도 2는 보간 프레임을 생성하기 위한 양방향 움직임 예측 방법에 대한 개념도이다. 도 3은 본 발명의 일 실시예에 따른 다중 프레임 기반 양방향 움직임 예측 방법에 대한 개념도이다.1 is a conceptual diagram of a unidirectional motion prediction method for generating an interpolated frame. 2 is a conceptual diagram of a bidirectional motion prediction method for generating an interpolated frame. 3 is a conceptual diagram of a multi-frame based bidirectional motion prediction method according to an embodiment of the present invention.

도 1을 참조하여, 본 발명의 일 실시예에 따른 단방향 움직임 예측 방법을 설명하고, 도 2를 참조하여, 본 발명의 일 실시예에 따른 양방향 움직임 예측 방법을 설명하며, 도 3을 참조하여 본 발명의 일 실시예에 따른 다중 프레임 기반 양방향 움직임 예측 방법을 설명한다.Referring to FIG. 1, a unidirectional motion prediction method according to an embodiment of the present invention will be described. Referring to FIG. 2, a bidirectional motion prediction method according to an embodiment of the present invention will be described, and with reference to FIG. 3. A multi-frame based bidirectional motion prediction method according to an embodiment of the present invention will be described.

먼저, 도 1을 참조하면, 단방향 움직임 예측 방법은 보간 프레임(f_n _-1/2)을 생성하는 데 있어서, 현재 프레임(f_n)보다 시간상으로 이전에 위치한 이전 프레임(f_n _-1)과 현재 프레임(f_n) 상호간에 블록 매칭을 수행함으로써, 움직임 벡터를 도출할 수 있다.First, referring to FIG. 1, the unidirectional motion prediction method generates an interpolated frame f _n _-1/2 from a previous frame f _n _-1 located earlier in time than the current frame f _n . By performing block matching between the current frames f _n , a motion vector can be derived.

여기서, 움직임 벡터는 블록 매칭에 따른 SAD(Sum of Absolute Difference) 값이 최소가 되는 움직임 벡터로 결정될 수 있다.Here, the motion vector may be determined as a motion vector having a minimum SAD (Sum of Absolute Difference) value according to block matching.

이와 같은 단방향 움직임 예측 방법은, 움직임 벡터의 정확도가 높으나, 보간 프레임에서 홀 영역과 폐색 영역이 발생할 수 있다. 이 때문에 추가적으로 홀 영역과 폐색 영역을 처리하는 과정이 필요할 수 있다.In this unidirectional motion prediction method, although the accuracy of the motion vector is high, a hole area and a blockage area may occur in the interpolated frame. This may require additional processing of the hole and occlusion areas.

도 2를 참조하면, 양방향 움직임 예측 방법은, 보간 프레임(f_n _-1/2)을 생성하는 데 있어서, 보간 프레임(f_n _-1/2)에서 이전 프레임(f_n _-1) 방향과 현재 프레임(f_n) 방향으로의 후보 움직임 벡터를 도출할 수 있다. 즉, 보간 프레임(f_n _-1/2)을 기준으로 정해진 탐색 영역 내에서, 이전 프레임(f_n _- ₁)의 블록과 현재 프레임 (f_n)의 블록 상호간의 SBAD(Sum of bilateral absolute difference)를 계산하여 유사한 블록을 찾고, SBAD를 최소화하는 움직임 벡터를 도출해낼 수 있다.2, the bi-directional motion estimation method, with the current interpolation-frame (f _n _-1/2) according to the generated, the previous frame (f _n _-1) in the interpolation frame (f _n _-1/2) direction A candidate motion vector in the frame f _n direction can be derived. That is, within the search region determined based on the interpolated frame f _n _-1/2 , the sum of bilateral absolute difference (SBAD) between the block of the previous frame f _n _- ₁ and the block of the current frame f _n . We can find the similar block by using the equation and derive the motion vector that minimizes the SBAD.

예를 들어, 이전 프레임(f_n _- ₁)의 블록과 현재 프레임 (f_n)의 블록 상호간의 SBAD는 다음의 수학식 1에 의해 도출할 수 있다.For example, the SBAD between the blocks of the previous frame f _n _- ₁ and the blocks of the current frame f _n can be derived by Equation 1 below.

여기서, B_x 및 B_y는 움직임 벡터가 탐색되는 x좌표와 y좌표의 범위를 지시할 수 있고, (dx, dy)는 후보 움직임 벡터를 지시할 수 있다. Here, B _x and B _y may indicate a range of x coordinate and y coordinate where the motion vector is searched for, and (dx, dy) may indicate a candidate motion vector.

도 2에 따른 양방향 움직임 예측 방법은 홀 영역과 폐쇄 영역이 생기지 않는 장점이 있으나, 도 2와 같이 움직이는 물체 뿐만 아니라, 배경 부분도 대칭적으로 존재할 경우, 움직이는 물체가 삽입되어야 하는 위치에 배경 부분이 삽입되는 문제점이 발생할 수 있다.The bidirectional motion prediction method according to FIG. 2 has an advantage in that a hole area and a closed area do not occur. However, when not only the moving object but also the background part are symmetrically, as shown in FIG. Problems with insertion may occur.

도 3을 참조하면, 다중 프레임 기반의 양방향 움직임 예측 방법은 보간 프레임을 생성하는 데 있어서, 이전 프레임이나 현재 프레임의 블록에 대한 움직임 벡터를 이용하는 것이 아니라, 더 확장된 후보 프레임들을 추가적으로 활용하여 움직임 예측을 수행할 수 있다. 이때, 정적인 물체라면 확장된 후보 프레임에 존재할 가능성이 낮으므로 이전 프레임과 현재 프레임만을 이용하여 움직임 예측을 수행할 수도 있다.Referring to FIG. 3, in the multi-frame based bidirectional motion prediction method, in generating an interpolated frame, the motion prediction is performed by additionally using more extended candidate frames, rather than using a motion vector for a block of a previous frame or a current frame. Can be performed. In this case, since the static object is unlikely to exist in the extended candidate frame, motion prediction may be performed using only the previous frame and the current frame.

구체적으로, 다중 프레임 기반의 양방향 움직임 예측 방법은 현재 프레임(f_n)과 이전 프레임(f_n _- ₁)에 대한 움직임 벡터(±v) 뿐만 아니라, 그보다 확장된 프레임들(f_{n-2 ,}f_n ₊₁))에 대한 움직임 벡터(±3v)를 고려하여 움직임 예측을 수행할 수 있다. Specifically, the multi-frame based bidirectional motion prediction method includes not only the motion vector (± v) for the current frame f _n and the previous frame f _n _- ₁ , but also extended frames f _{n-2 and} f. _n _{+ 1} )) may be used to perform motion prediction by considering a motion vector (± 3v).

예를 들어, 다음의 수학식 2와 같이 수정된 SBAD(modified sum of absolute differences, MSBAD)를 최소화하는 움직임 벡터를 도출할 수 있다.For example, a motion vector that minimizes the modified sum of absolute differences (MSBAD) can be derived as shown in Equation 2 below.

상기 수학식 2에서, α는 다중 프레임의 시간적 위치에 따라 적용되는 가중치 파라미터일 수 있다. 또한, (dx, dy)는 움직임 벡터를 의미할 수 있다.In Equation 2, α may be a weight parameter applied according to a temporal position of multiple frames. Also, (dx, dy) may mean a motion vector.

한편, 도 1 내지 3에 따른 움직임 예측 방법으로 움직임 벡터를 도출하면, 도출된 움직임 벡터를 이용한 움직임 보상 과정을 통하여 보간 프레임을 생성할 수 있다. 이때, 움직임 보상 과정에 대해서는 본 발명이 속하는 기술분야에서 통상의 기술자가 용이하게 이해할 수 있으므로 자세한 설명은 생략한다.Meanwhile, when a motion vector is derived using the motion prediction method according to FIGS. 1 to 3, an interpolation frame may be generated through a motion compensation process using the derived motion vector. In this case, the motion compensation process is easily understood by those skilled in the art to which the present invention pertains, and thus a detailed description thereof will be omitted.

도 4는 본 발명의 일 실시예에 따른 예측 영상과 잔차 영상을 설명하기 위한 개념도이다.4 is a conceptual diagram illustrating a prediction image and a residual image according to an embodiment of the present invention.

도 4를 참조하면, 입력 영상(10)에서 규칙적 성분으로 구성되는 예측 영상(20)을 생성하고, 생성된 예측 영상(20)을 입력 영상(10)에서 제거함으로써 불규칙적 성분으로 이루어지는 잔차 영상(30)을 획득하는 과정을 설명할 수 있다.Referring to FIG. 4, a residual image 30 composed of irregular components is generated by generating a prediction image 20 composed of regular components from the input image 10 and removing the generated prediction image 20 from the input image 10. ) Can be described.

인간의 시각 시스템(human visual system, HVS)은 입력 영상(10)을 있는 그대로 해석하기 보다는 내부 생성 메커니즘(internal generative mechanism, IGM)에 의해 입력 영상(10)을 추론한다. 이러한 인간의 시각 시스템의 내부 생성 메커니즘(IGM)을 정형화하고, 인간의 인식 방법을 설명하는 이론의 하나가 자유 에너지 원리(free energy principle)이다.The human visual system (HVS) infers the input image 10 by an internal generative mechanism (IGM) rather than interpreting the input image 10 as it is. One of the theories that formalize the internal generation mechanism (IGM) of the human visual system and explain the human recognition method is the free energy principle.

자유 에너지 원리의 기저 아이디어는 인간의 시각 시스템은 규칙 영역에 대하여 비교적 상세하게 인식하는 반면, 불규칙 영역에 대해서는 대략적으로(roughly) 인식하는 경향이 강하다는 것이다. 예를 들어, 규칙적 패턴으로 이루어진 영상의 경우에 인간의 시각 시스템은 규칙적 패턴 또는 규칙적 패턴으로 이루어진 형상의 변화를 쉽게 인식할 수 있으나, 불규칙한 패턴으로 이루어진 영상의 경우에 인간의 시각 시스템은 어떠한 영상인지 쉽게 인식하지 못하는 경향을 가질 수 있다. The underlying idea of the free energy principle is that human visual systems tend to perceive relatively detailed areas of the rule, while roughly perceive irregular areas. For example, in the case of an image having a regular pattern, the human visual system can easily recognize a change in the shape of the regular pattern or a regular pattern, but in the case of an image having an irregular pattern, what kind of image is the human visual system? It may have a tendency not to be easily recognized.

따라서, 인간의 시각 시스템은 규칙 영역을 불규칙 영역보다 더 민감하게 인식한다고 할 수 있고, 본 발명의 일 실시예에서는 인간의 시각적 특성을 모방하여 입력 영상(10)의 규칙적 성분을 예측하기 위한 모델인 오토리그레시브 모델(autoregressive model, AR model)을 제공할 수 있다. 이하에서, 입력 영상(10)에 대한 예측 영상을 생성하는 과정을 오토리그레시브 모델링 과정으로 지칭할 수 있다. 또한, 베이시안 추론(Bayesian inference)은 정보 예측에 대한 강력한 도구이므로, 베이시안 브레인 이론(Bayesian brain theory)이 규칙적 성분을 예측하는데 적용될 수 있다.Accordingly, the human visual system may recognize that the rule region is more sensitive than the irregular region. In one embodiment of the present invention, the human visual system may be a model for predicting regular components of the input image 10 by mimicking human visual characteristics. It can provide an autoregressive model (AR model). Hereinafter, a process of generating a prediction image for the input image 10 may be referred to as an autoregressive modeling process. In addition, because Bayesian inference is a powerful tool for information prediction, Bayesian brain theory can be applied to predict regular components.

베이시안 브레인 이론은 최소 오류를 갖는 감각 정보를 확률적으로 표현하기 위한 이론이다. 예를 들어, 베이시안 브레인 이론은 입력 영상(F, 10)의 각 픽셀 값(x)의 조건부 확률p(x/F)를 최대화하여, 픽셀값 x를 표현할 수 있다.Bayesian brain theory is a theory for probabilistic representation of sensory information with minimum error. For example, the Bayesian brain theory may express the pixel value x by maximizing the conditional probability p (x / F) of each pixel value x of the input image F, 10.

이때, 픽셀 x가 규칙적 영역에 위치한다면, 픽셀 x는 픽셀 x의 주변에 위치한 픽셀들 χ ={x₁, x₂, x_3, ... , x_N}과 높은 관련성을 가질 수 있으므로, 입력 영상(F)에 대한 픽셀 값(x)의 조건부 확률은, 주변 픽셀들(χ)에 대한 픽셀 값(x)의 조건부 확률(p(x/χ))로 근사화할 수 있다.In this case, if the pixel x is located in the regular region, the pixel x may have a high relation with the pixels χ = {x ₁ , x ₂ , x _3, ..., x _N } located around the pixel x, The conditional probability of the pixel value x for the image F may be approximated by the conditional probability p (x / χ) of the pixel value x for the surrounding pixels χ.

예를 들어, 주변 픽셀들(χ)에 대한 픽셀 값(x)의 조건부 확률은 다음의 수학식 3과 같이 표현할 수 있다.For example, the conditional probability of the pixel value x with respect to the surrounding pixels χ may be expressed as in Equation 3 below.

상기 수학식 3의 양변에 로그를 취하면, 다음의 수학식 4를 도출될 수 있다.Taking the logarithm of both sides of Equation 3, the following Equation 4 can be derived.

상기 수학식 4에서, 양변에 기대값(E)을 취하고, 샤논 정보 이론(Shannon information theory)에 따른 엔트로피(H)로 표현하면, 아래의 수학식 5를 도출할 수 있다. In Equation 4, when the expected value E is taken at both sides and expressed as entropy H according to Shannon information theory, Equation 5 below can be derived.

상기 수학식 5에서, I(x;χ)는 x와 χ 사이의 상호 정보량을 의미할 수 있고, H(x)는 x의 엔트로피를 의미할 수 있다. 또한, 샤논 정보 이론은 더 상세하게는 (C.E.Shannon, "A mathmetical theory of communication", Bell System Technical Journal, vol.27, pp. 379-423, July 1948)을 참조할 수 있다.In Equation 5, I (x; χ) may mean the mutual information amount between x and χ, and H (x) may mean the entropy of x. Shannon Information Theory may also be referred to in more detail (C.E. Shannon, "A mathmetical theory of communication", Bell System Technical Journal, vol. 27, pp. 379-423, July 1948).

한편, 만약 픽셀 x가 거의 불규칙성이 없는 규칙 영역 χ에 위치한다면, x는 주변의 규칙 영역 χ에 의해 거의 정확하게 예측될 수 있다. 즉, 정보 이론의 관점에서, 만약 픽셀 x가 주변 영역의 픽셀들 χ와 높게 관련되어 있다면, 상호 정보량 I(x;χ)는 대략적으로 H(x)로 근사화할 수 있다. 반면, 픽셀 x가 불확실성을 내포하고 있어, 주변 영역의 픽셀들 χ과 연관되지 않거나 연관성이 적다면, 상호 정보량 I(x;χ)는 0으로 근사화할 수 있다. On the other hand, if the pixel x is located in the rule region χ with almost no irregularity, x can be predicted almost accurately by the surrounding rule region χ. That is, from the information theory point of view, if the pixel x is highly related to the pixels χ in the surrounding area, the mutual information amount I (x; χ) can be approximated to approximately H (x). On the other hand, if the pixel x contains uncertainty and is not associated with or less related to the pixels χ in the surrounding area, the mutual information amount I (x; χ) may be approximated to zero.

상기 수학식 3 내지 5에 의하면, 주변 픽셀들 χ에 대한 픽셀 x의 조건부 확률(p(x/χ))을 최대화하는 것은 상호 정보량 I(x;χ)를 최대화하는 것으로 귀결될 수 있다.According to Equations 3 to 5, maximizing the conditional probability p (x / χ) of the pixel x with respect to the surrounding pixels χ may result in maximizing the mutual information amount I (x; χ).

χ_1,k를 픽셀 x₁부터 x_k를 지시하는 것으로 정의하면, 상호 정보량 I(x;χ)는 다음의 수학식 6와 같이 표현될 수 있다.If χ _{1, k} is defined as indicating pixels x ₁ to x _k , the mutual information amount I (x; χ) may be expressed as in Equation 6 below.

여기서, x_k는 주변 픽셀들 중에서 k번째 이웃 픽셀을 의미할 수 있고, I(x;x_k)는 픽셀 x와 이웃 픽셀 x_k 사이의 상호 정보량을 의미할 수 있다.Here, x _k may mean a k-th neighboring pixel among the neighboring pixels, and I (x; x _k ) may mean a mutual information amount between the pixel x and the neighboring pixel x _k .

상기 수학식 6에서, 후단부분(

)은 이웃 픽셀들의 의존성과 관련된 상호 정보량을 표현한 것으로 이해될 수 있다. 따라서, 수학식 6의 후단부분은 전단부분(

)보다 훨씬 더 작기 때문에, 전단 부분에 의해 상호 정보량 I(x;χ)가 결정될 수 있다.In Equation 6, the rear end (

) Can be understood as representing the amount of mutual information related to the dependence of neighboring pixels. Therefore, the rear end of Equation 6 is the front end (

Since it is much smaller than), the mutual information amount I (x; χ) can be determined by the front end portion.

베이시안 이론의 관점에서, 인간의 인식 메커니즘은 상호 정보량 I(x;χ)을 최대화하기 때문에, 인간의 인식 과정을 모방하려면, 상호 정보량을 최대화하는 것이 중요할 수 있다. 따라서, 주변 픽셀과 그들의 상호 정보량을 이용하여 특정한 픽셀값을 예측하는 예측 모델을 제안할 수 있다.In terms of Bayesian theory, since the human cognitive mechanism maximizes the mutual information amount I (x; χ), it may be important to maximize the mutual information amount to mimic the human cognitive process. Therefore, it is possible to propose a prediction model for predicting a specific pixel value using the surrounding pixels and their mutual information amount.

상기 수학식 6에서, 전단 부분이 상호 정보량을 최대화하는 가장 중요한 역할을 하므로, 전단 부분을 최대화하는 것이 중요할 수 있다. In Equation 6, since the front end portion plays the most important role of maximizing the amount of mutual information, it may be important to maximize the front end portion.

현재 픽셀과 주변의 이웃한 픽셀 각각(xk) 사이의 상호 정보량을 오토리그레시브 계수(autoregressive coefficient)로 취한다면, AR model(autoregressive model)에 기반한, 입력 영상(F)에 대한 예측 영상(F', 20)은 다음과 같은 수학식 7에 의해 도출될 수 있다.If the amount of mutual information between the current pixel and each neighboring pixel (xk) is taken as an autoregressive coefficient, the prediction image F 'for the input image F based on an AR model (autoregressive model) , 20) can be derived by the following equation (7).

상기 수학식 7에서, x'는 예측 영상 또는 프레임(F')에 속한 각 픽셀값을 의미할 수 있으며, Ci는 상호 정보량으로 표현된 오토리그레시브 계수이며, xi는 예측하려는 픽셀 주변 픽셀들(χ) 중 하나이며, ε은 백색 잡음(white noise)를 의미할 수 있다.In Equation 7, x 'may mean each pixel value belonging to the prediction image or the frame F ′, Ci is an auto-regressive coefficient expressed as a mutual information amount, and xi is pixels around pixels to be predicted ( χ), and ε may mean white noise.

즉, 입력 영상(F, 10)에 대한 예측 영상(F', 20)은 상기 수학식 7에 따른 예측 픽셀값(x')으로 구성될 수 있다.That is, the prediction images F 'and 20 for the input images F and 10 may be configured as prediction pixel values x' according to Equation 7.

한편, 예측 영상(F', 20)은 주변 픽셀들을 이용하여 예측되었고, 규칙적인 영역일수록 주변 픽셀들과의 상호 관련도가 높은 특성을 고려할 때 입력 영상(10)의 불규칙적 성분 또는 영역은 예측 영상(20)에 잘 반영되지 않는 반면, 규칙적 성분 또는 영역은 예측 영상(20)에 잘 반영될 수 있다.On the other hand, the prediction image F ', 20 is predicted using the neighboring pixels, and considering the characteristic that the regular region is more correlated with the neighboring pixels, the irregular component or the region of the input image 10 is the predicted image. While not reflected well at 20, the regular components or regions may be well reflected at the prediction image 20.

따라서, 예측 영상(20)은 입력 영상(10)의 규칙적 성분으로 이해할 수 있으므로, 입력 영상(10)에서 예측 영상(20)을 뺀 차분으로 구성되는 잔차 영상(30)은 불규칙적 성분일 수 있다. 이와 같이 입력 영상(10)에서 규칙적 성분과 불규칙적 성분을 도출해낸 것은 이하에서 인간의 시각적 특성에 기반한 규칙성을 판단하는 기초 자료로 활용될 수 있다.Therefore, since the prediction image 20 may be understood as a regular component of the input image 10, the residual image 30 that is formed by subtracting the prediction image 20 from the input image 10 may be an irregular component. The derivation of regular and irregular components from the input image 10 may be used as basic data for determining regularity based on visual characteristics of humans.

도 5는 본 발명의 일 실시예에 따른 FEJND를 도출하는 방법에 대한 흐름도이다.5 is a flowchart illustrating a method of deriving FEJND according to an embodiment of the present invention.

도 5를 참조하면, FEJND를 도출하는 과정을 상세히 설명할 수 있다.Referring to FIG. 5, a process of deriving FEJND may be described in detail.

JND(Just Noticeable Difference)는 두 자극 사이의 차이를 식별할 수 있는 임계 강도 차이로 정의할 수 있다. 여기서, 인간의 시각 특성은 앞에서 설명한 바와 같이 규칙적 영역에 대해서는 민감도가 높고, 불규칙적 영역에 대해서는 민감도가 낮다. 따라서, 규칙적 영역에 대한 JND는 작은 값을 가질 수 있고, 불규칙적 영역에 대한 JND는 높은 값을 가질 수 있다.Just Noticeable Difference (JND) can be defined as the threshold intensity difference that can identify the difference between two stimuli. As described above, the human visual characteristics have high sensitivity for regular regions and low sensitivity for irregular regions. Thus, the JND for the regular region may have a small value, and the JND for the irregular region may have a high value.

여기서, JND에 대해서는 C.Chou and K.Liu, "Colour image compression based on the measure of just noticeable colour difference", IET Image Processing, vol. 2, pp. 304-322, 2008을 참조하여 상세하게 이해할 수 있으므로 추가적인 설명은 생략한다.J. Chou and K. Liu, "Colour image compression based on the measure of just noticeable color difference", IET Image Processing, vol. 2, pp. 304-322, 2008 can be understood in detail as a detailed description thereof will be omitted.

결론적으로는, 규칙적 영역과 불규칙적 영역 각각에 대한 JND 값을 도출하고, 도출된 각각의 JND 값을 결합함으로써, 해당 영상 또는 프레임 내의 일정 영역이나 블록에 대한 규칙성 여부를 판단할 수 있는데, 그 과정은 다음과 같다.In conclusion, by deriving the JND values for each of the regular and irregular regions and combining the derived JND values, it is possible to determine the regularity of a certain region or block in the image or frame. Is as follows.

먼저, FEJND를 도출하고자 하는 입력 영상(F)을 획득할 수 있다(S100). 이때, 입력 영상은 일시적 또는 비 일시적인 메모리 또는 저장장치에 저장되어 있거나, 통신 모듈을 통하여 다른 기기 또는 서버로부터 수신될 수도 있다. First, an input image F for deriving FEJND may be obtained (S100). In this case, the input image may be stored in a temporary or non-transitory memory or storage device or may be received from another device or server through a communication module.

여기서, 입력 영상은 설명의 편의를 위하여 하나의 프레임으로 구성된 이미지(image)를 기준으로 설명하나, 수개의 시간상으로 연속된 프레임으로 구성되는 영상, 하나의 프레임 내의 일부 영역을 구성하는 픽셀 블록을 모두 포함하는 용어로 이해되어야 한다.In this case, the input image is described based on an image composed of one frame for convenience of description, but includes an image composed of several consecutive frames in time and pixel blocks constituting a partial region in one frame. It is to be understood as including terms.

다음으로, 입력 영상(F)에서 규칙 영역과 불규칙 영역으로 분리할 수 있다(S110). 여기서, 규칙 영역 및 불규칙 영역은 도 4에서 설명한 예측 영상을 도출하는 과정과 동일한 방법으로 도출할 수 있으므로, 중복 설명은 생략한다.Next, the input image F may be divided into a rule region and an irregular region (S110). Here, since the rule region and the irregular region may be derived in the same manner as the process of deriving the predictive image described with reference to FIG. 4, redundant description thereof will be omitted.

다음으로, 규칙 영역에 대한 임계값을 결정(S120)하고 불규칙 영역에 대한 임계값을 결정(S130)할 수 있다.Next, the threshold value for the rule region may be determined (S120) and the threshold value for the irregular region may be determined (S130).

여기서, 규칙 영역에 대한 임계값을 결정(S120)하는 과정은 비선형 가감성 모델(non-linear additional model for masking, NAMM) 과정으로도 호칭할 수 있는데, 그 상세한 과정은 다음과 같다.Here, the process of determining the threshold value for the rule region (S120) may also be referred to as a non-linear additional model (masking, NAMM) process, the detailed process is as follows.

먼저, 비선형 가감설 모델 과정은 규칙 영역(F')의 픽셀 x에 대한 배경 휘도(B(x))를 수정하는 휘도 적응 과정을 포함할 수 있는데, 예를 들면 다음의 수학식 8과 같이 적용될 수 있다.First, the nonlinear additive hypothesis model process may include a luminance adaptation process for modifying the background luminance B (x) for the pixel x of the rule region F ', for example, as shown in Equation 8 below. Can be.

여기서, LA(x)는 픽셀 x의 휘도값이 수정된 결과값이며, B(x)는 픽셀 x에 대한 배경 휘도로서, 예를 들면, 어느 이미지 영역에 대한 평균 휘도값으로 정의할 수 있다. 상세하게는, 여기서의 이미지 영역은 픽셀 x의 주변 일정범위의 블록 또는 입력 영상(또는 프레임)의 평균 휘도값일 수 있다.Here, LA (x) is a result of the luminance value of the pixel x being modified, and B (x) is a background luminance of the pixel x, and may be defined as, for example, an average luminance value of a certain image area. In detail, the image region may be an average luminance value of a block or an input image (or frame) in a predetermined range around the pixel x.

또한, 비선형 가감설 모델 과정은 공간적 마스킹 과정(spatial masking)을 포함할 수 있는데, 공간적 마스킹 과정은 다음의 수학식 9와 같이 수행될 수 있다.In addition, the nonlinear additive hypothesis model process may include a spatial masking process, and the spatial masking process may be performed as in Equation 9 below.

여기서, SM(x)는 픽셀 x에 대하여 공간적 마스킹 과정이 수행된 결과값이고, G(x)는 픽셀 x의 주변 5×5 영역에 대한 최대 에지 크기로서, 예를 들면, 주변 영역에 대한 필터링을 수행하여, 가장 큰 그레디언트(gradient)를 갖는 값으로 정의할 수 있다.Here, SM (x) is a result of performing a spatial masking process on the pixel x, and G (x) is a maximum edge size for the peripheral 5x5 region of the pixel x, for example, filtering on the peripheral region. Can be defined as the value with the largest gradient.

다음으로, 규칙 영역의 각 픽셀 x에 대한 임계값JNDp(x)는 다음의 수학식 10과 같이 도출될 수 있다.Next, the threshold value JNDp (x) for each pixel x of the rule region may be derived as in Equation 10 below.

여기서, C^gr은 휘도 적응 과정과 공간적 마스킹 과정 사이의 중복성을 감쇠시키기 위한 이득 감쇠 파라미터로서 예를 들면 0.3으로 설정할 수 있다.Here, C ^gr may be set to, for example, 0.3 as a gain attenuation parameter for attenuating redundancy between the luminance adaptation process and the spatial masking process.

한편, 불규칙 영역(D)에 대한 임계값 JND_d를 결정하는 과정(S130)은 다음과 같다.On the other hand, the process of determining the threshold value JND _d for the irregular area (D) (S130) is as follows.

이때, 불규칙 영역은 앞의 도 4에서 설명한 바와 같이 입력 영상(F)과 예측 영상(F')의 차분값으로 도출할 수 있다. In this case, the irregular region may be derived as a difference value between the input image F and the prediction image F 'as described above with reference to FIG. 4.

다음으로, 불규칙 영역에 대한 임계값은 다음의 수학식 11과 같이 도출할 수 있다.Next, the threshold value for the irregular region may be derived as in Equation 11 below.

여기서, D(x)는 불규칙 영역(D)의 각 픽셀 x에 대한 픽셀 값이며, α는 불규칙적으로 적용될 수 있는 파라미터로서, 이미지 종류나 불규칙 정도에 따라 달리 설정할 수 있는데, 예를 들면, 1.125로 설정할 수 있다.Here, D (x) is a pixel value for each pixel x of the irregular area (D), α is a parameter that can be applied irregularly, can be set differently depending on the image type or degree of irregularity, for example, 1.125 Can be set.

다음으로, 규칙 영역에 대한 임계값과 불규칙적 영에 대한 임계값을 결합하여 도출되는 최종 FEJND(Free Energy Principle Based Just Noticeable Difference)는 다음의 수학식 12과 같이 도출할 수 있다.Next, the final Free Energy Principle Based Just Noticeable Difference (FEJND) derived by combining the threshold for the rule region and the threshold for the irregular zero may be derived as in Equation 12 below.

여기서, 픽셀 x에 대하여 도출된 FEJND(x)는 인간의 시각적 특성을 반영한 것일 수 있다. 따라서, 규칙적 영역에 대해서는 민감하게 인식하는 인간의 시각 특성상, FEJND가 작은 값을 가지고, 불규칙적 영역에 대해서는 FEJND가 큰 값을 가질 수 있다.Here, the FEJND (x) derived for the pixel x may reflect human visual characteristics. Therefore, FEJND may have a small value and FEJND may have a large value for irregular areas due to human visual characteristics sensitive to regular areas.

상기 특성을 이용하여 어느 하나의 프레임 내에 있는 블록이 해당 프레임 영상에서 규칙적인 부분인지 판단할 수 있는데, 예를 들면, 프레임 내에 있는 블록의 각 픽셀에 대한 평균 FEJND가 프레임 전체 픽셀에 대한 평균 FEJND보다 크다면, 해당 블록은 그 프레임 내에서 불규칙적인 블록으로 판단할 수 있다.The characteristic may be used to determine whether a block in one frame is a regular part of the frame image. For example, an average FEJND for each pixel of a block in a frame is greater than an average FEJND for all pixels of the frame. If large, the block may be determined to be an irregular block in the frame.

또한, 프레임 내에 있는 블록의 각 픽셀에 대한 평균 FEJND가 프레임 전체 픽셀에 대한 평균 FEJND보다 작다면, 해당 블록은 그 프레임 내에서 규칙적인 블록으로 판단할 수 있다.In addition, if the average FEJND for each pixel of the block in the frame is smaller than the average FEJND for the entire pixel of the frame, the block may be determined to be a regular block in the frame.

이와 같이, 특정 블록이 규칙적 영역인지 여부를 판단하는 과정을 기초로 하여 보간 프레임을 생성하기 위한 움직임 예측 과정에서 움직임 예측의 효율을 향상시킬 수 있다. 구체적으로, 특정 블록이 해당 프레임 내에서 규칙적 영역인지 여부에 따라 움직임 예측 과정내의 블록 매칭시 블록의 크기를 적응적으로 결정함으로써 움직임 예측의 효율을 향상시킬 수 있다. 이하에서는 이에 관한 상세 과정을 설명한다. As such, the efficiency of motion prediction may be improved in the motion prediction process for generating the interpolated frame based on the process of determining whether a specific block is a regular region. Specifically, the efficiency of motion prediction may be improved by adaptively determining the size of a block when matching a block in the motion prediction process according to whether a specific block is a regular region within a corresponding frame. Hereinafter, a detailed process thereof will be described.

도 6은 본 발명의 일 실시예에 따른 보간 프레임을 생성하기 위한 움직임 예측 방법에 대한 흐름도이다.6 is a flowchart illustrating a motion prediction method for generating an interpolation frame according to an embodiment of the present invention.

도 6을 참조하면, 연속된 복수의 프레임 중에서 시간상으로 인접한 두 개의 프레임 사이에 보간 프레임을 생성하기 위한 움직임 예측 방법은, 복수의 프레임 중에서 선정된 두 개의 프레임 내에 각각 속하고 미리 설정된 크기를 갖는 제1 블록과 제2 블록의 규칙성을 판단하는 단계(S100), 제1 블록과 제2 블록의 규칙성이 일치하는지 결정하는 단계(S200) 및 규칙성이 일치하면, 제1 블록과 제2 블록 상호간의 유사도를 판단하는 단계(S220)를 포함할 수 있다.Referring to FIG. 6, a motion prediction method for generating an interpolation frame between two adjacent frames in time in a plurality of consecutive frames includes a first size belonging to two frames selected from among a plurality of frames and having a preset size. Determining the regularity of the first block and the second block (S100), determining whether the regularity of the first block and the second block (S200) and if the regularity is matched, the first block and the second block It may include the step of determining the similarity between each other (S220).

여기서, 제1 블록과 제2 블록 상호간의 유사도를 판단하는 단계(S220)는, 제1 블록과 제2 블록의 규칙성이 규칙적인 것으로 판단되었으면, 제1 블록과 제2 블록의 규칙성이 불규칙적 것으로 판단된 경우보다 미리 설정된 크기를 더 크게 설정할 수 있다. 예를 들어, 제1 블록과 제2 블록의 규칙성이 규칙적인 것으로 판단되었다면, 미리 설정된 크기를 16×16으로 하여 유사도를 판단할 수 있고, 제1 블록과 제2 블록의 규칙성이 불규칙적인 것으로 판단되었으면, 미리 설정된 크기를 8×8로 설정하여 유사도를 판단할 수 있다.Here, in the step S220 of determining similarity between the first block and the second block, if it is determined that the regularity of the first block and the second block is regular, the regularity of the first block and the second block is irregular. The preset size may be set larger than when it is determined that it is determined. For example, if it is determined that the regularity of the first block and the second block is regular, the similarity may be determined by setting the preset size to 16 × 16, and the regularity of the first block and the second block is irregular. If it is determined that the similarity can be determined by setting the preset size to 8 × 8.

또한, 제1 블록과 제2 블록의 규칙성이 일치하지 않으면, 제1 블록과 제2 블록의 유사도 판단을 통해 도출되는 움직임 벡터를 수정함으로써, 움직임 예측의 효율을 향상시킬 수도 있다. 예를 들어, 규칙성이 불일치하면, 주변 벡터들의 평균값으로 움직임 벡터를 수정할 수 있다.In addition, if the regularity of the first block and the second block does not match, the efficiency of motion prediction may be improved by modifying the motion vector derived through the similarity determination of the first block and the second block. For example, if the regularity is inconsistent, the motion vector can be corrected with the average of the surrounding vectors.

여기서, 제1 블록과 제2 블록의 규칙성을 판단하는 단계(S200)는, 제1 블록이 속하는 프레임의 FEJND(Free-Energy Principle Just Noticeable Difference)와 제1 블록의 FEJND를 비교하여 제1 블록의 규칙성을 판단하고, 제2 블록이 속하는 프레임의 FEJND와 제2 블록의 FEJND를 비교하여 제2 블록의 규칙성을 판단할 수 있다.In operation S200, the regularity of the first block and the second block may be determined by comparing a free-energy principle just noticeable difference (FEJND) of the frame to which the first block belongs to the FEJND of the first block. The regularity of the second block may be determined by comparing the FEJND of the frame to which the second block belongs and the FEJND of the second block.

여기서, 제1 블록과 제2 블록의 규칙성을 판단하는 단계(S200)는, 제1 블록의 FEJND 가 제1 블록이 속하는 프레임의 FEJND보다 크면, 제1 블록의 규칙성은 불규칙한 것으로 판단하는 단계를 포함할 수 있다.Here, in the determining of the regularity of the first block and the second block (S200), if the FEJND of the first block is greater than the FEJND of the frame to which the first block belongs, determining the regularity of the first block is irregular. It may include.

예를 들면, 제1 블록이 16×16의 블록 크기를 가진다면, 제1 블록의 FEJND는 다음의 수학식 13과 같이 산출할 수 있다.For example, if the first block has a block size of 16 × 16, FEJND of the first block may be calculated as in Equation 13 below.

여기서, FEJND_MB는 제1 블록의 FEJND값을 의미할 수 있고, FEJND(x,y)는 제1 블록내에 포함된 각 픽셀값을 의미할 수 있다.Here, FEJND _MB may mean the FEJND value of the first block, and FEJND (x, y) may mean each pixel value included in the first block.

여기서, 제1 블록이 속하는 프레임의 FEJND는, 제1 블록이 속하는 프레임에 포함된 각 픽셀의 FEJND값의 평균값으로 산출될 수 있다.Here, the FEJND of the frame to which the first block belongs may be calculated as an average value of the FEJND values of each pixel included in the frame to which the first block belongs.

예를 들어, 제1 블록이 속하는 프레임이 M×N의 해상도를 갖는 프레임일 경우, 제1 블록이 속하는 프레임의 FEJND는 다음의 수학식 14와 같이 산출할 수 있다.For example, when the frame to which the first block belongs is a frame having a resolution of M × N, FEJND of the frame to which the first block belongs may be calculated as in Equation 14 below.

여기서, FEJND_frame는 제1 블록이 속하는 프레임의 FEJND이며, FEJND(x,y)는 제1 블록이 속하는 프레임 내의 각 픽셀값을 지시할 수 있다.Here, the FEJND _frame may be FEJND of a _frame to which the first block belongs, and FEJND (x, y) may indicate each pixel value in a frame to which the first block belongs.

여기서, 규칙성 임계값과 불규칙성 임계값을 도출하는 과정은 도 5에 따른 설명을 참조할 수 있다.Here, the process of deriving the regularity threshold and the irregularity threshold may refer to the description of FIG. 5.

여기서, 제1 블록과 제2 블록의 규칙성이 일치하지 않으면, 미리 설정된 크기를 더 작은 크기로 재설정하는 단계(S230)를 더 포함할 수 있다.Here, if the regularity of the first block and the second block does not match, the method may further include resetting the preset size to a smaller size (S230).

예를 들어, 블록 매칭이 이루어지는 두 블록 상호간에 규칙성 여부가 상이하다면, 두 블록은 유사성이 있는 부분이 더 작은 부분에서만 존재할 수 있다. 따라서, 블록 매칭되는 두 블록의 규칙성이 상이할 때 적응적으로 블록의 크기를 작게 재설정함으로써 움직임 예측의 효율성을 증가시킬 수 있다.For example, if regularity is different between two blocks where block matching is performed, two blocks may exist only in a portion where similarity is smaller. Therefore, when the regularity of the two blocks matching blocks are different, it is possible to increase the efficiency of motion prediction by adaptively resetting the size of the blocks.

여기서, 미리 설정된 크기를 더 작은 크기로 재설정하는 단계(S230) 이후에 분기 방법 중 하나로서, 재설정된 크기를 갖고 제1 블록에 포함되는 제3 블록 및 재설정된 크기를 갖고 제2 블록에 포함되는 제4 블록 상호간의 유사도를 판단하는 단계(S240)를 더 포함할 수 있다. Here, as a branching method after the step (S230) of resetting the preset size to a smaller size, the third block having the reset size and included in the first block and the reset size are included in the second block. The method may further include determining a similarity between the fourth blocks (S240).

즉, 미리 설정된 크기를 더 작은 크기로 재설정하는 단계(S230) 이후에 분기 방법 중 하나로서, 제1 블록과 제2 블록보다 더 작은 크기를 갖는 하위 블록 상호간에 유사도를 판단하여 블록 매칭을 수행할 수 있다.That is, after resetting the preset size to a smaller size (S230), as one of the branching methods, block matching may be performed by determining similarity between lower blocks having a smaller size than the first block and the second block. Can be.

여기서, 미리 설정된 크기를 더 작은 크기로 재설정하는 단계(S230) 이후에 다른 분기 방법 중 하나로서, 미리 설정된 크기 대신에 재설정된 크기를 기초로, 규칙성을 판단하는 단계를 재수행하는 단계를 더 포함할 수 있다.Here, after the step of resetting the preset size to a smaller size (S230) as one of the other branching method, further comprising the step of re-determining the regularity based on the reset size instead of the preset size can do.

즉, 더 작은 크기로 재설정이 이루어진 다음 하위 블록들에 대해서 다시 규칙성 판단 및 일치 여부를 판단함으로써, 계속해서 작은 크기로 재설정이 반복 수행될 수 있고, 이러한 과정을 거쳐 규칙성이 일치하는 크기가 도출되었을 때, 유사도 판단이 이루어짐으로써, 최적의 블록 매칭이 이루어질 수도 있다. That is, by resetting to a smaller size and then judging regularity and matching again for the lower blocks, the reset can be repeatedly performed to a smaller size, and through this process, When derived, a similarity determination may be made, whereby optimal block matching may be made.

여기서, 제1 블록과 제2 블록 상호간의 유사도를 판단하는 단계(S220)는 제1 블록과 제2 블록 상호간에 SBAD를 최소화하는 움직임 벡터를 찾는 단계를 포함할 수 있다. 여기서, SBAD는 도 1 내지 3에서의 수정된 SBAD로 대체될 수 있다.Here, the determining of the similarity between the first block and the second block (S220) may include finding a motion vector for minimizing SBAD between the first block and the second block. Here, SBAD may be replaced with a modified SBAD in FIGS. 1 to 3.

여기서, 제1 블록과 제2 블록 상호간의 유사도를 판단하는 단계(S220) 이후에는 도출된 움직임 벡터 중에서 이상 벡터를 평활화(smoothing)하는 단계가 수행될 수 있고, 움직임 벡터를 도출하여 움직임 예측 과정이 모두 끝난 후에는 보간 프레임 생성을 위한 움직임 보상 과정이 수행될 수 있다.Here, after determining the similarity between the first block and the second block (S220), a step of smoothing the abnormal vector among the derived motion vectors may be performed, and the motion prediction process may be performed by deriving the motion vector. After all, the motion compensation process for generating the interpolation frame may be performed.

여기서, 움직 벡터 중에서 이상 벡터를 평활화하는 단계는, 제1 블록과 제2 블록의 유사도 판단을 통해 도출되는 움직임 벡터를 수정하는 단계로서, 예를 들어, 제1 블록과 제2 블록의 규칙성이 불일치하면, 주변 벡터들의 평균값으로 움직임 벡터를 수정할 수 있다.Here, the smoothing of the abnormal vector among the motion vectors is a step of correcting a motion vector derived by determining similarity between the first block and the second block. For example, the regularity of the first block and the second block may be adjusted. If there is a mismatch, the motion vector can be corrected with the average of the surrounding vectors.

이러한 이후 과정에 대해서는 본 발명이 속하는 기술분야에서 통상의 기술자가 용이하게 이해 및 적용할 수 있으므로, 이에 대한 구체적 설명은 생략한다.Since this process can be easily understood and applied by those skilled in the art to which the present invention pertains, a detailed description thereof will be omitted.

도 7은 본 발명의 일 실시예에 따른 보간 프레임을 생성하기 위한 움직임 예측 장치에 대한 구성도이다.7 is a block diagram of a motion prediction apparatus for generating an interpolation frame according to an embodiment of the present invention.

도 7을 참조하면, 연속된 복수의 프레임 중에서 시간상으로 인접한 두 개의 프레임 사이에 보간 프레임을 생성하기 위한 움직임 예측 장치(100)는, 적어도 하나의 프로세서(processor, 110) 및 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 120)를 포함할 수 있다.Referring to FIG. 7, the motion prediction apparatus 100 for generating an interpolation frame between two adjacent frames in time among a plurality of consecutive frames may include at least one processor 110 and at least one processor. It may include a memory 120 that stores instructions for instructing to perform one step.

또한, 움직임 예측 장치(100)는 보간 프레임을 생성하는 과정에서 필요한 입력 영상 또는 중간 처리과정에서 도출되는 예측 영상 또는 프레임 내 특정 블록을 저장하기 위한 저장소(storage, 140)를 더 포함할 수 있다.In addition, the motion prediction apparatus 100 may further include a storage 140 for storing an input image required in the process of generating an interpolation frame or a prediction image derived from an intermediate process or a specific block in the frame.

또한, 움직임 예측 장치(100)는 다른 기기 또는 장치와 통신하여 각종 영상이나 입출력 명령을 송수신하는 통신 모듈(130)을 더 포함할 수 있다.In addition, the motion estimation apparatus 100 may further include a communication module 130 that communicates with other devices or devices to transmit and receive various images or input / output commands.

여기서, 움직임 예측 장치(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.Here, examples of the motion estimation apparatus 100 include a desktop computer, a laptop computer, a notebook, a smartphone, a tablet PC, and a mobile phone that can communicate. mobile phone, smart watch, smart glass, e-book reader, portable multimedia player (PMP), handheld game console, navigation device, digital camera, DMB (digital) multimedia broadcasting player, digital audio recorder, digital audio player, digital video recorder, digital video player, personal digital assistant, and the like. .

여기서, 적어도 하나의 단계는, 복수의 프레임 중에서 선정된 두 개의 프레임 내에 각각 속하고 미리 설정된 크기를 갖는 제1 블록과 제2 블록의 규칙성을 판단하는 단계, 제1 블록과 제2 블록의 규칙성이 일치하는지 결정하는 단계 및 규칙성이 일치하면, 제1 블록과 제2 블록 상호간의 유사도를 판단하는 단계를 포함할 수 있다.Here, the at least one step may include determining the regularity of the first block and the second block each belonging to two frames selected from the plurality of frames, each having a predetermined size, and the rules of the first block and the second block. Determining whether the sexes match and if the regularity matches, determining the similarity between the first block and the second block.

여기서, 명령어들은 프로세서(110)가, 제1 블록과 제2 블록의 규칙성이 일치하지 않으면, 미리 설정된 크기를 더 작은 크기로 재설정하는 단계를 더 수행하도록 지시할 수 있다.Here, the instructions may instruct the processor 110 to further perform resetting the preset size to a smaller size if the regularity of the first block and the second block does not match.

여기서, 명령어들은 프로세서(110)가, 재설정된 크기를 갖고 제1 블록에 포함되는 제3 블록 및 재설정된 크기를 갖고 제2 블록에 포함되는 제4 블록 상호간의 유사도를 판단하는 단계를 더 수행하도록 지시할 수 있다.Here, the instructions may further cause the processor 110 to determine the similarity between the third block having the reset size and included in the first block and the fourth block having the reset size and included in the second block. Can be directed.

여기서, 명령어들은 프로세서(110)가, 미리 설정된 크기 대신에 재설정된 크기를 기초로, 규칙성을 판단하는 단계를 재수행하는 단계를 더 수행도록 지시할 수 있다.Here, the instructions may instruct the processor 110 to further perform the step of re-determining the regularity based on the reset size instead of the preset size.

도 8은 본 발명의 일 실시예에 따른 보간 프레임을 생성하기 위한 움직임 예측에 대한 결과를 나타내는 제1 예시도이다. 도 9는 본 발명의 일 실시예에 따른 보간 프레임을 생성하기 위한 움직임 예측에 대한 결과를 나타내는 제2 예시도이다.8 is a first exemplary diagram illustrating a result of motion prediction for generating an interpolated frame according to an embodiment of the present invention. 9 is a second exemplary view illustrating a result of motion prediction for generating an interpolated frame according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 움직임 예측 방법에 따른 화질을 비교하기 위하여 CIF 영상과 HD, Full HD 영상을 사용하였다. 또한, 불규칙 영역에 적용되는 파라미터로서 수학식 9에 제시된 α는 1.125로 설정하였으며, 이득 감쇠 파라미터 C^gr은 0.3 으로 설정하였다.In order to compare the image quality according to the motion prediction method according to an embodiment of the present invention, a CIF image, HD, and Full HD image were used. In addition, α shown in Equation 9 is set to 1.125 and the gain attenuation parameter C ^gr is set to 0.3 as a parameter applied to an irregular region.

또한, CIF 영상은 매칭되는 블록의 규칙성이 규칙적인 경우, 16×16의 크기를 갖도록 설정하고, 불규칙적인 경우, 8×8의 크기를 갖도록 하였으며, HD와 Full HD 영상은 규칙적인 경우 32×32의 크기로, 불규칙적인 경우 16×16의 크기를 갖도록 설정하였다. 또한, 프레임에서 영역 특성이 일치하지 않을 때 주변 벡터들의 평균값을 사용하여 움직임 벡터를 수정하는 과정을 거쳤다.In addition, the CIF image is set to have a size of 16 × 16 when the regularity of matching blocks is regular, and has a size of 8 × 8 when irregular, and 32 × when HD and Full HD images are regular. A size of 32 was set to have a size of 16 × 16 if irregular. In addition, when the region characteristics of the frame do not match, the motion vector is corrected using the average value of the surrounding vectors.

상기 표1은 각 영상에 대하여, 다중 프레임 기반 움직임 예측과 본 발명의 일 실시예에 따른 움직임 예측 방법(제안하는 알고리듬)을 비교한 표이다. 본 발명의 일 실시예에 따른 움직임 예측 방법은 CIF 영상은 147 프레임 기준 한 프레임을 처리하는 속도가 0.3초 였으며, HD 영상의 경우 297 프레임 기준 2.6초, Full HD 영상은 225 프레임 기준 6.3초 소요되었다. 따라서, 본 발명의 일 실시예에 따른 움직임 예측 방법이 종래의 방법보다 하나의 보간 프레임을 생성할 때 1초 이상 빨랐음을 확인할 수 있었다.Table 1 is a table comparing multi-frame based motion prediction and motion prediction method (suggesting algorithm) according to an embodiment of the present invention for each image. In the motion prediction method according to an embodiment of the present invention, the CIF image processing speed was 0.3 seconds for one frame based on 147 frames, 2.6 seconds for 297 frames for a HD image, and 6.3 seconds for 225 frames for a Full HD image. . Therefore, it was confirmed that the motion prediction method according to an embodiment of the present invention was faster by 1 second or more when generating one interpolation frame than the conventional method.

표 2는 기존의 다중 프레임 기반 움직임 예측 방법과, 본 발명의 일 실시예에 따른 움직임 예측 방법(제안하는 알고리듬)의 PSNR(peak signal to noise ratio)를 비교한 표이다. 여기서 기존의 다중 프레임 기반 움직임 예측에 사용되는 프레임 가중치는 0.2로 설정하였다. PSNR 비교 결과를 통해 본 발명의 일 실시예에 따른 움직임 예측 방법의 PSNR이 더 높은 값을 갖는 것을 확인할 수 있었다.Table 2 is a table comparing the PSNR (peak signal to noise ratio) of the conventional multi-frame based motion prediction method and the motion prediction method (proposed algorithm) according to an embodiment of the present invention. In this case, the frame weight used for the conventional multi-frame based motion prediction is set to 0.2. The PSNR comparison result confirms that the PSNR of the motion prediction method according to the embodiment of the present invention has a higher value.

또한, 도 8 및 9를 참조하면, 기존의 다중 프레임 기반의 움직임 예측 방법을 수행하여 프레임율 보간한 결과 영상들(300a~300d)과 비교하여 본 발명의 일 실시예에 따른 움직임 예측 방법을 이용하여 프레임율 보간한 결과 영상들(200a~200d)의 차이를 확인할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 움직임 예측 방법이 표시된 영역에서의 주관적 화질 비교시, 기존의 방법보다 더 나은 화질을 갖는 것이 일부 영역에서 확인될 수 있다.In addition, referring to FIGS. 8 and 9, a result of performing frame rate interpolation by performing a conventional multi-frame based motion prediction method is used as a motion prediction method according to an embodiment of the present invention compared to images 300a to 300d. As a result of the frame rate interpolation, differences between the images 200a to 200d may be confirmed. Specifically, when comparing the subjective image quality in the region in which the motion prediction method according to the embodiment of the present invention is displayed, it may be confirmed in some regions that the image quality is better than the conventional method.

여기서는 다중 프레임 기반의 움직임 예측 방법과 비교하였으나, 본 발명의 일 실시예에 따른 움직임 예측 방법은 다중 프레임 기반의 움직임 예측 뿐만 아니라, 단방향 또는 양방향 움직임 예측에도 적용될 수 있으며, 영상 부호화 또는 영상 복호화 과정에서의 화면 간 예측(inter prediction)에도 적용될 수 있다. Here, the motion prediction method is compared with a multi-frame based motion prediction method. However, the motion prediction method according to an embodiment of the present invention can be applied not only to multi-frame based motion prediction but also to unidirectional or bidirectional motion prediction. It may also be applied to inter prediction of.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the invention can be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium. Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like. The program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in computer software.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer readable media may include hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler. The hardware device described above may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다. In addition, the above-described method or apparatus may be implemented by combining all or part of the configuration or function, or may be implemented separately.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although described above with reference to a preferred embodiment of the present invention, those skilled in the art will be variously modified and changed within the scope of the invention without departing from the spirit and scope of the invention described in the claims below I can understand that you can.

Claims

In the motion prediction method for generating an interpolation frame between two adjacent frames in time among a plurality of frames,
Determining the regularity of the first block and the second block each belonging to two frames selected from the plurality of frames and having a predetermined size;
Determining whether the regularity of the first block and the second block match;
Determining similarity between the first block and the second block if the regularity matches; And
If the regularity does not match, resetting the preset size to a smaller size.

In claim 1,
Determining the regularity of the first block and the second block,
The regularity of the first block is determined by comparing the free-energy principle based just noticeable difference (FEJND) of the frame to which the first block belongs to the FEJND of the first block, and the FEJND of the frame to which the second block belongs And comparing the FEJNDs of the second block to determine the regularity of the second block.

In claim 2,
Determining the regularity of the first block and the second block,
If the FEJND of the first block is greater than the FEJND of the frame to which the first block belongs, determining the regularity of the first block is irregular.

In claim 2,
FEJND of the first block,
The motion prediction method is calculated as the average value of the FEJND value of each pixel included in the first block.

In claim 4,
The FEJND value of each pixel included in the first block is
The motion prediction method is calculated using the regularity threshold (JND _p ) and irregularity threshold (JND _d ) of each pixel included in the first block.

In claim 5,
The process of calculating the regularity threshold,
Generating a prediction block for the first block based on an autoregressive model;
Performing luminance adaptation for the prediction block; And
Performing spatial masking on the prediction block.

In claim 5,
The process of calculating the irregularity threshold value,
Generating a prediction block for the first block based on an autoregressive model;
Generating a difference block by subtracting each pixel value of the generated prediction block from each pixel value of the first block; And
Deriving an irregularity threshold for each pixel of the difference block.

delete

The method according to claim 1,
And determining the similarity between the third block having the reset size and included in the first block and the fourth block having the reset size and included in the second block.

The method according to claim 1,
And re-performing the regularity based on the reset size instead of the preset size.

A motion prediction apparatus for generating an interpolation frame between two adjacent frames in time in a plurality of consecutive frames,
At least one processor; And
A memory storing instructions instructing the at least one processor to perform at least one step,
The at least one step,
Determining the regularity of the first block and the second block each belonging to two frames selected from the plurality of frames and having a predetermined size;
Determining whether the regularity of the first block and the second block match;
Determining similarity between the first block and the second block if the regularity matches; And
If the regularity does not match, resetting the preset size to a smaller size.

In claim 11,
Determining the regularity of the first block and the second block,
The regularity of the first block is determined by comparing the free-energy principle just noticeable difference (FEJND) of the frame to which the first block belongs to the FEJND of the first block, and the FEJND of the frame to which the second block belongs is determined. And a FEJND of a second block is compared to determine the regularity of the second block.

In claim 12,
Determining the regularity of the first block and the second block,
And determining that the regularity of the first block is irregular if the FEJND of the first block is larger than the FEJND of the frame to which the first block belongs.

In claim 12,
FEJND of the first block,
The motion prediction device is calculated as the average value of the FEJND value of each pixel included in the first block.

In claim 14,
The FEJND value of each pixel included in the first block is
The motion prediction apparatus calculated using the regularity threshold value JND _p and the irregularity threshold value JND _d of each pixel included in the first block.

In claim 15,
Deriving the regularity threshold value,
Generating a prediction block for the first block based on an autoregressive model;
Performing luminance adaptation for the prediction block; And
And performing spatial masking on the prediction block.

In claim 15,
Deriving the irregularity threshold value,
Generating a prediction block for the first block based on an autoregressive model;
Generating a difference block by subtracting each pixel value of the generated prediction block from each pixel value of the first block; And
Deriving an irregularity threshold for each pixel of the difference block.

delete

The method according to claim 11,
The instructions may be generated by the processor,
And determining the similarity between the third block having a reset size and included in the first block and the fourth block having a reset size and included in the second block.

The method according to claim 11,
The instructions may be generated by the processor,
And reinitiating the step of determining the regularity based on the reset size instead of the preset size.