KR100498363B1

KR100498363B1 - Method for post-processing decoded image of mobile phone

Info

Publication number: KR100498363B1
Application number: KR10-2003-0054750A
Authority: KR
Inventors: 문기웅
Original assignee: 엘지전자 주식회사
Priority date: 2003-08-07
Filing date: 2003-08-07
Publication date: 2005-07-01
Also published as: CN1295924C; KR20050015791A; CN1581960A

Abstract

본 발명은 화상통화가 가능한 휴대폰에서 복원된 영상신호를 후처리할 때 메모리의 사용 효율을 극대화하는 기술에 관한 것이다. 이러한 본 발명은, 제1프레임의 영상신호를 제1프레임 버퍼에 저장한 후, 이를 읽어내어 제2프레임의 영상신호를 복원해서 제2프레임 버퍼에 저장하고, 다시 그 제1프레임의 영상신호를 읽어내어 후처리해서 제1프레임 버퍼에 저장하는 제1과정과; 상기 제2프레임 버퍼로부터 제2프레임의 영상신호를 읽어내어 제3프레임의 영상신호를 복원처리해서 제1프레임 버퍼에 저장한 후, 다시 그 제2프레임의 영상신호를 읽어내어 후처리해서 제2프레임 버퍼에 저장하는 제2과정과; 다음 프레임의 영상신호에 대해 상기 과정을 필요한 만큼 반복 수행하는 제3과정에 의해 달성된다.The present invention relates to a technique for maximizing the use efficiency of a memory when post-processing a reconstructed video signal in a mobile phone capable of a video call. The present invention stores the video signal of the first frame in the first frame buffer, reads it out, restores the video signal of the second frame, and stores the video signal in the second frame buffer. A first step of reading, post-processing and storing the information in a first frame buffer; Reads the video signal of the second frame from the second frame buffer, reconstructs the video signal of the third frame and stores it in the first frame buffer, and then reads the video signal of the second frame and post-processes the second signal. A second process of storing in a frame buffer; This is accomplished by a third process of repeating the process as necessary for the video signal of the next frame.

Description

Post-processing of reconstructed images on mobile phones {METHOD FOR POST-PROCESSING DECODED IMAGE OF MOBILE PHONE}

본 발명은 화상통화가 가능한 휴대폰에서 복원된 영상신호를 후처리하는 기술에 관한 것으로, 특히 복원처리된 영상신호를 엘씨디에 디스플레이하기 전에 후처리를 수행할 때 별도의 메모리를 사용하지 않고 후처리를 수행할 수 있도록 한 휴대폰의 복원영상 후처리 방법에 관한 것이다.The present invention relates to a technique for post-processing a reconstructed video signal in a mobile phone capable of a video call. In particular, the present invention relates to post-processing without using a separate memory when performing post-processing before displaying the reconstructed video signal on an LCD. The present invention relates to a post-processing method for reconstructed images of a mobile phone.

근래 들어, 휴대폰의 보급률이 급속히 증가되어 현대인의 생활 필수품으로 자리매김되고 있는 실정에 있다. 이와 같은 휴대폰은 고유의 음성통화 서비스는 물론, 각종 데이터 전송 서비스와 다양한 부가서비스를 제공하므로 기능상 멀티미디어 통신기기라 할 수 있다. In recent years, the penetration rate of mobile phones has been increasing rapidly and is becoming a necessity of modern people. Such a mobile phone can be referred to as a multimedia communication device in terms of its function as it provides not only a unique voice call service but also various data transmission services and various additional services.

최근에는 디지털 카메라를 탑재하여 원하는 피사체를 즉시 촬영할 수 있을 뿐만 아니라 촬영된 영상 파일을 저장해 두었다가 임의의 시점에서 화면으로 출력하거나 통신망을 통해 원격지로 전송하는 기술이 제안되었다.Recently, a technology for not only photographing a desired subject by using a digital camera but also storing a captured image file and outputting it to a screen at any time or transmitting it to a remote place through a communication network has been proposed.

동영상 서비스가 제공되는 휴대폰에서의 일반적인 후처리과정(Post-processing)을 도 1에 나타내었다. 즉, 비디오 복호기(1)에 의해 복원된 영상신호를 디스플레이하기 전에 좀더 양호한 화질을 제공하기 위해 포스트-필터링(Post-filtering)하거나, 영상의 크기를 사용자가 원하는 사이즈로 재조정(Resizing)하거나, 화면 표시기에 적당하도록 컬러 포맷을 변환하는 등 디코딩 후에 복원 영상신호에 대해 수행되는 모든 처리과정을 말한다. A general post-processing process in a mobile phone provided with a video service is shown in FIG. 1. That is, before displaying the image signal reconstructed by the video decoder 1, post-filtering to provide better image quality, resizing the image size to a user desired size, It refers to all the processing performed on the reconstructed video signal after decoding such as converting a color format suitable for the display.

H.263/MPEG-4와 같은 비디오 코덱은 현재 프레임을 부호화하기 위해 이전 영상과의 차이 정보를 예측 부호화하는 방식을 사용하기 때문에 부호화/복호화 시 반드시 두 개의 프레임 메모리가 필요하다. 단, 첫 번째 프레임과 같은 인터-프레임(inter-frame)은 독립적으로 부호화된다. Since video codecs such as H.263 / MPEG-4 use a method of predictively encoding difference information with a previous video in order to encode a current frame, two frame memories are required for encoding / decoding. However, inter-frames such as the first frame are encoded independently.

이때, 비디오 디코더(1)에서 복원된 영상신호는 두 개의 프레임 버퍼 중 하나에 저장되는데, 그 중에서 하나에는 과거 프레임의 영상신호가 저장되고 다른 하나에는 현재 프레임의 영상신호가 저장된다. At this time, the video signal reconstructed by the video decoder 1 is stored in one of two frame buffers, one of which stores the video signal of the previous frame and the other of which stores the video signal of the current frame.

도 2는 상기 비디오 디코더(1)에 의해 복원된 프레임이 시간 순서별로 첫 번째 프레임부터 각 프레임 버퍼에 어떻게 저장되고, 이를 후처리하였을 때 제3의 프레임 버퍼에 저장되는 것을 나타낸 것이다. FIG. 2 shows how a frame reconstructed by the video decoder 1 is stored in each frame buffer from the first frame in chronological order, and stored in a third frame buffer when it is post-processed.

제1프레임의 영상신호는 상기 비디오 디코더(1)에 의해 제1프레임 버퍼에 저장되고, 이후 이를 읽어서 후처리하여 제3프레임 버퍼에 저장한 다음 다시 이를 읽어내어 최종적으로 디스플레이한다. The video signal of the first frame is stored in the first frame buffer by the video decoder 1, and then read and post-processed, stored in the third frame buffer, and then read again and finally displayed.

그리고, 상기 제1프레임 버퍼로부터 제1프레임의 영상신호를 읽어내어 복원처리해서 제2프레임의 영상신호를 생성한 후 이를 제2프레임 버퍼에 저장한다. 이후 상기 제2프레임 버퍼로부터 제2프레임의 영상신호를 읽어내어 후처리한 다음 제3프레임 버퍼에 저장한다. The video signal of the first frame is read from the first frame buffer to be reconstructed to generate a video signal of the second frame, and then stored in the second frame buffer. Thereafter, the video signal of the second frame is read from the second frame buffer, post-processed, and stored in the third frame buffer.

이후, 연속되는 다음 프레임의 영상신호에 대해서도 상기와 같이 후처리되어 디스플레이된다.Thereafter, the video signals of subsequent frames are post-processed and displayed as described above.

이와 같이 종래 기술에 의한 휴대폰의 복원영상 후처리 방법에 있어서는 현재 영상을 위해 두 개의 프레임 버퍼를 사용하고, 후처리 결과를 저장하기 위해 별도의 프레임 버퍼를 사용하게 되므로 메모리의 사용 효율이 저하되는 결함이 있었다. As described above, in the reconstructed image post-processing method of the conventional mobile phone, two frame buffers are used for the current image, and a separate frame buffer is used to store the post-processing results. There was this.

따라서, 본 발명의 목적은 현재 프레임의 영상신호 복원을 위해 과거 프레임 영상신호의 사용이 끝나면 그 과거 프레임의 영상신호가 저장된 프레임 버퍼에 후처리 결과의 영상신호를 저장하는 방식을 취하여 후처리를 위한 별도의 프레임 버퍼를 사용하지 않는 휴대폰의 복원영상 후처리 방법을 제공함에 있다.Accordingly, an object of the present invention is to take a post-processing result of storing a video signal of a post-processing result in a frame buffer in which a video signal of a previous frame is stored to restore a video signal of a current frame. The present invention provides a post-processing method of reconstructed image of a mobile phone that does not use a separate frame buffer.

본 발명에 의한 휴대폰의 복원영상 후처리 방법은, 제1프레임의 영상신호를 제1프레임 버퍼에 저장한 후, 이를 읽어내어 제2프레임의 영상신호를 복원해서 제2프레임 버퍼에 저장하고, 그 제1프레임 버퍼로부터 제1프레임의 영상신호를 읽어내어 후처리해서 제1프레임 버퍼에 저장하는 제1과정과; 상기 제2프레임 버퍼로부터 제2프레임의 영상신호를 읽어내어 제3프레임의 영상신호를 복원처리해서 제1프레임 버퍼에 저장한 후, 그 제2프레임 버퍼로부터 제2프레임의 영상신호를 읽어내어 후처리해서 제2프레임 버퍼에 저장하는 제2과정과; 다음 프레임의 영상신호에 대해 상기 과정을 필요한 만큼 반복 수행하는 제3과정으로 이루어지는 것으로 이와 같이 이루어지는 본 발명의 복원영상 후처리 과정을 첨부한 도 1, 도 3을 참조하여 상세히 설명하면 다음과 같다.According to the present invention, a method for post-processing a reconstructed image of a mobile phone includes storing a video signal of a first frame in a first frame buffer, reading it out, reconstructing a video signal of a second frame, and storing the video signal in a second frame buffer. A first step of reading an image signal of the first frame from the first frame buffer, post-processing the video signal, and storing the image signal in the first frame buffer; Read the video signal of the second frame from the second frame buffer, reconstruct the video signal of the third frame, store it in the first frame buffer, and then read the video signal of the second frame from the second frame buffer. A second process of processing and storing the second frame buffer; Referring to FIGS. 1 and 3 attached to the reconstructed image post-processing process of the present invention, which is performed as a third process of repeatedly performing the process as necessary for the image signal of the next frame.

본 발명에서는 현재 프레임의 영상신호를 복원하기 위해 과거 프레임의 영상신호의 사용이 끝나면, 그 과거 프레임의 영상신호가 저장된 프레임 버퍼에 후처리한 결과 프레임의 영상신호를 저장하게 되므로 후처리를 위해 별도의 메모리를 사용하지 않게 된다. 도 3은 이러한 처리방법을 나타낸 것이다.In the present invention, when the video signal of the previous frame is used to restore the video signal of the current frame, the video signal of the frame is stored in the frame buffer in which the video signal of the previous frame is post-processed. Memory is not used. 3 shows such a treatment method.

즉, 제1프레임의 영상신호는 비디오 디코더(1)에 의해 제1프레임 버퍼에 저장된다. 이후, 상기 제1프레임 버퍼로부터 제1프레임의 영상신호를 읽어내어 제2프레임의 영상신호를 복원해서 제2프레임 버퍼에 저장한다. 이후, 상기 제1프레임 버퍼로부터 제1프레임의 영상신호를 읽어내어 후처리한 다음 그 결과를 제1프레임 버퍼에 저장하고, 이를 디스플레이한다. That is, the video signal of the first frame is stored in the first frame buffer by the video decoder 1. Thereafter, the video signal of the first frame is read from the first frame buffer, and the video signal of the second frame is restored and stored in the second frame buffer. Thereafter, the image signal of the first frame is read and post-processed from the first frame buffer, and the result is stored in the first frame buffer and displayed.

이후, 상기 제2프레임 버퍼로부터 제2프레임의 영상신호를 읽어내어 제3프레임의 영상신호를 복원처리해서 제1프레임 버퍼에 저장한다. 이후, 상기 제2프레임 버퍼로부터 제2프레임의 영상신호를 읽어내어 후처리한 다음 그 결과를 제2프레임 버퍼에 저장하고, 이를 디스플레이한다. Thereafter, the video signal of the second frame is read from the second frame buffer, and the video signal of the third frame is reconstructed and stored in the first frame buffer. Thereafter, the image signal of the second frame is read and post-processed from the second frame buffer, and the result is stored in the second frame buffer and displayed.

이와 마찬가지로, 상기 제1프레임 버퍼로부터 제3프레임의 영상신호를 읽어내어 제4프레임의 영상신호를 복원처리해서 제2프레임 버퍼에 저장한다. 이후, 상기 제1프레임 버퍼로부터 제3프레임의 영상신호를 읽어내어 후처리한 다음 그 결과를 제1프레임 버퍼에 저장하고, 이를 디스플레이한다. Similarly, the video signal of the third frame is read from the first frame buffer, the video signal of the fourth frame is reconstructed, and stored in the second frame buffer. Thereafter, the video signal of the third frame is read and post-processed from the first frame buffer, and the result is stored in the first frame buffer and displayed.

이후에 연속되는 각 프레임의 영상신호에 대해서도 상기와 동일한 방법으로 후처리하여 저장하게된다. Thereafter, the video signal of each successive frame is post-processed and stored in the same manner as described above.

결국, 본 발명에서는 두 개의 프레임 버퍼 즉, 제1프레임 버퍼 및 제2프레임 버퍼를 번갈아 가면서 사용하게 되므로 종래와 같이 별도의 프레임 버퍼(제3버퍼)를 필요로 하지 않는 것이 특징이다.As a result, in the present invention, since two frame buffers, that is, the first frame buffer and the second frame buffer are used alternately, a separate frame buffer (third buffer) is not required as in the related art.

그런데, 동일 프레임 버퍼상에서 한 프레임의 지연시간 차를 두고 프레임의 영상신호를 읽고 쓰기 위한 버퍼를 별도로 사용한 것이 또 다른 특징이다. 이와 같은 경우 읽는 버퍼와 쓰는 버퍼가 다른 경우에 비하여 메모리 어드레싱이 용이해지고, 이에 의해 중앙처리장치의 부하가 줄어든다. However, another feature is that separate buffers are used for reading and writing video signals of a frame with a difference in delay time of one frame on the same frame buffer. In this case, memory addressing is easier than in the case where the read buffer and the write buffer are different, thereby reducing the load on the central processing unit.

이상에서 상세히 설명한 바와 같이 본 발명은 현재 프레임 영상의 복원을 위해 과거 프레임 영상신호의 사용이 끝나면 그 과거 프레임의 영상신호가 저장된 프레임 버퍼에 후처리 결과 프레임의 영상신호를 저장하는 방식을 취하여 후처리를 위한 별도의 프레임 버퍼를 사용하지 않게 되므로 메모리의 효율이 향상되어 원가 절감에 기여할 수 있는 효과가 있다.As described in detail above, after the use of the past frame video signal for the restoration of the current frame image is completed, the present invention takes a post-processing operation by storing a post-processing result video signal in a frame buffer in which the video signal of the past frame is stored. Since a separate frame buffer is not used for the memory, the efficiency of the memory is improved, thereby contributing to the cost reduction.

도 1은 종래 기술에 의한 후처리 기능 블록도.1 is a post-processing functional block diagram according to the prior art.

도 2는 종래 휴대폰에서의 복원영상 후처리 과정의 설명도.2 is an explanatory diagram of a reconstructed image post-processing process in a conventional mobile phone.

도 3은 본 발명에 의한 휴대폰에서의 복원영상 후처리 과정의 설명도. Figure 3 is an explanatory diagram of a reconstructed image post-processing process in the mobile phone according to the present invention.

***도면의 주요 부분에 대한 부호의 설명*** *** Description of the symbols for the main parts of the drawings ***

1 : 비디오 디코더1: video decoder

Claims

After the video signal of the first frame is stored in the first frame buffer, it is read out, the video signal of the second frame is restored and stored in the second frame buffer, and the video signal of the first frame is read and post-processed. A first process of storing in a first frame buffer; Reads the video signal of the second frame from the second frame buffer, reconstructs the video signal of the third frame and stores it in the first frame buffer, and then reads the video signal of the second frame and post-processes the second signal. A second process of storing in a frame buffer; And a third process of repeating the process as necessary for the video signal of the next frame.

The method according to claim 1, further comprising the step of finally displaying the video signal of the stored frame after the post-processing.