KR20030080136A

KR20030080136A - The error concealment method when moving picture is played in telephone communication network

Info

Publication number: KR20030080136A
Application number: KR1020020018649A
Authority: KR
Inventors: 김민섭
Original assignee: 엘지전자 주식회사
Priority date: 2002-04-04
Filing date: 2002-04-04
Publication date: 2003-10-11

Abstract

PURPOSE: A method for hiding an error in reproducing moving picture in a telephone network is provided to skip video including bits with an error when video data transmitted from an adaptive layer 3 is decoded. CONSTITUTION: If a P-frame and an I-frame have no error in stream of a service data unit transmitted from an adaptive layer 3, video data is decoded to show video to a user(S11). If the P-frame or the I-frame has an error in stream of the service data unit, the video data corresponding to the frames is skipped(S21). In the case that the P-frame has the error, the P-frame is skipped until the next I-frame comes(S22). In the case that the I-frame has the error, the I-frame is skipped until the next P-frame comes, and if the I-frame has no error, the video data is decoded again to show the video to the user(S23).

Description

ERROR CONCEALMENT METHOD WHEN MOVING PICTURE IS PLAYED IN TELEPHONE COMMUNICATION NETWORK}

본 발명은 전화통신망에서 동영상 재생 시의 오류 은닉 방법에 관한 것으로, 특히 H.324 비디오 텔레포니 단말기에서 통신 채널을 통해 전송된 영상을 디코딩하였을 때 전송 오류가 패킷에 영향을 주어 영상에 열화가 생긴 경우 이를 사용자에게 보이지 않고 그 다음의 오류 없는 깨끗한 영상을 보일 수 있게 한 전화통신망에서 동영상 재생 시의 오류 은닉 방법에 관한 것이다.The present invention relates to an error concealment method when playing a video in a telecommunication network. In particular, when a transmission error affects a packet and a video is deteriorated when the H.324 video telephony terminal decodes an image transmitted through a communication channel. The present invention relates to a method of error concealment when playing a video in a telecommunication network that enables the user to see the image without error and the next error free image.

일반적으로 전화통신망에서 영상회의와 같은 통신서비스를 사용자에게 제공하기 위해 H.324 규격이 제안되고 있으며 영상 코덱 표준으로는 H.263이 다중화 표준으로는 H.223이 권고 중이다.In general, the H.324 standard has been proposed to provide users with communication services such as video conferencing in telecommunication networks, and H.263 is recommended as the video codec standard and H.223 is the multiplexing standard.

또한, 통신망에서 셀 단위나 패킷 단위로 데이터가 전달될 때 발생하는 오류로 인해 영상에 열화가 생기는데 이를 감지하고 감지된 오류가 영상에 미치는 영향을 파악하여 이를 사용자에게 최대한 보이지 않도록 하는 오류 은닉 방법이 제안되고 있다.In addition, an error that occurs when an error occurs when data is transmitted in a cell unit or packet unit in a communication network causes an error concealment. It is proposed.

그러나, 오류 감지의 정확도에는 한계가 있고 올바로 오류가 감지되었다 하더라도 사용자가 감지할 수 없을 정도로 훼손된 영상을 재구성하기가 어려운 문제점이 있다.However, there is a problem in that the accuracy of error detection is limited and it is difficult to reconstruct the damaged image so that the user cannot detect it even if the error is correctly detected.

따라서, 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 적응 계층3에서 전달되는 영상 데이터에 오류가 발생할 때 이에 대응하는 영상을 사용자에게 보이지 않고 그 다음의 오류 없는 영상 데이터를 디코딩하여 깨끗한 영상을 보일 수 있게 한 전화통신망에서 동영상 재생 시의 오류 은닉 방법을 제공함에 그 목적이 있다.Accordingly, the present invention has been made in view of the above problems, and when an error occurs in the image data transmitted from the adaptation layer 3, the image corresponding to the image is not shown to the user, and the next image without error is decoded, thereby clearing the image. The object of the present invention is to provide a method for concealing errors in video playback in a telecommunications network that enables the display of video.

도 1은 본 발명에 따른 유한 상태 천이 다이아그램을 보인 예시도.1 is an exemplary view showing a finite state transition diagram according to the present invention.

도 2는 본 발명에 따른 일실시예를 보인 설명도.2 is an explanatory diagram showing an embodiment according to the present invention.

상기와 같은 목적을 달성하기 위한 본 발명은, 적응계층3으로부터 전달되는 서비스 데이터 유닛의 스트림에서 피-프레임 및 아이-프레임에 오류가 없으면 영상 데이터를 디코딩하여 영상을 사용자에게 보이는 단계와; 상기 서비스 데이터 유닛의 스트림에서 피-프레임 또는 아이-프레임에 오류가 있으면 그 프레임에 대응하는 영상 데이터를 스킵하며 이때 오류가 있는 프레임이 피-프레임이면 그 다음 아이-프레임이 나올 때까지 피-프레임을 스킵하고 반대로 오류가 있는 프레임이 아이-프레임이면 그 다음 아이-프레임이 나올 때까지 피-프레임을 스킵하고 아이-프레임에 오류가 없으면 다시 영상 데이터를 디코딩하여 영상을 사용자에게 보이는 단계로 동작하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a video decoding method for displaying a video to a user if there is no error in a frame and an i-frame in a stream of a service data unit delivered from an adaptation layer 3; If there is an error in the P-frame or the I-frame in the stream of the service data unit, the video data corresponding to the frame is skipped. If the error frame is the P-frame, the P-frame until the next i-frame appears. On the contrary, if the error frame is an i-frame, skip the P-frame until the next i-frame, and if there is no error in the i-frame, it decodes the image data and displays the image to the user. It is characterized by.

이하, 본 발명에 따른 일실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 유한 상태 천이 다이아그램을 보인 예시도로서, 이에 도시한 바와 같이 H.223에 따르는 적응계층3으로부터 전달되는 서비스 데이터 유닛의 스트림에서 피-프레임 및 아이-프레임에 오류가 없으면 영상 데이터를 디코딩하여 영상을 사용자에게 보이는 단계(S11)와; 상기 서비스 데이터 유닛의 스트림에서피-프레임 또는 아이-프레임에 오류가 있으면 그 프레임에 대응하는 영상 데이터를 스킵하며 이때 오류가 있는 프레임이 피-프레임이면 그 다음 아이-프레임이 나올 때까지 피-프레임을 스킵하고 반대로 오류가 있는 프레임이 아이-프레임이면 그 다음 아이-프레임이 나올 때까지 피-프레임을 스킵하고 아이-프레임에 오류가 없으면 다시 영상 데이터를 디코딩하여 영상을 사용자에게 보이는 단계(S21~S23)로 이루어진 것으로 본 발명의 일실시예를 설명한다.FIG. 1 is an exemplary diagram showing a finite state transition diagram according to the present invention, in which an error occurs in a P-frame and an I-frame in a stream of a service data unit delivered from an adaptation layer 3 according to H.223. If not present, decoding the image data and displaying the image to the user (S11); If there is an error in the P-frame or the I-frame in the stream of the service data unit, the video data corresponding to the frame is skipped. If the error frame is the P-frame, the P-frame until the next i-frame appears. If the frame with the error is an i-frame, the skipped frame is skipped until the next i-frame, and if there is no error in the i-frame, the image is decoded again to show the image to the user (S21 ~). S23) will be described an embodiment of the present invention.

H.223에 따르는 역다중화기가 자신의 적응계층3에 대응하는 서비스 데이터 유닛에 오류가 있는지를 검출하여 이를 H.263에 따르는 영상 디코더로 전달하여야 하며, 상기 영상 디코더는 이를 이용하여 영상 데이터를 디코딩하면서 현재 디코딩되는 비트가 오류로 감염된 가능성이 있는지 살펴본다.The demultiplexer according to H.223 should detect whether there is an error in the service data unit corresponding to its adaptation layer 3 and transmit it to the video decoder according to H.263, which uses the video decoder to decode the video data. In doing so, it looks at the possibility that the currently decoded bit is infected with an error.

만약 영상 디코더에서 임의의 특정 프레임을 디코딩하는 동안 어느 한 비트라도 H.223 역다중화기에서의 오류가 있는 서비스 데이터 유닛에서 전달된 것이 있다면 이 디코딩된 프레임에 오류가 발생했을 가능성이 크다고 보고 이 프레임을 사용자에게 보이지 않는다.If any of the bits were sent from the service data unit with an error in the H.223 demultiplexer while decoding a particular frame in the video decoder, it is likely that this decoded frame has caused an error. Invisible to the user

그리고, 영상 디코더는 다음 오류 없는 아이-프레임이 전달되어 올 때까지 다음 영상들을 모두 스킵한다.The image decoder skips all of the next images until the next error-free i-frame is delivered.

비트 에러율(BER:bit error rate)이 낮은 무선 환경에서는 오류가 화면에 나타나는 빈도가 적어진다. 이런 상황에서는 오류가 발생하여 블록이 깨지거나 화질이 열화된 프레임은 스킵하고 다음의 깨끗한 영상 보여줌으로써 사용자에게 더 만족감을 줄 수 있다.In a wireless environment with a low bit error rate (BER), errors appear less frequently on the screen. In such a situation, an error may occur and the frame may be broken or the image quality may be skipped, and the next clear image may be displayed to the user.

단, 약간의 화면 멈춤 현상이 나타날 수 있다.However, some screen freeze may occur.

상기 기능을 구현하기 위해서는 현재 영상이 오류를 포함한 영상인지 그렇지 않은 영상인지를 판단해야 한다.In order to implement the above function, it is necessary to determine whether the current video includes an error or not.

상기 판단은 H.223 역다중화기에서 H.263에 따르는 영상 디코더 측으로 데이터와 함께 리포트된 오류 정보를 이용하여 결정된다.The decision is made using the error information reported with the data from the H.223 demultiplexer to the video decoder side according to H.263.

H.263에 따르는 영상 디코더는 입력받은 모든 비트에 대해 이 비트가 오류로 훼손된 적응 계층3의 서비스 데이터 유닛(SDU: service data unit)에 포함되어 있던 비트인지 아닌지를 기록해 놓는다.The video decoder according to H.263 records for every input bit whether or not this bit was included in the service data unit (SDU) of the adaptation layer 3 corrupted by an error.

영상 디코더가 한 프레임을 디코딩한 후 다음 프레임의 PSC(picture start code)를 만났을 때, 이번 프레임을 디코딩하기 위해 쓰여진 다수의 비트 중에 어느 하나라도 훼손된 서비스 데이터 유닛으로부터 전달된 비트가 있는지 조사한다.When the video decoder encounters a picture start code (PSC) of the next frame after decoding one frame, it checks whether any of the plurality of bits written to decode this frame has passed from the corrupted service data unit.

만약 오류가 있는 비트가 포함되어 있다면 이 프레임에는 오류로 인해 영상이 깨져 있거나 열화되어 있을 것으로 판단하고 이 프레임을 화면에 디스플레이하지 않고 스킵한다.If an error bit is included, it is determined that the image is broken or degraded due to an error, and the frame is skipped without being displayed on the screen.

일단 스킵을 시작하면 다음 아이-프레임이 나올 때까지의 모든 프레임도 스킵된다.Once you start skipping, all frames up to the next i-frame are also skipped.

이유는 비록 프레임 자체의 데이터에는 오류가 없을지라도 이전 프레임으로부터 오류가 전파되어서 이후의 프레임까지 모든 영상이 훼손되어 버리기 때문이다.The reason is that although there is no error in the data of the frame itself, an error is propagated from the previous frame and all the images are damaged from the subsequent frame.

도 2는 본 발명에 따른 일실시예를 보인 설명도로서, 제일 위에 위치한 바는H.223 역다중화기의 적응 계층3에서 전달되는 서비스 데이터 유닛의 스트림을 설명하며 타원 하나가 서비스 데이터 유닛을 의미한다. 이 서비스 데이터 유닛 내에는 아이-프레임과 피-프레임의 데이터가 섞여 있을 것이므로 각 프레임 별로 사각형으로 표시하였다.FIG. 2 is an explanatory diagram showing an embodiment according to the present invention, and the uppermost bar describes a stream of service data units delivered from the adaptation layer 3 of the H.223 demultiplexer, and an ellipse represents a service data unit. . In this service data unit, the data of the i-frame and the P-frame will be mixed, so each frame is represented by a rectangle.

그 아래 바는 오류 패턴을 나타내는데 빗금친 부분이 오류 부분이다. 즉, 현재 나타나 있는 상태라면 첫 번째 GOP의 두 번째 피-프레임에 오류가, 두 번째 GOP의 아이-프레임에 오류가 발생한 상황이다.The bar below shows the error pattern, the shaded part being the error part. In other words, if it is present, an error occurs in the second P-frame of the first GOP and an error occurs in the I-frame of the second GOP.

제일 아래에 위치한 바는 디스플레이되는 프레임을 설명하며 첫 번째 GOP의 3, 4번째 피-프레임에는 오류가 없었지만 역시 스킵되었고, 2번째 GOP는 첫 번째 아이-프레임에서부터 오류가 발생하였기 때문에 전체 GOP가 디스플레이되지 않은 것이다. 이후 3번째 GOP부터는 디스플레이되고 있다.The bar at the bottom describes the displayed frame, with no errors in the 3rd and 4th P-frames of the first GOP, but also skipped, and the second GOP was displayed because the error occurred from the first i-frame. It is not. Since the third GOP is displayed.

이상에서 상세히 설명한 바와 같이, 본 발명은 적응 계층3으로부터 전달되는 영상 데이터를 디코딩할 때 오류가 있는 비트를 포함한 영상은 스킵하여 사용자에게 보이지 않게 함으로써 항상 오류 없는 깨끗한 영상을 디스플레이하여 사용자에게 더 친밀감을 느끼게 하는 효과가 있다.As described in detail above, the present invention skips an image including an errored bit when decoding the image data transmitted from the adaptation layer 3 so that the image is always invisible to the user, thereby displaying a clean image without errors and thus more intimacy with the user. There is an effect that makes you feel.

Claims

Decoding the image data and displaying the image to the user when there is no error in the frame and the i-frame in the stream of the service data unit delivered from the adaptation layer 3; If there is an error in the P-frame or the I-frame in the stream of the service data unit, the video data corresponding to the frame is skipped. If the error frame is the P-frame, the P-frame until the next i-frame appears. If the error frame is an i-frame, the skipped frame is skipped until the next i-frame. If there is no error, the video data is decoded again and the image is shown to the user. An error concealment method for playing a video in a telecommunication network.