KR100649656B1 - Ｍｐｅｇ 디코더 동기화 장치 및 방법 - Google Patents

Abstract

본 발명은 MPEG 디코더 동기화 장치 및 방법에 관한 것으로서, 본 방법은:

-로컬 클록(LSTC: local clock)에 관련된 순간으로서 영상 비디오의 실제 표시 순간을 계산하는 단계,

-가상 클록(virtual clock: VSTC=STCO+LSTC)을 정의하기 위해서, 상기 계산된 표시 순간과 상기 영상 비디오에 대한 코더에 의해 요구되는 표시 순간에 해당하는 PTS 라벨 사이의 오프셋(STCO)을 계산하기 위한 단계,

-상기 가상 클록(VSTC)에 관련하는 PTS 데이트에서 상기 영상에 해당하는 비디오 및 오디오를 표시하는 단계를 포함하는 것을 특징으로 한다.

본 응용은 코딩된 데이터를 기록하기 위한 하드 디스크, 및 MPEG 디코더를 사용하는 디지털 텔레비전 수상기 및 위상 디코더에 관한 것이다.

Description

ＭＰＥＧ 디코더 동기화 장치 및 방법{PROCESS AND DEVICE FOR SYNCHRONIZING AN MPEG DECODER}

도 1은 하드 디스크를 갖는 위성 디코더의 개략적인 블록도.

도 2a는 오디오 및 비디오 데이터를 디스크에 기록하는 작업을 나타내는 도면.

도 2b는 디스크로부터 오디오 및 비디오 데이터를 판독하는 작업을 나타내는 도면.

도 3은 기록된 데이터에 대한 기록 및 판독 포인터를 나타내는 도면.

도 4는 종래 기술에 따라, 기동(start-up) 시의 비디오 디코더의 동작 방법을 나타내는 도면.

도 5는 디코딩된 영상을 표시할 때 요구되는 다양한 단계를 나타내는 도면.

<도면 주요 부분에 대한 부호의 설명>

1: 멀티플렉서 2/6: 메모리

3/5: 디스크 인터페이스 4: 하드 디스크

7: 비디오 MPEG 디코딩 회로 8: 오디오 MPEG 디코딩 회로

본 발명은 기록 매체(recording medium)로부터 유래하는 압축 데이터를 디코딩하기 위한 MPEG 디코더를 동기화시키는 방법에 관한 것이다. 본 발명은 또한 그러한 방법을 실행하는 MPEG 디코더, 및 그러한 디코더를 포함하는 위성 통신 디코더 또는 텔레비전 수상기에 관한 것이다.

도 1은 하드 디스크 상의 MPEG 데이터 스트림의 기록을 이용하는 위성 디코더의 구성을 나타낸다.

MPEG 프로그램 스트림(PS: program stream)은 멀티플렉서(1)의 입력단에서 수신된다. 상기 멀티플렉서는 PES(Packetized Elementary Stream: 패킷화된 기본 스트림) 데이터 패킷의 형태로 프로그램 데이터를 출력한다. 이러한 데이터는 그 기록을 위해, 메모리(2)에 전달된 후 디스크 인터페이스(3)를 거쳐 하드 디스크(4)에 전달된다.

상기 데이터의 판독을 위해서, 하드 디스크(4)는 디스크 인터페이스(5)에 연결된 후 메모리(6)에 연결된다. 제 1의 메모리 출력은 비디오 MPEG 디코딩 회로(7)에 연결되고, 제 2의 메모리 출력은 오디오 MPEG 디코딩 회로(8)에 연결된다. 이러한 회로 각각으로부터의 출력은, 디지털/아날로그 변환기에 송신되고 나서 텔레비전 수상기에 송신되는(도면에는 미도시) 비디오 및 오디오 큐(cue)에 해당한다.

상기 메모리 회로(6)는 그 중에서도 특히, 하드 디스크 상에 저장된 오디오 및 비디오 데이터를 역다중화(demultiplex)시키는 것을 가능하게 하여 준다. 그 후 이러한 비디오 PES 및 오디오 PES 데이터는 자신의 각 디코더에 의해 처리된다.

상기 하드 디스크에 저장된 데이터는 상기 스트림을 역다중화시킨 후에 획득된 데이터이다. 여기서는 PS 프로그램 스트림의 저장을 다루고 있지는 않으므로, 판독 시에 그러한 스트림이 재생성되는 것, 이러한 스트림을 구성하는 모든 프로그램을 저장하는 것, 또는 키 워드가 기록된 스크램블(scramble) 데이터의 저장 등을 회피하게 된다.

기존의 구성에서, MPEG 표준을 따른 디코더의 동작 방법, 즉 일정한 송신 비트 율로 직접 데이터 스트림을 예컨대 위성 송신 또는 케이블을 통해 수신하는 디코더 동작 방법은 이후에 다시 상기되는데, 이는 하드 디스크를 갖는 환경 즉, 디코딩 되기 전에 데이터를 하드 디스크에 중간 저장하는 환경에 관한 특정 특성을 강조하기 위해서이다.

MPEG 표준에서는, 디코더의 버퍼 메모리를 관리하는 것은 가상 메모리라고 지칭되는 모델링에 기초하여 수행된다. 사실, 하나의 시퀀스를 구성하는 각 영상의 코딩은 일정 코스트(constant cost)로 수행되지 않고, 상기 코더의 출력단에서의 버퍼 메모리가 일정한 평균 비트 율로 데이터 스트림을 전달하기 위해 사용된다. 디코더의 측면에서, 일정한-비트-율의 데이터 스트림으로부터 가변 코스트(variable-cost) 영상을 전달하기 위한 버퍼 메모리가 또한 필요하다. 상기 디코더의 버퍼 메모리를 관리하는 것은 그 중에서도 특히, 상기 디코더에 의해 데이터 스트림으로 송신된 클록, 및 송신된 영상에 할당되어 상기 디코더의 메모리에 영상을 저장하는 순간과 상기 디코더의 메모리를 판독하는 순간 사이의 시간 갭(각 영상에 대해 동일해야 한다) 및 상기 디코더의 메모리로부터 빠져나올 순간을 정의하는 태그(tag) 에 기초하여 수행된다.

이것은 PCR 클록(Program Clock Reference: MPEG 표준에서의 프로그램 클록 기준)을 수반하는데, 상기 클록은 데이터 스트림에 송신된 시간 큐이며, 이에 기초하여 상기 디코더의 동기화가 수행된다.

이것은 또한 DTS 태그(Decoding Time Stamp: MPEG 표준에서의 디코딩 시간 스탬프)를 수반하는데, 상기 태그는 상기 스트림 내에서 송신되는 필드이며 영상이 상기 디코더에서 디코딩되어야 하는 순간을 표시한다.

트랜스포트 스트림(TS)에 존재하는 PCR 큐는 시간 계산을 위해 상기 디코더에 의해 사용된다. 그러므로 상기 PCR은 디코더 레벨에서 스케쥴링(scheduling) 태그를 전달한다.

상기 DTS는 디코딩 스케쥴, 즉 영상이 상기 디코더의 버퍼 메모리로부터 판독되어 디코딩 되어야 하는 순간을 제공한다.

상기 PCR 큐 및 DTS 큐는 트랜스포트 스트림(TS)의 188-바이트 패킷 헤더 및 PES 스트림의 패킷 헤더 내에서 각각 송신되는데, 첫 번째 패킷화 단계에서는 트랜스포트 스트림(TS)의 생성을 필요로 한다.

PTS(Presentation Time Stamp: 표시 시간 스탬프)는 영상을 디스플레이하는 순간에 대응하는 것으로서, 디코딩 후에 상기 영상을 재정리(reordering)하도록 허용한다; 상기 PTS는 PES 스트림의 패킷 헤더 내에 존재한다.

MPEG 디코더가 하드 디스크로부터 유래하는 데이터에 기초하여 동작할 때, 이러한 데이터는 상기 디코더의 템포에 맞추어 이용된다(consume). 디코딩된 영상을 디스플레이 하기 위한, 오디오 및 비디오 디코더의 동기화 신호(VSYNC)는 초당 대략 25개의 영상을 전달하기 위해서 로컬 27MHz 클록만큼 조정된다.

기록이 오디오 및 비디오 PES의 레벨에서 수행되기 때문에, PS 스트림의 PCR에 관련되는 큐는 손실되고 따라서 상기 큐는 로컬 클록에 종속하여 이용되지 않을 수 있다. 이러한 종속의 부재는, 오디오 및 비디오 신호 레벨에서의 동기화 문제뿐만 아니라 하드 디스크의 기록 및 판독 포인터 레벨에서의 관리 문제를 야기시킨다.

상기 포인터의 관리 차원에서, 두 개의 모드가 고려되어야 한다: 판독 전용 모드 즉, 상기 문제가 너무 까다로워지지 않도록 하기 위해 하드 디스크에 동시적으로 기록하지 않는 모드, 및 판독/기록 모드가 고려되어야 한다.

판독 전용 모드에서, 이전에 기록된 스트림이 재생될 때, 자유 발진하는 로컬 클록은 충분히 정확하다. 기록의 공칭(nominal) 값에 대한 변형은 40ms 비디오 영상의 지속기간 내에서 발견된다. 텔레비전 및 시청자 레벨에서의 허용 오차는, 전문적인 텔레비전의 표준보다 훨씬 낮은 정확성을 가지고도 유지해 나갈 수 있을 만큼 충분히 크다.

이는, 영상 동기화 신호(VSYNC)가 27MHz 클록에 기초하여 정해지기 때문이다. 상기 신호는 40ms의 구간을 갖는다. 로컬 클록의 정확성으로 인한 이러한 신호의 느린 드리프팅(drifting)은, 텔레비전이 송신 체인의 말단에 있다는 사실 때문에, 전혀 문제가 되지 않는다.

한편, 기록/판독 모드에서(기록에 대해 판독이 시프트 되는 모드 즉, 더욱 일반적으로는 시간 시프트라고 알려져 있는), 클록이 자유 발진 상태라는 사실로 인하여 기능 장애(malfunction)가 발생할 수가 있는데, 이러한 클록을 디스크로부터 다시 판독되는 스트림으로 종속시키는 것은 불가능하다.

기록과 판독이 동시에 이루어질 때, 시간이 시프트 되는 재생의 경우에 있어서, 디스크에서 판독이 기록을 앞지르게 되거나(overtake) 또는 지연이 증가될지 모르는 위험이 존재한다. 드리프팅이 느리기 때문에, 이러한 두 번째 경우의 문제는 그리 심각하지 않다. 한편, 만일 판독이 기록을 앞지르게 된다면, 즉 판독 포인터가 기록 포인터를 앞질러서 아직 기록되지 않은 메모리 영역 판독을 시작했다면, 묘사되는 영상은 잘해야 이전의 기록 동안에 이 영역에 기록된 것일 테고 기록될 영상도 더 이상 재생될 수 없다. 이러한 상황은, 기록과 판독 사이의 시프트가 판독 시의 짧은 일시정지(short pause)로 인해 생길 때 발생한다. 이러한 경우에, 그리고 만일 27MHz 클록이 데이터를 코딩할 때 코더에 의해 사용된 클록보다 약간 더 빠르다면, 하나의 긴 구간 전체를 통해 데이터의 재생이 데이터의 기록보다 더 빠르게 되는데, 즉 특정 기간 동안에 기록된 프로그램에 대해 판독 포인터가 기록 포인터를 앞지를 수 있다. 따라서 이러한 모드에서, 그러한 기록과 판독 사이의 차이(slippage)를 방지하는 것이 필요하다.

한가지 아이디어는, 기록될 동안에, 인입 스트림의 PCR(프로그램 클록 기준)에 로컬 클록을 종속시키는 것이다. 그러나 이것은, 기록된 데이터의 유효성을 사전에(a priori) 알지 못한다는 사실 때문에 발생할 수도 있는 또 다른 기능 장애를 해결하지는 못한다. 기록과 판독이 동기화 되었으므로, 인입 스트림의 PCR에 로컬 클록이 동기화되는 경우에, 디코더가 매우 빠르게 데이터 이용을(consume) 시작하지만 않는다면 판독과 기록 사이의 지연이 유지될 것이다. 만일 데이터가 변질되면(corrupt) 이러한 경우가 발생할 수도 있다. 사실, 실-시간(라이브) 송신의 경우 동안에, 이러한 오류 데이터는 디코더의 버퍼를 판독하자마자 바로 검출될 수 있고, 하드 디스크에 기록할 때는 동일한 오류 데이터를 유지하지 않고, 상기 하드 디스크는 상기 디코더의 버퍼에 이러한 데이터를 기록하여 저장 한 후에만 그러한 오류 데이터가 검출되도록 한다. 변질된 데이터가 디코더에 의해 검출될 때, 상기 디코더는 다시 동기화시키고 동시에 상기 버퍼를 비우는데, 이는 이러한 버퍼를 채우기 위해 반복되는 과정인 데이터의 손실 및 하드 디스크로의 억세스를 유발시킨다. 이러한 경우에, 판독 포인터가 기록 포인터를 앞서는 일이 발생할 수도 있다. 이는, 예컨대 나쁜 송신 상태로 인해 오류가 있는 큐가 송신되거나 데이터 송신에 있어 손실이 생길 때 발생할 수 있다.

오디오 및 비디오 데이터의 동기화를 고려하는 한, 판독 전용 모드이든 판독/기록 모드이든지간에, 예컨대 판독 전용 모드에서, 로컬 클록을 초기화시켜 PCR 큐에 동기화시킬 수 없다는 사실은 비디오와 오디오 사이의 동기화에 대한 문제를 발생시킬 수도 있다. 이는, 이러한 클록이 디코더의 클록과 더 이상 동기화 될 수 없다는 사실로 인해서 로컬 클록에 관한 표시를 하는 순간에 관련된 큐가 사용될 수 없기 때문이다.

본 발명의 목적은 앞서 언급한 단점을 해결하는 것이다.

본 발명의 과제는 기록 매체로부터 유래하는 압축 데이터를 디코딩하기 위해 MPEG 디코더를 동기화 시키는 방법으로서, 이러한 데이터는 PES(Packetized Elementary Stream: 패킷화된 기본 스트림) 오디오 및 비디오 데이터 패킷으로 구성되어 있는, 방법에 있어서:

- 영상 비디오의 실제 표시 순간(actual instant of presentation: Tpres)을 계산하는 단계로서, 이 순간은 로컬 클록(LSTC)에 관련되는, 실제 표시 순간 계산 단계,

- 가상 클록(virtual clock) VSTC = STCO + LSTC을 정의하기 위해서, 상기 계산된 표시 순간과 상기 영상의 비디오에 대한 코더에 의해 요구되는 표시 순간에 해당하는 PTS 라벨 사이의 오프셋(STCO)을 계산하는 단계,

- 상기 가상 클록(VSTC)에 관련하는 PTS 데이트(date)에서 상기 영상에 대응하는 비디오 및 오디오를 표시하는 단계를 포함하는 것을 특징으로 한다.

구체적인 특성에 따라, 비디오 디코더의 버퍼를 통한 비디오의 이동(transit) 시간은 미리 정해진 값(TVBV)으로 부과된다.

변형예에 따라, TVBV의 결정은 기록 매체에 PES 데이터를 기록하는 비트율에 의존한다.

변형예에 따라, TVBV의 결정은 VBV_지연에 의존한다.

구체적인 특성에 따라, 오프셋은 다음과 같다:

STCO = PTS - TVBV -TVSYNC -(TimeRef ×40ms) - TDEC - LSTCpic

여기서:

TVSYNC는 프레임 구간(frame period)에 대응하고,

TDEC는 영상을 디코딩하는 지속기간에 대응하는 것으로서 더 높은 개수의 프레임 구간들로 라운딩된다(rounded to a higher number of frame periods).

TimeRef는 재정리하기 위한 영상의 시간적 기준을 나타낸다.

LSTCpic는 첫 번째 영상의 검출 순간에 관련된다.

구체적인 동작 모드에 따라, 시프트 모드(시간 시프트)에서 데이터를 판독할 때, 데이터는 기록 포인터에 기초하여 기록되고 기록된 데이터는 판독 포인터에 기초하여 시프트 시간으로 판독되며 판독 포인터와 기록 포인터 사이에 최소한의 갭이 부과된다. 상기 최소한의 갭이 달성될 때, 상기 디코더의 프리즈 모드(freeze mode)가 실행된다.

본 발명의 과제는 또한, MPEG 디코더를 기록된 MPEG 스트림에 동기화시키는 장치에 관한 것으로서 기록된 데이터는 PES 데이터 패킷으로 구성되되, 상기 장치는 가상 클록(VSTC)을 정의하기 위해, 디코더의 로컬 클록(LSTC)에 인가될 오프셋(STCO)을 계산하는 수단을 포함하는 것을 특징으로 하고, 상기 오프셋은 LSTC 태그에서 계산된 바와 같이 영상의 비디오를 표시하는 순간(Tpres)과 코더로부터 유래하는 이러한 영상을 표시하는 PTS 값 사이의 차이와 동일하다. 또한 상기 장치에서, 상기 가상 클록(VSTC)이 PTS 값과 동일할 때 오디오 및 비디오 데이터의 디코딩이 수행된다는 것을 특징으로 한다.

본 발명의 과제는 또한, MPEG 디코더 및 청구항 11항에 따른 동기화 장치를 포함하는 것을 특징으로 하는 위성 디코더, 또는 그렇지 않으면 MPEG 디코더 및 청구항 11항에 따른 동기화 장치를 포함하는 것을 특징으로 하는 텔레비전 수상기이다.

그러므로 PES의 형태로 프로그램을 하드 디스크에 로컬 기록하는 것은, 재생 시에 주의(precaution)를 기울여야 함을 필요로 한다: 즉, 로컬 클록의 종속 및 비디오와 오디오 디코더의 동기화에 주의를 기울여야 한다.

본 명세서에 제안된 방법은, 오디오 및 비디오 디코더의 규격 동작 방법과 가능하면 유사한 모드에서 상기 오디오 및 비디오 디코더를 동작시킬 수 있는 방식으로 위성 송신 성분을 에뮬레이트(emulate)하려는 방법이다.

본 발명의 주요 이점은, 구현하기 쉽고 PCR을 이용하지 않아도 되며 하드 디스크로부터 데이터를 판독할 때 일반적으로 발생하는 기능 장애를 피하는 동기화 방법을 제안한다는 데에 있다.

본 발명의 특성 및 이점은 첨부된 도면을 참조로 한 예시에 의한 다음의 설명으로부터 더욱 명백해질 것이다.

포인터 관리.

도 2a 및 도 2b는 하드 디스크에 오디오 및 비디오 큐를 저장하고 저장 해제(de-storage)하는 것을 수행하는 방법을 개략적으로 도시한다.

도 2a는 상기 하드 디스크에 기록하는 작업에 해당한다. 비디오 및 오디오 PES는 512 바이트로 이루어진 하나의 동일한 128 kB 블록(256개의 주소 지정 블록){또는, lba: logic block addressing(논리적 블록 주소 지정)}으로 디스크에 기록된다. 비디오는 112kB를 차지하고, 음성은 남아 있는 16kB 중 오디오 비트율에 비례해서 그 일부분을 차지한다. 112kB의 비디오가 버퍼링되는 동안에 도착하는 오디오의 양에 해당하는 값인 q는 128kB의 블록이 시작할 때 기록되므로 저장된 오디오의 양에 해당한다. 블록을 기록할 때에 비디오/오디오 비트 율의 비도 따른다.

도 2b는 상기 하드 디스크를 판독하는 작업에 해당하는 것으로, 오디오 PES 스트림을 형성하기 위해 q kB 분량의 오디오 정보(가변적인 부분)가 판독되는 것과 동시에 비디오 PES 스트림을 형성하기 위해 112 kB의 비디오 정보가 판독된다.

도 3은 연속 데이터 블록을 나타낸 것으로서 각 블록은 128kB이고, 이를테면 상기 각 블록은 하드 디스크 및 상기 하드 디스크에 대한 판독 및 기록 포인터 위치에 저장된다. 9로 참조된 양방향 화살표는 기록 포인터(오른쪽의 수직 화살표)와 판독 포인터(왼쪽의 수직 화살표) 사이의 지연을 나타낸다. 10으로 참조된 양방향 화살표는 약정된 갭으로서 여기서는 5블록인데, 이는 포인터들 사이의 갭으로서 처음에 미리 정의된다. 11로 참조된 양방향 화살표는 프리즈 갭(freeze gap)을 나타내는 것으로서, 즉 영상 프리즈를 일으키는 최소한의 갭이다.

본 명세서의 사상은, 포인터 사이의 최소 갭, 예컨대 128 kB 블록을 소프트웨어를 통해 보장한다는 것이다. 상기 최소 갭이 달성될 때, 디코더 메모리의 판독을 중지시킴으로써 디코딩이 일시적으로 정지되기 때문에, 하나의 블록이 최소한 기록과 판독을 분리시킬 때까지는 스크린 상의 영상이 프리즈 되도록 한다. 사실, 초기 갭을 재확립하려고 애쓰지는 않는데, 왜냐하면 어떠한 경우에 데이터가 손실되면 초기 지연을 재확립할 목적만으로 영상이 프리즈 되도록 유지시키는 것은 별 이점이 없기 때문이다.

오디오/비디오 동기화.

오디오 및 비디오 데이터의 저장에 대한 "인터레이스(interlace)" 모드가 주어질 때, 프로그램의 두 성분의 재생은 반드시 동시에 행해진다. 첫 번째 근사화로는, 첫 번째 비디오 바이트 및 첫 번째 오디오 바이트는 동시에 각각의 디코더에 도달한다는 것이다. 이것은, 상기 두 성분이 동시에 디코딩 될 것이라는 것을 의미하지는 않는데, 왜냐하면 비디오는 자신의 디코더를 통하는 이동 시간이 있기 때문이다.

대-정전 용량의 오디오 버퍼 메모리 사용을 피하기 위해서 오디오가 코딩 시간으로부터 위상-지연된다는 것은 공지되어 있다. 그러므로, 표준 모드(직접 송신)에서 재생시 오디오는 비디오와 동위상이다. 이러한 지연은 코더에서 결정되고 비디오 비트 율의 영향을 받는다.

데이터가 하드 디스크에 기록될 때 상기 데이터는 더 이상 상기 비디오 비트 율로는 상기 오디오 및 비디오 디코더에 송신되지 않기 때문에, 오디오와 비디오 사이에 위상 시프트가 나타난다.

일반적인 경우에, 기동 시에 비디오 디코더를 동작시키는 방법은 흐름도로서 도 4에 표시된다. 이러한 기동은 다음과 같이 수행된다:

단계(12)에서, 디코딩 절차는 그 중에서도 특히 헤더를 추출하기 위해 데이터 스트림을 수신한다. 단계(13)에서는, 첫 번째 시퀀스 헤더가 검출될 때까지 루프를 이룬다. 루프를 이룰 경우에, 단계(14)가 실행되고 상기 시퀀스 헤더 이후에 오는 영상 헤더를 판독한다. 만일 PTS 큐가 이용 가능하다면, 단계(15)에서 검사가 시행되고, 그 후 단계(16) 동안에 DTS 큐가 도출된다(deduce). 단계(17)는 DTS를 로컬 클록(LSTC)과 비교하는 루프를 구성한다. 상기 루프의 출력은 이퀄리티(equality)에 해당하고, 다음의 sync 신호(VSTNC)를 수신하자마자 패리티(parity) 테스트가 단계(18) 동안에 수행되고, 정정 패리티가 검출되자마자 단계(19)에서 영상 디코딩을 트리거한다.

만일 PTS 큐가 이용 가능하지 않다면, 단계(20)에서 상기 디코더의 버퍼 메모리를 채운다. 단계(21)에서는, 이러한 버퍼 메모리가 채워진 레벨을 검사한다. 디코딩을 위해 필요한 최소한의 레벨에 도달하고 다음의 sync 신호를 수신할 때 단계(18)에서 패리티 테스트가 수행된다. 정정 패리티가 검출되자마자 단계(19)에서 영상의 디코딩이 수행된다.

그러므로 비디오 PES 스트림의 디코딩은 다양한 조건 하에서 시작한다. 첫째로, 디코더는 단계(13)에서 개시 시퀀스를 만날 때까지 스트림의 시작을 알지 못한다. 그러므로 상기 디코더는 스트림의 엔트리 포인트를 구성하는 첫 번째 시퀀스 헤더(SEQ)를 식별한다. 그 후 상기 데이터는 전송 비트 율에 해당하는 템포로 디코더의 버퍼에 축적된다. 상기 시퀀스 헤더 이후에, 단계(14)에서 영상 헤더(화상-헤더)가 디코더에 의해 수신된다.

첫 번째 영상의 디코딩을 개시하기 위해 요구된 최소한의 버퍼 레벨에 관련하는 큐는 상기 헤더에 존재한다. 일단 버퍼가 이러한 레벨에 도달하면(단계 21), 그 때부터 비디오 비트 율에 관련된 특정 시간 이후에, 디코딩 정리(단계 19)를 위해서 상기 디코더는 수직 동기화 신호의 정정 패리티를 검사한다(단계 18).

VBV_지연을 스트림에서 이용할 수 없는 경우에, 디코딩의 개시를 확고히(fix) 하는 것은 PTS(Presentation Time Stamp: 표시 시간 스탬프) 큐이다.

개시와 관련하여, 직접 수신(즉, 디스크에 저장하는 것을 수반하지 않음)과 하드 디스크로부터의 데이터 재생하는 것 사이의 주요 차이점은:

-디스크에 대해 무한대로 보일 수도 있는 판독 비트 율,

-PCR(Program Clock Reference: 프로그램 클록 기준) 큐에 동기화된 로컬 클록{LSTC: Local System Time Clock(로컬 시스템 시간 클록)}의 부재이다.

스트림을 개시하는 동안에, 하드 디스크로부터 버퍼를 채우는 동안 가능한 고 비디오 비트 율의 장점에 의해, 첫 번째 영상의 디코딩은 직접 수신의 경우보다 더 빨리 발생할 것이고, 이는 오디오와 비디오 사이에 위상 시프트를 발생시킨다. 본 발명에서 구현되고 이후에 좀 더 설명되는 바와 같이, 비디오와 관련된 오디오의 동기화는 상기 위상 시프트를 피할 수 있게 하여 준다.

LSTC는 스트림 제어 및 오디오를 비디오와 동기화시키는 데 있어서, 통상 중요한 역할을 한다. 데이터가 디스크로부터 유래할 때는 스트림 제어가 문제가 되지 않는데, 이는 메모리 버퍼가 채워지자마자 송신이 중단되기 때문이다. 그러므로 데이터가 손실될 위험이 없다. 한편, 기준 클록은 여전히 필요한데, 이는 오디오를 비디오와 동기화 되도록 하기 위함이다. 비디오의 PTS 큐로부터 다시 만들어진(recreat) 가상 STC 클록(VSTC)의 이용이 상기 동기화를 허용한다.

오디오 자체를 상기 클록과 동기화 시키는 것을 허용하기 위해서, 가상 STC는 비디오 절차에 의해 가능하게 되자마자 초기화 되어야한다. 초기화를 위해 요구되는 큐는 다음과 같다:

로컬 STC 카운더(LSTC)의 값.

첫 번째 영상의 PTS.

첫 번째 영상의 VBV_지연(존재한다면).

영상을 재정리하기 위해 사용된 첫 번째 영상의 시간 기준(TimeRef).

수직 동기화(VSYNC)의 패리티.

디스크 판독시 이용 가능한 고 비트 율이 주어질 때, 첫 번째 영상 헤더(PIC 헤더)를 포착하여(acquire) 획득되는 이러한 큐는 매우 신속하게 이용 가능하다.

도 5는 디코딩된 영상을 표현하기 위해 요구되는 다양한 단계를 시간에 따라 개략적으로 나타낸다. 제일 상단부는 디스크에 저장되어 이제 막 판독을 시작하고 있는 데이터의 연속이다. 이러한 밴드는 프레임 구간로 나뉘어진다(chop).

이후부터는 다음의 표시가 채택될 것이다:

-데이터를 표시하는 Tpic(T 다음에는 소문자).

-기간을 표시하는 TVBV(대문자).

시퀀스 헤더 이후의 첫 번째 영상 헤더가 검출된 후에, 블록을 판독하여 기록하는 것이 VBV_지연에 해당하는 시간(TVBV) 동안에 디코더의 버퍼에서 이루어진다. 이러한 시간 이후에, 패리티 검사가 수행된다. 만일 디코딩 될 준비가 된 영상의 패리티와 동기화 신호의 패리티가 서로 반대라면, 도면상의 경우에 있어서, 디코딩 될 순간을 결정하기 위해 TVSYNC(20 ms)와 동일한 기간이 추가된다. 이러한 순간을 Tdec라 지칭한다. 만일 실제 디코딩 기간(그 기간이 "디코딩"이라는 문자를 포함하고 있는 직사각형에 의해 표시되는 본 도면의 경우에 있어서)이 프레임 구간 보다 더 크다면, 계산된 디코딩 기간(TDEC)은 실제 기간보다 바로 근접하여 큰 정수 기간(TVSYNC)과 동일하도록 선택된다. 만일 Tpres가 디코딩된 영상을 디스플레이 할 실제 순간이라면, Tpres와 Tdec사이의 갭은 TDEC + TimeRef ×TVSYNC와 동일하고, 여기서 TimeRef는 영상을 재정리하는 역할을 하는 시간 기준이다.

가능해지자마자 영상을 디코딩하는 순간(Tdec)은, 버퍼 메모리의 레벨이 규격 비트 율에서의 지연(VBV_지연)에 해당하는 레벨에 도달하는 순간 이후에 오는 정정 패리티의 첫 번째 sync(VSYNC)에서 시작된다. 여기서 다시, 디스크를 판독할 때 고 비트율이라는 것은, 디코더 버퍼를 채우는 시간이 VBV_지연보다 작고 더 적다는 것을 의미한다. 이러한 비트 율은 쉽게, 위성 송신의 비트 율보다 20배 더 크게 될 수 있다. 몇 가지 생각을 제시하기 위해, 4 Mbit/s의 위성 송신 비트 율로 디코더의 1.8Mbit 용량 버퍼를 채우는 데에는 0.45초가 필요하다. 이렇게 버퍼를 채우는 것이 하드 디스크로부터 시작될 때는 이러한 지연이 0.03초로 감소된다.

그러므로, 이러한 기간(VBV_지연) 동안 대기하는 것이 필요하지 않으면서 더 빨리 비디오의 디코딩을 시작할 수 있다. 그러나, 오디오와 비디오는 동기화가 유지되어야 한다. 오디오를 디코딩하는 것은 동일한 방법으로 자신을 앞당겨지게 할 수 없기 때문에, 오디오는 비디오 뒤에서 지연된다. 따라잡기 위해 오디오 데이터는 빨리 무시되어야 하는 것이 요구되므로 그러한 지연 상황은 바람직하지 않다.

이러한 단점을 완화하여서 디스크에 의해 제공된 고 비트 율에 대해 보상하기 위해, TVBV라 지칭되는 지연이 일부러 비디오에 부과된다. 이러한 지연은 원래의 VBV-지연을 시뮬레이트(simulate)할 수 있게 하여준다.

TVBV = VBV_지연

만일 VBV-지연 큐가 스트림에서 이용 가능하지 않다면, 공식적으로(in the formula) 상기 큐는 디코더 버퍼의 크기(std_버퍼)로 대체된다:

TVBV = (std_버퍼/위성 비트율) - (std_버퍼/디스크 비트율)

이러한 기간은 비디오 비트율(BitRateSat: satellite transmission bit rate) 및 디스크의 비트 율(BitRateDisk)에 의존한다.

디스크의 비트 율은 위성의 비트 율보다 매우 더 크기 때문에 다음의 근사화가 이루어진다:

TVBV = std_버퍼/위성 비트율.

값(위성 비트율)은 기록 중에 계산된다. 이는, 시간 단위 동안에 기록된 바이트의 수가 공지되기 때문이다.

버퍼의 크기는 일반적으로 1.8Mbit 이다.

일단 이러한 지연이 경과되면, 디코딩을 시작할 수 있다. 그러나, 특정 설정에서, 20ms의 추가 지연이 수직 동기화의 정정 패리티 동안 대기하기 위해 필요하다고 판명된다. 오디오 개시가 비디오에 대해 지연되지 않는 것을 보장하는 것이 그 반대의 경우를 보장하는 것보다 바람직하므로, 수직 동기화(VSYNC)로의 재위상화(rephase)를 허용하는 20ms의 지연(TVSYNC)이 디폴트에 의해 삽입된다. 첫 번째 영상(Tpic)의 검출 데이트에 관련한 디코딩의 시작 데이트(Tdec)는 다음과 같다:

Tdec = Tpic + TVBV + TVSYNC

디코딩의 시작 순간(Tdec)이 알려지면, 표시의 순간(Tpres)은 영상의 시간 기준(TimeRef) 및 상기 디코딩에 요구되는 지연(TDEC)에 의존한다:

Tpres = Tdec + TimeRef * 40ms + TDEC

Tdec는 디코더의 실행에 의존한다(일반적으로 20ms 또는 40ms). 응용에서, 실행 시간은 40ms이다.

Tdec를 위에서 계산된 값으로 대체할 때:

Tpres = Tpic + TVBV + TVSYNC + TimeRef * 40 ms + TDEC

제 1 영상이 검출된 정확한 순간에서의 로컬 클록 값(LSTC)인 데이트(Tpic)가 공지될 필요는 없다. 그 이유는, 예컨대 본 시스템에서, 클록(LSTC)의 실행이 그 값을 오직 20ms마다 샘플링 되도록 허용하기 때문이다. 그러므로 다음의 식으로 대체하는 것이 타당한데, 여기서 LSTCpic는 제 1 영상이 검출된 순간에 (이전의 수직 동기화에서 샘플링된) 이용 가능한 클록(LSTC) 값을 나타낸다:

Tpic = LSTCpic 그리고

Tpres = LSTCpic + TVBV + TVSYNC + TimeRef * 40ms + TDEC

오프셋 값이 지금 계산되었고, 상기 오프셋은 영상이 표시되는 실제 순간(Tpres)과 코더에 의해 요구되는 표시 순간(PTS) 사이의 갭에 해당한다. 이러한 순간(PTS)은, 디코더의 클록이 초기화되고 PCR에 동기화 되어서 제공될 때에만 중요하다. 여기서, 이러한 값(PTS)은 절대적인 표시 시간을 정의하기 위해서가 아니고 오디오 및 비디오 디코딩이 동기화 될 순간(동일한 PTS)을 인에이블시키기 위해 사용된다.

그러므로 상기 오프셋은 로컬 클록 상에서 만들어질 정정 STCO(System Time Clock Offset: 시스템 시간 클록 오프셋)이고, 이는 이러한 로컬 클록에 기초하여 정의 된 영상 표시 순간(Tpres)이 PTS 라벨에 해당하도록 하기 위함이다.

Tpres + STCO = PTS

STCO = PTS - TVBV - TVSYNC - (TimeRef ×40ms) - TDEC - LSTCpic

그러므로 우리는 다음과 같이 가상 클록(VSTC)을 정의한다.

VSTC = LSTC + STCO

이러한 가상 클록은 오디오를 동기화 시키기 위한 기준으로서의 역할을 한다.

VSTC 값이 PTS와 동일할 때, 오디오 표시가 수행될 수 있으므로 비디오 표시와 동위상이 될 것이다.

이러한 계산의 목적은, 영상 관련 비디오의 효과적인 표시 순간을 예측하는 것으로서, 이는 상기 영상에 대해 비디오에 관련하는 이론상의 값(PTS)으로 시프트를 계산하기 위해서이다. 그리고 나서, 이러한 시프트는 오디오 데이터의 효과적인 표시 순간을 정의하기 위해 사용된다.

오디오(PTS)는 또한 VSTC를 초기화하기 위해서도 사용될 수 있는데, 이러한 경우에 상기 오디오가 매스터(master)가 된다. 오디오 프레임에서 PTS의 존재 횟수는 낮기 때문에 이러한 해결책이 채택되지 않는다.

만일 디코딩 절차가 연속적이지 않다면, 비디오 디코딩 및 VSTC가 동기화 되어 남아 있음이 관찰된다. 그리고 나서 각 영상을 표시할 때는 VSTC = PTS라는 것이 입증될 수도 있다.

계산할 수 없는 두 가지 유형이 비디오 디코딩 절차를 방해할 수도 있다.

-디스크로부터 스트림을 판독하는 것과 관련된 방해는 특정 영상이 표시될 때의 지연, 또는 디코더의 재초기화 및 데이터 손실을 수반하는 포워드 점프(forward jump)를 유발할 수도 있다.

-LSTC가 더 이상은 의미가 없는 동안에 "트릭-모드(trick-mode)"의 실행은 응용(프리즈 프레임 등과 같은 특별한 동작 모드에 해당하는 것으로 표준에서 사용된 용어)에 의해 요구된다.

모든 경우에서, 개시할 때처럼 또는 폴백(fallback) 값을 보전하여(포우즈의 경우에) VSTC를 재초기화하는 것이 타당하다.

오프셋은 규칙적으로 다시 갱신되어야 한다{PCR과 동기화된 PTS에 대한 클록(LSTC)의 차이}. 영상 구간은 재생(refresh) 구간으로서 취급될 수 있다.

오디오의 디코딩을 개시하는 것은 비디오의 디코딩 개시보다 좀 더 즉각적이다. 시작할 때를 알리기 위해서 상기 VSTC를 계산하는 것으로 충분하다. 상기 VSTC가 비디오에 의해 초기화되도록 대기하는 것 역시 필요하다.

상기 VSTC가 비디오 디코딩과 적절히 동기화를 유지하고 있는 것이 확실한 이상, 상기 오디오를 비디오와 동기화시키는 것은 그것을 상기 VSTC에 종속시킴으로써 전적으로 당연하게 수행된다. 그러나 오디오 디코더가 비디오 디코더를 조정하는 27MHz 기준 클록과 동기화되는 것이 아니고, 독립 클록과 동기화되는 것이다. 이러한 경우에, 오디오 디코더는 VSTC에 종속되어야 한다.

물론, MPEG 디코더 및 하드 디스크는 위성 디코더 내에 집적되어 존재되어 왔다. 이러한 소자들 또는 이러한 소자들 중의 하나는 마찬가지로, 압축 데이터를 수신하는 디지털 텔레비전 수상기의 부분을 간단히 형성할 수 있다.

입력 스트림은 프로그램 스트림(PS)인 것으로서 설명된다. 본 발명의 범주에서 벗어나지 않고, 상기 입력 스트림은 또한 트랜스포트 스트림(TS)에 속한다.

전술한 관점에서 볼 때, 첨부된 청구 범위에 의해 이후 정의된 바와 같이 본 발명의 사상과 범주 내에서 다양한 변형이 이루어질 수 있으며, 그래서 본 발명은 제공된 예들에 한정되지 않는다는 점은 당업자에게 자명할 것이다.

Claims (13)

1. 데이터가 PES(Packetized Elementary Stream: 패킷화된 기본 스트림) 오디오 및 비디오 데이터 패킷으로 구성되어 있고, 기록 매체(4)로부터 유래하는 압축된 상기 데이터를 디코딩하기 위해 MPEG 디코더를 동기화시키는 방법에 있어서,

   -로컬 클록(LSTC: local clock)에 관련되는 순간으로서 영상 비디오의 실제 표시 순간을 계산하는 단계,

   -가상 클록(virtual clock: VSTC=STCO+LSTC)을 정의하기 위해서, 상기 계산된 표시 순간과 상기 영상 비디오에 대한 코더에 의해 요구되는 표시 순간에 해당하는 PTS 라벨 사이의 오프셋(STCO)을 계산하기 위한 단계,

   -상기 가상 클록(VSTC)에 관련하는 PTS 데이트에서 상기 영상에 해당하는 비디오 및 오디오를 표시하는 단계를 포함하는 것을 특징으로 하는, MPEG 디코더를 동기화시키는 방법.
2. 제 1항에 있어서, 비디오 디코더의 버퍼를 통한 비디오의 이동(transit) 시간이 미리 정해진 값(TVBV)으로 주어지는 것을 특징으로 하는, MPEG 디코더를 동기화시키는 방법.
3. 제 2항에 있어서, TVBV의 결정은 기록 매체에 PES 데이터를 기록하는 비트 율에 의존하는 것을 특징으로 하는, MPEG 디코더를 동기화시키는 방법.
4. 제 2항에 있어서, TVBV의 결정은 VBV_지연에 의존하는 것을 특징으로 하는, MPEG 디코더를 동기화시키는 방법.
5. 제 1항에 있어서, 상기 오프셋은 하나 더 높은 개수의 프레임 구간들로 이루어진(rounded to a higher number of frame periods) 영상 디코딩 기간(TDEC)에 의존하는 것을 특징으로 하는, MPEG 디코더를 동기화시키는 방법.
6. 제 1항에 있어서, 계산된 오프셋은 하나의 프레임 구간(TVSYNC)만큼 증분되는 것을 특징으로 하는, MPEG 디코더를 동기화시키는 방법.
7. 제 2항에 있어서, 상기 오프셋(STCO)은: STCO = PTS - TVBV - TVSYNC -(TimeRef ×40ms) - TDEC -LSTCpic 와 동일하되, 여기서 TVSYNC는 프레임 구간에 해당하고, TDEC는 하나 더 높은 개수의 프레임 구간들로 이루어진 영상 디코딩 기간에 해당하며, TimeRef는 재정리(reorder)하기 위한 영상의 시간적 기준을 나타내고, LSTCpic는 첫 번째 영상의 검출 순간과 관련하는 것을 특징으로 하는, MPEG 디코더를 동기화시키는 방법.
8. 제 1항에 있어서, "트릭-모드(trick-mode)"를 실행하거나 비디오 디코더를 재초기화 할 때, 가상 클록(VSTC: virtual clock)은 개시(start-up) 될 때 다시 갱 신되는 것을 특징으로 하는, MPEG 디코더를 동기화시키는 방법.
9. 제 1항에 있어서, 상기 가상 클록(VSTC)은 각 영상과 함께 다시 갱신되는 것을 특징으로 하는, MPEG 디코더를 동기화시키는 방법.
10. 제 1항에 있어서, 시프트 모드(시간 시프트)에서 데이터를 판독하는 동안, 데이터는 기록 포인터에 기초하여 기록되고 기록된 데이터는 판독 포인터에 기초하여 시간이 시프트 되어 판독되되, 기록 포인터와 판독 포인터 사이에 최소한의 갭(11)이 주어지는 것을 특징으로 하고, 이때 상기 갭이 달성되면 디코더의 프리즈 모드(freeze mode)가 실행되는, MPEG 디코더를 동기화시키는 방법.
11. MPEG 디코더(7, 8)를 PES 데이터 패킷으로 구성되는 기록된 MPEG 스트림으로 동기화시키는 장치에 있어서,

    가상 클록(VSTC)을 정의하기 위해서, 디코더의 로컬 클록(LSTC)에 인가될 오프셋(STCO)을 계산하는 수단을 포함하는 것을 특징으로 하되,

    상기 오프셋은 LSTC 태그에서 계산된 바와 같이 영상의 비디오를 표시하는 순간(Tpres)과 코더로부터 유래하는 이러한 영상을 표시하는 PTS 값 사이의 차이와 동일하고 상기 가상 클록(VSTC)이 PTS 값과 동일할 때 오디오 및 비디오 데이터의 디코딩이 수행되는, MPEG 디코더를 동기화시키는 장치.
12. MPEG 디코더(7, 8) 및 청구항 11항에 따른 동기화 장치를 포함하는 것을 특징으로 하는, 위성 디코더.
13. MPEG 디코더(7, 8) 및 청구항 11항에 따른 동기화 장치를 포함하는 것을 특징으로 하는, 텔레비전 수상기.

Images