KR101984178B1

KR101984178B1 - 자막 싱크 조절 방법 및 시스템

Info

Publication number: KR101984178B1
Application number: KR1020170147246A
Authority: KR
Inventors: 윤성로; 유재윤
Original assignee: 서울대학교산학협력단
Priority date: 2017-11-07
Filing date: 2017-11-07
Publication date: 2019-05-31
Also published as: KR20190051498A

Abstract

자막 싱크 조절 방법 및 시스템이 제공된다. 자막 싱크 조절 시스템은 제1 언어의 제1 자막 및 상기 제1 언어와 상이한 제2 언어의 제2 자막을 준비하는 자막 준비부, 상기 제1 자막이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 자막 번역부 및 상기 제1 번역 자막의 문장들과 상기 제2 언어의 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시킨다.

Description

자막 싱크 조절 방법 및 시스템{Method and system for controlling subtitle sync}

본 발명은 자막 싱크 조절 방법 및 시스템에 관한 것으로, 구체적으로 싱크가 맞지 않는(Out of sync) 자막의 문장을 싱크가 맞는(In sync) 자막의 문장을 서로 비교, 매칭함으로써 싱크를 조절할 수 있는 방법 및 시스템에 관한 것이다.

해외 영화, 드라마를 시청하기 위해서는 언어적인 장벽이 큰 문제가 된다. 이를 보완하기 위해 더빙을 하기도 하나, 일반적으로는 영화, 드라마의 음성과 대응되는 자막을 생성, 재생되는 화면에 함께 표시한다.

영상과 함께 표시되는 자막은 1차적으로는 번역의 품질이 중요하나, 출력되는 음성과 자막이 표시되는 시간이 일치하지 않는 경우, 시청자는 해당 영상에 집중할 수 없고, 내용을 이해할 수 없다. 따라서, 자막의 표시에 있어 음성 데이터와의 싱크(Sync)도 매우 중요한 요소에 해당한다.

종래 자막의 싱크를 조절하는 방법은 두 가지로 분류할 수 있다. 첫 번째 방식은 자막의 각 문장마다 사람이 수동적으로 조절하는 방법이며, 두 번째 방법은 자막의 각 문장 단위가 아닌 자막 전체를 동일한 시간만큼 조정하는 방법이다. 첫 번째 방법은 사람의 노력과 시간을 지나치게 많이 요구하는 단점이 있으며, 두 번째 방법은 각 문장마다 싱크가 맞지 않는 경우에는 적용이 불가능한 문제점이 있다.

따라서, 자막의 싱크 조절을 문장 단위로 효율적으로 조절할 수 있는 방법 및 시스템이 요구되고 있다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 빠른 시간 내에 자동으로 자막의 각 문장 단위로 조정할 수 있는 자막 싱크 조절 방법 및 시스템을 제공한다.

본 명세서의 일 실시예에 자막 싱크 조절 시스템은 제1 언어의 제1 자막 및 상기 제1 언어와 상이한 제2 언어의 제2 자막을 준비하는 자막 준비부, 상기 제1 자막이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 자막 번역부 및 상기 제1 번역 자막의 문장들과 상기 제2 언어의 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시키는 싱크 조절부를 포함한다.

일 실시예에서, 상기 싱크 조절부는 상기 제1 번역 자막에 포함된 각 문장과 상기 제2 자막의 문장들과의 일치도를 수치화하고, 상기 각 문장 별 일치도의 합계가 최대가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭할 수 있다.

일 실시예에서, 상기 제1 번역 자막의 문장들은 상기 제2 자막의 문장들과 매칭되지 않는 문장을 포함하고, 상기 싱크 조절부는 상기 일치도의 합계가 최대가 되고, 상기 매칭되지 않는 문장의 수가 최소가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭할 수 있다.

일 실시예에서, 상기 싱크 조절부는 상기 매칭되지 않는 문장들의 타임 스탬프를 선행 문장 및 후행 문장의 타임 스탬프 조절 및 종래 시간 차이를 감안하여 조절할 수 있다.

일 실시예에서, 상기 제2 자막은 싱크가 맞는(In sync) 자막이고, 상기 싱크 조절부는 상기 제2 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제1 번역 자막의 싱크를 조절하고, 상기 싱크가 조절된 제1 번역 자막을 기준으로 상기 제1 자막의 싱크를 조절할 수 있다.

일 실시예에서, 상기 제1 자막은 싱크가 맞는(In sync) 자막이고, 상기 싱크 조절부는 상기 제1 번역 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제2 자막의 싱크를 조절할 수 있다.

일 실시예에서, 상기 자막 준비부는 영상에서 재생되는 음성을 인식하는 음성 인식부를 더 포함하고, 상기 음성 인식부는 음성의 내용, 음성의 출력 시간을 각각 인식하여 상기 제1 자막 또는 제2 자막을 생성할 수 있다.

본 명세서의 일 실시예에 자막 싱크 조절 방법은 제1 언어의 제1 자막 및 상기 제1 언어와 상이한 제2 언어의 제2 자막을 준비하는 단계, 상기 제1 자막이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 단계 및 상기 제1 번역 자막의 문장들과 상기 제2 언어의 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시키는 싱크 조절 단계를 포함한다.

일 실시예에서, 상기 싱크 조절 단계는, 상기 제1 번역 자막에 포함된 각 문장과 상기 제2 자막의 문장들과의 일치도를 수치화하고, 상기 각 문장 별 일치도의 합계가 최대가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭하는 것을 포함할 수 있다.

일 실시예에서, 상기 제1 번역 자막의 문장들은 상기 제2 자막의 문장들과 매칭되지 않는 문장을 포함하고, 상기 싱크 조절 단계는 상기 싱크 조절부는 상기 일치도의 합계가 최대가 되고, 상기 매칭되지 않는 문장의 수가 최소가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭하는 것을 포함할 수 있다.

일 실시예에서, 상기 싱크 조절 단계는 상기 매칭되지 않는 문장들의 타임 스탬프를 선행 문장 및 후행 문장의 타임 스탬프 조절 및 종래 시간 차이를 감안하여 조절하는 것을 포함할 수 있다.

일 실시예에서, 상기 제2 자막은 싱크가 맞는(In sync) 자막이고, 상기 싱크 조절 단계는 상기 제2 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제1 번역 자막의 싱크를 조절하고, 상기 싱크가 조절된 제1 번역 자막을 기준으로 상기 제1 자막의 싱크를 조절하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 자막은 싱크가 맞는(In sync) 자막이고, 상기 싱크 조절 단계는 상기 제1 번역 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제2 자막의 싱크를 조절하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제2 자막은 싱크가 맞는 자막이고, 상기 제2 자막은 영상에서 재생되는 음성을 인식하여 준비될 수 있다.

일 실시예에 따른 컴퓨터 프로그램은, 하드웨어와 결합되어 전술한 실시예들에 따른 자막 싱크 조절 방법을 실행하기 위한 것으로서, 컴퓨터로 판독 가능한 매체에 저장될 수 있다.

본 발명의 일 실시예에 따른 자막 싱크 조절 방법 및 시스템은 싱크가 맞지 않는 자막과 싱크가 맞는 다른 언어의 자막을 비교하여 자동으로 싱크의 조절이 수행될 수 있는 바, 사람의 수도적인 노력이 요구되지 않는다.

또한, 두 자막을 비교할 때 각 문장 별로 서로 비교하는 바, 문장마다 싱크 조절이 수행될 수 있다.

도 1은 본 발명의 일 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.
도 2 및 도 3은 자막 싱크 조절 과정을 예시적으로 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.
도 5는 본 발명의 또 다른 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.
도 6는 본 발명의 일 실시예에 따른 자막 싱크 조절 방법의 순서도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.

도 1은 본 발명의 일 실시예에 따른 자막 싱크 조절 시스템의 블록도이고, 도 2 내지 도 3은 자막 싱크 조절 과정을 예시적으로 나타낸 도면이다.

도 1 내지 도 3을 참조하면, 본 실시예에 따른 자막 싱크 조절 시스템(10)은 자막 준비부(100), 자막 번역부(110), 싱크 조절부(120)를 포함한다. 실시예들에 따른 자막 싱크 조절 시스템 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 자막 싱크 조절 시스템의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 자막 번역부(100)는 입력된 자막을 번역하기 위한 하드웨어 및 이를 제어하여 처리함으로써 후속 처리를 위한 형태로 변환하는 소프트웨어의 조합을 지칭할 수 있다.

자막 준비부(100)는 제1 자막(S1) 및 제2 자막(S2)을 준비할 수 있다. 제1 자막(S1) 및 제2 자막(S2)은 특정 영상의 대화, 설명 등을 나타내기 위해 특정 영상과 함께 표시되는 자막일 수 있다. 여기서, 제1 자막(S1)과 제2 자막(S2)을 구성하는 각 문장들은 동일한 의미일 수 있으나, 작성된 언어 체계가 상이할 수 있다. 즉, 제1 자막(S1)은 제1 언어로 준비될 수 있으며, 제2 자막(S2)은 제1 언어와 상이한 제2 언어로 준비될 수 있다. 예시적으로, 제1 언어는 한글일 수 있고, 제2 언어는 영어일 수 있으나 이에 한정되는 것은 아니다.

제1 자막(S1) 및 제2 자막(S2)에 포함된 각 문장들은 화면에 표시되는 시간에 해당하는 타임 스탬프를 포함할 수 있다. 각 문장들은 지정된 타임 스탬프에 대응하여 화면에 표시되었다가 사라질 수 있다. 여기서, 제1 자막(S1)의 문장의 타임 스탬프와 이에 대응되는 제2 언어로 작성된 제2 자막(S2)의 문장의 타임 스탬프는 상이할 수 있다. 즉, 제1 자막(S1), 제2 자막(S2) 중 어느 하나는 싱크가 맞는(In sync) 상태이고, 나머지 하나는 싱크가 맞지 않은(Out of sync) 상태일 수 있다. 싱크가 맞지 않다는 것은 자막에 포함된 적어도 하나의 문장이 표시되는 시간이 이에 대응되는 음성의 출력 시간과 일치하지 않은 것을 의미한다. 싱크가 맞는 자막은 종래 생성된 자막일 수 있으며, 싱크가 맞지 않은 자막은 신규로 생성된 자막일 수 있다.

여기서, 제1 자막(S1)은 신규 생성된 한글 자막으로 싱크가 맞지 않은 상태일 수 있고, 제2 자막(S2)은 종래 완성된 영어 자막으로 싱크가 맞는 상태일 수 있다. 제2 자막(S2)은 싱크가 맞는 종래 완성된 자막으로, 재생되는 영상의 제목 등을 기반으로 웹 검색을 통해 준비될 수 있다. 다만, 이에 한정되는 것은 아니며 영상의 제작사에 무료 또는 유료 배포한 자막으로 해당 영상의 제작사의 홈페이지를 통해 준비될 수도 있다.

자막 준비부(100)는 상술한 상태로 준비된 제1 자막(S1) 및 제2 자막(S2) 중 한 자막을 자막 번역부(110)로 제공할 수 있고, 나머지 자막을 싱크 조절부(120)로 제공할 수 있다. 여기서, 자막 번역부(110)로 제공되는 자막은 번역이 보다 용이하고, 정확하게 수행될 수 있는 자막일 수 있다. 즉, 한글에서 영어로의 번역이 보다 용이하고, 정확하게 수행될 수 있는 경우 한글 자막인 제1 자막(S1)이 자막 번역부(110)로 제공될 수 있다.

자막 번역부(110)는 제1 언어의 제1 자막(S1)이 제1 언어와 상이한 제2 언어로 번역된 제1 번역 자막(S1')을 생성할 수 있다. 여기서, 제2 언어는 제2 자막(S2)을 구성하는 언어 체계일 수 있다. 제1 자막(S1)은 타임 스탬프에 따라 문장 단위로 번역될 수 있다. 제1 자막(S1) 에 포함된 문장들의 타임 스탬프와 제1 번역 자막(S1')에 포함된 문장들의 타임 스탬프는 동일할 수 있다. 예시적으로, 자막 번역부(110)는 한글 자막(S1)을 제공받을 수 있으며, 이를 영어로 번역할 수 있다. 한글 자막의 한 문장과 이를 번역한 영어 문장은 동일한 타임 스탬프를 가질 수 있다.

자막 번역부(110)는 자체 번역 프로그램을 포함할 수 있으나, 이에 한정되는 것은 아니며, 공개된 번역 웹사이트에 접속하여 각 문장 별로 기계 번역을 수행할 수도 있다. 자막 번역부(110)는 제공된 자막을 자체적으로 다른 언어로 번역할 수 있다. 자막 번역부(110)는 이후 진행될 제2 자막(S2)과의 용이한 매칭을 위해, 제2 자막(S2)을 구성하는 언어 체계로 제1 자막(S1)을 번역할 수 있고, 제1 번역 자막(S1')을 생성할 수 있다.

다만, 이에 한정되는 것은 아니며 자막 번역부(110)는 사전에 협조된 번역 웹사이트에 제1 자막(S1)에 대한 기계 번역을 요청하고, 기계 번역된 제1 자막(S1)을 수신하여 제1 번역 자막(S1')을 생성할 수도 있다.

자막 번역부(110)는 제1 자막(S1) 및 제2 언어로 번역된 제1 번역 자막(S1')을 싱크 조절부(120)로 제공할 수 있다.

싱크 조절부(120)는 제2 언어로 번역된 제1 번역 자막(S1')의 문장들과 제2 언어의 제2 자막(S2)의 문장들을 매칭할 수 있다. 싱크 조절부(120)는 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도가 최대가 되도록, 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들을 매칭할 수 있다.

제1 번역 자막(S1')에 포함된 각 문장은 제2 자막(S2)의 문장들과의 일치도가 산출될 수 있다. 또한, 제2 문장(S2)에 포함된 각 문장은 제1 번역 자막(S1')의 문장들과의 일치도가 산출될 수 있다. 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도는 GLEU score을 통해 판단될 수 있다. GLEU score는 두 문장이 얼마나 비슷한 의미를 지녔는지를 나타내는 수치이다. GLEU score는 0에서 1 이내의 값을 가지며 두 문장이 완전히 일치하는 문장인 경우 최대 1점을 부여하고, 완전히 상이한 문장인 경우 0점을 부여한다.

도 2에 도시된 바와 같이, 제2 자막(S2)의 제1 문장과 제1 번역 자막(S1')의 제1 문장은 완전히 일치하는 문장으로 1점을 부여 받으며, 제2 자막(S2)의 제1 문장과 제1 번역 자막(S1')의 제2 문장은 완전히 상이한 문장으로 0점을 부여 받는다. 또한, 제2 자막(S2)의 제2 문장과 제1 번역 자막(S2)의 제2 문장은 일부 일치하는 부분이 있는 바, 0.72점을 부여 받을 수 있다.

이러한, GLEU score는 제1 번역 자막(S1')의 전체 문장과 제2 자막(S2)의 전체 문장 사이에서 수행될 수 있다. 다만, 하나의 자막에 포함된 문장은 수천 개로 이러한 전체 문장을 서로 비교하는 것은 많은 계산 량이 요구되고, 실행 시간이 오래 걸릴 수 있다. 또한, 제1 번역 자막(S1')의 첫 번째 문장과 제2 자막(S2)의 마지막 문장은 문장간의 일치도가 높을 가능성이 매우 희박할 수 있다. 따라서, 싱크 조절부(120)는 제1 번역 자막(S1')의 첫 번째 문장과 제2 자막(S2)의 첫 번째 문장이 포함되는 일정 범위 내에서 위치하는 문장들과의 일치도를 산출할 수 있다.

싱크 조절부(120)는 제1 번역 자막(S1')의 문장들을 타임 스탬프에 따라 순번을 설정할 수 있고, 제2 자막(S2)의 문장들도 타임 스탬프에 따라 순번을 설정할 수 있다. 싱크 조절부(120)는 제1 번역 자막(S1')의 제62 문장을 제2 자막(S2)의 제62번 문장의 주변 문장들과의 일치도를 계산할 수 있다. 예시적으로, 제62번 문장 전후로 50개의 문장들과의 일치도를 계산하는 경우, 싱크 조절부(120)는 제1 번역 자막(S1')의 제62 문장을 제2 자막(S2)의 제12 문장부터 제112 문장까지의 일치도를 계산할 수 있고, 1번째 문장부터 11번째 문장, 113번째 문장부터 마지막 문장까지의 일치도는 0점을 부여할 수 있다.

상술한 방법을 통해 제1 번역 자막(S1')과 제2 자막(S2)의 일치도가 산출된 이후, 싱크 조절부(120)는 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도가 최대가 되도록, 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들을 매칭할 수 있다. 여기서, 제1 번역 자막(S1')과 제2 자막(S2)은 제2 언어로 작성되어 실질적으로 동일한 내용으로 구성되어 있으나, 문장의 수는 상이할 수 있다. 즉, 제1 자막(S1)을 제1 번역 자막(S1')으로 번역과정에서 일부 오 번역이 발생할 수 있으며, 제1 자막(S1)을 준비하는 과정에서 부연적으로 들어간 표현에 따라 추가적인 문장이 삽입될 수도 있다. 이러한 추가적인 문장은 상술한 GLEU score를 수행하였을 때, 일치하는 문장이 없을 확률이 매우 높기 때문에 모든 문장들과의 사이에서 낮은 GLEU score를 받게 된다. 싱크 조절부(120)는 이러한 두 자막의 문장들을 서로 매칭할 수 있다. 싱크 조절부(120)는 각 문장 별로 측정된 GLEU score의 총 합이 최대가 되도록 각 문장들을 일치 시킬 수 있다.

도 3(a)는 제1 번역 자막(S1')과 제2 자막(S2)의 제1 문장부터 제7 문장을 서로 비교한 표이며, 도 3(b)는 도 3(a)의 문장간의 GLEU score를 계산한 표이다. 도 3(a) 및 도 3(b)은 설명의 편의를 위해 예시적으로 도시한 도표이며, 설명의 편의를 위해 각 문장과 해당되는 타임 스탬프를 함께 기재하였다.

싱크 조절부(120)는 제1 번역 자막(S1')과 제2 자막(S2)의 문장간의 GLEU score를 계산하였을 때, GLEU score의 합계가 최대가 되도록 각 문장들을 매칭할 수 있다. 즉, 제1 번역 자막(S1')의 제2 문장과 제2 자막(S2)의 제1 문장, 제1 번역 자막(S1')의 제4 문장과 제2 자막(S2)의 제2 문장, 제1 번역 자막(S1')의 제5 문장과 제2 자막(S2)의 제3 문장, 제1 번역 자막(S1')의 제6 문장과 제2 자막(S2)의 제4 문장, 제1 번역 자막(S1')의 제7 문장과 제2 자막(S2)의 제5 문장이 각각 매칭될 수 있다. 제1 번역 자막(S1')의 제1 문장, 제3 문장은 상황에 대한 부연 설명에 관한 자막으로 제2 자막(S2)엔 존재하지 않은 자막일 수 있다. 제1 번역 자막(S1')의 제1 문장, 제3 문장은 제2 자막(S2)에 존재하지 않은 자막이므로 제2 자막(S2)의 문장들과 매칭되지 않을 수 있다. 싱크 조절부(120)는 GLEU score의 합계가 최대가 되고, 매칭되지 않은 문장의 수가 최소가 되도록 문장들을 매칭할 수 있다. 여기서, 문장들의 매칭은 현재 계산된 상태의 일치도 값을 합산하여 수행될 수 있으나, 이에 한정되는 것은 아니며, 계산된 일치도 값에 10배를 곱하여 점수를 더하며, 매칭되지 않은 공란에는 -1점을 부여하여 가장 높게 합산되도록 문장들을 매칭할 수도 있다.

싱크 조절부(120)는 매칭된 제1 번역 자막의 문장들과 제2 자막의 문장들의 타임 스탬프를 일치시킬 수 있다. 여기서, 제2 자막(S2)이 싱크가 맞는 자막이므로 제1 번역 자막(S1')은 제2 자막(S2)의 타임 스탬프에 따라 싱크가 조절될 수 있다. 예시적으로 제1 번역 자막(S1')의 제2 문장의 타임 스탬프(0:01:14~0:01:15)는 매칭된 제2 자막(S2)의 제1 문장의 타임 스탬프(0:02:14~0:02:15)로 조절될 수 있다. 여기서 제1 번역 자막(S1')의 제2 문장, 제4 문장은 60초만큼 타임 스탬프가 조절될 수 있고, 제1 번역 자막(S1')의 제5 문장, 제6 문장, 제7 문장은 59초만큼 타임 스탬프가 조정될 수 있다. 즉, 문장 별로 조정되는 시간 간격이 상이할 수 있고, 그만큼 정밀한 조정이 가능할 수 있다.

싱크 조절부(120)는 제2 자막(S2)과 매칭되지 않는 제1 번역 자막(S1')의 문장들은 선행 문장과 후행 문장의 타임 스탬프 조절 및 선행 문장과 후행 문장과의 종래 시간 차이를 고려하여 타임 스탬프를 조절할 수 있다. 예시적으로, 제1 문장은 제2 문장의 타임 스탬프 조절과 기존 시간 차이를 감안하여 0:02:11~0:02:12로 타임 스탬프가 조절되고, 제3 문장은 제2 문장 및 제4 문장의 타임 스탬프 조절과 기존 시간 차이를 감안하여 0:02:16~0:02:17로 타임 스탬프가 조절될 수 있다.

싱크 조절부(120)는 싱크가 조절된 제1 번역 자막(S1')에 대응되도록 제1 자막(S1)의 싱크를 조절할 수 있다. 즉, 제1 자막(S1)은 문장의 순번대로 제1 번역 자막(S1')과 매칭될 수 있으며, 제1 자막(S1)의 문장들은 대응되는 제1 번역 자막(S1')의 문장들의 타임 스탬프로 변경될 수 있다.

싱크 조절부(120)는 제2 자막(S2)의 싱크를 기준으로, 제1 번역 자막(S1')의 싱크를 조절하고, 조정된 제1 번역 자막(S1')의 싱크를 기준으로, 제1 자막(S1)의 싱크를 조절할 수 있다.

본 발명의 일 실시예에 따른 자막 싱크 조절 시스템(10)은 싱크가 맞지 않는 자막을 싱크가 맞는 자막의 언어로 번역하고, 양 자막을 매칭하여 싱크가 맞지 않은 자막을 싱크를 문장 단위로 조절한다. 자막 싱크의 조절이 문장 단위로 효과적이고 빠르게 수행될 수 있다.

이하, 본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템에 대해 설명하도록 한다.

도 4는 본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.

도 4를 참작하면, 본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템(11)은 자막 준비부(101), 자막 번역부(111), 싱크 조절부(121)를 포함한다. 다른 실시예에 따른 자막 싱크 조절 시스템(11)의 구성은 상술한 일 실시예에 따른 자막 싱크 조절 시스템(10)과 일부 동일할 수 있는 바, 중복되는 설명은 생략하도록 한다.

자막 준비부(101)는 제1 자막(S1) 및 제2 자막(S2)을 준비할 수 있다. 제1 자막(S1) 및 제2 자막(S2)은 특정 영상의 대화, 설명 등을 나타내기 위해 특정 영상과 함께 표시되는 자막일 수 있다. 제1 자막(S1) 및 제2 자막(S2)에 포함된 각 문장들은 화면에 표시되는 시간에 해당하는 타임 스탬프를 포함할 수 있다. 여기서, 제1 자막(S1)의 문장의 타임 스탬프와 이에 대응되는 제2 언어로 작성된 제2 자막(S2)의 문장의 타임 스탬프는 상이할 수 있다. 즉, 제1 자막(S1), 제2 자막(S2) 중 어느 하나는 싱크가 맞는(In sync) 상태이고, 나머지 하나는 싱크가 맞지 않은(Out of sync) 상태일 수 있다. 여기서, 제1 자막(S1)은 종래 완성된 한글 자막으로 싱크가 맞는 상태일 수 있고, 제2 자막(S2)은 신규 생성된 영어 자막으로 싱크가 맞는 상태일 수 있다.

자막 준비부(101)는 상술한 상태로 준비된 제1 자막(S1) 및 제2 자막(S2) 중 한 자막을 자막 번역부(111)로 제공할 수 있고, 나머지 자막을 싱크 조절부(121)로 제공할 수 있다. 예시적으로, 자막 준비부(101)는 한글 자막인 제1 자막(S1)을 자막 번역부(111)로 제공할 수 있다.

자막 번역부(111)는 제1 언어의 제1 자막(S1)이 제1 언어와 상이한 제2 언어로 번역된 제1 번역 자막(S1')을 생성할 수 있다. 여기서, 자막 번역부(111)는 자체적인 프로그램을 포함할 수 있으나, 이에 한정되는 것은 아니며 공개된 번역 웹사이트에 접속하여 기계 번역을 수행하거나, 사전에 협조된 번역 웹사이트에 기계 번역을 요청하고, 완료된 자막을 수신하여 제1 번역 자막(S1)을 생성할 수도 있다.

제1 자막(S1)은 이후 진행될 제2 자막(S2)과의 용이한 매칭을 위해, 제2 자막(S2)을 구성하는 언어 체계로 번역될 수 있다. 예시적으로, 자막 번역부(111)는 한글 자막(S1)을 제공받을 수 있으며, 영어로 번역된 제1 번역 자막(S1')을 생성할 수 있다. 한글 자막의 한 문장과 이를 번역한 영어 문장은 동일한 타임 스탬프를 가질 수 있다. 자막 번역부(111)는 제1 자막(S1) 및 제2 언어로 번역된 제1 번역 자막(S1')을 싱크 조절부(121)로 제공할 수 있다.

싱크 조절부(121)는 제2 언어로 번역된 제1 번역 자막(S1')의 문장들과 제2 언어의 제2 자막(S2)의 문장들을 매칭할 수 있다. 싱크 조절부(121)는 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도가 최대가 되도록, 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들을 매칭할 수 있다. 문장들의 일치도가 최대가 되도록 하는 방법은 상술한 자막 싱크 조절 시스템(10)의 GLEU score가 적용될 수 있는 바, 상세한 설명은 생략하도록 한다.

싱크 조절부(121)는 매칭된 제1 번역 자막의 문장들과 제2 자막의 문장들의 타임 스탬프를 일치시킬 수 있다. 여기서, 제1 번역 자막(S1')이 싱크가 맞는 자막이므로 제2 자막(S2)은 제1 번역 자막(S1')의 타임 스탬프에 따라 싱크가 조절될 수 있다.

본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템(11)은 싱크가 맞는 자막을 싱크가 맞지 않는 자막의 언어로 번역하고, 양 자막을 매칭하여, 싱크가 맞지 않은 자막을 싱크를 문장 단위로 조절할 수 있게 한다. 이에 따라, 자막 싱크의 조절이 효과적이고 빠르게 수행될 수 있다.

도 5는 본 발명의 또 다른 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.

도 5를 참작하면, 본 발명의 또 다른 실시예에 따른 자막 싱크 조절 시스템(12)은 자막 준비부(102), 자막 번역부(112), 싱크 조절부(122)를 포함한다.

자막 준비부(102)는 제1 자막(S1) 및 제2 자막(S2)을 준비할 수 있다. 제1 자막(S1) 및 제2 자막(S2)은 특정 영상의 대화, 설명 등을 나타내기 위해 특정 영상과 함께 표시되는 자막일 수 있다. 제1 자막(S1) 및 제2 자막(S2)에 포함된 각 문장들은 화면에 표시되는 시간에 해당하는 타임 스탬프를 포함할 수 있다. 여기서, 제1 자막(S1)의 문장의 타임 스탬프와 이에 대응되는 제2 언어로 작성된 제2 자막(S2)의 문장의 타임 스탬프는 상이할 수 있다. 즉, 제1 자막(S1), 제2 자막(S2) 중 어느 하나는 싱크가 맞는(In sync) 상태이고, 나머지 하나는 싱크가 맞지 않은(Out of sync) 상태일 수 있다.

여기서, 제1 자막(S1)은 신규 생성된 제1 언어로 구성된 자막으로 싱크가 맞지 않은 상태일 수 있다. 그리고, 제2 자막(S2)은 재생되는 영상의 제2 언어에 따른 음성을 인식하여 생성된 자막으로 싱크가 맞는 상태일 수 있다.

본 실시예에 따른 자막 준비부(102)는 영상에서 재생되는 음성을 인식하는 음성 인식부(103)를 더 포함할 수 있다. 음성 인식부(103)는 음성의 내용, 음성의 출력 시간을 각각 인식하고, 음성의 내용에 따라 자막의 문장들을 생성하고, 음성의 출력 시간에 대응하여 각 문장들의 타임 스탬프를 설정하여 제2 자막(S2)을 생성할 수 있다.

또 다른 실시예에 따른 자막 싱크 조절 시스템(12)의 나머지 구성은 상술한 일 실시예에 따른 자막 싱크 조절 시스템(10)과 일부 동일할 수 있는 바, 중복되는 설명은 생략하도록 한다.

이하, 본 발명의 일 실시예에 따른 자막 싱크 조절 방법에 대해 설명하도록 한다.

도 6는 본 발명의 일 실시예에 따른 자막 싱크 조절 방법의 순서도이다.

도 6를 참조하면, 본 발명의 다른 실시예에 따른 자막 싱크 조절 방법은 자막 준비 단계(S100), 자막 번역 단계(S110), 싱크 조절 단계(S120)을 포함한다. 본 발명의 일 실시예에 따른 자막 싱크 조절 방법은 상술한 일 실시예에 따른 자막 싱크 조절 시스템(10)을 통해 수행되는 것으로, 중복되는 설명은 생략하도록 한다.

먼저, 자막을 준비한다(S100).

제1 자막(S1) 및 제2 자막(S2)이 준비될 수 있다. 제1 자막(S1) 및 제2 자막(S2)은 특정 영상의 대화, 설명 등을 나타내기 위해 특정 영상과 함께 표시되는 자막일 수 있다. 여기서, 제1 자막(S1)과 제2 자막(S2)을 구성하는 각 문장들은 동일한 의미일 수 있으나, 작성된 언어 체계가 상이할 수 있다. 즉, 제1 자막(S1)은 제1 언어로 준비될 수 있으며, 제2 자막(S2)은 제1 언어와 상이한 제2 언어로 준비될 수 있다.

제1 자막(S1) 및 제2 자막(S2)에 포함된 각 문장들은 화면에 표시되는 시간에 해당하는 타임 스탬프를 포함할 수 있다. 각 문장들은 지정된 타임 스탬프에 대응하여 화면에 표시될 수 있다. 여기서, 제1 자막(S1)의 문장의 타임 스탬프와 이에 대응되는 제2 언어로 작성된 제2 자막(S2)의 문장의 타임 스탬프는 상이할 수 있다. 즉, 제1 자막(S1), 제2 자막(S2) 중 어느 하나는 싱크가 맞는(In sync) 상태이고, 나머지 하나는 싱크가 맞지 않은(Out of sync) 상태일 수 있다.

여기서, 제1 자막(S1)은 신규 생성된 한글 자막으로 싱크가 맞지 않은 상태일 수 있고, 제2 자막(S2)은 종래 완성된 영어 자막으로 싱크가 맞는 상태일 수 있으나, 이에 한정되는 것은 아니며, 제1 자막(S1)은 한글 자막으로 싱크가 맞는 상태일 수 있고, 제2 자막(S2)은 신규 생성된 영어 자막으로 싱크가 맞지 않은 상태일 수도 있다.

이러한 제1 자막(S1) 및 제2 자막(S2)의 준비는 자막 준비부에서 수행될 수 있다. 여기서, 제2 자막(S2)은 싱크가 맞는 종래 완성된 자막일 수 있고, 재생되는 영상의 제목 등을 기반으로 웹 검색을 통해 준비될 수 있다. 다만, 이에 한정되는 것은 아니며 영상의 제작사에 무료 또는 유료 배포한 자막으로 해당 영상의 제작사의 홈페이지를 통해 준비될 수도 있다. 또한, 제2 자막(S2)은 싱크가 맞는 자막으로 영상에서 재생되는 음성을 인식하고, 인식된 음성을 토대로 준비될 수도 있다.

자막 준비부는 제1 자막(S1) 및 제2 자막(S2) 중 한 자막을 자막 번역부로 제공할 수 있고, 나머지 자막을 싱크 조절부로 제공할 수 있다.

다음으로, 자막을 번역한다(S110).

제공된 자막이 제1 자막(S1)이라고 가정한다면, 제1 자막(S1)은 제2 자막(S2)을 구성하는 언어로 번역될 수 있다. 즉, 제1 자막(S1)은 제2 언어로 번역될 수 있다. 자막은 타임 스탬프에 따라 문장 단위로 번역할 수 있다. 제공된 자막에 포함된 문장의 타임 스탬프와 번역된 문장의 타임 스탬프는 동일할 수 있다. 자막 번역부는 제1 언어의 제1 자막(S1)이 제1 언어와 상이한 제2 언어로 번역된 제1 번역 자막(S1')을 생성할 수 있다. 여기서, 자막 번역부는 자체적인 프로그램을 포함할 수 있으나, 이에 한정되는 것은 아니며 공개된 번역 웹사이트에 접속하여 기계 번역을 수행하거나, 사전에 협조된 번역 웹사이트에 기계 번역을 요청하고, 완료된 자막을 수신하여 제1 번역 자막(S1)을 생성할 수도 있다.

자막 번역부는 제1 자막(S1)과 제2 언어로 번역된 제1 번역 자막(S1')을 싱크 조절부로 제공할 수 있다.

다음으로, 싱크를 조절한다(S120).

제2 언어로 번역된 제1 번역 자막(S1')의 문장들과 제2 언어의 제2 자막(S2)의 문장들은 서로 매칭될 수 있다. 문장들의 매칭과 매칭된 문장들의 타임 스탬프 조절은 싱크 조절부에서 수행될 수 있다. 싱크 조절부는 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도가 최대가 되도록, 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들을 매칭할 수 있다. 문장들의 일치도가 최대가 되도록 하는 방법은 상술한 자막 싱크 조절 시스템(10)의 GLEU score가 적용될 수 있는 바, 상세한 설명은 생략하도록 한다.

싱크 조절부는 매칭된 제1 번역 자막의 문장들과 제2 자막의 문장들의 타임 스탬프를 일치시킬 수 있다.

제2 자막(S2)의 싱크가 맞는 자막인 경우, 제1 번역 자막(S1')은 제2 자막(S2)의 타임 스탬프에 따라 싱크가 조절될 수 있다. 싱크가 조절된 제1 번역 자막(S1')에 대응되도록 제1 자막(S1)은 싱크가 조절될 수 있다. 즉, 제1 자막(S1)은 문장의 순번대로 제1 번역 자막(S1')과 매칭될 수 있으며, 제1 자막(S1)의 문장들은 대응되는 제1 번역 자막(S1')의 문장들의 타임 스탬프로 변경될 수 있다. 제2 자막(S2)의 싱크를 기준으로 제1 번역 자막(S1')의 싱크가 조절되고, 조정된 제1 번역 자막(S1')의 싱크를 기준으로 제1 자막(S1)의 싱크가 조절될 수 있다.

반대로, 제1 번역 자막(S1')의 싱크가 맞는 자막인 경우, 제2 자막(S2)은 제1 번역 자막(S1')의 타임 스탬프에 따라 싱크가 조절될 수 있다.

본 발명의 일 실시예에 따른 자막 싱크 조절 방법은 서로 다른 언어의 싱크가 맞는 자막과 싱크가 맞지 않은 자막을 각각 준비하고, 준비된 자막에서 하나를 번역하고, 싱크가 맞지 않는 자막을 싱크가 맞는 자막의 언어로 번역하고, 양 자막을 매칭하여 싱크가 맞지 않은 자막을 싱크를 문장 단위로 조절 한다. 자막 싱크의 조절이 문장 단위로 효과적이고 빠르게 수행될 수 있다.

이상에서 설명한 실시예들에 따른 자막 싱크 조절 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 자막 싱크 조절 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10, 11, 12: 자막 싱크 조절 시스템
100, 101, 102: 자막 준비부
110, 111, 112: 자막 번역부
120, 121, 122: 싱크 조절부
103: 음성 인식부

Claims

제1 언어로 구성된 제1 자막 및 상기 제1 언어와 상이한 언어 체계를 가진 제2 언어로 구성된 제2 자막을 준비하는 자막 준비부;
상기 제1 자막의 모든 문장이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 자막 번역부; 및
상기 제2 언어로 구성된 상기 제1 번역 자막의 각 문장과 상기 제2 언어로 구성된 제2 자막의 각 문장의 일치도를 산출하고, 상기 각 문장 별 일치도의 합계가 최대가 되도록 상기 제 1 번역 자막의 문장들과 상기 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시키는 싱크 조절부를 포함하되,
상기 일치도는 상기 제1 번역 자막의 각 문장의 의미와 상기 제2 자막의 각 문장의 의미를 비교하여 산출된 것으로, 두 문장이 얼마나 비슷한 의미를 지녔는 지를 나타내는 수치이고,
상기 제1 번역 자막의 각 문장과 상기 제2 자막의 각 문장이 완전히 일치하는 문장인 경우 최대 1점을 부여하고, 완전히 상이한 문장인 경우 0점을 부여하는 자막 싱크 조절 시스템.
삭제
제1 항에 있어서,
상기 제1 번역 자막의 문장들은 상기 제2 자막의 문장들과 매칭되지 않는 문장을 포함하고,
상기 싱크 조절부는 상기 일치도의 합계가 최대가 되고, 상기 매칭되지 않는 문장의 수가 최소가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭하는 자막 싱크 조절 시스템.
제3 항에 있어서,
상기 싱크 조절부는 상기 매칭되지 않는 문장들의 타임 스탬프를 선행 문장 및 후행 문장의 타임 스탬프 조절 및 종래 시간 차이를 감안하여 조절하는 자막 싱크 조절 시스템.
제1 항에 있어서,
상기 제2 자막은 싱크가 맞는(In sync) 자막이고,
상기 싱크 조절부는 상기 제2 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제1 번역 자막의 싱크를 조절하고, 상기 싱크가 조절된 제1 번역 자막을 기준으로 상기 제1 자막의 싱크를 조절하는 자막 싱크 조절 시스템.
제1 항에 있어서,
상기 제1 자막은 싱크가 맞는(In sync) 자막이고,
상기 싱크 조절부는 상기 제1 번역 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제2 자막의 싱크를 조절하는 자막 싱크 조절 시스템.
제1 항에 있어서,
상기 자막 준비부는 영상에서 재생되는 음성을 인식하는 음성 인식부를 더 포함하고,
상기 음성 인식부는 음성의 내용, 음성의 출력 시간을 각각 인식하여 상기 제1 자막 또는 제2 자막을 생성하는 자막 싱크 조절 시스템.
제1 언어로 구성된 제1 자막 및 상기 제1 언어와 상이한 언어 체계를 가진 제2 언어로 구성된 제2 자막을 준비하는 단계;
상기 제1 자막의 모든 문장이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 단계; 및
상기 제2 언어로 구성된 상기 제1 번역 자막의 각 문장과 상기 제2 언어로 구성된 제2 자막의 각 문장의 일치도를 산출하고, 상기 각 문장 별 일치도의 합계가 최대가 되도록 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시키는 싱크 조절 단계를 포함하되,
상기 일치도는 상기 제1 번역 자막의 각 문장의 의미와 상기 제2 자막의 각 문장의 의미를 비교하여 산출된 것으로, 두 문장이 얼마나 비슷한 의미를 지녔는 지를 나타내는 수치이고,
상기 제1 번역 자막의 각 문장과 상기 제2 자막의 각 문장이 완전히 일치하는 문장인 경우 최대 1점을 부여하고, 완전히 상이한 문장인 경우 0점을 부여하는 자막 싱크 조절 방법.
삭제
제8 항에 있어서,
상기 제1 번역 자막의 문장들은 상기 제2 자막의 문장들과 매칭되지 않는 문장을 포함하고,
상기 싱크 조절 단계는 상기 일치도의 합계가 최대가 되고, 상기 매칭되지 않는 문장의 수가 최소가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭하는 단계를 포함하는 자막 싱크 조절 방법.
제10 항에 있어서,
상기 싱크 조절 단계는 상기 매칭되지 않는 문장들의 타임 스탬프를 선행 문장 및 후행 문장의 타임 스탬프 조절 및 종래 시간 차이를 감안하여 조절하는 단계를 포함하는 자막 싱크 조절 방법.
제8 항에 있어서,
상기 제2 자막은 싱크가 맞는(In sync) 자막이고,
상기 싱크 조절 단계는 상기 제2 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제1 번역 자막의 싱크를 조절하고, 상기 싱크가 조절된 제1 번역 자막을 기준으로 상기 제1 자막의 싱크를 조절하는 단계를 포함하는 자막 싱크 조절 방법.
제8 항에 있어서,
상기 제1 자막은 싱크가 맞는(In sync) 자막이고,
상기 싱크 조절 단계는 상기 제1 번역 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제2 자막의 싱크를 조절하는 단계를 포함하는 자막 싱크 조절 방법.
제8 항에 있어서,
상기 제2 자막은 싱크가 맞는 자막이고,
상기 제2 자막은 영상에서 재생되는 음성을 인식하여 준비되는 자막 싱크 조절 방법.
하드웨어와 결합되어 제8항, 제10항 내지 제14항 중 어느 한 항에 따른 자막 싱크 조절 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.