KR100940022B1

KR100940022B1 - Method for converting and displaying text data from audio data

Info

Publication number: KR100940022B1
Application number: KR1020030016624A
Authority: KR
Inventors: 한용희; 손석
Original assignee: 엘지전자 주식회사
Priority date: 2003-03-17
Filing date: 2003-03-17
Publication date: 2010-02-04
Also published as: KR20040081992A

Abstract

본 발명은, 오디오 데이터의 텍스트 변환 및 디스플레이 방법에 관한 것으로, 외부로부터 입력되거나 또는 기록매체로부터 독출되는 오디오 데이터에서, 음성 데이터를 분리한 후, 그 분리된 음성 데이터를 텍스트 데이터로 변환하여, 상기 오디오 데이터의 출력과 함께 디스플레이하거나, 또는 기록매체에 오디오 곡의 가사 자막 또는 비디오 타이틀의 문자 자막에 해당하는 서브타이틀 데이터로서 기록 저장함으로써, 오디오 곡의 가사 자막 또는 비디오 타이틀의 문자 자막 등을, 보다 편리하게 디스플레이하거나, 또는 기록매체에 기록 저장할 수 있게 되는 매우 유용한 발명인 것이다. The present invention relates to a text conversion and display method of audio data, wherein audio data is separated from audio data input from outside or read from a recording medium, and then the separated voice data is converted into text data. By displaying with the output of the audio data or by recording and storing the subtitle data corresponding to the lyrics of the audio song or the subtitle of the video title in the recording medium, the lyrics of the audio song or the caption of the text of the video title can be obtained. It is a very useful invention that can be conveniently displayed or recorded on a recording medium.

텍스트 데이터, 음성 데이터, 보컬 채널, 가사 자막, 문자 자막, 서브타이틀 데이터Text data, audio data, vocal channel, lyrics subtitles, text subtitles, subtitle data

Description

How to convert and display text data {Method for converting and displaying text data from audio data}

도 1은 일반적인 비디오, 오디오 및 서브타이틀 데이터의 재생 과정을 도시한 것이고, 1 illustrates a process of playing general video, audio, and subtitle data,

도 2는 본 발명에 따른 오디오 데이터의 텍스트 변환 및 디스플레이 방법이 적용되는 광디스크 장치에 대한 구성을 도시한 것이고,2 illustrates a configuration of an optical disk apparatus to which a text conversion and display method of audio data according to the present invention is applied.

도 3은 본 발명에 따른 오디오 데이터의 텍스트 변환 및 디스플레이 방법에 대한 동작 흐름도를 도시한 것이고,3 is a flowchart illustrating an operation of a text conversion and display method of audio data according to the present invention;

도 4는 본 발명에 의해 보컬 채널의 오디오 데이터가 텍스트 데이터로 선택 변환되는 과정을 도시한 것이고,4 illustrates a process of selectively converting audio data of a vocal channel into text data according to the present invention.

도 5는 본 발명에 의해 마이크 입력의 오디오 데이터가 텍스트 데이터로 선택 변환되는 과정을 도시한 것이고,5 illustrates a process of selectively converting audio data of a microphone input into text data according to the present invention;

도 6은 본 발명에 의해 오디오 데이터와 텍스트 데이터가 동기되어 기록되는 과정을 도시한 것이다.
6 illustrates a process in which audio data and text data are synchronized and recorded according to the present invention.

※ 도면의 주요부분에 대한 부호의 설명 ※ Explanation of code for main part of drawing

10 : 광디스크 11 : 광픽업10: optical disc 11: optical pickup

12 : VDR 시스템 13 : 음성 인식부12: VDR system 13: voice recognition unit

14 : 텍스트 변환부 15 : 마이컴14: text conversion unit 15: micom

16 : 메모리16: memory

본 발명은, 오디오 데이터 중 음성 데이터를 텍스트 데이터로 변환하여, 디스플레이하거나 또는 기록매체에 기록 저장할 수 있도록 하기 위한 오디오 데이터의 텍스트 변환 및 디스플레이 방법에 관한 것이다.
The present invention relates to a method of text conversion and display of audio data for converting audio data from audio data into text data for display or recording on a recording medium.

최근에는, 고화질의 비디오 데이터와 고음질의 오디오 데이터를 장시간 동안 기록 및 재생할 수 있는 기록매체, 예를 들어 디브이디(DVD: Digital Versatile Disc)와 같은 광디스크가 개발 출시되어 상용화되고 있는 데, 상기 광디스크에는, 도 1에 도시한 바와 같이, 비디오 데이터와, 오디오 데이터, 그리고 서브타이틀 데이터가 데이터 스트림으로 다중 기록될 수 있다. Recently, an optical disc such as a digital versatile disc (DVD), which can record and reproduce high quality video data and high quality audio data for a long time, has been developed and commercialized. As shown in Fig. 1, video data, audio data, and subtitle data can be multiplexed into a data stream.

한편, 상기와 같은 광디스크의 데이터 스트림을 기록하거나 또는 재생할 수 있는 광디스크 장치에서는, 상기 데이터 스트림에 포함된 비디오, 오디오, 그리고 서브타이틀 데이터를 각각 분리한 후, 비디오 재생신호 처리, 오디오 재생신호 처리, 그리고 서브타이틀 재생신호 처리 동작을 수행하여, 고음질의 오디오를 재생 출력하게 되고, 또한 고화질의 비디오를 재생 출력하게 되며, 상기 서브타이틀에 해당하는 자막 영상을, 상기 비디오 영상에 중첩 표시하게 된다.On the other hand, in the optical disc apparatus capable of recording or reproducing the data stream of the optical disc as described above, after separating the video, audio, and subtitle data included in the data stream, the video reproduction signal processing, the audio reproduction signal processing, The subtitle reproduction signal processing operation is performed to reproduce and output high-quality audio and to reproduce and output high quality video, and to display the caption image corresponding to the subtitle on the video image.

따라서, 사용자는, 고음질의 오디오를 청취하면서, 동시에 비디오 영상과 자막 영상을 시청할 수 있게 되는 데, 상기 자막 영상은, 비디오 영상 내용에 해당하 는 문자 자막이거나, 또는 오디오 곡에 해당하는 가사 자막 중 어느 하나가 될 t 있다. Accordingly, the user can watch a video image and a caption image at the same time while listening to high quality audio, wherein the caption image is a text caption corresponding to the video image content or a lyrics caption corresponding to an audio song. There is t to be either.

그러나, 상기와 같은 자막 영상을 출력 표시하기 위해서는, 광디스크와 같은 기록매체에 서브타이틀 데이터가, 반드시 기록되어 있어야만 하므로, 상기 서브타이틀 데이터가 기록되어 있지 않은 경우, 오디오 곡의 가사 자막 또는 비디오 영상 내용의 문자 자막 등을, 사용자가 확인할 수 없게 되며. 또한, 일반 사용자가, 서브타이틀 데이터를 기록 매체에 기록 저장하기 위해서는, 별도의 서브타이틀 편집장치를 사용해야만 하는 문제점이 있다.
However, in order to output and display the caption video as described above, since subtitle data must be recorded on a recording medium such as an optical disc, when the subtitle data is not recorded, the lyrics or video content of an audio song is included. Character subtitles, etc. will not be visible to the user. In addition, there is a problem that a general user must use a separate subtitle editing apparatus in order to record and store the subtitle data on a recording medium.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 창작된 것으로서, 외부로부터 입력되거나 또는 기록매체로부터 독출되는 오디오 데이터 중 음성 데이터를 텍스트 데이터로 변환하여, 자막 영상으로 디스플레이하거나, 또는 기록매체에 기록 저장할 수 있도록 하기 위한 오디오 데이터의 텍스트 변환 및 디스플레이 방법을 제공하는 데, 그 목적이 있는 것이다.
Accordingly, the present invention has been created to solve the above problems, and converts audio data from audio data input from outside or read out from a recording medium into text data for display as a caption image or recording on a recording medium. It is an object of the present invention to provide a method of text conversion and display of audio data for storage.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 오디오 데이터의 텍스트 변환 및 디스플레이 방법은, 휴대용 오디오 기기에서의 뮤직 비디오 연결 재생방법은, 오디오 데이터에서, 음성 데이터를 분리하는 1단계; 상기 분리된 음성 데이터 를 텍스트 데이터로 변환하는 2단계; 및 상기 변환된 텍스트 데이터를 디스플레이하는 3단계를 포함하여 이루어지는 것을 특징으로 한다.
According to another aspect of the present invention, there is provided a method of text conversion and display of audio data, the method of playing a music video connection in a portable audio device comprising: separating audio data from audio data; Converting the separated voice data into text data; And three steps of displaying the converted text data.

이하, 본 발명에 따른 오디오 데이터의 텍스트 변환 및 디스플레이 방법에 대한 바람직한 실시예에 대해, 첨부된 도면을 참조하여 상세히 설명한다. Hereinafter, exemplary embodiments of a text conversion and display method of audio data according to the present invention will be described in detail with reference to the accompanying drawings.

도 2는, 본 발명에 따른 오디오 데이터의 텍스트 변환 및 디스플레이 방법이 적용되는 광디스크 장치에 대한 구성을 도시한 것으로, 상기 광디스크 장치에는, 광픽업(11), 기록/재생 시스템(12), 음성 인식부(13), 텍스트 변환부(14), 마이컴(15), 메모리(16) 등이 포함 구성될 수 있다. FIG. 2 shows a configuration of an optical disk apparatus to which the text conversion and display method of audio data according to the present invention is applied. The optical disk apparatus includes an optical pickup 11, a recording / reproducing system 12, and voice recognition. The unit 13, the text converter 14, the microcomputer 15, the memory 16, and the like may be included.

한편, 상기 마이컴(15)에서는, 사용자의 요청에 따라, 상기 음성 인식부(13)와 텍스트 변환부(14) 등을 동작 제어하여, 광디스크(10)로부터 독출되는 오디오 데이터 중 음성 데이터만을 분리한 후, 그 음성 데이터를 텍스트 데이터로 변환하여, 자막 영상으로 디스플레이하거나, 또는 서브타이틀 데이터로 엔코딩하여, 상기 광디스크(10)에 기록 저장하는 일련의 동작을 수행하게 되는 데, 이에 대해 상세히 설명하면 다음과 같다. On the other hand, the microcomputer 15 operates and controls the voice recognition unit 13, the text converter 14, etc. according to a user's request, and separates only the voice data from the audio data read out from the optical disc 10. Thereafter, the audio data is converted into text data, displayed as a caption image, or encoded as subtitle data, and then a series of operations for recording and storing the data on the optical disc 10 are performed. Is the same as

도 4는, 본 발명에 따른 오디오 데이터의 텍스트 변환 및 디스플레이 방법에 대한 동작 흐름도를 도시한 것으로, 예를 들어 상기 마이컴(15)에서는, 상기 광디스크(10)에 기록된 데이터 스트림을 독출 재생하던 도중, 사용자로부터 특정 키가 입력되는 경우, 음성 데이터를 텍스트 데이터로 변환하기 위한 텍스트 변환 모드를 설정하게 된다(S10). FIG. 4 is a flowchart illustrating a method of converting and displaying text in audio data according to the present invention. For example, the microcomputer 15 reads and reproduces a data stream recorded on the optical disc 10. When a specific key is input from the user, a text conversion mode for converting voice data into text data is set (S10).

그리고, 상기 마이컴(15)에서는, 음성 인식부(13)를 동작 제어하게 되고, 상기 음성 인식부(13)에서는, 상기 기록/재생 시스템(12)에 의해 독출 재생되는 오디오 데이터 중, 음성 데이터만을 분리하여, 상기 텍스트 변환부(14)로 출력하게 된다.Then, the microcomputer 15 controls the voice recognition unit 13, and in the voice recognition unit 13, only the audio data is read out and reproduced by the recording / reproducing system 12. Separated and output to the text converter 14.

예를 들어, 도 4에 도시한 바와 같이, 상기 광디스크에 다수의 오디오 채널들이 구분 할당되어 있는 경우, 상기 오디오 채널 중 보컬(Vocal) 채널에 해당하는 임의의 한 오디오 채널을 선택하여, 그 보컬 채널로부터 독출 재생되는 음성 데이터를, 상기 텍스트 변환부(14)로 출력하고, 나머지 오디오 채널로부터 독출 재생되는 오디오 데이터들은, 일반 오디오 재생신호 처리 과정을 거치도록 한다.For example, as illustrated in FIG. 4, when a plurality of audio channels are separately allocated to the optical disc, one audio channel corresponding to a vocal channel is selected among the audio channels, and the vocal channel is selected. The audio data read and reproduced from the audio signal is output to the text converter 14, and the audio data read and reproduced from the remaining audio channels are subjected to a general audio reproduction signal processing process.

한편, 사용자의 음성이, 마이크(Mic)를 통해 입력되는 경우, 상기 음성 인식부(13)에서는, 그 마이크 입력의 음성 데이터를, 상기 텍스트 변환부(14)로 출력하게 되고, 상기 마이크 입력 이외의 다른 경로를 통해 입력되는 오디오 데이터들은, 일반 오디오 재생신호 처리 과정을 거치도록 한다. On the other hand, when the user's voice is input through the microphone (Mic), the voice recognition unit 13 outputs the voice data of the microphone input to the text conversion unit 14, and other than the microphone input. Audio data input through other paths of the audio signal may be processed through a general audio reproduction signal processing process.

그리고, 상기 텍스트 변환부(14)에서는, 상기와 같은 과정을 통해 입력되는 음성 데이터를 샘플링 및 분석하여, 텍스트 데이터로 변환하게 되는 데, 상기 텍스트 변환 동작은, 널리 알려진 공지의 기술 중 어느 하나를 선택 사용할 수 있다. In addition, the text conversion unit 14 is configured to sample and analyze the voice data input through the above process, and convert the voice data into text data. The text conversion operation may include any one of well-known techniques. Can be used for selection.

또한, 상기 마이컴(15)에서는, 사용자가, 상기와 같은 과정을 통해 변환된 텍스트 데이터를 광디스크에 기록할 것을 요청하는 경우, 텍스트 저장모드를 설정하게 되고(S13), 상기 텍스트 데이터와 동기되는 오디오 데이터 패킷 내에 포함 기록된 시간정보, 예를 들어 프레젠테이션 타임 스탬프(PTS: Presentation Time Stamp) 정보를 확인하여, 상기 텍스트 데이터와 함께 엔코딩하게 된다(S14).In addition, when the user requests to record the converted text data through the above process on the optical disc, the microcomputer 15 sets a text storage mode (S13), and the audio is synchronized with the text data. Time information recorded in the data packet, for example, presentation time stamp (PTS) information is checked and encoded together with the text data (S14).

그리고, 도 6에 도시한 바와 같이, 상기 PTS 정보와 함께 엔코딩된 텍스트 데이터 패킷을, 상기 광디스크(10)의 소정 기록구간에, 서브타이틀 데이터 패킷으로 기록 관리하게 된다. As shown in FIG. 6, the text data packet encoded with the PTS information is recorded and managed as a subtitle data packet in a predetermined recording section of the optical disc 10. As shown in FIG.

한편, 상기 마이컴(15)에서는, 사용자가, 상기와 같은 과정을 통해 변환된 텍스트 데이터를 디스플레이할 것을 요청하는 경우, 디스플레이 모드를 설정하게 되고(S16), 상기 텍스트 데이터와 동기되는 오디오 데이터 패킷 내에 포함 기록된 시간정보, 예를 들어 PTS 정보를 참조하여, 상기 텍스트 데이터와 오디오 데이터를 동기시켜 재생 출력하게 된다(S17). On the other hand, in the microcomputer 15, when the user requests to display the text data converted through the above process, the display mode is set (S16), and in the audio data packet synchronized with the text data. With reference to the recorded time information, for example, PTS information, the text data and audio data are synchronized and reproduced (S17).

참고로, 상기 광디스크(10)의 각 오디오 채널에 포함된 보컬 채널이 별도로 구분 할당되어 있지 않은 경우, 상기 마이컴(15)에서는, 상기 음성 인식부(13)를 동작 제어하여, 다수의 오디오 채널을 순차적으로 선택 절환하면서, 각 오디오 채널을 통해 출력되는 오디오 데이터를 텍스트 데이터로 변환하는 일련의 동작을 반복적으로 수행하게 된다.For reference, when a vocal channel included in each audio channel of the optical disc 10 is not separately allocated, the microcomputer 15 operates the voice recognition unit 13 to control a plurality of audio channels. In order to sequentially select and switch, a series of operations for converting audio data output through each audio channel into text data are repeatedly performed.

그리고, 상기 동작에 의해 정상 변환된 텍스트 데이터를 확인하여, 텍스트 데이터가 정상적으로 가장 많이 변환된 임의의 한 채널을 보컬 채널로 판별한 후, 전술한 바와 같이, 그 보컬 채널을 통해 출력되는 음성 데이터를 텍스트 변환부로 출력할 수도 있다.
Then, by checking the text data normally converted by the operation, and determining any one channel where the text data is normally converted to the most vocal channel, the voice data output through the vocal channel is described as described above. It can also be output to the text converter.

이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것 으로, 본 발명은 광디스크 이외도, 하드 디스크와 같은 기록 매체에 적용할 수 있으며, 당업자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
As mentioned above, the above-described preferred embodiments of the present invention are disclosed for the purpose of illustration, and the present invention can be applied to a recording medium such as a hard disk, in addition to an optical disk, and those skilled in the art will appreciate the following appended claims. Within the technical spirit of the disclosed invention and its technical scope, other various embodiments may be improved, changed, replaced or added.

상기와 같이 구성 및 이루어지는 본 발명에 따른 오디오 데이터의 텍스트 변환 및 디스플레이 방법은, 외부로부터 입력되거나 또는 기록매체로부터 독출되는 오디오 데이터에서, 음성 데이터를 분리한 후, 그 분리된 음성 데이터를 텍스트 데이터로 변환하여, 상기 오디오 데이터의 출력과 함께 디스플레이하거나, 또는 기록매체에 오디오 곡의 가사 자막 또는 비디오 타이틀의 문자 자막에 해당하는 서브타이틀 데이터로서 기록 저장함으로써, 오디오 곡의 가사 자막 또는 비디오 타이틀의 문자 자막 등을, 보다 편리하게 디스플레이하거나, 또는 기록매체에 기록 저장할 수 있게 되는 매우 유용한 발명인 것이다. In the text conversion and display method of the audio data according to the present invention configured and configured as described above, the audio data is separated from the audio data input from the outside or read from the recording medium, and then the separated voice data is converted into the text data. Converted and displayed together with the output of the audio data, or recorded and stored on a recording medium as subtitle data corresponding to the lyrics of the audio song or the subtitle of the video title. It is a very useful invention that can be displayed more conveniently, or to record and store on a recording medium.

Claims

Selecting a vocal channel among audio channels of a recording medium, and then separating voice data from audio data of the vocal channel and converting the voice data into text data;

Encoding the converted text data and the presentation time stamp information recorded in the packet of the audio data from which the voice data is separated, and recording them as packets of subtitle data in a predetermined recording section of a recording medium; And

And synchronizing and reproducing the packet of the audio data and the subtitle data recorded on the recording medium on the basis of the presentation time stamp.

delete

The method of claim 1,

The vocal channel may be any one audio channel in which audio data is converted into text data while sequentially switching each audio channel of a recording medium, and the text data is normally converted to the largest number. Display method.

The method of claim 1,

In the step 3, the audio data is converted into text by reproducing a packet of audio data recorded on the recording medium and outputting a voice, and reproducing the packet of the subtitle data to display a caption image. Display method.

delete