KR930001491B1 - Voice synthesis data system - Google Patents
Voice synthesis data system Download PDFInfo
- Publication number
- KR930001491B1 KR930001491B1 KR1019900009090A KR900009090A KR930001491B1 KR 930001491 B1 KR930001491 B1 KR 930001491B1 KR 1019900009090 A KR1019900009090 A KR 1019900009090A KR 900009090 A KR900009090 A KR 900009090A KR 930001491 B1 KR930001491 B1 KR 930001491B1
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- data
- signal
- chip
- synthesis
- Prior art date
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 45
- 238000003786 synthesis reaction Methods 0.000 title claims description 45
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 238000004458 analytical method Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
제1도는 본 발명 음성합성 데이타의 변경 및 합성모듈시스템에서 음성신호의 분석에 대한 블록도.1 is a block diagram of the modification of speech synthesis data and analysis of speech signals in a synthesis module system.
제2도는 본 발명 음성합성데이타의 변경 및 합성모듈시스템에서 데이타의 합성 및 변경에 대한 블록도.Figure 2 is a block diagram of the synthesis and modification of data in the modification and synthesis module system of the present invention speech synthesis data.
제3a도 내지 제3c도는 본 발명의 신호 흐름도.3A-3C are signal flow diagrams of the present invention.
제4도는 램에 저장되는 벡터어드레스 테이블을 보인 표.4 is a table showing a vector address table stored in RAM.
제5도는 본 발명에 의한 메모리맵.5 is a memory map according to the present invention.
제6도는 본 발명에 의한 출력파형의 크기조절을 보인 표.6 is a table showing the control of the output waveform size according to the present invention.
* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings
1a, 1b, 20d : 증폭부 4 : A/D변환기1a, 1b, 20d: Amplifier section 4: A / D converter
2a, 2b, 20c : 저역필터 5 : 음성신호분석칩2a, 2b, 20c: low pass filter 5: voice signal analysis chip
6, 20a, 30c, 30f : 래치 7 : 제1피치6, 20a, 30c, 30f: latch 7: first pitch
8, 20e, 30a, 30d : 디코더 9, 20b, 30b : 버퍼8, 20e, 30a, 30d: Decoder 9, 20b, 30b: Buffer
10 : 램 30 : 제2피치10: RAM 30: second pitch
FF1 : 플립플롭FF1: flip flop
본 발명은 음성데이타의 분석 및 합성시스템에 관한 것으로, 특히 현재 램에 저장된 음성데이타를 사용자가 원하는 음성데이타의 종류로 용이하게 변경할 수 있도록 한 음성합성 데이타의 변경 및 합성모듈시스템에 관한 것이다.The present invention relates to a system for analyzing and synthesizing voice data, and more particularly, to a system for modifying and synthesizing voice synthesis data, which enables a user to easily change a voice data stored in a current RAM to a desired type of voice data.
일반적인 음성합성 시스템에 있어서는 음성합성 칩이 현재 롬에 저장된 음성데이타내에서 음성데이타를 합성하여 서비스할 수 있게 되어 있어 사용자에게 보다 다양한 음성서비스를 할 수 없는 결점이 있었다.In the general voice synthesis system, the voice synthesis chip is able to synthesize and service voice data in the voice data stored in the ROM, thereby providing a variety of voice services to users.
본 발명은 이와 같은 결점을 해결하기 위하여 평상시에는 음성 합성칩이 현재 에스램(SRAM)에 저장된 음성데이타를 이용하여 음성 서비스를 수행하게 하고, 사용자가 다른 종류의 음성 서비스를 요구할때는 그 요구되는 음성데이타를 음성분석칩으로 분석한 다음 이를 그 에스램에 저장하여 요구된 음성서비스를 할 수 있는 시스템을 창안한 것으로 첨부한 도면에 의하여 상세히 설명한다.In order to solve this drawback, the present invention allows a voice synthesis chip to perform a voice service using voice data currently stored in an SRAM, and when a user requests a different type of voice service, the required voice is used. After analyzing the data with the voice analysis chip, the system is stored in the SRAM and the system for providing the required voice service will be described in detail with reference to the accompanying drawings.
제1도는 본 발명 음성 합성 데이타의 변경 및 합성모듈 시스템에서 음성신호의 분석에 대한 블록도로서 이에 도시한 바와 같이, 마이크(Mic)를 통해 입력되는 음성신호를 소정레벨로 증폭하는 증폭부(1a)와, 상기 증폭부(1a)의 출력신호에서 음성 주파수에 해당되는 영역의 주파수를 통과시키는 저역필터(2a)와, 상기 저역필터(2a)의 출력신호를 샘플링하여 이를 홀드하는 샘플링(S)/홀더(H)(3)와, 상기 S/H(3)에 샘플링/홀드된 아날로그의 음성신호를 디지탈신호로 변환하는 아날로그(A)/디지탈(D)변환기(4)와, 상기 A/D변환기(4)로부터 입력되는 음성신호의 특징을 추출하여 그 음성신호를 분석하는 음성신호분석칩(5)과, 상기 음성신호분석칩(5)의 출력신호중에서 음성신호 주파수대의 신호만을 통과시키는 저역필터(2b)와, 상기 저역필터(2b)의 출력신호를 소정레벨로 증폭하여 스피커(SP1)에 출력하는 증폭부(1b)와, 상기 음성신호분석칩(5)으로부터 분석된 음성데이타를 읽어 화일(도면에 미표시)에 저장하고, 그 음성신호 분석칩(5)을 제어하는 제1피씨(Personal Computer : PC)(7)와, 디코더(8)를 통하는 상기 제1피씨(7)의 제어신호에 따라 상기 음성신호 분석칩(5)의 리세트를 제어하는 플립플롭(FF1)과, 상기 음성신호분석칩(5)의 동작상태에 따른 신호를 상기 제1피씨(7)에 전달하는 버퍼(9)로 구성하였다.FIG. 1 is a block diagram illustrating a change of speech synthesis data and analysis of a speech signal in a synthesis module system. As shown therein, an amplifier 1a for amplifying a speech signal input through a microphone Mic to a predetermined level. ), A low pass filter 2a for passing the frequency of the region corresponding to the voice frequency in the output signal of the amplifier 1a, and a sampling (S) for sampling and holding the output signal of the low pass filter 2a. And an analog (A) / digital (D) converter 4 for converting an analog audio signal sampled and held in the S /
한편, 제2도는 본 발명 음성 합성 데이타의 변경 및 합성 모듈시스템에서 데이타의 합성 및 변경에 대한 블록도로서 이에 도시한 바와 같이, 분석된 음성데이타를 저장하는 램(SRAM : 이하 램이라 칭함)(10)과, 상기 램(10)의 음성데이타를 합성하여 음성신호를 출력하는 음성합성 칩(20)과, 상기 음성합성칩(20)을 제어하여 음성신호가 출력되게 하고, 상기 제1피씨(7)에 의해 분석되어 화일에 저장된 음성데이타를 상기 램(10)에 써넣는 제2피씨(30)와, 상기 제2피씨(30)로 벡터어드레스를 래치하여 상기 음성합성칩(20)에 제공하는 래치(20a)와, 상기 래치(20a)에 래치된 벡터어드레스에 따라 상기 램(10)에 어드레스를 제공하는 버퍼(20b)와, 상기 음성합성칩(20)에서 합성되어 출력되는 음성신호중에서 음성신호주파수에 해당하는 저주파를 통과시키는 저역필터(20c)와, 상기 저역필터(20c)를 통하는 음성신호를 소정레벨로 증폭하여 스피커(SP2)에 출력하는 증폭부(20d)와, 상기 제2피씨(30)로부터 시스템 제어 신호를 제공받아 이를 디코딩하는 디코더(30a)와, 음성데이타 변경시 상기 제2피씨(30)로부터 음성데이타를 제공받아 이를 상기 램(10)에 제공하는 버퍼(30b)와, 음성데이타 변경시 상기 램(10)의 어드레스 및 칩선택신호를 래치하는 래치(30c)와, 음성합성시에는 디코더(20e)를 통해서 음성데이타 변경시에는 디코더(30d)를 각기 통해 칩선택신호를 제공받아 이를 상기 램(10)에 출력하는 칩선택신호 출력부(30e)와, 상기 버퍼(20b) 및 래치(30c)의 인에이블신호, 음성합성칩(20)의 리세트신호를 출력하는 래치(30f)로 구성하였다.FIG. 2 is a block diagram showing the synthesis and modification of data in the voice synthesis data change and synthesis module system of the present invention. As shown therein, a RAM for storing analyzed voice data (SRAM: hereinafter referred to as RAM) ( 10) and a
한편, 제3a도 내지 제3c는 본 발명의 신호흐름도로서, 제3a도는 음성신호를 분석하여 화일에 저장하는 것을 보인 것이고, 제3b도는 제1피씨(7)에서 분석된 데이타 및 벡터 어드레스를 램(10)에 저장하는 것을 보인 것이며, 제3c도는 음성합성칩(20)이 램(10)의 데이타를 이용하여 음성신호를 합성하는 것을 보인 것이다.3A to 3C are signal flow diagrams of the present invention, and FIG. 3A shows voice signals analyzed and stored in a file. FIG. 3B shows data and vector addresses analyzed by the first PC 7. In FIG. 3, FIG. 3C shows that the
제4도는 상기 램(10)에 저장되는 벡터어드레스 테이블을 보인 것이고, 제5도는 본 발명의 메모리 맵을 보인 것이다.4 shows a vector address table stored in the
제6도는 본 발명에 의한 출력파형 크기조절(Reduction Rate)을 보인 표로서 이와 같이 구성된 본 발명의 작용 및 효과를 상세히 설명하면 다음과 같다.Figure 6 is a table showing the output waveform reduction (Reduction Rate) according to the present invention will be described in detail the operation and effect of the present invention configured as described above.
먼저, 제1도 및 제3a도를 참조하여 음성신호를 분석해서 화일에 저장하는 과정을 설명한다.First, a process of analyzing and storing a voice signal in a file will be described with reference to FIGS. 1 and 3A.
제1피씨(7)가 디코더(8)를 통해 플립플롭(FF1)을 세트시키게 되면 이때 그 플립플롭(FF1)의 출력단자(Q)에 출력되는 펄스의 상승에지에 의해 음성신호 분석칩(5)이 리세트된다.When the first PC 7 sets the flip-flop FF1 through the decoder 8, the voice signal analysis chip 5 is driven by the rising edge of the pulse output to the output terminal Q of the flip-flop FF1. ) Is reset.
또한, 마이크(Mic)로 입력되는 음성신호는 증폭부(1a)에서 소정레벨로 증폭된 다음 저역필터(2a)에 인가되는데, 여기서 음성신호 영역의 주파수만 통과되고, 이렇게 통과된 음성신호는 S/H(3)에서 샘플링 및 홀드된다.In addition, the voice signal input to the microphone (Mic) is amplified to a predetermined level by the amplifier 1a and then applied to the low pass filter (2a), where only the frequency of the voice signal region is passed, the voice signal thus passed is S Sampled and held at / H (3).
이에 따라 A/D변환기(4)는 상기 S/H(3)에 샘플링/홀드된 아날로그의 음성신호를 입력하여 디지탈변환한 다음 음성신호 분석칩(5)으로부터 시작신호(ST)가 입력될때 클럭신호(CK)에 동기시켜 직렬데이타(SD)를 출력한다.Accordingly, the A / D converter 4 inputs the analog voice signal sampled / held to the S /
그리고 음성신호 분석칩(5)은 상기 A/D변환기(4)로부터 음성신호를 입력하여 이를 분석하게 되고, 이렇게 1데이타를 분석하고 이는 기간동안에는 체크단자(VCX)에 고전위가 출력되는데, 제1피씨(7)는 인버터(I2) 및 버퍼(9)를 통해 그 음성 신호분석칩(5)의 데이타 분석상태를 감지하고 있다가 고전위가 감지되면 1데이타의 분석이 완료된 것으로 판단하여 래치(6)를 통해 분석된 데이타를 입력한 다음 이를 화일에 저장하게 된다.The voice signal analysis chip 5 inputs and analyzes a voice signal from the A / D converter 4, and analyzes one data. The high voltage is output to the check terminal VCX during the period. One PC 7 detects the data analysis state of the voice signal analysis chip 5 through the inverter I2 and the buffer 9, and when a high potential is detected, it is determined that the analysis of one data is completed and the latch ( 6) Input the analyzed data and save it in a file.
이와 같이 제1피씨(7)는 상기와 같이 음성신호 분석칩(5)의 분석상태를 계속 감지하면서 그로부터 정해진 양만큼의 데이타를 모두 입력하게 되는데, 여기서 각 데이타의 이름을 K1, K2, K3, …Kn이라하면, 그 각각의 K1, K2, K3, …Kn이 음성 소리인지를 확인하여 소리가 없는 데이타(주로 0과 8로 조합)를 제거한다.As described above, the first PC 7 continuously detects the analysis state of the voice signal analysis chip 5 as described above, and inputs a predetermined amount of data therefrom, where each data name is K 1 , K 2 ,. K 3 ,. K n , each of K 1 , K 2 , K 3 ,. Check if K n is a voice and remove the silent data (usually a combination of 0 and 8).
결국, K1, K2, K3, …Kn중에서 소리가 없는 데이타를 제거한 K1', K2', K3', …Kn'을 다시 만들고, 각 K1', K2', K3', …Kn'의 데이타 갯수를 체크하여 그 체크한 데이타의 갯수를 n1, n2, n3, …, nn이라고 하면 합성 모듈의 램(10)에 저장할 벡터 어드레스 테이블은 제4도와 같이 작성된다.Finally, K 1 , K 2 , K 3 ,. K 1 ', K 2', K 3 ', does not remove the sound data from the K n ... Recreate K n ', each K 1 ', K 2 ', K 3 ',… K n 'data number is checked and the number of checked data is n 1 , n 2 , n 3 ,. , n n , a vector address table to be stored in the
상기 제4도는 음성분석치 제1피씨(7)가 분석된 음성 데이타를 제공받아 사용하고자 하는 단어 및 음절 또는 문장 단위로 분석 데이타를 처리하는 포맷을 보인 것이다. 즉, 입력되는 발성음을 그대로 저장하는 것이 아니라 묵음은 제거하고, 문장을 단어나 음절 또는 문장 그대로 처리하여 제4도와 같은 포맷으로 화일에 저장하게 된다. 이렇게 함으로써 화일에서는 입력된 음성 그대로의 문장 뿐만 아니라 특정한 단어나 음절만을 임의적으로 선택하여 출력시킬 수 있게 된다.4 shows a format in which the first PC 7 of the voice analysis value receives the analyzed voice data and processes the analysis data in units of words and syllables or sentences to be used. That is, instead of storing the input utterance as it is, the silence is removed, and the sentence is processed as a word, syllable or sentence as it is and stored in the file in the format as shown in FIG. By doing so, the file can randomly select and output a specific word or syllable as well as a sentence as it is input.
한편, 상기에서와 같이 화일에 저장된 음성데이타를 다시 음성합성모듈의 램(10)에 저장하는 과정을 제2도를 참조하여 설명하면 다음과 같다.Meanwhile, referring to FIG. 2, a process of storing voice data stored in a file again in the
제2피씨(30)는 데이타포트(D0-D7) 및 데이타버스를 통해 래치(30f)에 해당 데이타를 전송하여 버퍼(20b)를 디스에이블시키는 반면 래치(30c)를 인에이블시켜 시스템을 데이타 저장 모드로 절환시킨다.The
이후, 래치(30c)에 칩선택신호를 출력하게 되면, 이는 디코더(30d) 및 8개의 앤드게이트로 구성된 칩선택신호 출력부(30e)를 통해 램(10)에 인가되고, 이어서 상기 래치(30c)에 어드레스를 래치시키면 이는 상기 램(10)에 인가되어 해당 어드레스가 선정되며, 이어서 버퍼(30b)를 통해 상기 램(10)에 저장할 데이타를 로드하는데, 예를들어 벡터어드레스데이타(VA)를 저장할 경우 래치(30c)에 00008H(H : 헥사)를 로드하고 상기 버퍼(30b)에 스타트어드레스 데이타를 로드하면 램(10)의 00008H에 벡터 1의 스타트 어드레스 데이타 저장되고, 이와 같은 동작을 반복하여 원하는 음성데이타를 모두 저장한다.Then, when the chip select signal is output to the
한편, 음성합성칩(20)이 램(10)에 저장된 데이타를 이용하여 음성신호를 합성하는 과정을 설명하면 다음과 같다.Meanwhile, a process of synthesizing a voice signal using data stored in the
먼저, 제2피씨(30)는 디코더(30a)를 통해 래치(30f)를 인에이블시킨 후 그 래치(30f)에 해당데이타를 출력하여 래치(30c)를 디스에이블시키는 반면 버퍼(20b)를 인에이블시켜 시스템을 음성합성모드로 절환한다.First, the
이후, 제2피씨(30)가 데이타 포트(D0-D7)를 통해 버퍼(30b)에 합성하고자 하는 벡터값을 라이트하면, 음성합성칩(20)이 입력포트(I0-I7)를 통해 그 값을 읽어온 후, 상기 램(10)으로부터 해당 스타트어드레스나 앤드어드레스에 저장된 데이타를 읽어 합성하여 이를 스피커(SP2)에 출력하게 된다.Thereafter, when the
이와 동시에 상기 제2피씨(30)는 상기 음성합성칩(20)의 포트(I4)를 통해 음성합성칩(20)의 음성합성상태를 감지하게 되는데, 그 포트(I4)에 고전위(논리치 "1")가 스캔되면 계속 감지상태를 유지하고, 저전위(논리치 "0")가 스캔되면 다음 벡터값을 출력하여 거기에 해당하는 데이타가 합성되게 하는 과정을 반복함으로써 원하는 양만큼의 데이타를 합성할 수 있게 된다.At the same time, the
이후, 현재 램(10)에 저장된 데이타를 그대로 이용하여 원하는 데이타를 합성하거나 또는 원하는 데이타가 저장되어 있지 않아 데이타를 음성합성하여 못할 경우에는 상기 제1도의 분석과정을 거쳐 데이타를 화일에 저장한 다음, 상기에서와 같이 그 화일에 저장된 데이타를 램(10)에 저장하여 원하는 데이타를 음성합성할 수 있게 된다.Then, if the synthesized desired data using the data stored in the
상기에서 미설명된 제5도는 음성합성칩(20)에서 램의 메모리 맵의 형태를 보인 것으로 여기서 벡터 어드레스 구역은 각 단어나 음절 및 문장의 시작, 끝의 어드레스를 나타내는 영역이고, 데이타 어드레스 구역은 각 단어나 음절, 문장의 음성 데이타가 저장되는 영역이다.FIG. 5, which is not described above, shows the shape of the memory map of the RAM in the
또한, 제6도는 상기 음성합성칩(20)을 구동 출력의 이득을 보인 것이다.6 shows the gain of driving the
이상에서 상세히 설명한 바와 같이 본 발명은 현재 램에 저장된 데이타를 원하는 음성을 합성할 수 없을 경우 원하는 데이타를 분석하여 램에 저장시킴으로써 사용자의 요구에 따라 어떤 데이타도 음성합성할 수 있는 이점이 있다.As described in detail above, the present invention has an advantage in that any data can be synthesized according to a user's request by analyzing and storing the desired data in the RAM when the desired voice cannot be synthesized.
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019900009090A KR930001491B1 (en) | 1990-06-20 | 1990-06-20 | Voice synthesis data system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019900009090A KR930001491B1 (en) | 1990-06-20 | 1990-06-20 | Voice synthesis data system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR920001429A KR920001429A (en) | 1992-01-30 |
KR930001491B1 true KR930001491B1 (en) | 1993-03-02 |
Family
ID=19300291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019900009090A KR930001491B1 (en) | 1990-06-20 | 1990-06-20 | Voice synthesis data system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR930001491B1 (en) |
-
1990
- 1990-06-20 KR KR1019900009090A patent/KR930001491B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR920001429A (en) | 1992-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
GB1592473A (en) | Method and apparatus for synthesis of speech | |
CA2600241C (en) | Voice-scrambling-signal creation method and apparatus, and computer-readable storage medium therefor | |
US5321794A (en) | Voice synthesizing apparatus and method and apparatus and method used as part of a voice synthesizing apparatus and method | |
KR930001491B1 (en) | Voice synthesis data system | |
JPS6215687A (en) | Voice ic card | |
US6801894B2 (en) | Speech synthesizer that interrupts audio output to provide pause/silence between words | |
JP3518898B2 (en) | Speech synthesizer | |
JPH06337876A (en) | Sentence reader | |
KR920000456B1 (en) | Automatic gain control apparatus calculator using sound signal | |
KR950007152Y1 (en) | Variable otave address generating apparatus of electronic musical instrument | |
JPH07129620A (en) | Voice electronic book | |
KR0167304B1 (en) | Sound generator | |
KR920000745Y1 (en) | Voice output device of koran letters | |
KR870004398A (en) | Evaluation board of ADPCM speech synthesizer | |
KR940017622A (en) | Speech processing device and method of audiotex device for converting Korean characters into speech | |
KR920005508B1 (en) | Chorus synthesizing circuit using linear predictive coding | |
JP2584236B2 (en) | Rule speech synthesizer | |
JPS6146997A (en) | Voice reproduction system | |
JPH03276194A (en) | Text/sound converter | |
JPH06217039A (en) | Electronic sound source device | |
KR890015195A (en) | Key operation guidance method and circuit by voice | |
JPS62215299A (en) | Sentence reciting apparatus | |
JPH03149600A (en) | Method and device for voice synthesis | |
JPS6067998A (en) | Voice synthesizer | |
JPS63197995A (en) | Sentence-voice converter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
G160 | Decision to publish patent application | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 19971230 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |