[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR920007206B1 - 자동채보(自動採譜)방법 및 장치 - Google Patents

자동채보(自動採譜)방법 및 장치 Download PDF

Info

Publication number
KR920007206B1
KR920007206B1 KR1019890015708A KR890015708A KR920007206B1 KR 920007206 B1 KR920007206 B1 KR 920007206B1 KR 1019890015708 A KR1019890015708 A KR 1019890015708A KR 890015708 A KR890015708 A KR 890015708A KR 920007206 B1 KR920007206 B1 KR 920007206B1
Authority
KR
South Korea
Prior art keywords
information
pitch
sound signal
signal
cpu
Prior art date
Application number
KR1019890015708A
Other languages
English (en)
Other versions
KR900006908A (ko
Inventor
요시나리 우쓰미
시찌로오 쓰루다
히로미 후지이
마사기 후지모도
마사노리 미즈노
Original Assignee
니혼 덴기 호옴 에렉트로닉스 가부시기가이샤
무라가미 류우이찌
니혼 덴기 가부시기가이샤
세끼모도 라다히로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니혼 덴기 호옴 에렉트로닉스 가부시기가이샤, 무라가미 류우이찌, 니혼 덴기 가부시기가이샤, 세끼모도 라다히로 filed Critical 니혼 덴기 호옴 에렉트로닉스 가부시기가이샤
Publication of KR900006908A publication Critical patent/KR900006908A/ko
Application granted granted Critical
Publication of KR920007206B1 publication Critical patent/KR920007206B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00Means for the representation of music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

내용 없음.

Description

자동채보(自動採譜)방법 및 장치
제1도는 본 발명 실시예의 하나에 의해 처리되는 음향신호의 입력처리순서도.
제2도는 본 발명을 적용하는 자동채보방식의 붙록도.
제3도는 자동채보처리의 순서도.
제4도는 자동채보방식에 의해 발생된 소절정보와 파워정보에 기초한 세그멘테이션처리의 순서도.
제5도는 소절정보와 파워정보에 기초한 세그멘테이션처리를 보다 상세하게 나타내는 순서도.
제6도는 세그멘테이션의 1예를 나타내는 특성 곡선도.
제7도는 자동채보방식의 다른 실시예의 붙록도
* 도면의 주요부분에 대한 부호의 설명
1 : CPU 2 : 버스
3 : 주기억장치 4 : 키이보오드
5 : 표시장치 6 : 보조기억장치
7 : A/D변환기 8 : 음향신호 입력장치
9 : 스피이커 구동부 10 : 스피이커
11 : 증폭회로 12 : 프리필터
13 : A/D변환기 14 : 신호처리 프로세서
본 발명은 일반적으로 자동채보(自動採譜)에 관한 것으로, 특히 음향신호로 부터 악보데이터를 작성하는 자동채보방식(방법 및 장치)에 관한 것이다.
이들 음향신호에는 가창음성, 허밍음성 및 악기음등이 포함될 수 있다. 자동채보방식은 가창음성, 허밍음성 및 악기음등과 같은 음향신호를 악보데이터로 변환한다.
그러한 방식은, 예를들어 음장(音長), 음정(音程), 조(調), 박자 및 템포등과 같은 기본적인 정보를 음향신호로 부터 검출할 수 있는 것이 필요하다. 음향신호는 기본 파형이 반복되는 파형을 연속적으로 포함하는 신호일 뿐이므로, 악보데이터를 작성하는데 필요한 기본적인 정보를 그 음향신호로 부터 직접적으로 얻을 수는 없다.
종래의 자동채보방법에 있어서는, 다음과 같은 일련의 단계에 의해 각 정보가 얻어졌다.
종래의 자동채보방법에 있어서는, 다음과 같은 일련의 단계에 의해 각 정보가 얻어졌다.
(a) 음향신호의 피치(pitch)를 나타내는 기본파형의 반복에 관한 정보(이하, 피치정보라 한다.) 및 그 신호의 파워정보를 분기주기마다 추출하고, (b) 그후, 그와 같이 추출된 피치정보 및 파워정보에 기초하여 음향신호를 동일한 음정을 형성하는 것으로 간주될 수 있는 구간(세그멘트(segment)로 구분하고(이 처리를 세그멘테이션이라 한다). (c) 다음에, 특정 세그멘트의 피치정보에 기초하여 절대음정축에 대해 각 세그멘트의 음정을 결정하고, 그와 같이 결정된 음정정보에 기초하여 음향신호의 조를 결정하며, (d) 그후에, 세그멘트에 기초하여 음ㅎ향신호의 박자 및 템포를 결정한다.
그런데, 종래의 자동채보방법을 사용하여도 박자와 템포가 결정되므로 결국 이용자는 자기자신이 박자와 템포를 맞추면서, 희망곡을 부르거나 연주한다. 그러나, 연주나 노래하는 것에 익숙하지 않은 이용자에게는 이와 같은 행위가 어렵다.더우기, 메트로놈등으로 템포를 맞추면서 악기를 연주하거나 노래를 부르기 좋아하는 이용자도 존재한다.
또한, 이용자자신이 템포나 박자를 맞추면서 연주하거나 또는 노래를 불러 입력된 음향신호에는, 특히 가창에 의한 음향신호에는 파워와 피치에 있어서의 변동(fluctuation)이 존재하므로, 파워정보 또는 피치정보를 이용하여도 역시 세그멘테이션을 행하는 것이 어려웠다.
세그멘테이선은 악보데이터를 작성하는데 중요한 요소로, 세그멘테이션의 정도(精度)가 낮으면, 최종적으로 얻어지는 악보데이터의 정도도 현저히 낮아지게 된다. 그러므로, 세그멘테이션의 정도를 향상시키는 것이 요망된다.
본 발명은 종래의 방식보다 사용하기 용이한 자동채보방식(방법 및 장치)을 제공한다. 또한, 본 발명에 의한 방식은 종래의 방식에서 얻어질 수 있는 것보다 더 정도가 높은 세그멘테이션을 제공한다.
제1의 본 발명에 있어서는 적어도 템포를 포함하는 입력보조리듬정보를 청각적 또는 시각적처리에 의해 통지하면서 음향신호를 포착하여 메모리내에 기억시키는 방식이 제공되며, 이 방식은, 음향신호 입력상치에 의해 음향신호를 포착하여 메모리내에 기억시키고, 그후 메모리내에 기억된 음향신호로 부터 그 음향신호의 파워정보와, 그 파형의 반복주기 및 그 음의 피치를 나타내는 피치정보를 추출하는 처리와, 피치정보 및 파워정보에 기초하여 음향신호를 동일음정으로 간주되는 구간으로 구분하는 세그멘테이션처리와 피치정보에 기초하여 이 구분된 구간의 음정으로서 절대음정축상의 음정으로 동정(同正)하는 음정동정처리를 적어도 포함하는, 음향신호를 악보데이터로 변환하는 자동채보방식에 결합된다.
본 방식은 사용자에게 청각적 또는 시각적처리에 의한 입력보조정보를 주도록 설계되어 있으므로, 사용자가 채보처리를 수행할 목적으로 음향신호를 포착하고 취입(取入)하여 메모리내에 기억시킬때 음향신호를 발생시키기에 간단하고 용이하다.
제2의 본 발명에 있어서는, 전기한 제1의 본 발명과 어느정도 유사한 자동채보방식이 제공되지만, 본 방식은 음향신호을 포착하여 메모리내에 기억시키는 것을 수행할때, 입력보조리듬정보도 동일시간축상에서 기억시킴과 아울러, 세그멘테이션처리를 메모리내에 기억된 입력보조리듬정보에 기초하여 음향신호를 동일음정으로 간주될 수 있는 구간으로 구분하는 제1처리와, 피치정보 및 파워정보에 기초하여 음향신호를 동일음정으로 간주될 수 있는 구간으로 구분하는 제2처리와, 제1처리 및 제2처리에 의해 구분된 구간으로 정리하는 제3처리로 세분되었다.
본 방식은 입력보조리듬정보를 사용하도록 되어 있으므로, 세그멘테이션처리의 정도가 개선될 수 있다. 즉, 본 방식은 음향신호를 포착하여 메모리내에 기억시킴과 동시에 입력보조리듬정보도 메모리내에 기억시킨다.
그후, 본 방식은 이 입력보조리듬정보에 기초하여 세그멘테이션처리를 수행하고, 또 파워정보 및 피치정보에 기초하여 세그멘테이션처리를 수행하여, 그 세그멘테이션처리의 결과로 정리한다.
제3의 본 발명에 있어서는, 적어도 템포정보를 포함하는 입력보조리듬정보가 음향신호가 포착되어 메모리내에 기억될때에 청각적처리 또는 시각적처리에 의해 통지되는 입력보조리듬 통지장치를 포함하는 방식이 제공되며, 이 방식은, 음향신호를 포착해서 취입하는 장치와, 취입된 음향신호를 메모리내에 기억시키는 장치와, 메모리내에 기억된 음향신호의 반복주기와 피치레을 나타내는 피치정보와, 음향신호로 부터 파워정보를 추출하는 피치.파워추출장치와, 피치정보 및 파워정보에 기초하여 음향신호를 동일음정으로 간수될 수 있는 구간으로 구분하는 세그멘테이션장치와, 이 구분된 구간에 대해 음향신호의 절대음정축상의 음정을 결정하는 음정식별장치를 적어도 일부에 구비하여 음향신호를 악보데이터로 변환하는 자동채보방식에 결합된다.
이 방식은, 입력보조리듬 통지장치가 음향신호가 포착되어 메모리내에 기억될때에, 청각적처리 또는 시각적처리에 의하여 입력보조리듬정보를 통지하도록 설계되어있다. 이러한 결과로서, 사용자가 입력보조리듬정보에 기초하여 입력보작을 수행할 수 있어 신호의 입력이 보다 쉽게 되었다.
제4의 본 발명에 있어서는, 음향신호가 포착되어 메모리내에 기억되도록 처리될때에, 동일시간축상에서 메모리내에 입력보조리듬정도도 기억시키도록 설계된 기억장치를 보유하며 또한 메모리내에 기억된 입력보조리듬정보에 기초하여 음향신호를 동일음정으로 간주될 수 있는 구간으로 구분하는 제1구분부와, 피치정보와 파워정보에 기초하여 음향신호를 동일음정으로 간주될 수 있는 구간으로 구분하는 제2구분부와, 제1 및 제2구분부에 의해 구분된 구간을 정리하는 제3구분부으로 구성된 세그멘테이션장치가 설치된 방식이 제공된다.
음향신호를 메모리내에 기억시키는 기억장치는 포착된 음향신호가 메모리내에 기억될때에 입력보조리듬 통지장치로 부터 통지된 입력보조리듬정보도 동일시간축상에서 메모리내에 기억시키며, 본 방식은 세그멘테이션장치의 제1구분부가 이 입력통지리듬정보에 기초하여 세그멘테이션처리를 수행하고, 제3구분부가 이 세그멘데이션처리의 결과와 제2구분부가 수행한 피치정보 및 파워정보에 기초하여 세그멘테이션결과를 정리하도록 설계되었다.
이 결과, 세그멘테이션의 정도를 향상시킬 수 있다.
이하, 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명한다.
[자동 채보방식]
제2도는 본 발명을 적용하는 자동채보방식의 붙록도이다.
중앙처리장치(CPU)(1)는 전체장치의 총제어를 수행한다. CPU(1)는 제1도의 흐름도에 표시된 음향신호 입력프로그램과 제3도의 흐름도에 표시된 채보 처리프로그램을 실행한다. 음향신호 입력프로그램과 채보처리프로그램은 버스(3)를 개재하여 CPU(1)에 접속되어 있는 주기억장치(3)내에 격납되어 있다. 또한 버스(2)에는 입력장치로서의 키이보오드(4), 출력장치로서의 표시장치(5), 작업메모리로서 사용되는 보조기억장치(6), 및 아날로그/디지탈(A/D)변환기(7)과 접속되어 있다. A/D변환기(7)에는 마이크로폰등으로 구성되는 음향신호 입력장치(8)가 접속되어 있다.
음향신호 입력장치(8)는 가창음성, 허밍음성, 또 악기에 의해 발생된 악기음등의 음향신호를 포착하여 전기신호로 변환한 후에, 그 전기신호를 A/D변환기(7)에 출력한다. 또, 버스(2)에는 스피이커(10)를 구동하는 스피이커 구동부(9)가 접속되어 있다.
스피이커(1O)는 필요시에 CPU(1)의 제어하에 소정의 박자 및 템포를 나타내는 이산적(離散的)인 입력보조리듬음을 발생한다.
CPU(1)는 제1도에 순서도가 표시된 음향신호 입력프로그램에 따라 장치여 음향신호르르 입력하도록 작동하여, 이 신호는 주기억장치(3)에 격납된다. 키이보오드(4)에 의해 특정 박자 및 템포가 지시되어, 음향신호를 입력하도록 하는 명령이 취입될때, 입력음향신호는 보조기억장치(6)내에 순차격납된다. 또한, 입력보조리듬정보가 부조기억장치(6) 내에 일시적으로 격납된다. 음향신호의 입력이 종료되면,CPU(1)는 주기억장치내(3)내에 격납되어 있는 채보 처리프로그램(제3도에 순서도가 표시되어 있음)을 수행하여 입력음향신호를 악보네이터로 변환하고 필요에 따라 표시장치(5)에 그 데이터를 출력한다.
[음향신호의 입력]
제1도는 음향신호를 입력하는 처리의 순서도이다.
CPU(1)가 키이보오드(4)를 개재하여 입력모우드를 지시하는 명령을 취입하면, CPU(1)는 제1도에 순서도가 표시된 프로그램에 수행을 개시한다. 우선, 박자정보를 입력하기 위해 사용자하는 프롬프트(prompt)를 표시장치(5)에 표시하고, 그 프롬프트에 사용자가 키이보오드(4)를 개재하여 입력한 박자정보를 취입한다.
그후, 표시장치(5)는 사용자가 템포정보를 입력하도록 프롬포트를 표시하고, 그 프롬포트에 따라 사용자로부터 템포정보가 취입된다(스텝 SP1, SP2), 그후에, CPU(1)는 박자정보와 템포정보에 기초하여 입력보조리듬정보의 주기와 강도(intensity)를 결정하기 위하여 연산을 수행하고, 키이보오드(4)로 부터의 입력개시명령의 입력을 대기한다(스텝 SP3, SP4).
입력개시명령이 사용자에 의해 주어지면, CPU(1)는 입력보조리듬음을 스피이커(10)로 부터 발생시키고, 그후, 발생된 입력보조리듣뜸이 어느 소절(小節)의 개시를 지시하는 것인지를 아닌지를 판단한다 그 리듬음이 소절의 개시를 지지하는 경우에, CPU(1)는 그 음을 보조기억장치(6)내에 격납시킨후에, 음향신호 입력장치(8) 및 A/D변환기(7)를 통해 처리된 디지틸신호로 이루어진 음향신호를 취입한다. 그러나, 그 리듬음이 소절의 개시를 지시하는 것이 아닌 경우에, CPU(1)는 즉시 음향신호틀 입력한다(스텝1 SP5-SP8). 그후에, CPU(1)는 입력한 음향신호를 보조기억장치(6)에 격납한다(스텝 SP9).
음향신호의 데이터집합이 보조기억장치(6)내에 격납되면, CPU(1)는 입력종료명령이 키이보오드(4)를 개재하여 부여되었지의 여부를 판단하여, 종료명령 부여된 경우에, CPU(1)는 일련의 작동을 정지한다. 그러나, 종료명령이 부여되지 않은 경우에, CPU(1)는 입력보조리듬음의 발생타이밍timing)으로 되어있는지의 여부를 더 판단한다(스텝 SP10, SP11). 리듬음의 발생타이밍이 아니면, CPU(1)는 스텝(SP8)으로 복귀하여, 음향신호를 취입하는 스텝으로 진행한다.
한편, 입력보조리듬음을 발생하는 타이밍이면, CPU(1)는 스텝(SP5)으로 복귀하여, 다음의 입력보조리듬음 발생스텝으로 이동한다.
이와 같이하여, 입력보조리듬을 발생하면서, 사용자에 의해 발생된 음향신호를 순차적으로 취입하는 소절개시를 나타내는 표시와 함께 보조기억장치(6)내에 격납시킨다. 입력보조리듬음이 발생되므로, 사용자가 음향신호를 입력하기가 용이하게 된다.
[채보처리]
제3도는 자동채보처리의 순서도로, 이 처리는 음향신호의 입력후까지는 실행되지 않는다. 우선, CPU(1)는 음향신호의 자기상관분석(autocorrelation analysis)을 이용하여 분석주기마다 음향신호의 피치정보를 추출하고, 또 제곱합(square sum)을 구하기 위해 음향신호를 처리하여 분석주기마다의 파워정보를 추출한다.
그후, CPU(1)는 여러가지 전처리, 예를들어 노이즈제거나 평활화처리 등의 전처리를 실행한다(스텝 SP21, SP22). 그후, CPU(1)는 보조기억장치(6)내에 격납되어 있는 각각의 소절개시 표시에 기초하여 입력음향신호를 소정의 구간으로 구분하고, 파워의 변화에 기초하여 그 구간을 검토하여 동일음을 나타내는것으로 간주될 수 있는 세그멘트를 작성하기 위하여 그 구간을 분리한다(스텝 SP23, SP24). 다음에, CPU(1)는 피치정보의 분포상황을 기초하여 절대음정축에 대하여 음향신호가 보유하는 음정축의 편차량을 계산하여, 얻어진 피치정보를 그 편차량에 따라서 시프트(shift)시켜, 투우닝(tuning)처리를 실행한다(스텝 SP25).
즉, CPU(1)는 음향신호를 발생한 가창자 또는 악기의 음정축과 절대음정축사이의 차가 작게되도록 피치정보를 수정한다.
이와 같이하여, CPU(1)는 상기한 세그멘테이션처리에 의해 얻어진 피치정보에 기초하여, 가장 음정이 가깝다라고 판단되는 절대음정축상의 음정으로 그 세그멘트의 음정을 동정(同定)하고, 동정된 연속하는 세그멘트의 음정이 동일한지 아닌지의 여부에 기초하여 재차 세그멘테이션처리를 실행한다(스텝 SP26, SP27).
그후, CPU(1)는 튜우닝후의 피치정보를 집계하여 얻은 음정의 출현빈도와, 조에 따라 결정된 소정의 무게계수(weighting coefficient)와의 곱의 합(product sum)을 구하고, 이 곱의 합의 최대치정보에 기초하여, 예를들어 다장조 또는 가단조등과 같이 입력음향신호의 악곡의 조를 결정하고, 결정된 조에 있어서 음계상의 소정음정에 관하여 그 음정을 피치정보에 대해 보다 상세하게 검통하여 음정을 확인, 수정한다(스텝 SP28, SP29).
다음에, CPU(1)는 최종적으로 결정된 음정이 연속해서 동일한 세그멘트를 포함하는지 아닌지, 또는 연속하는 세그멘트에 있어서 파워의 변화가 있는지 없는지의 여부에 기초하여 세그멘테이션 결과를 검토하여 최종 세그멘테이션을 수행한다(스텝 SP30).
이와 같은 방법으로 음정과 세그멘트(즉, 음의 길이)가 결정된 후에, CPU(1)는 음향신호의 입력이 개시될때에 입력된 박자정보 및 템포정보를 포함하여 정보를 정리하여 최종적으로 악보데이터를 작성한다.
소절정보 및 파워정보에 기초한 세그멘테이션 제4도는 본 방식에 의해 발생된 소절정보 및 파워정보에기초한 세그멘테이션처리의 순서도이고, 제5도는 소절정보와 파워정보에 기초한 세그멘테이션처리를 보다상세하게 나타내는 순서도이라.
이하, 음향신호의 소정정보 및 파워정보에 기초한 세그멘테이션처리에 제3도의 스텝 SP23, SP24에 대하여, 제4도 및 제4도의 순서도를 이용하여 상세하게 설명한다.
여기서, 제4도는 기능레벨에서 그러한 처리를 설명하는 순서도이고, 제5도는 제4도에 표시된 것을 보다 상세하게 설명하는 순서도이다. 음향신호는 분석주기내의 각 샘플링점(sampling point)에 대하여 자승되고, 이들 자승치의 총합은 분석주기내에서 음향신호의 파워정보로 사용된다.
우선, 이 세그멘테이션의 개략을 제4도를 참조하여 설명한다. 설명을 위해, 신호의 소절로서 4박자가 선택되었다고 가정한다. 물론, 본 발명은 이러한 가정에 한정되는 것은 아니다. 이 가정은 본 발명의 설명을 용이하게 하기 위한 것일 뿐이다.
CPU(1)는 보조기억장치(6)내에 격납된 소절개시표시를 취출하여, 각 소절을 4등분하고, 각 등분구간의 선두에 박자개시표시를 붙인다(스텝 SP40). 4박자가 아니고 3박자가 선택된 경우에는, 소절을 3등분한다. 다음에, CPU(1)는 얻어진 각 박자구간을 또 4등분하여, 등분한 각 구간의 선두에 10분음표의 개시표시를 붙인다(스텝 SP41).
이와 같이 하여, 소절정보에 기초하여 음향신호가 1소절당 16분할된다. 4박자가 아니고 3박자가 선택된 경우에는, 1소절단 12분할 된다. 그후 CPU(1)는 파워정보가 기초하여 이들 구분을 검토한다. 또한, 사용자가 피치를 변화시키는 경우, 즉 다음의 음으로 이행할때에 파워도 크게되도록 변화시키므로 파워정보를 세그멘테이션처리에 반영시키도록 되어 있다.
상기한 처리에 계속하여 CPU(1)는 파워정보의 입상점(rising point)을 추출하여, 입상점을 나타내는 표시를 적당한 위치에 붙인 후에, 각 입상점에 가장 가까운 16분음표 개시의 표시를 취하여, 그 입상점에 16분음표 개시표시를 붙인다(스텝 SP42, SP43).
이와 같이 하는 이유는, 입력보조리듬을 발생시켜 음향신호를 입력시켜도, 사용자가 그 타이밍에 완전하게 일치하여 음을 변화시키는 것은 실제상 곤란하기 때문이고, 음향신호의 변화에 음의 구분을 맞추어 다음의 구간이 휴지(rest)구간인지 아닌지 여부의 판단을 정확하게 실행시키기 때문이다.
다음에, CPU(1)는 각 16분음표 구간의 피치정보의 갯수를 계수하여, 그 갯수가 한계치(threshold value)미만인 구간의 선두에 휴지개시를 나타내는 표시를 붙인다.(스텝 SP44)
최종적으로 CPU(1)는 소절개시, 입상점, 휴지개시등의 표시가 있는 점에 세그멘트개시를 나타내는 표시를 붙인다(스텝 SP45). 소절개시점에도 세그멘트개시의 표시를 붙이도록 한 것은, 1개의 음이 2개의 소절에 걸치는 것이 있어, 이 경우, 악보상은 각각의 소절에 대해 음표를 붙이는 것이 행하여지기 때문이다.
이와 같이 하여, 소절정보 및 파워정보에 기초하여 구분된 복수의 세그멘트가 얻어진다.
이 세그멘테이션처리에 의해 얻어진 세그멘트가 부적절한 것이 있다고 하여도, 다음의 스텝에서 실행되는 상술한 세그멘테이션(제3도의 스텝 SP27, SP30)에 의해 적절한 것으로 된다.
다음에, 이 처리를 제5도의 순서도를 참고하여 보다 상세하게 설명한다. CPU(1)는 각 분석주기(이하에서는, 분석주기가 매우 짧으므로 분석점이라 한다)를 지시하는 파라미터(i)를 O으로 클리어(clear)한후, 처리될 분석점 데이터(피치정보 및 파워정보를 포함)가 종료하지 않는 것을 확인하여, 그 분석점에 소절개시 표시가 붙여있는지 아닌지의 여부를 판단한다(스텝 SP50-SP52). 표시가 붙어있지 않는 경우에, CPU(1)는 분석점 파라미터(i)를 증가시키고, 상기한 스텝(SP51)으로 복귀하지만, 표시가 붙어있는 경우에는, CPU(1)는 스텝(SP54)과 그 다음 스텝의 처리를 실행하도록 진행한다(스텝 SP53).
이와 같이 하여, CPU(1)는 최초의 소절개시표시를 찾아낸다. 소절개시표시를 검출하면, CPU(1)는 파라미터(j)에 i+1을 세트하고, 처리될 분석점 데이터가 종료하지 않은 것을 확인하여, 그 분석점에 소절개시표시가 붙어있는지 아닌지의 여부를 판단한다(스텝 SP54-SP56). 표시가 붙어있지 않은 경우에, CPU(1)는 파라미터(j)를 증가시키고 상기한 스텝(SP55)으로 복귀하지만, 표시가 붙어있는 경우에는 CPU(1)는 스텝(SP58) 이하의 처리로 진행한다.(스텝 SP57)
여기서, 스텝(SP56)에서 긍정결과가 얻어진 타이밍에서는, 파라미터(i)는 2개의 연속하는 소절개시표시중 앞쪽 분석점을 지시하고, 파라미터(j)는 2개의 연속하는 소절개시표중 뒷쪽 분석점을 지시하고 있다.
따라서, CPU(1)는 분석점(i)부터 분석점(i-j)까지의 구간을 4등분(또는 3박자인 경우에는 3등분)하여 박자개시표시를 붙인후에 소절개시표시의 앞쪽 분석점을 지시하는 파라미터(i)에 j를 세트하고, 상기한 스텝(SP54)으로 복귀하여 소절개시표시가 붙여진 뒷쪽 분석점의 검색으로 진행한다(스텝 SP58, SP59).
이와 같은 스텝(SP54)-스텝(SP59)으로 이루어진 루우프처리의, 반복실행에 의해, 스텝(SP55)에서 긍정 결과를 얻기 위해 최종 분석점에 대한 데이타가 취출될때까지 각 소절구간에 박자개시표시가 순차적으로 하나씩 붙여진다. 이때에는, 그때의 파라미터(i)의 분석점에 박자개시표시를 붙여서 박자개시표시를 붙이는 일련의 처리를 종료한 후에, 각 16분음표 개시표시를 붙이는 스텝(SP61) 이후의 처리로 진행한다(스텝 SP60).
CPU(1)가 최초의 소절개시표시를 찾아내기 전에 최후의 데이터로 되어 스텝(SP51)에서 긍정결과를 얻는 경우에, CPU(1)는 그 구간에 표시를 붙이지 않고, 16분음표 개시표시를 붙이는 처리로 진행한다.
스텝(SP50)-스텝(SP60)을 포함하는 처리부는 제4도의 스텝(40)에 대응한다.
서로 전후하여 박자개시를 나타내는 2개의 표시를 찾아내어, 그것을 4등분하여 16분음표 개시표기를 붙이는 것이 수행되는 제4도의 스텝(SP41)에 대응하는 처리의 상세한 것은 스텝(SP50)-스텝(60)의 처리와 거의 동일하다.
각각의 전후 구간의 개시표시를 찾아내어 그 구간을 4등분하여 박자개시표시를 붙이므로, 그 처리의 상세한 설명은 생략한다(스텝 SP61--SP71).
16분음표 개시표시를 붙이는 처리를 종료하면, CPU(1)는 분석점의 파라미터(i)를 0으로 클리어한 후에, 처리될 분석점 데이터가 종료하지 않은 것을 확인하여 그 분석점에 대한 파워정보의 입상추출함수 d(i)를 결정하기 위해 연산한다(스텝 SP72--SP74).
분석점(i)에 대한 파워정보, power(i)의 입상추출함수 d(i)는 아래식에 의한 연산에 의해 결정된다.
d(i)=={power(i+t)-powrer(1)}/{power(i+t)+power(i)}………………(1)
여기에서, t는 파워정보의 입상변화를 포착하기에 적당한 시간을 나타내는 자연수이다.
그후, CPU(1)는 이와 같이 하여 입상추출함수 d(i)의 값이 한계치(θd)보다 작은지 아닌지의 여부를 판단하여, 작은 경우에는 분석점의 파라미터(i)를 증가시키고 스텝(SP73)으로 복귀한다(스텝 SP75, SP76).
한편, 입상추출함수 d(i)가 한계치(θd) 이상으로 경우에, CPU(1)는 그 분석점에 입상점개시표시를 붙인다(스텝 SP77) 그후 CPU(1)는 모든 분석점 데이터에 대하여 처리가 종료하지 않은 것를 확인한 후, 입상추출함수 d(i)를 연산하여 입상추줄함수 d(i)가 한계치(θd)보다 작은지 아딘지를 판단한다(스텝 SP78-SP80). 입상추출함수 d(i)가 한계치보다 작은 경우에, CPU(1)는 파라미터(i)를 증가시키고 상기한 스텝(SP78)으로 복귀한다.
스텝(SP78)-스텝(SP81)의 처리는 단일 한계치(θd) 이상으로 된 입상추출함수 d(i)가 한계치(θd)보다 작게하는 분석점을 찾아내는 처리이다.
이와 같이 하여 얻어진 분석점 이후에 다시 입상추출함수가 입상하는 분석점이 있으므로, 입상추출함수가 한계치보다 작게되는 분석점을 찾아내면, 즉 상기한 스텝(SP80)에서 긍정결과가 얻어지면, CPU(1)는 상기한 스텝(SP73)으로 복귀하여 입상점을 추출하는 처리를 다시 시작한다.
상기한 처리를 반복하는 것에 의해, CPU(1)는 곧 스텝(SP 73) 또는 스텝(SP 78)에서 모든 분석점에 대하여 처리가 종료하는 것을 검출하여, 스텝(SP 82) 이후의 인접하는 입상점 사이의 길이에 기초하여 입상점을 검토하는 처리로 진행한다.
이러한 처리에 있어서, CPU(1)는 분석점의 파라미터(i)를 0으로 클리어한 후에, 분석점데이터가 종료하지 않은것을 확인하여 그 분석점에 입상점개시표시가 붙어있는지 아닌지를 판단한다(스텝 SP 82-SP 84). 그 분석점이 입상점이 아닌 경우에, CPU(1)는 분석점 파라미터(i)를 증가시킨후, 스텝(SP 83)으로 복귀한다(스텝 SP 85). 이 처리를 반복하여 입상점을 검출하면, CPU(1)는 이 입상점으로부터 다음 입상점까지의 길이를 측정하기 위해 길이 파라미터(L)를 초기치 "1"로 세트한다(스텝 SP 86).
그후, CPU(1)는 분석점 파라미터(i)를 증가시키고, 또 분석점데이터가 종료되지 않은 것을 확인한후, 입상점개시표시가 분석점에 붙어있는지 아닌지를 판단한다(스텝 SP 87-SP 89). 그 결과, 입상점이 아닌 경우에 CPU(1)는 길이 파라미터(L)를 증가시키고 또한 분석점 파라미터(i)도 증가시킨후, 상기한 스텝(SP 88)으로 복귀한다(스텝 SP 90, SP 91). 스텝(SP 88)-스텝(SP 91)의 처리를 반복하는 것에 의해, CPU(1)는 곧 다음의 세그멘트개시표시가 붙어있는 분석점에 도달하여, 스텝(SP 89)에서 공정결과를 얻게된다.이때의 길이 파라미터(L)는, 표시가 붙어있는 처리대상의 분석점과 그 직전의 표시가 붙어있는 분석점 사이의 거리, 즉 서로 전후하는 입상점 사이의 길이에 상당한다.
CPU(1)는 스텝(SP 89)에서 긍정결과가 얻어지면, 이 길이 파라미터(L)가 한계치(θ L)보다 짧은지 아닌지의 여부를 판단하여, 한계치(θ L) 이상인 경우에는 입상점표시를 제거하지 않고 상기한 스텝(SP 83)으로 복귀하지만, 한계치(θ L)보다 작은 경우에는, 앞쪽의 입상점개시표시를 제거하고 상기한 스텝(SP 83)으로 복귀한다(스텝 SP 92, SP 93), 또한, 스텝(SP 92) 또는 스텝(SP 93)으로부터 스텝(SP 83)으로 복귀한 경우에, 분석점데이터가 종료하지 않으면, 스텝(SP 84)에서 바로 긍정결과가 얻어져 스텝(SP 86) 이후의 처리로 진행하여, 방금 발견한 표시 다음의 다른 표시를 조사하는 동작으로 이행한다.
이와같은 일련의 스텝을 반복하는 것에의해, CPU(1)는 모든 입상점에 대하여 입상점 사이의 길이의 검토를 종료하고, 곧 스텝(SP 83) 또는 스텝(SP 88)에서 공정결과가 얻어져, CPU(1)는 일련의 파워정보의 입상점 추출처리를 종료한다. 스텝(SP 72)-스텝(SP 93)의 처리는 제4도에 표시된 스텝(SP 42)의 처리에 상당한다.
입상점을 입상추출함수 d(i)로 추출한후, 서로 전후하는 입상점 사이의 거리에 의해 입상점을 검토하도록한 것은, 동일한 음을 의도하는 경우이어도 음향신호의 파워가 약간씩 변화하는 것이 있고, 또 음향신호에 외부음등의 노이즈가 포함되는 것이 있어 이와같은 것에 의해 1음의 길이보다 짧은 구간에 복수의 입상점이 발생하는 것을 방지하기 위해서이다.
이러한 처리를 반복하여 파워정보의 입상점 추출처리를 종료하면 CPU(1)는 분석점파라미터(i)를 0으로 클리어 한 후, 처리될 데이터가 종료하지 않은 것을 확인하여, 분석점에 대해 파워정보의 입상점 표시가 붙어있는지 아닌지를 판단한다(스텝 SP 94-SP 96). 그 표시가 부착되어 있지 않은 경우에, CPU(1)는 파라미터(i)를 증가시키고 상기한 스텝(SP 95)으로 복귀한다(스텝 SP 97) 이와같이 하여 1개의 입상점을 발견해내면, CPU(1)는 그 분석점(i)에 16분음표개시표시가 붙어있는지 아닌지를 판단한다(스텝 SP 98).
그 분석점에 16분음표개시 표시가 붙어있지 않은 경우에, 그 입상점과 16분음표개시점과의 일치시키는 처리를 행할 필요가 없으므로, CPU(1)는 파라미터(i)를 증가시키고 스텝(SP 95)으로 복귀하여, 다음의 입상점을 조사하는 처리로 진행한다(스텝 SP 99).
한편, 찾아낸 입상점에 16분음표개시표시가 붙어있지 않은 경우에, CPU(1)는 상기한 스텝(SP 95)으로 복귀하여 이 입상점에 가장 가까운 입상점을 조사하는 처리로 진행한다.
우선, CPU(1)는 입상점에 16분음표개시표시를 붙인후에, 입상점 앞쪽의 16분음표개시표시가 붙여진 분석점을 찾아내기 위하여 파라미터(j)를 초기치 "1"로 세트한다(스텝 SP 1OO, SP 1O1).
그후, 구간(i-j)이 0 이상인 것을 확인하고, CPU(1)는 그 분석점(i-j)에 16분음표개시표시가 붙어있는지 아닌지를 판단한다. 그러한 표시가 붙어있지않은 경우에, CPU(1)는 파라미터(j)를 증가시킨후에, 스텝(SP 102)으로 복귀한다(스텝 SP 102-SP 104). 이러한 스텝(SP 102)-스텝(SP 104)의 처리를 반복하는것에 의해 CPU(1)는 16분음표개시표시가 붙어있는 입상점 앞쪽의 가장 가까운 곳에 위치한 분석점(i-j)을 찾아내어 스텝(SP 103)에서 긍정결과가 얻어진다.
그 경우에, CPU(1)는 입상점 뒤쪽의 16분음표개시표시가 붙어있는 분석점을 찾아내기 위해 파라미터(k)를 초기치 "1"로 세트한다(스텝 SP 105). 그후 CPU(1)는 분석점(i+k)이 최종분석점보다 큰 값이 아닌것을, 즉 분석점(i+k)이 데이터가 존재하는 분석점인 것을 확인하여 분석점(i+k)에 16분음표개시표시가 붙어있는지 아닌지의 여부를 판단한다.
표시가 붙어있지않은 경우에, CPU(1)는 피라미터(k)를 증가시키고, 스텝(SP 106)으로 복귀한다(스텝SP 106-SP 108). 이러한 스텝(SP 106)-스텝(SP 108)의 처리를 반복하는 것에 의해, CPU(1)는 16분음표개시표시가 붙어있는 입상점보다 뒷쪽의 가장 가까운 분석점(i+k)을 찾아내어, 스텝(SP 107)에서 긍정결과가 얻어진다.
이와같이 하여, 입상점에 가까운 16분음표개시표시가 붙어있는 전후의 분석점을 찾아내면, CPU(1)는 2개의 파라미터(i)(k)를 크기 비교하여 어느 분석점이 분석점에 가까운지를 판단하여, 앞쪽의 분석점(i-j)가까운 경우(동일하게 가까운 경우도 포함)에 CPU(1)는 그 분석점(i-j)에 붙어있는 16분음표개시표시를 제거한후, 파라미터(i)를 증가시키고 다음의 입상점을 조사하는 처리로 진행한다.
한편 뒷쪽의 분석점(i+k)이 가까운 경우에 CPU(1)는 그 분석점(i+k)에 붙어있는 16분음표개시표시를 제거한후, 파라미터(i)를 증가시키고 다음의 입상점을 조사하는 처리로 진행한다(스텝 SP 109-SP 113). 이러한 처리를 반복하는 것에 의해, CPU(1)는 각 입상점에 16분음표개시표시를 붙이고, 그 입상점에 가장 가까운 점으로부터 16분음표개시표시를 제거한다.
그리고, 모든 분석점에 대해 이러한 처리가 종료되면 CPU(1)는 스텝(SP 95)에 의해 일련의 입상점과 16분음표개시점과의 일치처리를 종료한다.
또한, 스텝(SP 94)-스텝(SP 113)의 처리는 제4도의 스텝(SP 43)에 대응한다. 이와같이 하여, 파워전보의 입상점 변화처리를 종료하면, CPU(1)는 분석점 파라미터(i)를 0으로 클리어한후, 처리될 분석점 데이터가 종료하지 않은것을 확인하여 그 분석점에 16분음표개시표시가 붙어있는지 아닌지의 여부를 판단한다(스텝 SP 114-SP 116). 표시가 붙어있지 않은 경우에 CPU(1)는 파라미터(i)를 증가시키고, 상기한 스텝(SP 115)으로 복귀한다(스텝 SP 117). 이와같이 하여, 최초의 16분음표개시표시를 찾아내면, CPU(1)는 다음의 16분음표개시표시에 적용된 파라미터(j)를 i-1로 세트한후, 처리될 분석점데이터가 종료하지 않은것을 확인하여 그 분석점(j)에 16분음표개시표시가 붙어있는지 아닌지를 판단한다(스텝 SP 118-SP 120). 그 표시가 붙어있지않은 경우에, CPU(1)는 파라미터(j)를 증가시키고 상기한 스텝(SP 119)으로 복귀한다(스텝 SP 121). 다음의 16분음표개시표시가 찾아지면, CPU(1)는 피치보유세그멘트의 갯수 파라미터(n)를 0으로 클리어한 후, 피치보유세그멘트 처리의 종료파라미터(k)를 i로 세트한다(스텝 SP 122, SP 123).
다음에, 파라미터(k)가 파라미터(j)보다 값이 작은 것을 확인한 후, CPU(1)는 분석점(k)이 대해 피치정보가 존재하는지 아닌지, 즉 그 분석점(k)이 유성음인지 아닌지를 판별한다(스텝 SP 124, SP 125). 이 처리로부터 긍정결과가 얻어지면, CPU(1)는 갯수파라미터(n)를 증가시킨후, 파라미터(k)도 증가시키고, 상기한 스텝(SP 124)으로 복귀한다.
한편, 부정결과가 얻어지면, CPU(1)는 즉시 파라미터(k)를 증가시킨후, 상기한 스텝(SP 124)으로 복귀한다(스텝 SP 125, SP 126). 이 처리를 반복하는 것에 의하여, 곧 스텝(SP 124)에서 긍정결과가 얻어진다.
여기서, 파라미터(k)는 i부터 j-1까지의 범위내에서 변화하므로, 스텝(SP 124)에서 긍정결과가 얻어진때에는, 갯수파라미터(n)는 분석점(i)과 분석점(j-1) 사이에서 피치정보가 존재하는 분석점의 갯수, 즉 서로 전후하는 16분음표개시표시 사이에 피치정보가 존재하는 분석점의 갯수를 나타낸다. CPU(1)는 갯수파라미터(n)의 값이 소정의 한계치(θn)보다 큰지 아닌지를 판단한다.
파라미터의 값이 한계치(θn)보다 작은 경우에, CPU(1)는 16분음표개시표시가 붙어있는 분석점 갯수의 계수에 있어 최초 분석점인 분석점(i)에 휴지개시표시를 붙인후, 파라미터(i)를 j로 세트하고, 상기한 스텝(SP 118)으로 복귀한다.
한편, 파라미터값이 한계치(θn) 이상이면, CPU(1)는 즉시 파라미터(i)를 j로 세트한 후, 상기한 스텝(SP 118)으로 복귀하여, 16분음표개시표시가 붙어있는 다음의 분석점을 조사하는 처리로 진행한다(스텝 SP 128-SP 130).
이러한 처리를 반복하는 것에 의하여, 피치정보가 존재하는 분석점의 갯수가 적은 서로 전후하는 16분음표개시표시 사이의 최초분석점에 순차적으로 하나씩 휴지개시표시가 붙여져서, 곧 스텝(SP 115) 또는 스텝(SP 119)에서 긍정결과가 얻어져 휴지개시표시를 붙이는 일련의 처리가 종료한다.
그리고, 스텝(SP 114)-스텝(SP 130)의 처리는 제4도의 스텝(SP 44)의 처리에 대응한다. 휴지개시표시를 붙이는 일련의 처리가 종료하면, CPU(1)는 분석점 파라미터(i)를 0으로 클리어한 후, 처리될 분석점 데이터가 종료하지 않은 것을 확인하여, 그 분석점에 소절개시표시가 붙어있는지 아닌지를 판단한다(스텝 SP 131-SP 133). 소절개시표시가 붙어있지 않은 경우에, CPU(1)는 파워정보의 입상점표시가 붙어있는지 아닌지를 판단한다(스텝 SP 134). 입상점 표시가 붙어있지 않은 경우에, CPU(1)는 휴지개시표시가 그곳에 붙어있는지 아닌지를 판단한다(스텝 SP 135). 유지개시표시가 붙어있지 않은 경우에, CPU(1)는 파라미터(i)를 증가시키고 상기한 스텝(SP 132)으로 복귀한 후, 다음의 분석점에 표시가 존재하는지를 확인한다(스텝 SP 136).
한편, 분석점(i)에, 소절개시표시, 입상점표시, 또는 휴지개시표시가 붙어있으면, CPU(1)는 그 분석점(i)에 세그멘트개시표시를 붙인후, 파라미터(i)를 증가시키고 상기한 스텝(SP 132)으로 복귀하여, 다음의 분석점에 대해 소정의 표시가 붙어있는지 아닌지를 확인한다(스텝 SP 137, SP 138).
이와같이 하여, CPU(1)는 소절개시, 입상점 또는 휴지개시의 표시가 붙어있는 분석점에 순차적으로 세그멘트개시표시를 붙여서, 곧 최종데이터로 되어, 스텝(SP 132)에서 긍정결과가 얻어지고, 세그멘트개시표시를 붙이는 일련의 처리가 종료된다. 스텝(SP 131)-스텝(SP 138)의 처리는 제4도의 스텝(SP 45)의 처리에 상당한다.
이와같이 하여, CPU(1)는 소절정보 및 파워정보에 기초하여 세그멘테이션 처리를 종료한 후, 상기한 튜우닝처리로 진행한다.
제6도는 피치정보(PIT), 파워정보(P0W) 및 입상추출함수 d(i)의 변화를 1소절구간에 대해 표시하는 것이다.
여기서, "◎"는 소절개시표시이고, "☆"는 입상점표시이고, "○"는 박자개시표시이고, "×"는 입상점과의 일치가 실행되기 전의 16분음표개시표시이며, "△"는 휴지개시표시를 나타낸다.
따라서, 이 소절구간에의 경우, 상기한 일련의 세그멘테이션 처리를 실행하는 것에 의해 "●"를 붙이는 바와같이 세그멘트개시표시가 붙여진다.
상기한 실시예에 의하면, 본 방식은 입력보조리듬음을 발생시켜 이용자에게 음향신호를 입력시키도록 한것으로, 이용자에 의해 음향신호의 입력동작이 간단하게 되고, 의도한 음향신호를 리듬적으로 정확하게 입력할 수 있어, 그 결과, 세그멘테이션이 용이하게 되어 작성된 악보데이터의 정도(精度)를 향상시킬 수가 있다.
또, 본 방식은 입력시에 발생된 입력보조리듬음의 정보를 음향신호와 동일한 시간 축상에 기록하여 세그멘테이션에 이용하도록한 것으로, 이점에서도 정확한 세그멘테이션을 실행할 수 있어 악보데이터의 정도를 향상시킬 수 있다.
[다른 실시예]
상기한 바람직한 실시예는 파워정보로서 음향신호의 제곱합을 사용하지만, 다른 파라미터도 사용될 수 있다. 예를들어, 제곱합의 제곱근(sguare root)이 사용될 수 있다. 더우기, 입상추출함수를 식(1)과 같이 구하였지만, 다른 파라미터가 사용될 수도 있다.
즉, 식(1)의 분자만을 이용한 함수를 사용하여 파워정보의 입상을 추출하도록 하여도 좋다. 상기한 실시예에서는, 서로 전후하는 입상점사이의 거리가 짧은 경우에 앞쪽의 입상점 표시를 제거하지만, 뒷쪽의 입상점 표시를 제거하도록 하여도 좋다.
상기한 실시예에서는, 이용자에 의하여 음향신호의 입력이 용이하게 되도록 입력보조리듬음을 발생하지만, 입력보조를 위한 리듬정보를 시각적인 방법에 의해 이용자에게 알리는 것이어도 좋다. 예를들어, 적절한 리듬으로 움직이는 지휘봉의 화상을 표시장치(5)에 표시하여도 좋고, 또한, 이용자에게 리듬을 지시하기 위해 청각적 방법과 시각적 방법을 병용하여도 좋다. 더우기, 메트로놈음 또는 리듬반주음을 입력보조음으로서 적용할 수 있다.
상기한 실시예에서는, 세그멘테이션 처리를 수행하기 위하여 입력 보조리듬정보중에서 소절개시정보를 사용하지만, 입력보조리듬정보중에서 박자개시정보가 세그멘테이션 처리를 수행하기 위해 사용될 수도 있다.
상기한 실시예에서는, 악보데이터의 출력장치로서 표시장치(5)를 사용하지만, 그 대신에 문자인쇄장치를 사용하여도 좋다. 상기한 실시예에서는, 모든 처리를 CPU(1)가 주기억장치(3)내에 격납된 프로그램에 따라서 실행하지만, 일부 또는 전부의 처리를 하드웨어 시스템 또는 서브시스템에 의해 실행할 수도 있다.
예를들어, 제2도와의 대응부분에 동일부호를 붙인 제7도에 표시한 바와 같이, 음향신호입력장치(8)로부터 입력된 음향신호를 증폭회로(11)를 통과시켜 증폭한 후, 프리필터(12)를 개재하여 A/D 변화기(13)로 공급되어 디지탈신호로 변환하여, 이 디지탈 신호로 변환된 음향신호를 신호처리프로세서(14)가 자기상관분석해서 피치정보를 추출하거나, 또는 제곱합을 구하기 위해 신호를 처리하여 파워정보를 추출하여, 경우에 따라 피치정보나 파워정보를 소프트웨어 시스템으로 처리하기 위해 CPU(1)에 공급하여도 좋다.
이와같은 하드웨어구성(11)-(14)에 사용될 수 있는 신호처리프로세서(14)로서는, 신호의 실시간(real-time) 처리를 수행할 수 있으며, 호스트컴퓨터와의 인터페이스 신호가 준비되어 있는 프로세서(예를들어, 일본전기주식회사제품 μPD 7720)를 적용할 수 있다.
상기한 실시예는 입력보조리듬정보 및 파워정보에 기초하여 최초의 세그멘테이션 처리를 수행하지만, 입력보조리듬정보 및 피치정보에 기초하여 수행하도록 하여도 좋고, 또 입력보조리듬정보, 파워정보 및 피치정보에 기초하여 수행하도록 하여도 좋다.
본 발명에 의한 방식은, 입력 보조리듬정보를 이용자에게 제공하여 음향신호를 입력시키도록한 것으로,이용자에 의해 음향신호의 입력동작이 간단하게 되고, 의도한 음향신호를 리듬적으로 정확하게 입력할 수 있어, 그 결과, 세그멘테이션 처리가 용이하게 되어 작성된 악보데이터의 정도를 향상시 킬 수 있다.
더우기, 본 방식은 입력시에 이용자에게 제공된 보조리듬정보를 음향신호와 동일한 시간축상에 기록하여, 세그멘테이션 처리에 이용하도록 한 것이므로, 이점에서도 정확한 세그멘테이션을 실행할 수 있어 악보데이터의 정도를 향상시킬 수 있다.
본 발명은 현재 가장 실제적이며 바람직한 실시예라고 생각되는 것에 대하여 기술되었지만, 본 발명은 여기에 개시된 실시예에 한하지 않고, 첨부된 청구범위의개념과 범주내에 포함된 여러가지 변경 및 동등한 장치를 망라한다.

Claims (12)

  1. 음향신호를 포착하는 단계와, 음향신호를 기억시키는 단계와, 적어도 템포정보를 포함하는 입력보조리듬정보를 포착단계와 동시에 통지하는 단계와, 기억된 전기한 음향신호로부터 반형의 반복주기 및 음의 피치를 나타내는 피치정보와, 파워정보를 추출하는 단계와, 피치정보 및 파워정보에 기초하여 음향신호를 동일 음정으로 간주되는 구간으로 구분하는 세그멘테이션 단계와, 피치정보에 기초하여 각 구간의 음정을 절대음정축상의 음정으로 동정(同定)하는 단계와, 전술한 단계의 결과를 표시 및 통지하는 단계로 이루어진것을 특징으로 하는 자동채보방법.
  2. 제1항에 있어서, 전기한 통지하는 단계는 청각신호에 의해 통지하는 것을 특징으로 하는 자동채보방법.
  3. 제1항에 있어서, 전기한 통지하는 단계는 시간신호에 의해 통지하는 것을 이루어진 것을 특징으로하는 자동채보방법.
  4. 제1항에 있어서, 전기한 통지하는 단계는 청각신호 및 시각신호에 의해 통지하는 것을 특징으로 하는 자동채보방법.
  5. 제1항에 있어서, 음향신호의 기억시에 보조리듬을 동일시간축상에서 기억시키는 단계로 이루어진 것을 특징으로 하는 자동채보방법.
  6. 제1항에 있어서, 전기한 세그멘테이션 단계는, 기억된 입력보조 리듬정보에 기초하여 음향신호를 동일음정으로 간조되는 구간으로 구분하는 제1단계와, 피치정보 및 파워정보에 기초하여 음향신호를 동일음정으로 간주되는 구간으로 구분하는 제2단계와, 전기한 제1단계 및 제2단계에 의해 세그멘트로 구분된 구간을 정리하는 제3단계로 이루어진 것을 특징으로 하는 자동채보방법.
  7. 채보될 음향신호를 취입하는 장치와, 음향신호가 취입될 때 템포정보를 포함하는 보조리듬정보를 제공하는 장치와, 기억장치와, 음향신호 및 리듬정보를 처리하고 기억시키는 장치와, 기억된 음향신호로부터 음향신호파형의 반복주기 및 그 신호의 음정을 나타내는 피치정보와, 파워정보를 추출하는 피치파워 추줄장치와, 피치정보 및 파워정보에 기초하여 음향신호를 동일음정으로 간주되는 구간으로 구분하는 세그멘테이션 장치와, 전기한 음향신호의 음정을 절대음정축에 대하여 동정하는 음정동정장치로 이루어진 것을 특징으로 하는 자동채보장치.
  8. 제7항에 있어서, 청각적형태로 입력보조리듬정보를 통지하는 장치로 이루어진 것을 특징으로 하는 자동채보장치.
  9. 제7항에 있어서, 시각적 형태로 입력보조리듬정보를 통지하는 장치로 이루어진 것을 특징으로 하는 자동채보장치.
  10. 제7항에 있어서, 청각적 형태 및 시각적 형태로 입력보조리듬 정보를 통지하는 장치로 이루어진 것을 특징으로 하는 자동채보장치.
  11. 제7항에 있어서, 전기한 처리 및 기억장치는, 전기한 음향신호가 포착되어 기억될 때에 보조리듬정보와 음향신호를 동일시간축상에서 기억시키는 장치로 이루어진 것을 특징으로 하는 자동채보장치.
  12. 제7항에 있어서, 세그멘테이션 장치는, 기억된 입력보조리듬 정보에 기초하여 음향신호를 동일음정으로 간주되는 구간으로 구분하는 제1세그멘테이션 부분과, 피치정보 및 파워정보에 기초하여 음향신호를 동일음정으로 간주되는 구간으로 구분하는 제2세그멘테이션부분과, 전기한 제1 및 제2세그멘테이션부분에 의해 세그멘트로 구분된 구간을 정리하는 제3세그멘테이션 부분으로 이루어진 것을 특징으로 하는 자동채보장치.
KR1019890015708A 1988-10-31 1989-10-31 자동채보(自動採譜)방법 및 장치 KR920007206B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP63275740A JP3047068B2 (ja) 1988-10-31 1988-10-31 自動採譜方法及び装置
JP63-275740 1988-10-31

Publications (2)

Publication Number Publication Date
KR900006908A KR900006908A (ko) 1990-05-09
KR920007206B1 true KR920007206B1 (ko) 1992-08-27

Family

ID=17559732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019890015708A KR920007206B1 (ko) 1988-10-31 1989-10-31 자동채보(自動採譜)방법 및 장치

Country Status (6)

Country Link
EP (1) EP0367191B1 (ko)
JP (1) JP3047068B2 (ko)
KR (1) KR920007206B1 (ko)
AU (1) AU631573B2 (ko)
CA (1) CA2001923A1 (ko)
DE (1) DE68911858T2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0645757B1 (en) * 1993-09-23 2000-04-05 Xerox Corporation Semantic co-occurrence filtering for speech recognition and signal transcription applications
US7386357B2 (en) * 2002-09-30 2008-06-10 Hewlett-Packard Development Company, L.P. System and method for generating an audio thumbnail of an audio track
GB0229940D0 (en) * 2002-12-20 2003-01-29 Koninkl Philips Electronics Nv Audio signal analysing method and apparatus
US8208643B2 (en) * 2007-06-29 2012-06-26 Tong Zhang Generating music thumbnails and identifying related song structure
CN109979483B (zh) * 2019-03-29 2020-11-03 广州市百果园信息技术有限公司 音频信号的旋律检测方法、装置以及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2279290A1 (fr) * 1974-07-15 1976-02-13 Anvar Procede et dispositif pour realiser sur un ecran de television ou equivalent, l'affichage d'ideogrammes ou autres signes, et notamment de notations musicales
JPS5924895A (ja) * 1982-08-03 1984-02-08 ヤマハ株式会社 楽譜表示装置における楽音情報の処理方法
US4510840A (en) * 1982-12-30 1985-04-16 Victor Company Of Japan, Limited Musical note display device
JPS6090396A (ja) * 1983-10-24 1985-05-21 セイコーインスツルメンツ株式会社 音声認識式音程採譜装置
JPS6090376A (ja) * 1983-10-24 1985-05-21 セイコーインスツルメンツ株式会社 音声認識式音程学習装置
US4771671A (en) * 1987-01-08 1988-09-20 Breakaway Technologies, Inc. Entertainment and creative expression device for easily playing along to background music
EP0331107B1 (en) * 1988-02-29 1993-07-21 Nec Home Electronics, Ltd. Method for transcribing music and apparatus therefore

Also Published As

Publication number Publication date
DE68911858T2 (de) 1994-05-26
JPH02120893A (ja) 1990-05-08
EP0367191B1 (en) 1993-12-29
CA2001923A1 (en) 1990-04-30
AU4389489A (en) 1990-05-03
DE68911858D1 (de) 1994-02-10
EP0367191A2 (en) 1990-05-09
EP0367191A3 (en) 1990-07-25
AU631573B2 (en) 1992-12-03
JP3047068B2 (ja) 2000-05-29
KR900006908A (ko) 1990-05-09

Similar Documents

Publication Publication Date Title
JP3319211B2 (ja) 音声変換機能付カラオケ装置
US7189912B2 (en) Method and apparatus for tracking musical score
US20040044487A1 (en) Method for analyzing music using sounds instruments
JP5605066B2 (ja) 音合成用データ生成装置およびプログラム
CN106935236A (zh) 一种钢琴演奏评估方法及系统
JP3776673B2 (ja) 音楽情報解析装置、音楽情報解析方法及び音楽情報解析プログラムを記録した記録媒体
KR920007206B1 (ko) 자동채보(自動採譜)방법 및 장치
US20040196747A1 (en) Method and apparatus for replaying midi with synchronization information
WO2019180830A1 (ja) 歌唱評価方法及び装置、プログラム
Konev et al. The program complex for vocal recognition
CN112837698A (zh) 一种演唱或演奏评价方法、装置和计算机可读存储介质
JP3261990B2 (ja) カラオケ装置
JP2002162978A (ja) カラオケ装置
JP4219652B2 (ja) リピート演奏時に直前に計測したピッチ誤差に基づいて該当箇所の主旋律音量を制御するカラオケ装置の歌唱練習支援システム
JP3430814B2 (ja) カラオケ装置
JP2008040260A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP4048249B2 (ja) カラオケ装置
McNab et al. Evaluation of a melody transcription system
JP2005107332A (ja) カラオケ装置
JP5034642B2 (ja) カラオケ装置
JP6252421B2 (ja) 採譜装置、及び採譜システム
JP7554887B1 (ja) 演奏補助装置、演奏補助方法、及び、演奏補助プログラム
US20220415289A1 (en) Mobile App riteTune to provide music instrument players instant feedback on note pitch and rhythms accuracy based on sheet music
JP2604401B2 (ja) 自動採譜方法及び装置
JP2604414B2 (ja) 自動採譜方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
G160 Decision to publish patent application
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 19950707

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee