JP4802857B2 - 楽音合成装置及びプログラム - Google Patents

Description

この発明は、波形メモリ等に記憶した波形サンプルデータに基づいて、楽音あるいは音声若しくはその他任意の音を合成する楽音合成装置及びプログラムに関する。特に、音を途切れさせることなく音と音との間をつなぐ場合に、後続する音について聴感上の発音遅れを生じさせることなく楽音を合成する楽音合成装置及びプログラムに関する。

従来から、自然楽器固有の各種奏法（若しくはアーティキュレーション）のリアルな再現とその制御を容易にした技術として、所謂AEM（Articulation Element Modeling）技術が知られており、該AEM技術を用いて高品質な楽音波形を合成することが行われている。従来知られているように、AEM技術においては、音の立ち上がり区間（ヘッド部（又はアタック部）と呼ぶ））を表すヘッド系奏法モジュール、音の定常区間（ボディ部と呼ぶ）を表すボディ系奏法モジュール、音の立ち下がり区間（テール部（又はリリース部）と呼ぶ））を表すテール系奏法モジュール、あるいは連続する音と音との間（又は音部分と音部分の間）を例えばレガート奏法などの任意の奏法で音を途切れさせることなくつなぐ接続区間（ジョイント部と呼ぶ）を表すジョイント系奏法モジュール、などの各区間に対応する奏法モジュールを時系列的に複数組み合わせることで、一連の音楽波形を高品質に生成することができるようになっている。上記したようなAEM技術に関連するものとして、例えば下記に示す特許文献１に記載されている発明がその一例である。なお、この明細書において、楽音波形という場合、音楽的な音の波形に限るものではなく、音声あるいはその他任意の音の波形を含んでいてもよい意味あいで用いるものとする。また、ジョイント系奏法モジュールにおいて、先行する１音目の音高が２音目に比べて聴感上主に聴こえる領域までに相当するモジュール前半部分の波形データをプレノート部分と呼び、前記先行する１音目の音高が２音目に比べて聴感上主に聴こえる領域以降（つまり、演奏者が初めて前音から後音へと音高が遷移して後音の発音が開始されたと聴感上認識することができる所定の切り替わりポイント以降）に相当するモジュール後半部分の波形データをポストノート部分と呼んで便宜上区別する。
特開2002-287759号公報

ところで、演奏者による演奏操作に応じて順次に楽音を合成するリアルタイム演奏時においては、上記ジョイント系奏法モジュールを適用して接続区間の楽音（接続音）を合成する際に、場合によっては後音のノートオン指示から後音が聴こえ始めるまでに聴感上の発音遅れ（レーテンシーとも呼ぶ）が生ずることがある。これは、例えばジョイント系奏法モジュールの音高やアンプ等を、隣接する前音と後音の各奏法モジュールにあわせて調整するなどの、既に発音中の前音にこれから発音する後音を滑らかに繋げて遷移させるための処理に時間がかかること、また前音から後音への音高遷移にかかる時間（つまりは、プレノート部分の楽音の合成開始からポストノート部分の楽音の合成を開始するまでの時間に相当する）が前音の音高や楽器の種類、演奏方法などに依存して決まること、といったジョイント系奏法モジュール固有の特性によるものである。したがって、演奏者が楽音の音質を落としてでも後音の発音タイミングを優先させて（つまりレーテンシーを生じさせることなく）演奏を行いたいような場合であっても、上記したジョイント系奏法モジュール固有の特性から、従来ではそうした演奏を行うことが難しかった。この点、ジョイント系奏法モジュールを用いずに、前音についてテール系奏法モジュールを、後音についてヘッド系奏法モジュールを適用して楽音を合成することが考えられるが、そうした場合、従来では前音と後音との間の音の繋がり感が喪失されてしまうことが起こり問題となる。そこで、音を途切れさせることなく音と音との間をつなぐジョイント区間の楽音を合成する場合に、従来通りに後音の発音タイミングよりも音質を優先させて楽音を合成することができるだけでなく、音質よりも後音の発音タイミングを優先させて楽音合成することができ、また発音タイミングを優先させた場合であっても、音質をできるだけ悪化させることなく楽音を合成することのできるものが望まれていたが、そのようなものは従来考えられていなかった。

本発明は上述の点に鑑みてなされたもので、楽音の接続音を合成する場合に、音色変化を忠実に表現した高品質な楽音を合成するか、又は聴感上の発音遅れを生じさせることなく楽音を合成するかを、演奏者の選択に応じて切り替えることができ、また音質のよい楽音を合成することができる楽音合成装置及びプログラムを提供しようとするものである。

本発明に係る楽音合成装置は、無音状態からの音の立ち上がり区間に対応したヘッド部の波形データと、音を途切れさせながら連続させる奏法の音の立ち上がり区間に対応した特殊ヘッド部の波形データと、無音状態への音の立ち下がり区間に対応したテール部の波形データと、相前後する２つの音を途切れさせることなく滑らかに続ける奏法の音と音との接続区間に対応した接続部の波形データとを少なくとも記憶する記憶手段と、発音優先モード又は品質優先モードのいずれかを設定するモード設定手段と、演奏情報を取得する取得手段と、前記取得した演奏情報に基づき、相前後する２つの音を途切れさせることなく滑らかに続ける奏法を検出したか否かを判定する奏法判定手段と、前記奏法判定に従い相前後する２つの音を途切れさせることなく滑らかに続ける奏法を検出しなかった場合には、相前後する２つの音と音との時間間隔に応じて前記ヘッド部の波形データ又は前記特殊ヘッド部の波形データのいずれかを指定する一方で、相前後する２つの音を途切れさせることなく滑らかに続ける奏法を検出した場合には、前記設定が品質優先モードである場合に前記接続部の波形データを指定し、前記設定が発音優先モードである場合に前記特殊ヘッド部の波形データと前記テール部の波形データとを指定するデータ指定手段と、前記設定が発音優先モードである場合には、前記指定した特殊ヘッド部の波形データ及び／又は前記テール部の波形データのピッチ及び／又は振幅を、接続音として滑らかに音が遷移するように加工する指示を行うデータ加工手段と、前記データ指定手段による指定に従って該当する波形データを前記記憶手段から読み出し、該読み出した波形データに基づき楽音を合成する楽音合成手段とを具えてなり、前記楽音合成手段は、相前後する２つの音を途切れさせることなく滑らかに続ける奏法が検出された際に、前記設定が品質優先モードである場合には前記指定された接続部の波形データを前記記憶手段から読み出し、該読み出した接続部の波形データのみに基づき楽音を合成して相前後する２つの音を途切れさせることなく滑らかに続ける奏法を実現する一方、前記設定が発音優先モードである場合には前記指定されたヘッド部の波形データと前記テール部の波形データとを前記記憶手段から読み出し、該読み出したテール部の波形データに基づき相前後する２つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、該読み出した特殊ヘッド部の波形データに基づき相前後する２つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、前記加工指示に従ってそれぞれ加工しながら別々に合成して相前後する２つの音を途切れさせることなく滑らかに続ける奏法を実現することを特徴とする。

本発明によると、取得した演奏情報に基づき相前後する２つの音を途切れさせることなく滑らかに続ける奏法が検出されたときに、発音優先モード又は品質優先モードのいずれかを設定することができ、前記設定が品質優先モードである場合には接続部の波形データを使用して楽音を合成する一方で、前記設定が発音優先モードである場合には特殊ヘッド部の波形データとテール部の波形データとを使用して楽音を合成することにより相前後する２つの音を途切れさせることなく滑らかに続ける奏法を実現するようにした。前記接続部の波形データは相前後する２つの音を途切れさせることなく滑らかに続ける奏法の音と音との接続区間に対応したデータ、前記特殊ヘッド部の波形データは音を途切れさせながら連続させる奏法の音の立ち上がり区間に対応したデータであって無音状態からの音の立ち上がり区間に対応したヘッド部の波形データとは異なるもの、前記テール部の波形データは無音状態への音の立ち下がり区間に対応したデータである。品質優先モードである場合、楽音合成手段は前記指定された接続部の波形データを前記記憶手段から読み出し、前記読み出した接続部の波形データに基づき楽音を合成する。他方、発音優先モードである場合、楽音合成手段は指定された特殊ヘッド部の波形データとテール部の波形データとを記憶手段から読み出し、前記読み出したテール部の波形データに基づき相前後する２つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、前記読み出した特殊ヘッド部の波形データに基づき相前後する２つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、波形の加工指示に従いそれぞれ加工しながら別々に合成する。前記加工は、データ加工手段による加工指示に応じて、各波形データのピッチ及び／又は振幅を、接続音として滑らかに音が遷移するように加工する。このように、接続部の波形データを使用することなく特殊ヘッド部の波形データとテール部の波形データとを組み合わせて使用することによれば、接続部の波形データを用いる場合に比べて、既に発音中の前音に後音をつなげるためのシステムの計算や音高の遷移時間などに時間がかからず、従って聴感上における後音の発音遅れ（レーテンシー）を生じさせることなしに、相前後する２つの音が途切れることなく滑らかに続けられる奏法を実現することができる。また、単にヘッド部の波形データを使用するのではなくヘッド部の波形データとは別途用意された特殊ヘッド部の波形データを使用することで、前音と後音との間の音の繋がり感を喪失させることなく滑らかに音が遷移するレガート奏法などの楽音を高品質に合成することができるようになる。

本発明は、装置の発明として構成し、実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

本発明によれば、相前後して発生される少なくとも２つの音と音との間をつなぐ接続区間の楽音を合成する場合に、演奏者は音質を重視するか（品質優先モード）、後音の発音タイミングを重視するか（発音優先モード）を選択して楽音合成を行うことができ、また後音の発音タイミングを重視した場合であっても、音質を大きく悪化させることなくレガート奏法などの楽音を合成することができるようになる、という効果が得られる。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、この発明に係る楽音合成装置を適用した電子楽器のハードウエア構成例を示すブロック図である。ここに示す電子楽器は、演奏者による演奏操作子５の演奏操作に応じてリアルタイムに供給される演奏情報（ノートオン情報やノートオフ情報などの演奏イベントデータ、ダイナミクス情報やピッチ情報などの各種コントロールデータを含む）に基づいて電子的に楽音を発生したり、あるいは演奏進行順に供給される予め作成済みの演奏情報に基づいて、データの先読みなどを行いながら自動的に楽音を発生する楽音合成機能を有する。前記楽音合成機能の実行時において、本発明では２音が途切れることなく連続的につながっている接続区間（ジョイント部）について、演奏情報及びモード設定情報に基づき使用すべき波形サンプルデータ（以下、単に波形データと呼ぶ）の選択を行い、該選択された波形データに従って楽音を合成することにより、前記接続区間の楽音として特に聴感上の発音遅れ（レーテンシー）を生じさせることなく、かつレガート奏法などの楽音を高品質に再現することのできるようにしている。こうした接続区間の楽音合成については、後述する。

なお、この実施例に示す電子楽器はここに示す以外のハードウェアを有する場合もあるが、ここでは必要最小限の資源を用いた場合について説明する。また、音源としては、例えば様々な楽器毎の特有な奏法に対応する波形データとして、ヘッド区間、テール区間、ボディ区間などの１音についての一部区間、あるいは連続する２音間についての接続区間（ジョイント区間）において、任意の奏法に対応した波形全体を記憶しておき（奏法モジュール）、これらを時系列的に複数組み合わせることで１音又は連続する複数音の楽音を形成することにより、自然楽器固有の各種奏法若しくはアーティキュレーションによる音色変化を忠実に表現した奏法などのリアルな再現とその制御を目的とした、従来から知られているAEM（Articulation Element Modeling）と称する楽音波形制御技術を用いた音源（所謂AEM音源）を用いた場合を例にして説明する。

図１に示した電子楽器はコンピュータを用いて構成されており、そこにおいて、上記したような楽音合成機能を実現する「楽音合成処理」（ただし、この実施例では、そのうちのジョイント区間の楽音合成に関する処理についてのみ後述する：図４参照）は、コンピュータが各々の処理を実現する所定のプログラム（ソフトウエア）を実行することにより実施される。勿論、これらの処理はコンピュータソフトウエアの形態に限らず、ＤＳＰ（ディジタル・シグナル・プロセッサ）によって処理されるマイクロプログラムの形態でも実施可能であり、また、この種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用ハードウエア装置の形態で実施してもよい。

本実施例に示す電子楽器は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータの制御の下に各種の処理が実行されるようになっている。ＣＰＵ１は、この電子楽器全体の動作を制御するものである。このＣＰＵ１に対して、通信バス１Ｄ（例えば、データ及びアドレスバスなど）を介してＲＯＭ２、ＲＡＭ３、外部記憶装置４、演奏操作子５、パネル操作子６、表示器７、音源８、インタフェース９がそれぞれ接続されている。更に、ＣＰＵ１には、タイマ割込み処理（インタラプト処理）における割込み時間や各種時間を計時するタイマ１Ａが接続されている。すなわち、タイマ１Ａは時間間隔を計数したり、所定の演奏情報に従って楽曲を演奏する際の演奏テンポを設定したりするためのテンポクロックパルスを発生する。このテンポクロックパルスの周波数は、パネル操作子６の中の例えばテンポ設定スイッチ等によって調整される。このようなタイマ１ＡからのテンポクロックパルスはＣＰＵ１に対して処理タイミング命令として与えられたり、あるいはＣＰＵ１に対してインタラプト命令として与えられる。ＣＰＵ１は、これらの命令に従って各種処理を実行する。

ＲＯＭ２は、ＣＰＵ１により実行される各種プログラム、あるいは波形メモリとして様々な楽器毎の特有な奏法に対応する波形データ（例えば、レガート奏法などの音色変化の有る波形やストレートな音色を持つ波形等）などの各種データを格納するものである。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。外部記憶装置４は、自動演奏の元となる演奏情報や奏法に対応する波形データなどの各種データや、ＣＰＵ１により実行あるいは参照される「ジョイント部楽音合成処理」（図４参照）などの各種制御プログラム等を記憶する。前記ＲＯＭ２に制御プログラムが記憶されていない場合、この外部記憶装置４（例えばハードディスク）に制御プログラムを記憶させておき、それを前記ＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、外部記憶装置４はハードディスク（ＨＤ）に限られず、フレキシブルディスク（ＦＤ）、コンパクトディスク（ＣＤ−ＲＯＭ・ＣＤ−ＲＡＭ）、光磁気ディスク（ＭＯ）、あるいはＤＶＤ（Digital Versatile Disk）等の着脱自在な様々な形態の外部記録媒体を利用する記憶装置であってもよい。あるいは、半導体メモリなどであってもよい。

演奏操作子５は楽音の音高を選択するための複数の鍵を備えた、例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子５は演奏者自身の手弾きによる楽音のマニュアル演奏のために使用できるのは勿論のこと、自動演奏対象とする予め用意されている演奏情報を選択するなどの入力手段として使用することもできる。勿論、演奏操作子５は鍵盤等の形態に限らず、楽音の音高を選択するための弦を備えたネック等のような形態のものなど、どのようなものであってもよいことは言うまでもない。パネル操作子（スイッチ等）６は、例えば自動演奏対象とする演奏情報を選択するための演奏情報選択スイッチ、楽音の接続区間を合成する際に、音色変化を忠実に表現した高品質な楽音を合成する「品質優先モード」、又は聴感上の発音遅れを生じさせることなく楽音を合成する「発音優先モード」、のいずれかのモードにモード設定情報を選択的に設定するためのモード選択スイッチ等、各種の操作子を含んで構成される。勿論、音高、音色、効果等を選択・設定・制御するために数値データ入力用のテンキーや文字データ入力用のキーボード、あるいは表示器７に表示された各種画面の位置を指定するポインタを操作するマウスなどの各種操作子を含んでいてもよい。表示器７は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されるディスプレイであって、上記スイッチ操作に応じた各種画面を表示するのは勿論のこと、演奏情報や波形データなどの各種情報あるいはＣＰＵ１の制御状態などを表示することもできる。演奏者は該表示器７に表示されるこれらの各種情報を参照することで、演奏の際に使用する各種演奏パラメータの設定やモード設定あるいは自動演奏曲の選択などを容易に行うことができる。

音源８は複数のチャンネルで楽音信号の同時発生が可能であり、通信バス１Ｄを経由して与えられた演奏情報を入力し、この演奏情報に基づいて楽音を合成して楽音信号を発生する。ここに示す電子楽器においては、演奏情報に基づき該当する波形データがＲＯＭ２や外部記憶装置４などから読み出されると、該読み出された波形データはバスラインを介して音源８に与えられて適宜バッファ記憶される。そして、音源８ではバッファ記憶された波形データを所定の出力サンプリング周波数に従い出力する。この音源８から発生された楽音信号は、図示しない効果回路（例えば、DSP（Digital Signal Processor））などにより所定のディジタル信号処理が施され、該信号処理された楽音信号はサウンドシステム８Ａに与えられて発音される。

インタフェース９は該電子楽器と外部の演奏情報生成機器（図示せず）などとの間で各種情報を送受するための、例えばMIDIインタフェースや通信インタフェースなどである。MIDIインタフェースは、外部の演奏情報生成機器（この場合には、他のMIDI機器等）からMIDI規格の演奏情報を当該電子楽器へ供給したり、あるいは当該電子楽器からMIDI規格の演奏情報を他のMIDI機器等へ出力するためのインタフェースである。他のMIDI機器はユーザによる操作に応じてMIDI形式のデータを発生する機器であればよく、鍵盤型、ギター型、管楽器型、打楽器型、身振り型等どのようなタイプの操作子を具えた（若しくは、操作形態からなる）機器であってもよい。通信インタフェースは、例えばLANやインターネット、電話回線等の有線あるいは無線の通信ネットワーク（図示せず）に接続されており、概通信ネットワークを介して、外部の演奏情報生成機器（この場合には、サーバコンピュータ等）と接続され、当該サーバコンピュータから制御プログラムや演奏情報などの各種情報を該電子楽器に取り込むためのインタフェースである。すなわち、ＲＯＭ２や外部記憶装置４等に制御プログラムや演奏情報などの各種情報が記憶されていない場合に、サーバコンピュータから各種情報をダウンロードするために用いられる。クライアントとなる電子楽器は、通信インターフェース及び通信ネットワークを介してサーバコンピュータへと制御プログラムや演奏情報などの各種情報のダウンロードを要求するコマンドを送信する。サーバコンピュータは、このコマンドを受け、要求された各種情報を通信ネットワークを介して本電子楽器へと配信し、本電子楽器が通信インタフェースを介して各種情報を受信して外部記憶装置４等に蓄積することにより、ダウンロードが完了する。

なお、上記インタフェース９をMIDIインタフェースで構成した場合、該MIDIインタフェースは専用のMIDIインタフェースを用いるものに限らず、RS-232C、USB（ユニバーサル・シリアル・バス）、IEEE1394（アイトリプルイー1394）等の汎用のインタフェースを用いてMIDIインタフェースを構成するようにしてもよい。この場合、MIDIデータ以外のデータをも同時に送受信するようにしてもよい。MIDIインタフェースとして上記したような汎用のインタフェースを用いる場合には、他のMIDI機器はMIDIデータ以外のデータも送受信できるようにしてよい。勿論、演奏情報に関するデータフォーマットはMIDI形式のデータに限らず、他の形式であってもよく、その場合はMIDIインタフェースと他のMIDI機器はそれにあった構成とする。

図１に示した電子楽器においては、演奏者による演奏操作子の操作に伴い発生される演奏情報、あるいは予め用意されたSMF（Standard MIDI File）形式等の演奏情報に基づいて楽音を連続的に発生させることのできる楽音合成機能を有する。そして、該楽音合成機能の実行時において、演奏者による演奏操作子５の操作に伴う演奏進行に応じてリアルタイムに順次に供給される演奏情報、あるいはシーケンサー（図示せず）などから演奏進行順に先読み等を行いながら順次に供給される演奏情報に基づいて、各区間について新たに使用すべき波形データの選択を行い、該選択された波形データに従って楽音を合成するようにしている。そこで、こうした楽音合成機能の概要について、図２を用いて説明する。図２は、当該電子楽器が有する楽音合成機能を説明するための機能ブロック図である。図２において、図中の矢印はデータの流れを表すものである。

楽音合成機能の開始に伴い、まず奏法合成部Ｊ３に対して入力部Ｊ２から演奏情報が演奏進行順に順次に供給される。入力部Ｊ２としては、演奏者による演奏操作に応じて適宜に演奏情報を発生する演奏操作子５や、予めＲＯＭ２等に記憶した演奏情報を演奏進行順に供給するシーケンサーなどの入力装置がある。こうした入力部Ｊ２から供給される演奏情報は、ノートオン情報やノートオフ情報（これらを総称してノート情報と呼ぶ）などの演奏イベントデータと、ダイナミクス情報やピッチ情報などのコントロールデータとを少なくとも含む。奏法合成部Ｊ３では演奏イベントデータやコントロールデータなどを受け取ると、例えばノートオン情報に従いヘッド部やジョイント部を特定したり、ノートオフ情報に従いテール部を特定したり、あるいはコントロールデータとして受け取った情報を変換したりするなどして、楽音を合成するために必要とされる各種情報を含む「奏法情報」を生成する。すなわち、奏法合成部Ｊ３はデータベースＪ１（波形メモリ）にあるデータテーブルなどを参照して、入力されたダイナミクス情報やピッチ情報に対応する奏法モジュールを選択し、該選択した奏法モジュールを特定する情報を該当する「奏法情報」に加える。

上記奏法合成部Ｊ３がジョイント部に適用すべき奏法モジュールを選択する際には、パラメータ記憶部Ｊ５に記憶済みのモード設定情報を参照する。パラメータ記憶部Ｊ５に記憶されるモード設定情報は、上述したように後音の発音タイミングを重視する「発音優先モード」、又は音質を重視する「品質優先モード」いずれかの設定情報であり、こうしたモード設定情報は演奏者自らが入力部Ｊ２（詳しくはモード選択スイッチ）を用いて適宜に設定することができる。奏法合成部Ｊ３は、参照したモード設定情報が「品質優先モード」であるならばジョイント系奏法モジュールのみを単独で用いるようにし、「発音優先モード」であるならばジョイント部の前音に対してテール系奏法モジュールを、ジョイント部の後音に対してヘッド系奏法モジュールを組み合わせて用いるようにする。また、特に「発音優先モード」の場合には前記各奏法モジュールを特定する情報に加えて、さらにこれらの奏法モジュールを加工する情報を「奏法情報」に加えるとよい。奏法モジュールの加工についての詳細な説明は後述する（図５〜図６参照）。楽音合成部Ｊ４では奏法合成部Ｊ３が生成した前記「奏法情報」に基づき、データベースＪ１から使用する波形データを適宜に読み出し、該読み出した波形データを必要に応じて加工した上で、楽音合成することにより楽音が出力される。すなわち、楽音合成部Ｊ４では、生成された「奏法情報」に従って波形データの切り替え及び加工を行いながら楽音合成を行う。

データベースＪ１（波形メモリ）は、楽器毎の種々の奏法に対応する波形を再生する多数のオリジナルの奏法波形データとそれに関連するデータ群（奏法パラメータと呼ぶ）を「奏法モジュール」として記憶している。１つの「奏法モジュール」とは、奏法波形合成システムにおいて１つのかたまりとして処理できる奏法波形の単位である。別の言い方をすると、「奏法モジュール」とは、１つのイベントとして処理できる奏法波形の単位である。ここで、上述したデータベースＪ１（波形メモリ）に記憶される奏法モジュールについて、図３を用いて簡単に説明する。図３は、奏法モジュールの一実施例を説明するための概念図である。ただし、この図３では、「奏法モジュール」のうち、奏法波形データにより表さられる波形の一例をそのエンベロープのみで略示したものを図示している。

図３から理解できるように、種々有る奏法モジュールの奏法波形データの中には、例えば演奏音の奏法的特徴に応じて、ヘッド部やボディ部あるいはテール部等の１音の部分的区間に対応して定義されているものもあれば（ヘッド系、ボディ系、テール系の各奏法モジュール）、また、音と音のつなぎの区間であるジョイント部に対応して定義されているものもある（ジョイント系奏法モジュール）。従来知られているように、奏法モジュールは、奏法の特徴若しくは演奏の時間的部位又は区間等に基づき、大きくいくつかの種類に分類することができる。その例を示すと、次の５種類を挙げることができる。
１）「ノーマルヘッドモジュール」： （無音状態からの）音の立ち上がり区間（ヘッド部）を受け持つヘッド系奏法モジュール。
２）「ノーマルテールモジュール」： （無音状態への）音の立ち下がり区間（テール部）を受け持つテール系奏法モジュール。
３）「ノーマルジョイントモジュール」： ２つの音を（無音状態を経由せずに）レガート（スラー）で接続する接続区間（ジョイント部）を受け持つジョイント系奏法モジュール。
４）「ノーマルボディモジュール」： ビブラートのかからない、音の立ち上がり以降から立ち下がり以前までの音の定常区間（ボディ部）を受け持つボディ系奏法モジュール。
５）「ジョイントヘッドモジュール」： 上記したノーマルヘッドモジュールとは異なり、特殊な奏法であるタンギング奏法を実現する音の立ち上がり区間を受け持つヘッド系奏法モジュール。ここで、所謂タンギング奏法と呼ばれる奏法は例えばサックスなどの管楽器の演奏時に特徴的に表れる奏法であって、演奏者がサックスの吹き口を一旦舌で止めることにより音を切った瞬間に指を変えて音を変更する奏法であり、一瞬だけ音が途切れるようにして発音されるものである。なお、これに似たものとして、バイオリンなどの弦楽器の演奏時に行われる弓返しがある。そこで、こうした弓返しなどによる一瞬だけ音が途切れるようにして発音される音楽的表現などを含め、こうした奏法をここでは便宜的にタンギング奏法と呼ぶことにしている。
なお、上記５種類の分類法は本明細書での説明のための一例にすぎず、他の分類法を採用してもよいし、更に多くの種類が存在してもよい。また、奏法モジュールは、奏者、楽器の種類、演奏ジャンル等のオリジナル音源別にも分類されるのは勿論である。

この実施例において、１つの奏法モジュールに対応する１つの奏法波形データはそのままデータベースに記憶されているのではなく、複数の波形構成要素の集合からなるものとしてデータベースに記憶されている。この波形構成要素を、以下、「ベクタ（又はベクトル）」データと呼ぶ。１つの奏法モジュールに対応するベクタの種類には、一例として下記のようなものがある。なお、調和成分及び調和外成分とは、対象たるオリジナルの奏法波形をピッチ調和成分からなる波形とそれ以外の残りの波形成分とに分離することで定義されるものである。
１．調和成分の波形（Timbre）ベクタ： 調和成分の波形構成要素のうち、ピッチと振幅をノーマライズした波形形状のみの特徴を抽出したもの。
２．調和成分の振幅（Amplitude）ベクタ： 調和成分の波形構成要素のうち、振幅エンベロープ特性（時間的振幅変動特性）を抽出したもの。
３．調和成分のピッチ（Pitch）ベクタ： 調和成分の波形構成要素のうち、ピッチ特性を抽出したもの（例えば或る基準ピッチを基準にした時間的ピッチ変動特性を示すもの）。
４．調和外成分の波形（Timbre）ベクタ： 調和外成分の波形構成要素のうち、振幅をノーマライズした波形形状（ノイズ的波形）のみの特徴を抽出したもの。
５．調和外成分の振幅（Amplitude）ベクタ： 調和外成分の波形構成要素のうち、振幅エンベロープ特性を抽出したもの。
上記のほかに、更に別の種類のベクタ（例えば、波形の時間軸の進行を示す時間ベクタ）が含まれていてもよいが、便宜上、本実施例ではその説明を省略する。

奏法波形の合成に際しては、これらのベクタデータに対して適宜の加工処理を施して時間軸上に配置することで、奏法波形の各構成要素に対応する波形若しくはエンベロープを楽音の再生時間軸に沿ってそれぞれ構築し、このようにして時間軸上に配置された各ベクタデータに基づいて所定の波形合成処理を行うことで、奏法波形を生成する。例えば、調和波形ベクタに調和ピッチベクタに応じたピッチ及びその時間変化特性を付与すると共に調和振幅ベクタに応じた振幅及びその時間変化特性を付与することで調和成分の波形を合成し、調和外波形ベクタに調和外振幅ベクタに応じた振幅及びその時間変化特性を付与することで調和外成分の波形を合成し、調和成分の波形と調和外成分の波形とを加算合成することで、最終的な所定の奏法的特徴を示す奏法波形つまり楽音波形を生成することができる。また、本発明においては、ジョイント区間の楽音を合成する際に、ジョイント系奏法モジュールを使用せずにテール系奏法モジュール及びヘッド系奏法モジュールを使用するよう指示された場合には、テール系奏法モジュール及びヘッド系奏法モジュールの各ベクタデータが適宜に変更されることにより、波形に加工が施された上で楽音合成が行われるようになっている（詳しくは後述する）。

上記データベースＪ１において、各波形データと共に付加的に記憶されるデータ群（奏法パラメータ）としては、例えばその記憶しているオリジナルの波形データのダイナミクス値やピッチ情報、あるいは合成時に用いられる基本のクロスフェード長（時間長）などがある。こうしたデータ群は、「データテーブル」として一括管理することのできるようにしている。奏法パラメータは当該奏法モジュールに係る波形の時間やレベルなどを制御するためのパラメータであり、各奏法モジュールの性格に応じて適宜異なる１又は複数種類のパラメータが含まれていてよい。例えば、「ノーマルヘッドモジュール」や「ジョイントヘッドモジュール」の場合には、発音開始直後の絶対音高や音量などの種類の奏法パラメータが含まれていてよいし、「ノーマルボディモジュール」の場合には、当該奏法モジュールの絶対音高、ノーマルボディの終了時刻−開始時刻、ノーマルボディ開始時のダイナミクス、ノーマルボディ終了時のダイナミクスなどの種類の奏法パラメータが含まれていてよい。また、上記したベクタデータの全部又は一部が、奏法パラメータに含まれていてよい。こうした奏法パラメータは、波形メモリ等に予め記憶されていてもよいし、あるいはユーザの入力操作によって入力するようにしたり、あるいは既存のパラメータをユーザの操作によって適宜変更できるようになっていたりしてもよい。なお、奏法波形の再生に際して、奏法パラメータが与えられなかったような場合には、標準的な奏法パラメータを自動的に付加するようにしてもよい。また、処理の過程で、適宜のパラメータが自動的に生成されて付加されるようになっていてもよい。

次に、ジョイント区間の楽音を合成する処理について、図４を用いて説明する。図４は、「ジョイント部楽音合成処理」の一実施例を示したフローチャートである。なお、当該処理の実行前には、既に前音のヘッド部及びボディ部の波形が図示を省略した所定の「楽音合成処理」によって生成済みである。したがって、このヘッド部及びボディ部の楽音合成に引き続いて当該処理が実行されることにより、音を途切れさせることなく前音と後音とをつなぐジョイント区間の楽音が前音のボディ部に続いて合成される。

ステップＳ１は、ノートオン情報を取得したか否かを判定する。このステップＳ１は、ノートオン情報が取得されるまで繰り返される（ステップＳ１のＮＯ）。ノートオン情報を取得した場合には（ステップＳ１のＹＥＳ）、既に発音中の前音（直前ノート）と、該取得したノートオン情報に基づき新たに発音開始指示された後音（現在ノート）とにおける発音時間の重なりを検出する（ステップＳ２）。すなわち、前音の発音終了を指示するノートオフ情報の取得後に、該前音に後続する後音の発音開始を指示するノートオン情報が取得されており、前音と後音とが時間的に重複して発音されることがない状態（これを前音と後音とが重なっていない状態と呼び、この状態はレガート奏法に該当しない）であるか、あるいは前音の発音終了を指示するノートオフ情報の取得前に、該前音に後続する後音の発音開始を指示するノートオン情報が取得されており、前音と後音とが時間的に一部が重複して発音される状態（これを前音と後音とが重なっている状態と呼び、この状態はレガート奏法に該当する）であるかを検出する。ステップＳ３は、上記検出に従い、前音と後音とが重なっている状態つまりレガート奏法であるか否かを判定する（ステップＳ３）。

前音と後音とが重なっていない状態つまりレガート奏法でないと判定した場合には（ステップＳ３のＮＯ）、前音と後音とを連続的につながった１つの波形として合成することなく、前音と後音とをそれぞれ独立した波形として合成するために、発音を開始するためのノーマルヘッドモジュール（又はジョイントヘッドモジュールであってもよい）を使用するように指示した奏法情報を生成する（ステップＳ８）。ステップＳ９は、生成された奏法情報に従い楽音を合成する。

すなわち、この場合には、従来通りに前音と後音の２音がそれぞれ独立して合成されることになる。つまり、ノーマルヘッドモジュール（又はジョイントヘッドモジュール）に対しては、ノートオン情報に基づき単に波形全体がピッチシフトされる処理が行われる。もし、ノートオン情報の受信前にノートオフ情報を受信しており、前音をテールモジュールを使って処理した場合、前音のテールモジュール及び前記ノーマルヘッドモジュールそれぞれに対して、後述するような前音及び後音の音高や振幅等を反映しての波形の加工（後述する図５〜図６参照）は行われない。なお、ノーマルヘッドモジュールを使用するか、ジョイントヘッドモジュールを使用するかの判定は、例えば前音のノートオフ時刻から後音のノートオン時刻までの時間長などを求め、求めた時間長に応じて自動的に判定させるようにしてよい。

他方、前音と後音とが重なっている状態つまりレガート奏法であると判定した場合には（ステップＳ３のＹＥＳ）、パラメータ記憶部Ｊ５に記憶されているモード設定情報を参照して、該モード設定情報が「発音優先モード」に設定されているか否かを判定する（ステップＳ４）。前記モード設定情報が「発音優先モード」でなく「品質優先モード」に設定されている場合には（ステップＳ４のＮＯ）、ノーマルジョイントモジュールを使用するように指示した奏法情報を生成する（ステップＳ７）。ステップＳ９は、生成された奏法情報に従い楽音を合成する。このように、ジョイント区間の楽音合成のためにノーマルジョイントモジュールを使用する場合には、従来の問題点で挙げたように、後音のノートオン指示から後音が聴こえ始めるまでに聴感上の発音遅れが発生する（つまり、相応のレーテンシーが発生する）。ただし、音を途切れさせることなく前音と後音との間をつなぐレガート奏法を実現した楽音を高品質に合成することができる。したがって、「品質優先モード」は、ジョイント区間の楽音合成のためにノーマルジョイントモジュールを従来通りに使用することで、レーテンシーを犠牲にする代わりに、高品質な楽音を合成することのできるようにしたモードであるといえる。

前記モード設定情報が「発音優先モード」に設定されている場合には（ステップＳ４のＹＥＳ）、前音に対しては前音波形を終了するためのノーマルテールモジュールを使用するように指示した奏法情報を生成する一方で、後音に対しては後音波形を開始するためのジョイントヘッドモジュールを使用するように指示した奏法情報を生成する（ステップＳ５）。すなわち、この場合にも前音と後音の２音がそれぞれ独立した波形として合成されることになる。ただし、この場合には、該選択したノーマルテールモジュールとジョイントヘッドモジュールに対して、前音及び後音の音高や振幅等を反映した波形の加工を施すよう、該加工に関する情報を前記生成したそれぞれの奏法情報に対して加える（ステップＳ６）。ステップＳ９は、生成された奏法情報に従い楽音を合成する。

前記波形の加工とは、例えば、前音と後音の音高差や音量差等の前音と後音との間における音の前後関係に応じて、該選択したノーマルテールモジュールとジョイントヘッドモジュールそれぞれの振幅（Amp）ベクタ、ピッチ（Pitch）ベクタ、波形（Timbre）ベクタを変更したり、各モジュールの配置時間を調整したりすることである（詳しくは後述する）。こうすることによって、ノーマルジョイントモジュールを用いる場合に比べて、楽音の品質（合成品質）が悪くなることを防止するようにしている。したがって、「発音優先モード」は、ジョイント区間の楽音合成のためにノーマルジョイントモジュールを使用せずに、ノーマルテールモジュールとジョイントヘッドモジュールを使用し、またこれらのモジュールを前音と後音との音の前後関係に応じて適宜に加工することにより、レーテンシーを改善することに加えて、品質を落とすことなく楽音を合成することのできるようにした、従来にないモードであるといえる。また、ノーマルテールモジュールとジョイントヘッドモジュールを加工して用いることから、これらのデータを使いまわすことができ、データベースにおけるモジュールの記憶容量の増加を押えることができる、という利点がある。

上記した「発音優先モード」の場合、後音については、前音の発音に左右されずに、ジョイントヘッドモジュールの発音に従って独立して発音処理がなされること（すなわち、既に発音されている前音に、これから発音する後音を繋ぐための処理が不要である）、ノーマルジョイントモジュールを用いた場合に見られるような音高遷移にかかる時間がなくなることなどの点から、ノーマルジョイントモジュールを用いる場合に比べると後音の発音遅れ（レーテンシー）を短縮することができる。しかし、ノーマルテールモジュールとジョイントヘッドモジュールとを用いてジョイント区間の楽音を合成する場合には、前音と後音とを連続的につながった１つの波形としてではなく、前音と後音とをそれぞれ独立した波形として合成するために、前音から後音への音高遷移がノーマルジョイントモジュールを使用した時と比べるとどうしても唐突になってしまい、音と音との繋がりが悪くレガートとして聞こえにくい。そこで、こうした不都合を避け、前音から後音への音高遷移のつながりをよくしてレガートとして聞こえるようにするために、上記した「ジョイント部楽音合成処理」では、選択したノーマルテールモジュールとジョイントヘッドモジュールそれぞれの各ベクタを音の前後関係に応じて変更する、各モジュールを配置する時間を調整する、などの波形の加工を施してから楽音を合成するようにしている。以下、波形の加工の一例について説明する。

ノーマルテールモジュールとジョイントヘッドモジュールにおける振幅（Amp）ベクタ及びピッチ（pitch）ベクタの変更、及び前記各モジュールの配置時間の調整について（図４のステップＳ６参照）、図５及び図６を用いて説明する。図５は、ベクタの変更による波形の加工を模式的に説明するための概要図である。図５（ａ）はノーマルテールモジュールにおける振幅ベクタ及びピッチベクタの変更例を示し、図５（ｂ）はジョイントヘッドモジュールにおける振幅ベクタ及びピッチベクタの変更例を示す。上段は波形加工前を示すものであり、下段は波形加工後を示すものである。図中において「ＨＡ」は調和成分振幅ベクタの代表点値列（一例として、０，１，２の３点からなる）、「ＨＰ」は調和成分ピッチベクタの代表点値列（一例として、０，１，２の３点からなる）、「ＨＴ」は調和成分波形ベクタの一例（ただし、波形をそのエンベロープのみで略示している）を示す。なお、この図５では、調和成分用の各ベクタ例を示しており、調和外成分の各ベクタ例については調和成分用と同様であるので、図示及び説明を省略している。また、代表点値列は図示のものに限らない。

ノーマルテールモジュールの振幅（Amp）ベクタについては、図５（ａ）に示すように、加工前に比べて代表点「ＨＡ２」の振幅値を下げることにより、代表点「ＨＡ１」から「ＨＡ２」へと向かう振幅カーブを右下がりとなるように変更して、該変更後の振幅カーブに従い楽音合成時に前音をフェードアウトさせるようにしている。一方、ジョイントヘッドモジュールの振幅ベクタについては、図５（ｂ）に示すように、加工前に比べて代表点「ＨＡ０´」の振幅値を下げることにより、代表点「ＨＡ０´」から「ＨＡ１´」へと向かう振幅カーブが右上がりとなるように変更して、該変更後の振幅カーブに従い楽音合成時に後音をフェードインさせるようにしている。すなわち、本発明においてはジョイント区間の楽音合成のために、ノーマルテールモジュールとジョイントヘッドモジュールとを時間的に重ねて楽音合成し、前音と後音とを別々に合成するようにしたことから、前記モジュールを時間的に重ねて楽音合成することによる楽音への影響を考慮する必要がある。そこで、前音と後音とが同時に発音される前音と後音とが重なり合う範囲において、前音の振幅をフェードアウトさせる一方で後音の振幅をフェードインさせるように、それぞれの振幅ベクタを上記のように変更する。こうした振幅ベクタの変更量については、予め取得され記憶しておいた前音の演奏情報と取得した後音の演奏情報とに基づき、例えば前音と後音との音量差を反映して決めるようにするとよい。なお、振幅ベクタを変更する際には、ノーマルテールモジュールの振幅ベクタにおける代表点「ＨＡ１」から「ＨＡ２」へと向かう振幅カーブと、ジョイントヘッドモジュールの振幅ベクタにおける代表点「ＨＡ０´」から「ＨＡ１´」へと向かう振幅カーブとが、ある所定の時間軸に対して対称関係となるように変更するとよい。ただし、これに限られるものでない。

ノーマルテールモジュールのピッチ（pitch）ベクタについては、図５（ａ）に示すように、加工前に比べて代表点「ＨＰ２」のピッチベクタ値を変更し、代表点「ＨＰ１」から「ＨＰ２」へと向かうピッチカーブを右上がりとなるように変更する（ただし、後音の音高が前音の音高よりも高い場合）。一方、ジョイントヘッドモジュールのピッチベクタについては、図５（ｂ）に示すように、代表点「ＨＰ０´」のピッチベクタ値を変更し、代表点「ＨＰ０´」から「ＨＰ１´」へと向かうピッチカーブを右上がりとなるように変更する。すなわち、前音の音高から後音の音高へと音高が遷移していくピッチカーブが付加されるように、各モジュールのピッチベクタをそれぞれ変更する。こうしたピッチベクタの変更量については、上記振幅ベクタの変更と同様にして、予め取得され記憶しておいた前音の演奏情報と取得した後音の演奏情報とに基づき、例えば前音と後音との音高差を反映して決めるようにするとよい。このようにして、音高差や音量差などの前音と後音との演奏情報の比較に応じて、振幅ベクタやピッチベクタの一部（奏法パラメータ）を変更して、予め記憶された元波形の振幅カーブやピッチカーブを適宜に変化させることにより、前音と後音の各音（詳しくは、上記したように振幅及び音高遷移）の重なり具合を調整する。こうすることにより、前音から後音への音のつながりがよくなり、これらの各音が発音された際に聞こえる前音と後音とが重なり合う範囲にある音をよりレガート音に似せることができるようになる。

図６は、ジョイントヘッドモジュールの配置時間の調整による波形の加工について模式的に説明するための概要図である。上段はジョイントヘッドモジュールの配置時間の調整前を示すものであり、下段はジョイントヘッドモジュールの配置時間の調整後を示すものである。なお、図中において点線で図示した波形は上記した振幅ベクタの変更による波形の加工前を示し、実線で図示した波形は上記した振幅ベクタの変更による波形の加工後を示している。この図６に示すように、本来ならば後音に使用するジョイントヘッドモジュールは、後音のノートオン情報の受信とほぼ同時に合成が開始される時間位置に配置されるが、本発明においては前音と後音との音高差や音量差などに従い、後音に使用するジョイントヘッドモジュールについては後音のノートオン情報の受信とほぼ同時に合成が開始される時間位置に配置されることなく、ジョイントヘッドモジュールが後音のノートオン情報の受信よりも時間的に所定の時間（時間ずらし量：図中Δｔ）だけ時間的に後に合成開始されるように、ジョイントモジュールの配置時間をノートオン情報の受信時よりも後にずらすように変更する。

なお、上記したノーマルテールモジュール及びジョイントヘッドモジュールのうちのどちらか一方のモジュールについてのみ、上記したような当該音の演奏情報だけに限らずに他の音（前音又は後音）の演奏情報をも参照して、波形の加工を行うようにしてあってよい。また、上述した実施例では、ノーマルテールモジュールとジョイントヘッドモジュールの振幅ベクタ及びピッチベクタを変更する際に、各ベクタの後音側（ＨＡ２及びＨＰ２）又は前音側（ＨＡ０´及びＨＰ０´）の代表点１つのみを変更して波形を加工する例を示したがこれに限らず、後音側又は前音側に近い方の代表点の複数を変更して波形を加工するようにしてもよい。例えば、図５に示した例では、ＨＡ２とＨＡ１及びＨＰ２とＨＰ１、ＨＡ０´とＨＡ１´及びＨＰ０´とＨＰ１´の各ベクタにおける２点を変更するなどしてよい。さらには、予め用意された他の振幅ベクタやピッチベクタを使用する（つまり元のベクタとまるごと取りかえる）ようにしてもよい。
なお、予め前音と後音との音高差や音量差に応じたベクタ変更量や時間ずらし量を決めておき、該ベクタ変更量や時間ずらし量に応じて、上記したノーマルテールモジュールとジョイントヘッドモジュールの各ベクタの変更及び前記各モジュールの配置時間の調整を行うようにしてあってよい。また、ユーザがベクタ変更量や時間ずらし量を、前音と後音との音量差や音高差などに対応させて適宜設定できるようにしてあってもよい。

なお、ベクタ変更後の振幅カーブやピッチカーブが楽器ごとにその変化を異ならせるようにして、楽器の種類に応じた所定の変化量にあわせて各ベクタを変更するようにしてよい。また、音高差や音量差に限らずキースケールやタッチスケールなどに応じて、所定の変化量だけ振幅カーブやピッチカーブを変化させるようにしてあってもよい。
なお、楽音の品質（合成品質）をより上げるためには、ノーマルテールモジュールの波形ベクタデータとして、レガート奏法を実現するノーマルジョイントモジュールのプレノート部分を記憶しておけばよいし、またジョイントヘッドモジュールの波形ベクタデータとして、レガート奏法を実現するノーマルジョイントモジュールのポストノート部分を記憶しておくようにするとよい。

なお、本発明において使用する波形データは、上述したような各種奏法に対応して「奏法モジュール」化されたものに限らず、その他のタイプのものであってもよい。また、各モジュールの波形データは、メモリに記憶したＰＣＭ、ＤＰＣＭ、ＡＤＰＣＭのような適宜の符号化形式からなる波形サンプルデータを単純に読み出すことで生成されるようなものであってもよいし、あるいは、高調波合成演算やＦＭ演算、ＡＭ演算、フィルタ演算、フォルマント合成演算、物理モデル音源など、各種の公知の楽音波形合成方式を適宜採用したものであってもよいことは言うまでもない。すなわち、音源８における楽音信号発生方式は、いかなるものを用いてもよい。例えば、発生すべき楽音の音高に対応して変化するアドレスデータに応じて波形メモリに記憶した楽音波形サンプル値データを順次読み出す波形メモリ読み出し方式、又は上記アドレスデータを位相角パラメータデータとして所定の周波数変調演算を実行して楽音波形サンプル値データを求めるＦＭ方式、あるいは上記アドレスデータを位相角パラメータデータとして所定の振幅変調演算を実行して楽音波形サンプル値データを求めるＡＭ方式等の公知の方式を適宜採用してよい。このように、音源回路８の方式は波形メモリ方式、ＦＭ方式、物理モデル方式、高調波合成方式、フォルマント合成方式、ＶＣＯ＋ＶＣＦ＋ＶＣＡのアナログシンセサイザ方式、アナログシミュレーション方式等、どのような方式であってもよい。また、専用のハードウェアを用いて音源８を構成するものに限らず、ＤＳＰとマイクロプログラム、あるいはＣＰＵとソフトウェアを用いて音源回路８を構成するようにしてもよい。さらに、共通の回路を時分割で使用することによって複数の発音チャンネルを形成するようなものでもよいし、各発音チャンネルがそれぞれ専用回路で構成されるようなものであってもよい。

なお、楽音合成の方式としては、既存の演奏情報を本来の演奏時間到来前に先行取得しておき、これを解析して楽音を合成する所謂プレイバック方式であってもよいし、リアルタイムに供給された演奏情報に基づき楽音を合成するリアルタイム方式のどちらであってもよい。
なお、前音と後音とが重なっていない、つまり前音の発音終了と後音の発音開始とが時間的に離れており（前音のノートオフ情報を取得する前に後音のノートオン情報が取得された場合）、それぞれが独立して楽音合成されるような場合であっても、後音に使用するヘッド系奏法モジュールの振幅ベクタやピッチベクタなどを、前音との関係に基づき適宜に変更することにより、後音における音の立ち上がり区間について波形を加工するようにしてよい。

なお、この楽音合成装置を電子楽器に適用する場合、電子楽器は鍵盤楽器の形態に限らず、弦楽器や管楽器、あるいは打楽器等どのようなタイプの形態でもよい。また、演奏操作子、表示器、音源等を１つの電子楽器本体に内蔵したものに限らず、それぞれが別々に構成され、ＭＩＤＩインタフェースや各種ネットワーク等の通信手段を用いて各機器を接続するように構成されたものにも同様に適用できることはいうまでもない。また、パソコンとアプリケーションソフトウェアという構成であってもよく、この場合処理プログラムを磁気ディスク、光ディスクあるいは半導体メモリ等の記憶メディアから供給したり、ネットワークを介して供給するものであってもよい。さらに、カラオケ装置や自動演奏ピアノのような自動演奏装置、ゲーム装置、携帯電話等の携帯型通信端末などに適用してもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバコンピュータ側に持たせ、端末とサーバコンピュータとからなるシステム全体として所定の機能を実現するようにしてもよい。すなわち、本発明に従う所定のソフトウエア又はハードウエアを用いることによって、モード選択に応じてジョイント区間の楽音合成のために使用すべき奏法モジュールを適宜に切り替えることができ、また「発音優先モード」が選択された場合に、奏法モジュールを音の前後関係に応じて加工してから楽音合成するようにしたものであればどのようなものであってもよい。

この発明に係る楽音合成装置を適用した電子楽器のハードウエア構成例を示すブロック図である。 楽音合成機能を説明するための機能ブロック図である。 奏法モジュールの一実施例を説明するための概念図である。 ジョイント部楽音合成処理の一実施例を示したフローチャートである。 ベクタの変更による波形の加工を模式的に説明するための概要図であり、図５（ａ）はノーマルテールモジュールにおける各ベクタの変更例、図５（ｂ）はジョイントヘッドモジュールにおける各ベクタの変更例を示す。 ジョイントヘッドモジュールの配置時間の調整による波形の加工について模式的に説明するための概要図である。

符号の説明

１…ＣＰＵ、１Ａ…タイマ、２…ＲＯＭ、３…ＲＡＭ、４…外部記憶装置、５…演奏操作子（鍵盤等）、６…パネル操作子、７…表示器、８…音源、８Ａ…サウンドシステム、９…インタフェース、１Ｄ…通信バス、Ｊ１…データベース、Ｊ２…入力部、Ｊ３…奏法合成部、Ｊ４…楽音合成部、Ｊ５…パラメータ記憶部

Claims (5)

1. 無音状態からの音の立ち上がり区間に対応したヘッド部の波形データと、音を途切れさせながら連続させる奏法の音の立ち上がり区間に対応した特殊ヘッド部の波形データと、無音状態への音の立ち下がり区間に対応したテール部の波形データと、相前後する２つの音を途切れさせることなく滑らかに続ける奏法の音と音との接続区間に対応した接続部の波形データとを少なくとも記憶する記憶手段と、
   発音優先モード又は品質優先モードのいずれかを設定するモード設定手段と、
   演奏情報を取得する取得手段と、
   前記取得した演奏情報に基づき、相前後する２つの音を途切れさせることなく滑らかに続ける奏法を検出したか否かを判定する奏法判定手段と、
   前記奏法判定に従い相前後する２つの音を途切れさせることなく滑らかに続ける奏法を検出しなかった場合には、相前後する２つの音と音との時間間隔に応じて前記ヘッド部の波形データ又は前記特殊ヘッド部の波形データのいずれかを指定する一方で、相前後する２つの音を途切れさせることなく滑らかに続ける奏法を検出した場合には、前記設定が品質優先モードである場合に前記接続部の波形データを指定し、前記設定が発音優先モードである場合に前記特殊ヘッド部の波形データと前記テール部の波形データとを指定するデータ指定手段と、
   前記設定が発音優先モードである場合には、前記指定した特殊ヘッド部の波形データ及び／又は前記テール部の波形データのピッチ及び／又は振幅を、接続音として滑らかに音が遷移するように加工する指示を行うデータ加工手段と、
   前記データ指定手段による指定に従って該当する波形データを前記記憶手段から読み出し、該読み出した波形データに基づき楽音を合成する楽音合成手段と
   を具えてなり、
   前記楽音合成手段は、相前後する２つの音を途切れさせることなく滑らかに続ける奏法が検出された際に、前記設定が品質優先モードである場合には前記指定された接続部の波形データを前記記憶手段から読み出し、該読み出した接続部の波形データのみに基づき楽音を合成して相前後する２つの音を途切れさせることなく滑らかに続ける奏法を実現する一方、前記設定が発音優先モードである場合には前記指定されたヘッド部の波形データと前記テール部の波形データとを前記記憶手段から読み出し、該読み出したテール部の波形データに基づき相前後する２つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、該読み出した特殊ヘッド部の波形データに基づき相前後する２つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、前記加工指示に従ってそれぞれ加工しながら別々に合成して相前後する２つの音を途切れさせることなく滑らかに続ける奏法を実現することを特徴とする楽音合成装置。
2. 前記記憶手段は、元波形から抽出した特殊ヘッド部の波形データ及びテール部の波形データと共に、各部毎に元波形の時間的なピッチ変動及び／又は振幅変動を記憶してなり、前記データ加工手段は、後音の演奏情報を参照して前音との音高差及び／又は音量差を求め、これに基づき前記記憶したテール部のピッチ変動及び／又は振幅変動を変更するよう指示する一方、前音の演奏情報を参照して後音との音高差及び／又は音量差を求め、これに基づき前記記憶した特殊ヘッド部のピッチ変動及び／又は振幅変動を変更するよう指示することを特徴とする請求項１に記載の楽音合成装置。
3. 前記記憶手段は、前記テール部の波形データとして、少なくとも２つの音が途切れることなく連続する元波形を前音と後音とが切り替わる後音の立ち上がり開始箇所で分割したうちの、該分割した箇所よりも前の波形からなるものを記憶することを特徴とする請求項１又は２に記載の楽音合成装置。
4. 前記記憶手段は、前記特殊ヘッド部の波形データとして、少なくとも２つの音が途切れることなく連続する元波形を前音と後音とが切り替わる後音の立ち上がり開始箇所で分割したうちの、該分割した箇所以降の波形からなるものを記憶することを特徴とする請求項１乃至３のいずれかに記載の楽音合成装置。
5. 無音状態からの音の立ち上がり区間に対応したヘッド部の波形データと、音を途切れさせながら連続させる奏法の音の立ち上がり区間に対応した特殊ヘッド部の波形データと、無音状態への音の立ち下がり区間に対応したテール部の波形データと、相前後する２つの音を途切れさせることなく滑らかに続ける奏法の音と音との接続区間に対応した接続部の波形データとを少なくとも記憶するメモリを使用して、コンピュータに、
   発音優先モード又は品質優先モードのいずれかを設定する手順と、
   演奏情報を取得する手順と、
   前記取得した演奏情報に基づき、相前後する２つの音を途切れさせることなく滑らかに続ける奏法を検出したか否かを判定する手順と、
   前記奏法判定に従い相前後する２つの音を途切れさせることなく滑らかに続ける奏法を検出しなかった場合には、相前後する２つの音と音との時間間隔に応じて前記ヘッド部の波形データ又は前記特殊ヘッド部の波形データのいずれかを指定する一方で、相前後する２つの音を途切れさせることなく滑らかに続ける奏法を検出した場合には、前記設定が品質優先モードである場合に前記接続部の波形データを指定し、前記設定が発音優先モードである場合に前記特殊ヘッド部の波形データと前記テール部の波形データとを指定する手順と、
   前記設定が発音優先モードである場合には、前記指定した特殊ヘッド部の波形データ及び／又は前記テール部の波形データのピッチ及び／又は振幅を、接続音として滑らかに音が遷移するように加工する指示を行う手順と、
   前記データ指定に従って該当する波形データを前記メモリから読み出し、該読み出した波形データに基づき楽音を合成する手順であって、相前後する２つの音を途切れさせることなく滑らかに続ける奏法が検出された際に、前記設定が品質優先モードである場合には前記指定された接続部の波形データを前記メモリから読み出し、該読み出した接続部の波形データのみに基づき楽音を合成する一方、前記設定が発音優先モードである場合には前記指定された特殊ヘッド部の波形データと前記テール部の波形データとを前記メモリから読み出し、該読み出したテール部の波形データに基づき相前後する２つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、前記読み出した特殊ヘッド部の波形データに基づき相前後する２つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、前記加工指示に従ってそれぞれ加工しながら別々に合成するものと
   を実行させるプログラム。

Images