JP5509961B2 - フレーズデータ抽出装置及びプログラム - Google Patents

Description

この発明は、曲データから、設定した区間に応じたフレーズデータを抽出するフレーズデータ抽出システムに関する。

従来より、曲データを複数の区間に分け各区間のデータをフレーズデータとして抽出する装置が知られている。例えば、特許文献１に開示された音楽情報分析装置では、音楽情報として入力された所望の曲のメロディ情報について音符情報の長さや休符の長さを分析してフレーズ分けが行われる。また、フレーズ分けについては、この他にも、例えば、所定の小節長で区切る方法や全音符などの長い音符の直後の音符が属する小節頭で区切る方法などがある。

特開平８−２９２７６２号公報

しかしながら、従来のフレーズ分け技術では、フレーズ分けの対象区間が一旦決まってしまうと、対象区間内の音楽情報を取り出す際には、区間内に発音される音符情報のみを取り出すことになる。その場合、実際の音高については対象区間内に含まれるので取り出すことができるが、表情付けなどの音符情報以外のデータ（例えば、ボリュームやエクスプレッション等）については考慮されていないので、表情付けデータをも取り出そうとしても、オンタイミングの早いものは取り出されず、また、逆に、オフタイミングの遅いものは、対象区間の終わりで中断されることになり、表情付けが不完全になる。

この発明は、このような事情に鑑み、曲データから、表情付けを損なうことなく、設定した区間に応じたフレーズデータを抽出することができるフレーズデータ抽出システムを提供することを目的とする。

この発明の主たる特徴に従うと、曲データ（Ｄｍ）を取得する曲データ取得手段（Ｐ１）と、曲データ取得手段（Ｐ１）により取得された曲データ（Ｄｍ）に対してデータ抽出の対象となる区間（Ｐｈ）を設定する区間設定手段（Ｐ２〜Ｐ３）と、曲データ取得手段（Ｐ１）により取得された曲データ（Ｄｍ）から、区間設定手段（Ｐ２〜Ｐ３）により設定された区間（Ｐｈ）に開始タイミングを持つ音符イベント情報（Ｎ１〜Ｎ５）及び表情付けイベント情報（Ａ２〜Ａ４）を順次読み出し、読み出された各イベント情報（Ｎ１〜Ｎ５，Ａ２〜Ａ４）をフレーズデータ（Ｄｐ〔ＥＬ〕）として記憶するフレーズ記憶手段（Ｐ７）と、区間設定手段（Ｐ２〜Ｐ３）により設定された区間（Ｐｈ）の前後に開始タイミングを持つ表情付けイベント情報（Ａ１，Ａ５，Ａ６，…）について、フレーズデータ（Ｄｐ）に追記すべき表情付けイベント情報の条件（挿入及び追加調整時間幅Ｔ１，Ｔ２等）を決定する追記条件決定手段（Ｐ４）と、曲データ取得手段（Ｐ１）により取得された曲データ（Ｄｍ）から、追記条件決定手段（Ｐ４）により決定された条件（Ｔ１，Ｔ２等）に合う表情付けイベント情報（Ａ１，Ａ５〜Ａ６或いはＡ１，Ａ５〜Ａ７）を順次読み出し、フレーズデータ（Ｄｐ〔ＥＬ〕）に追記する表情付け追記手段（Ｐ８〜Ｐ１１）とを具備するフレーズデータ抽出装置（電子音楽装置）〔請求項１〕、並びに、フレーズデータ抽出装置として機能するコンピュータ（電子音楽装置）に、曲データ（Ｄｍ）を取得する曲データ取得ステップ（Ｐ１）と、曲データ取得ステップ（Ｐ１）で取得された曲データ（Ｄｍ）に対してデータ抽出の対象となる区間（Ｐｈ）を設定する区間設定ステップ（Ｐ２〜Ｐ３）と、曲データ取得ステップ（Ｐ１）で取得された曲データ（Ｄｍ）から、区間設定ステップ（Ｐ２〜Ｐ３）で設定された区間（Ｐｈ）に開始タイミングを持つ音符イベント情報（Ｎ１〜Ｎ５）及び表情付けイベント情報（Ａ２〜Ａ４）を順次読み出し、読み出された各イベント情報（Ｎ１〜Ｎ５，Ａ２〜Ａ４）をフレーズデータ（Ｄｐ〔ＥＬ〕）として記憶するフレーズ記憶ステップ（Ｐ７）と、区間設定ステップ（Ｐ２〜Ｐ３）で設定された区間（Ｐｈ）の前後に開始タイミングを持つ表情付けイベント情報（Ａ１，Ａ５，Ａ６，…）について、フレーズデータ（Ｄｐ）に追記すべき表情付けイベント情報の条件（挿入及び追加調整時間幅Ｔ１，Ｔ２等）を決定する追記条件決定ステップ（Ｐ４）と、曲データ取得ステップ（Ｐ１）で取得された曲データ（Ｄｍ）から、追記条件決定ステップ（Ｐ４）で決定された条件（Ｔ１，Ｔ２等）に合う表情付けイベント情報（Ａ１，Ａ５〜Ａ６或いはＡ１，Ａ５〜Ａ７）を順次読み出し、フレーズデータ（Ｄｐ〔ＥＬ〕）に追記する表情付け追記ステップ（Ｐ８〜Ｐ１１）とから成る手順を実行させるフレーズデータ抽出プログラム〔請求項３〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号や用語等を表わし、以下においても同様である。

この発明によるフレーズデータ抽出装置は、さらに、区間設定手段（Ｐ２〜Ｐ３）により設定された区間（Ｐｈ）の終端（ｔｅ）以降で最初の音符イベント情報（Ｎ６）を検出する次音符検出手段（Ｐ９）を具備し、追記条件決定手段により決定される追記すべき表情付けイベント情報（Ａ５〜Ａ６又はＡ５〜Ａ７）の条件は、当該表情付けイベント情報（Ａ５〜Ａ６又はＡ５〜Ａ７）の開始タイミングが、区間設定手段（Ｐ２〜Ｐ３）により設定された区間（Ｐｈ）の終端（ｔｅ）以降にあり、かつ、次音符検出手段（Ｐ９）で検出される音符イベント情報（Ｎ６）の開始タイミング（ｔｎ）より前（ｔｂ）にあることとされる〔請求項２〕ように構成することができる。

この発明の主たる特徴によるフレーズデータ抽出システムでは（請求項１，３）、曲データ（Ｄｍ）を取得し（Ｐ１）、これに対してフレーズデータ抽出の対象となるフレーズ区間（Ｐｈ）を設定すると（Ｐ２〜Ｐ３）、取得された曲データ（Ｄｍ）から、このフレーズ区間（Ｐｈ）内にイベント開始の開始タイミングを持つ音符イベント情報（Ｎ１〜Ｎ５）及び表情付けイベント情報（Ａ２〜Ａ４）が順次読み出され、これらイベント情報（Ｎ１〜Ｎ５，Ａ２〜Ａ４）がフレーズデータ（Ｄｐ〔ＥＬ〕）として記憶される（Ｐ７）。また、予め、フレーズ区間（Ｐｈ）の前後に開始タイミングを持つ表情付けイベント情報（Ａ１，Ａ５，Ａ６，…）について、フレーズデータ（Ｄｐ〔ＥＬ〕）に追記すべき表情付けイベント情報の条件（挿入及び追加調整時間幅Ｔ１，Ｔ２等）が定められており（Ｐ４）、さらに、この追記条件（Ｔ１，Ｔ２等）に合う表情付けイベント情報（Ａ１，Ａ５〜Ａ６或いはＡ１，Ａ５〜Ａ７）が曲データ（Ｄｍ）から順次読み出され、フレーズデータ（Ｄｐ〔ＥＬ〕）に追記される（Ｐ９〜Ｐ１１）。

つまり、曲データ（Ｄｍ）から、設定したフレーズ区間（Ｐｈ）に応じたフレーズデータ（Ｄｐ）を抽出する際、フレーズ区間（Ｐｈ）の始端（ｔｓ）以降に始まる表情付けデータのみを抽出したり、フレーズ区間（Ｐｈ）の終端（ｔｅ）でデータ抽出を打切ってしまうと、フレーズ区間（Ｐｈ）内の音符イベント（Ｎ１）に有効な表情付け（Ａ１）が行われなかったり、打切り（ｔｅ）以降の発音状態が棒鳴りになってしまったりするが、この発明では、フレーズ区間（Ｐｈ）内に開始タイミングを持つ音符イベント（Ｎ１〜Ｎ５）と表情付けイベント（Ａ２〜Ａ４）だけでなく、予め定められた所定の追記条件（Ｔ１，Ｔ２等）に合う表情付けイベント（Ａ１，Ａ５〜Ａ６又はＡ５〜Ａ７）もフレーズデータ（Ｄｐ）に含めて抽出するように構成される。

従って、この発明によれば、曲データから音符イベントだけでなく表情付けイベントを抽出する際にフレーズ区間内の音符イベントに影響を与える表情付けイベントを最大限抽出することにより、フレーズ区間の前部やフレーズ区間の後方においても、表情付けを損なうことなくフレーズデータを得ることができる。特に、フレーズ区間の後方で抽出された表情付けイベントにより、フレーズ最後の音符イベントがオフした後の余韻を再現することができる。さらに、フレーズ区間後方の休符期間の再現が可能になるため、例えば、管楽器であれば息継ぎのニュアンスが再現され、他の楽器でもフレーズ間の間（ま）の取り方のニュアンスが再現される。また、ノートオフ後も、例えば、リバーブが設定されていれば、発音が全く聞こえなくなるまでの長い時間の自然な挙動の再現も可能となる。

この発明によるフレーズデータ抽出システムにおいては（請求項２）、開始タイミングが「設定されたフレーズ区間（Ｐｈ）の終端（ｔｅ）」〜「当該区間（Ｐｈ）の終端（ｔｅ）以降で最初に現われる音符イベント情報（Ｎ６）の開始タイミング（ｔｎ）より所定時間（追加調整時間幅Ｔ２≧０）だけ前（ｔｂ）」の間にある表情付けイベント情報（Ａ５〜Ａ６又はＡ５〜Ａ７）が追記条件に合う表情付けイベントとされる（Ｐ９）。つまり、フレーズ区間（Ｐｈ）の終端（ｔｅ）以後、最初の音符イベント（Ｎ６）の開始タイミング（ｔｎ）より前の開始タイミングを持つ表情付けイベント（Ａ５〜Ａ６又はＡ５〜Ａ７）も、抽出すべきフレーズデータ（Ｄｐ）に含めるように構成される。従って、この発明によれば、このようにフレーズ区間の終端以降最初のノートオン時刻までの表情付けデータも切り出すことで、フレーズ区間内の音符イベントは確実にノートオフまで表情付けされた状態で切り出すことが可能になる。

この発明の一実施例によるフレーズデータ抽出装置の構成例を示す。 この発明の一実施例によるフレーズデータ抽出イメージ例を示す。 この発明の一実施例によるフレーズデータ抽出処理フロー例である。

〔システム構成の概要〕
図１は、この発明の一実施例によるフレーズデータ抽出装置のハードウエア構成例を示す。この発明の一実施例によるフレーズデータ抽出装置は、電子的な音楽情報処理機能を有する一種のコンピュータであり、例えば、電子楽器のような電子音楽装置が用いられ、フレーズデータ抽出モード時にフレーズデータ抽出システムが構築される。このフレーズデータ抽出装置は、図１（１）のように、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、外部記憶装置４、入力操作部５、表示部６、音源７、通信インターフェース（Ｉ／Ｆ）８などを備え、これらの要素１〜８はバス９を介して互いに接続される。

ＣＰＵ１は、ＲＡＭ２及びＲＯＭ３と共にデータ処理部を構成し、フレーズデータ抽出処理プログラムを含む所定の制御プログラムに従って、フレーズデータ抽出処理を含む種々の音楽情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられ、例えば、フレーズデータ抽出モード時には、抽出された各フレーズデータを格納するための「イベントリスト」と呼ばれるフレーズデータ記憶領域ＥＬが設けられる。また、ＲＯＭ３には、これらの処理を実行するために、各種制御プログラムや必要な各種制御データが予め記憶される。

外部記憶装置４は、ＨＤ（ハードディスク）、ＦＤ（フレキシブルディスク）、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスク）、フラッシュメモリ等の半導体メモリなどの記憶媒体と、その駆動装置を含む。制御プログラムや、種々の曲データ等、任意の情報を任意の記憶媒体に記憶することができ、所定の記憶媒体には、種々のフレーズデータ（Ｄｐ）を記憶し管理するためのフレーズデータベースＰＢが構築される。また、記憶媒体は、着脱可能であってもよいし、このフレーズデータ抽出装置に内蔵されていてもよく、着脱可能な記録媒体にはＵＳＢメモリが含まれる。

入力操作部５は、鍵盤などの演奏操作子やキースイッチなどの設定操作子と、これらの操作子の操作を検出して検出内容に対応する操作情報をデータ処理部（１〜３）に導入する操作検出回路とにより構成される。データ処理部は、これら操作情報に基づきフレーズデータ抽出装置各部を制御し、例えば、演奏操作子の操作に応じて演奏操作入力に対応する演奏情報を音源７に送ったり、設定操作子中のモード設定ボタンの操作によりフレーズデータ抽出モードで動作させたりすることができる。表示部６は、演奏や設定に必要な各種情報を表示するＬＣＤ等のディスプレイや、入力操作部５中のスイッチ類に併設した内蔵ランプ等を備え、これらの表示・点灯内容をデータ処理部からの指令で制御し、演奏操作や設定操作などに関する表示援助を行う。

音源７は、音源部やＤＳＰを有し、入力操作部５からの演奏操作情報から得られる実演奏情報に基づいて、或いは、記憶装置４から読み出される曲データに基づいて、楽音信号を生成すると共にこの楽音信号に所定の効果を付与する。音源７に接続されるサウンドシステム１０は、Ｄ／Ａ変換部やアンプ、スピーカ等を備え、音源７から出力される楽音信号に基づく楽音を発生する。

通信Ｉ／Ｆ８は、ＭＩＤＩ等の音楽用有線Ｉ／Ｆ、ＵＳＢ等の汎用ネットワークＩ／Ｆ或いは無線Ｌａｎ等の汎用近距離無線Ｉ／Ｆ等を含み、外部電子音楽装置ＭＭと交信することができる。例えば、外部電子音楽装置ＭＭからＭＩＤＩ形式の曲データを取得し、記憶装置４に記憶しておくことができる。

〔フレーズデータ抽出の概要〕
この発明の一実施例によるフレーズデータ抽出システムでは、フレーズデータ抽出処理により、記憶装置４に記憶された種々の曲データの中から所望の曲データ（Ｄｍ）を指定し、指定された曲データ（Ｄｍ）に対してフレーズデータ抽出の対象となる区間（Ｐｈ）を設定すると、所定のフレーズデータ抽出ルールに従って、フレーズ区間Ｐｈに対応し適切に表情付けされたフレーズデータ（Ｄｐ）を抽出することができる。図２は、この発明の一実施例によるフレーズデータ抽出処理をイメージ的に説明するための図であり、このフレーズデータ抽出処理によって、図２（１）に示されるような所望の曲データＤｍから、図２（２）に示されるように、フレーズ先頭の音符イベントＮ１に有効な表情付けを行い、フレーズ最後の音符イベントＮ５がオフした後の余韻を再現することができるフレーズデータＤｐが抽出される。

図２において、横軸は、右矢印の方向に時間が進行する時間軸を示し、「３：１」、「４：１」、…は「小節：拍」を表わし（１小節＝４拍）、縦軸方向の上下に、曲データＤｍ或いはフレーズデータＤｐを構成する音符イベント情報（単に音符イベントともいう）Ｎ１，Ｎ２，…及び表情付けイベント情報（単に表情付けイベントともいう）Ａ１，Ａ２，…が横軸に沿って配置されている。つまり、記号Ｎ１，Ｎ２，…が記された空白のブロックは音符イベントを示し、記号Ａ１，Ａ２，…が記された斜線のブロックは表情付けイベントを示しており、表情付けイベントＡには複数の種類のものがある。また、これらブロックの始端（左方端）及び終端（右方端）は、それぞれ、当該ブロックにより示されるイベントの開始タイミング及び終了タイミングを表わす。

以下、図２に従って具体的に説明する。まず、例えば、図２（１）のように、曲データＤｍの第３小節の第１拍の冒頭ｔｓ（「３：１」）から第４小節の第４拍の末尾〔＝第５小節の第１拍の冒頭ｔｅ（「５：１」）の直前〕までの区間（便宜的に「３：１〜５：１」で表わす）がフレーズ区間Ｐｈとして設定されると、フレーズ区間Ｐｈの前方（区間開始時間ｔｓ以前）及び後方（区終了時間ｔｅ以降）に位置する表情付けイベントに関する時間幅パラメータＴ１，Ｔ２が設定される。

ここで、前方のパラメータＴ１については、フレーズ区間Ｐｈにおける先頭の（最初の）音符イベントＮ１に影響する先行の表情付けイベントＡ１がこの区間Ｐｈの開始時間（前端）ｔｓよりも前にある場合（表情付けイベントＡ１の開始タイミング＜ｔｓ）に、当該表情付けイベントＡ１を区間先頭の音符イベントＮ１の何クロック前からフレーズデータＤｐの構成イベントとして挿入するかを決める時間幅Ｔ１の値が設定され、この時間幅パラメータＴ１は、挿入調整時間幅と呼ばれる。なお、挿入調整時間幅Ｔ１を設定しなくてもよく、この時間幅Ｔ１を設定しないときに、上述のような場合が生じた際には、該当する表情付けイベントＡ１が区間Ｐｈの前端ｔｓから挿入される。

また、後方のパラメータＴ２については、フレーズ区間Ｐｈの終了時間（後端）ｔｅより後にある表情付けイベントＡ５〜Ａ７が、この終了時間ｔｅ以降最初に現われる音符イベント（「次音符イベント」と呼ばれる）Ｎ６よりも前にある場合〔ｔｅ≦表情付けイベントＡ５〜Ａ７の開始タイミング＜音符イベントＮ６の開始タイミング（「次音符発音タイミング」と呼ばれる）ｔｎ〕に、これら表情付けイベントＡ５〜Ａ７のうち、最初の音符イベントＮ６の何クロック前までにある表情付けイベントをフレーズデータＤｐの構成イベントとして追加するかを決める時間幅Ｔ２の値が設定され、この時間幅パラメータＴ２は、追加調整時間幅と呼ばれる。なお、追加調整時間幅Ｔ２は「０」以上の値に設定され、図２（１）の例では、Ｔ２＝「１拍」相当クロック数に設定されている。

そして、曲データＤｍからフレーズ区間Ｐｈに対応するフレーズデータＤｐを抽出する際は、図２（２）に示すように、まず、この区間Ｐｈに位置する音符イベントＮ１〜Ｎ５及び表情付けイベントＡ２〜Ａ４（区間開始時間ｔｓ≦各イベントＮ１〜Ｎ５，Ａ２〜Ａ４の開始タイミング＜区間終了時間ｔｅ）がフレーズデータＤｐの構成イベントに採用される。次いで、区間先頭の音符イベントＮ１に先行する表情付けイベントＡ１が、設定された挿入調整時間幅パラメータＴ１に従って、所定の形態でフレーズデータＤｐの構成イベントに含められ、さらに、フレーズ区間Ｐｈに後続する表情付けイベントＡ５〜Ａ６〔図２（２）の（２Ａ）〕或いはＡ５〜Ａ７〔図２（２）の（２Ｂ）〕が、設定された追加調整時間幅パラメータＴ２に従って、所定の形態でフレーズデータＤｐの構成イベントに含められる。

つまり、フレーズ区間Ｐｈ内の先頭音符イベントＮ１に先行する表情付けイベントＡ１については、（１）のように、開始タイミング（ブロックＡ１の始端）が区間開始時間ｔｓより前にあり、且つ、先頭音符イベントＮ１に影響する場合に、（２Ａ），（２Ｂ）のように、表情付けイベントＡ１の開始タイミング（ブロックＡ１の始端）から「先頭音符イベントＮ１の開始タイミング（ブロックＮ１の始端）ｔｆから挿入調整時間幅Ｔ１だけ前のタイミングｔａ」までの部分が削除された表情付けイベントＡ１’が、フレーズデータＤｐの構成イベントとして挿入される。なお、挿入調整時間幅Ｔ１を設定しないとき（非設定時）に上述のような場合が生じた際には、該当する表情付けイベントＡ１の開始タイミング（ブロックＡ１の始端）から区間開始時間ｔｓまでの部分が削除された表情付けイベントＡ１”がフレーズデータＤｐの構成イベントとして挿入される（図示せず）。

また、フレーズ区間Ｐｈに後続する表情付けイベントＡ５〜Ａ６については、開始タイミング（ブロックＡ５〜Ａ６の始端）が、（１）のように、この区間終了（ｔｅ）後の先頭音符イベントＮ６の開始タイミング（ブロックＮ６の始端）ｔｎより追加調整時間幅Ｔ２〔（１）の例では、Ｔ２＝１拍〕だけ前の時点ｔｂ（「表情付け追加時間」と呼ばれる）より前にある場合に（ｔｂ＝ｔｎ−Ｔ２）、（２Ａ）のように、これら表情付けイベントＡ５〜Ａ６がフレーズデータＤｐの構成イベントとして追加され、その際、曲データＤｍにおいて表情付け追加時間ｔｂを超えて持続していた表情付けイベントＡ６については、表情付け追加時間ｔｂ以降の部分が削除されて終了タイミングが同時間ｔｂに変更され、終了タイミングが表情付け追加時間ｔｂに変更された表情付けイベントＡ６’が追加イベントになる。なお、次音符発音タイミングｔｎは、境界タイミングとも呼ばれ、フレーズ区間Ｐｈの終了（ｔｅ）後に次音符イベントがない場合は、曲データＤｍの終了タイミングが境界タイミングｔｎとされる。

ここで、追加調整時間幅Ｔ２が「０」値に設定されているときには、（２Ｂ）のように、表情付け追加時間ｔｂが次音符イベントＮ６の開始タイミング（境界タイミング）ｔｎに一致するので（ｔｂ＝ｔｎ−Ｔ２＝ｔｎ）、表情付けイベントＡ５〜Ａ７がフレーズデータＤｐの構成イベントとして追加され、その際、曲データＤｍにおいて時点ｔｂ＝ｔｎを超えて持続していた表情付けイベントＡ６，Ａ７については、表情付け追加時間ｔｂ＝ｔｎ以降の部分は削除されて終了タイミングが同時間ｔｂに変更され、開始タイミングが時間ｔｂに変更された表情付けイベントＡ６”，Ａ７”が追加イベントになる。

このようにして、フレーズデータＤｐの構成イベントに含める音符イベントＮ１〜Ｎ５及び表情付けイベントＡ１’，Ａ２〜Ａ５，Ａ６’或いはＡ１’，Ａ２〜Ａ５，Ａ６”，Ａ７”が決定されると、（２Ａ）或いは（２Ｂ）の小節線位置を「１：１」〜「４：１」で示すように、（１）の曲データＤｍにおけるフレーズ区間Ｐｈの終端ｔｅ＝「３：１」が「１：１」即ち第１小節第１拍冒頭になるように、これらイベントのタイミング情報（開始タイミング及び終了タイミング）をずらし幅Ｔ＝２小節だけ前にずらす。

つまり、このフレーズデータ抽出の要点は、基本的に、
（１）音符イベント(Note Event)Ｎについては、開始タイミング（ノートオン時刻）がフレーズ区間Ｐｈに含まれると判定されたもの（Ｎ１〜Ｎ５）をフレーズデータＤｐとして採用し、
（２）表情付けイベント (Continuous Data)Ａについては、フレーズデータＤｐとして採用された音符イベントに対して有効であると判定されたもの（Ａ１〜Ａ６或いはＡ１〜Ａ７）をフレーズデータＤｐとして採用する
ものとし、（２）の点に関して、
（２−１）フレーズ区間Ｐｈにおける最初の音符イベント（Ｎ１）の開始タイミング（ｔｆ）より前方で開始する表情付けイベント（Ａ１）の後部（Ａ１’）を採用し、
（２−２）フレーズ区間Ｐｈにおける最初の音符イベント（Ｎ１）の開始タイミング（ｔｆ）からこの区間Ｐｈの終了（ｔｅ）後における最初の音符イベント（Ｎ６）の開始タイミング（ｔｎ）の直前（ｔｂ＝ｔｎ−Ｔ２）までの表情付けイベント部分（Ａ２〜Ａ５，Ａ６’或いはＡ２〜Ａ５，Ａ６”，Ａ７”）を採用する
ことにある。

一般に、表情付けイベント (Continuous Data)Ａが音符イベント(Note Event)Ｎに与える影響は、音符イベントＮの発音(Duration)期間中に表情付けイベントＡがどのような値になっているかで決まり、まずは、発音開始タイミング（ノートオン時刻）での値が影響する。次いで、発音間中で表情付けイベントＡの値に変化があればそれも影響し、その後、音符終了タイミング（ノートオフ時刻）に達した後も、余韻としての発音が継続して表情付けイベントＡの値に変化があれば、それも影響する。ここで、余韻がいつまで継続するかは種々の条件で左右されるが、一般的には、その後の音符イベント（図２ではＮ６）の発音開始があれば、表情付けイベントＡの影響は当該後ろの音符イベントへの影響に遷移する。そこで、フレーズ区間Ｐｈ内の音符イベントＮ＝Ｎ１〜Ｎ５に影響を与える表情付けイベントＡが、（２），（２−１），（２−２）で説明した手法で求められる。

さらに、（２−２）の手法について説明を補足すると、例えば、フレーズ区間Ｐｈにおける何れかの音符イベントＮの終了タイミング（ノートオフ時刻）が区間終了時間（終端）ｔｅよりも後ろにある場合は（図示せず）、区間終端ｔｅで表情付けイベントＡの抽出（切出し）を打ち切ると、打切り時点ｔｅ以降の発音状態が棒鳴りになってしまうが、このフレーズデータ抽出システムでは、区間終端ｔｅ以降最初に現われる音符イベントＮの開始タイミング（ノートオン時刻）までの表情付けイベントＡも抽出する（切り出す）ことで、フレーズ区間Ｐｈ内の音符イベントＮは確実に終了タイミング（ノートオフ時刻）まで表情付けされた状態で抽出する（切り出す）ことが可能になる。

また、例えば、図２（１）のように、フレーズ区間Ｐｈにおける音符イベントＮの発音終了タイミング（ノートオフ時刻）が区間終了時間（終端）ｔｅよりも前にある場合でも（各発音終了タイミング≦ｔｅ）、発音終了（ノートオフ）にも有効な表情付けイベントＡが存在し、区間終端ｔｅ以降も発音の余韻が継続しているときは（ビブラートのためのピッチベンドデータがあるとき等）、区間終端ｔｅで表情付けイベントＡの抽出（切出し）を打ち切ると、やはり、打切り時点ｔｅ以降の発音状態は棒鳴りになってしまうが、このフレーズデータ抽出システムでは、区間終端ｔｅ以降最初に現われるの音符イベントＮの開始タイミング（ノートオン時刻）までの表情付けイベントＡも抽出する（切り出す）ことで、フレーズ区間Ｐｈ内の音符イベントＮは終了タイミング（ノートオフ時刻）まで表情付けされた状態で抽出する（切り出す）ことが可能になる。

以上のように、この発明の一実施例によるフレーズデータ抽出システムでは、フレーズデータ抽出前に、曲データＤｍに対してフレーズデータ抽出の対象となる区間Ｐｈが設定され、開始タイミングがフレーズ区間Ｐｈの前後にある表情付けイベント情報Ａ１；Ａ５，Ａ６，…について、フレーズデータＤｐに追記すべき表情付けイベント情報の条件（挿入及び追加調整時間幅Ｔ１，Ｔ２等）が定められる〔図２（１）〕。フレーズデータ抽出の際は、区間Ｐｈ内に開始タイミングがある音符イベントＮ１〜Ｎ５及び表情付けイベント情報Ａ２〜Ａ４がフレーズデータＤｐとして抽出されると共に、定められた追記条件（Ｔ１，Ｔ２等）に合うように、所定の表情付けイベント情報Ａ１；Ａ５〜Ａ６又はＡ１；Ａ５〜Ａ７が、所定の態様で〔（２Ａ）Ａ１→Ａ１’；Ａ６→Ａ６’又は（２Ｂ）Ａ１→Ａ１’；Ａ６→Ａ６”，Ａ７→Ａ７”〕、フレーズデータＤｐに追記される〔図２（２）〕。このように構成することによって、フレーズ区間の前部やフレーズ区間の後方においても、表情付けを損なうことなくフレーズデータを得ることができ、特に、所定の追記条件に従ってフレーズ区間の後方で抽出された表情付けイベントにより、フレーズ最後の音符イベントがオフした後の余韻を再現するなどの種々の音楽的効果を得ることができる。

つまり、フレーズデータに音符イベントだけでなく表情付けイベントを含ませても、表情付けイベントの抽出範囲を、或る決まった長さの単位で設定されたフレーズ区間内に限定したり、設定されたフレーズ区間内にあるノートの最後のオフまでに限定した場合は、抽出されたフレーズデータを再合成すると、フレーズデータの間が詰まってフレーズ区間の後方に元来存在していたフレーズ間の休符間隔が再現されないことがあるが、このシステムでは、特に、表情付けイベントの抽出範囲が直後のフレーズ区間の最初のノートオンまで後方に拡大されるので、抽出されたフレーズデータを再合成すると、フレーズ区間の後方に元来存在していたフレーズ間の休符間隔を再現することができる。このように、フレーズ区間の後方の休符区間を再現することにより、例えば、管楽器であれば、息継ぎのニュアンスが自然に再現されることになり、他の楽器でも、フレーズ間の間（ま）の取り方のニュアンスがうまく再現されることになる。また、ノートオフ後も、例えば、リバーブが設定されていたりすると、発音が全く聞こえなくなるまでに時間を要するため、その間の自然な挙動の再現も可能となる。

〔処理フロー例〕
図３は、この発明の一実施例によるフレーズデータ抽出処理の動作例を表わすフローチャートである。このフレーズデータ抽出装置は、待機モードや実演奏モード、自動演奏モード等の任意の動作モードで動作しているときに、フレーズデータ抽出モード設定ボタンを操作することにより、フレーズデータ抽出モードで動作し、図３のフレーズデータ抽出処理を行うことができる。フレーズデータ抽出処理がスタートすると、ＣＰＵ１は、まず、ステップＰ１で、入力操作部５に対するユーザの選曲操作に応じて、記憶装置４の曲データ記憶領域から所望の曲データＤｍをＲＡＭ２上の曲データ保持領域に読み込む。

次いで、ステップＰ２にて、曲データＤｍを分割して複数のフレーズ区間Ｐｈを決定する。つまり、複数の区間Ｐｈそれぞれについて、開始時間ｔｓ及び終了時間ｔｅを順次決定していく。ここで、各区間Ｐｈを決定する方法には、音休符列などの所定の音楽的特徴に基づくフレーズ分割規則に従って曲データＤｍを自動的に複数のフレーズ区間Ｐｈに分割する方法や、ユーザによる区間開始及び終了位置の指定操作に応じて複数の区間Ｐｈに分割する方法、所定の楽節記号により複数の区間Ｐｈに分割する方法など、任意の区間分割手法を採用することができる。なお、各フレーズ区間Ｐｈの開始時間ｔｓ及び終了時間ｔｅや曲データＤｍ内のイベントＡ，Ｎの時間情報（タイミング）は、「小節：拍：クロック」の形式やクロック数により表わされる。

次のステップＰ３では、フレーズデータ抽出の対象としたいフレーズ区間を指示する区間指示操作に応じて、決定された複数のフレーズ区間のうち１つのフレーズ区間Ｐｈをフレーズデータ抽出の対象とし、続くステップＰ４にて、フレーズデータ抽出に関わる条件パラメータを設定する。このような条件パラメータには、挿入及び追加調整時間幅Ｔ１，Ｔ２などがあり、条件パラメータの設定内容はデフォルトで決まっていてもよいし、ユーザがその都度設定してもよい。例えば、デフォルトでは、挿入調整時間幅Ｔ１を非設定とし、追加調整時間幅Ｔ２を「０」値としておき、ユーザ操作で、時間幅Ｔ１を所定値に設定し、時間幅Ｔ２を「０」以外の他の値に変更する。なお、以下においては、両時間幅Ｔ１，Ｔ２が所定の値に設定されているものとして説明する。

さらに、次のステップＰ５で、フレーズデータを抽出するための空のイベントリスト（曲データＤｍから抽出される個々のフレーズデータＤｐを一時的に保持しておくための記憶領域）ＥＬをＲＡＭ２上に新しく用意する。次いで、ステップＰ６にて、データ抽出の対象に設定されたフレーズ区間Ｐｈの開始時間ｔｓを含む小節が１小節目（第１小節）になるように、ずらし幅Ｔを算出する。図２の例では、ずらし幅Ｔは、２小節分〔＝「３：１」（第３小節第１拍冒頭）−「１：１」（第１小節第１拍冒頭）〕である。そして、順次、ステップＰ７〜Ｐ１１に進み、イベントリストＥＬにフレーズデータＤｐを書き込む処理を行う。なお、ステップＰ７〜Ｐ１１の説明における括弧書きは図２の例を示す。

ステップＰ７では、曲データＤｍ上の区間開始時間ｔｓから区間終了時間ｔｅまでに開始タイミングを持つ音符イベントＮ（Ｎ１〜Ｎ５）及び表情付けイベントＡ（Ａ２〜Ａ４）の情報をＲＡＭ２の曲データ保持領域から読み出し、各イベントＮ，Ａの情報を、夫々のタイミング情報についてずらし幅Ｔだけ前方にずらした上で、イベントリストＥＬに書き込む。次に、ステップＰ８では、イベントリストＥＬに書き込んだ最初の音符イベントＮ（Ｎ１）に影響する表情付けイベントであって、開始タイミングが区間開始時間ｔｓより前のものを探し、該当する表情付けイベントＡ（Ａ１）がある場合、この表情付けイベントＡ（Ａ１）については、「イベントリストＥＬの最初の音符イベントＮ（Ｎ１）の開始タイミング（ｔｆ）から挿入調整時間幅Ｔ１だけ前のタイミング（ｔａ）」からその終了タイミングまでの部分（Ａ１’）をイベントリストＥＬに書き込む。なお、この場合、挿入調整時間幅Ｔ１が「非設定」に設定されているときは、当該表情付けイベントＡ（Ａ１）について１小節目の冒頭からその終了タイミングまでの部分を書き込む。

次いで、ステップＰ９では、区間終了時間ｔｅ後に開始タイミングを持つ最初の音符イベント即ち次音符イベントを探し、探し出した次音符イベントＮ（Ｎ６）の開始タイミング（次音符発音タイミング）を境界タイミングｔｎとする。なお、このような次音符イベントがない場合は、曲データＤｍの終了タイミングを境界タイミングｔｎとする。さらに、ステップＰ１０では、区間終了時間ｔｅ以降「境界タイミングｔｎ−追加調整時間幅Ｔ２」即ち表情付け追加時間ｔｂまでに開始タイミングを持つ表情付けイベントＡを探し、該当する表情付けイベントＡ（Ａ５〜Ａ６又はＡ５〜Ａ７）がある場合、これら表情付けイベントＡ（Ａ５〜Ａ６又はＡ５〜Ａ７）の情報を、夫々のタイミング情報についてずらし幅Ｔだけ前方にずらした上で、イベントリストＥＬに書き込む。そして、ステップＰ１１では、終了タイミングが「境界タイミングｔｎ−追加調整時間幅Ｔ２」即ち表情付け追加時間ｔｂを超える表情付けイベントＡ（Ａ６又はＡ６〜Ａ７）がイベントリストＥＬ内にあれば、該当するト表情付けイベントＡ（Ａ６又はＡ６〜Ａ７）の終了タイミングを表情付け追加時間ｔｂ＝ｎｔ−Ｔ２に調整する。

ステップＰ７〜Ｐ１１のイベントリスト書込み処理の後は、ステップＰ１２に進んで、イベントリストＥＬに抽出されたフレーズデータＤｐに名前を付けて記憶装置４のフレーズデータベースＰＢに登録し保存する。次のステップＰ１３では、別のフレーズ区間Ｐｈについてもフレーズデータの抽出を行うか否かを判定し、別のフレーズ区間Ｐｈについてもデータ抽出を行うときは（Ｐ１３＝ＹＥＳ）、ステップＰ３に戻り、ステップＰ３〜Ｐ１３の処理を繰り返す。そして、別のフレーズ区間Ｐｈにつきフレーズデータの抽出を行わないときには（Ｐ１３＝ＮＯ）、このフレーズデータ抽出処理を終了し、元の動作モードに戻る。

〔種々の実施態様〕
以上、図面を参照しつつこの発明の好適な実施の一形態について説明したが、これは単なる一例であり、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、フレーズ区間（Ｐｈ）は、実施例のように、所定の小節長で曲の任意の小節から区切っていってもよいが、ある音符情報のオンタイミングから所定長以上の休符区間が出現する直前の音符情報のオフタイミングまでをフレーズ区間としてもよいし、ある音符情報のオンタイミングから所定音高差が生じる直前の音符情報のオフタイミングまでをフレーズ区間としてもよいし、ユーザが好きな区切り位置を指定してフレーズ区間を決めるようにしてもよい。また、フレーズ区間の最終的な決定については、フレーズ区間を決めるいくつかの方法を用意しておき、ユーザに選択させるようにしてもよい。

フレーズデータ抽出の対象となるメロディについては、実施例では、単音の音符情報列を想定しているが、和音状態が含まれていてもよい。

フレーズ区間（Ｐｈ）の最初の音符情報（Ｎ１）の開始タイミング（ｔｆ）より前にある表情付けイベント（Ａ１）は、このフレーズデータ抽出処理によって、フレーズ区間の始端（ｔｓ）或いは最初の音符情報（Ｎ１）の開始タイミング（ｔｆ）から所定クロック数（Ｔ１）分だけ前に挿入されるが、この所定クロック数は、ユーザにより設定可能であってもよいし、固定的或いは自動的に設定できるようになっていてもよい。

フレーズ区間（Ｐｈ）は、１曲分全部を複数区間に分割した１つ１つであってもよいし、ユーザが所望する所定の区間であってもよい。

このフレーズデータ抽出処理によって抽出されたフレーズデータは、実施例のように、フレーズデータベース（ＰＢ）に保存登録するようにしてもよいし、そのまま、作曲データとして使用してもよい。

ＰＢ；ＥＬ フレーズデータベース及びイベントリスト、
Ｄｍ；Ｄｐ 曲データ及びフレーズデータ、
Ｐｈ；ｔｓ；ｔｅ フレーズ区間、区間開始時間及び区間終了時間、
Ｎ：Ｎ１，Ｎ２，… 音符イベント（音符イベント情報）、
Ａ：Ａ１，Ａ２，… 表情付けイベント（表情付けイベント情報）、
Ｔ１；Ｔ２ 挿入調整時間幅及び追加調整時間幅、
ｔｎ 次音符発音タイミング（境界タイミング）、
ｔｂ 表情付け追加時間（＝ｔｎ−Ｔ２）。

Claims (3)

1. 曲データを取得する曲データ取得手段と、
   曲データ取得手段により取得された曲データに対してデータ抽出の対象となる区間を設定する区間設定手段と、
   曲データ取得手段により取得された曲データから、区間設定手段により設定された区間に開始タイミングを持つ音符イベント情報及び表情付けイベント情報を順次読み出し、読み出された各イベント情報をフレーズデータとして記憶するフレーズ記憶手段と、
   区間設定手段により設定された区間の前後に開始タイミングを持つ表情付けイベント情報について、上記フレーズデータに追記すべき表情付けイベント情報の条件を決定する追記条件決定手段と、
   曲データ取得手段により取得された曲データから、追記条件決定手段により決定された条件に合う表情付けイベント情報を順次読み出し、上記フレーズデータに追記する表情付け追記手段と
   を具備することを特徴とするフレーズデータ抽出装置。
2. さらに、前記区間設定手段により設定された区間の終端以降で最初の音符イベント情報を検出する次音符検出手段を具備し、
   前記追記条件決定手段により決定される追記すべき表情付けイベント情報の条件は、当該表情付けイベント情報のタイミング情報が、前記区間設定手段により設定された区間の終端以降にあり、かつ、次音符検出手段で検出される音符イベント情報のタイミング情報より前にあることとされる
   ことを特徴とする請求項１に記載のフレーズデータ抽出装置。
3. フレーズデータ抽出装置として機能するコンピュータに、
   曲データを取得する曲データ取得ステップと、
   曲データ取得ステップで取得された曲データに対してデータ抽出の対象となる区間を設定する区間設定ステップと、
   曲データ取得ステップで取得された曲データから、区間設定ステップで設定された区間に開始タイミングを持つ音符イベント情報及び表情付けイベント情報を順次読み出し、読み出された各イベント情報をフレーズデータとして記憶するフレーズ記憶ステップと、
   区間設定ステップで設定された区間の前後に開始タイミングを持つ表情付けイベント情報について、上記フレーズデータに追記すべき表情付けイベント情報の条件を決定する追記条件決定ステップと、
   曲データ取得ステップで取得された曲データから、追記条件決定ステップで決定された条件に合う表情付けイベント情報を順次読み出し、上記フレーズデータに追記する表情付け追記ステップと
   から成る手順を実行させるフレーズデータ抽出プログラム。

Images