JP5130809B2 - 楽曲を制作するための装置およびプログラム - Google Patents

Description

この発明は、音素片の連結により楽曲を制作する装置およびプログラムに関する。

楽曲制作に関する技術として、オーディオモザイキングと呼ばれる技術がある。このオーディオモザイキング技術では、各種の楽曲を時間長の短い音素片に分割し、各音素片の波形を示す音素片データを集めて音素片データベースを構成する。そして、この音素片データベースの中から所望の音素片データを選択し、選択した音素片データを時間軸上において繋ぎ合わせ、新規な楽曲を編集する。なお、この種の技術に関する文献として、例えば非特許文献１がある。
Ari Lazier, Perry Cook、"MOSIEVIUS: FEATURE DRIVEN INTERACTIVE AUDIO MOSAICING"、[on line]、Proc of the 6th Int. Conference onDigital Audio Effects (DAFx-03), London, UK, September 8-11, 2003、［平成１９年３月６日検索］、インターネット<URL:http://soundlab.cs.princeton.edu/publications/mosievius_dafx_2003.pdf> Bee Suan Ong, Emilia Gomez, SebastianStreich、"Automatic Extraction of Musical StructureUsing Pitch Class Distribution Features"、［online]、Learning the Semantics of Audio Signals (LSAS) 2006、［平成１９年３月２日検索］、インターネット＜URL:http://irgroup.cs.uni-magdeburg.de/lsas2006/proceedings/LSAS06_053_065.pdf＞

ところで、表現力豊かな楽曲データを得るためには、様々な特徴を持った多くの種類の音素片データを予め用意しておき、それらの中の適切なものを選択して繋ぎ合わせる必要がある。しかし、膨大な音素片データの中から所望の音素片データを探し出す作業は大変であるという問題がある。

この発明は、以上説明した事情に鑑みてなされたものであり、所望の音素片データを繋ぎ合わせて楽曲制作を行う際の音素片データの選択作業を容易にした楽曲制作装置およびプログラムを提供することを目的としている。

この発明は、音の波形を示す楽曲データを記憶する記憶手段と、前記記憶手段に記憶された楽曲データを解析して、楽曲データにおける音の態様の急変点を求める解析手段と、表示手段と、前記記憶手段に記憶された楽曲データを前記急変点により分割することにより得られる各音素片データを各々の複雑さの順に前記表示手段にメニュー表示させる表示制御手段と、前記表示手段にメニュー表示された音素片データを選択する操作と音素片データの時間軸上の位置を指示する操作を受け付ける操作手段と、前記操作手段の操作により選択された音素片データが前記操作手段の操作により指示された時間軸上の位置に配置された楽曲データを合成する合成手段とを具備することを特徴とする楽曲制作装置およびコンピュータを上記各手段として機能させるコンピュータプログラムを提供する。
かかる発明によれば、楽曲データが急変点において音素片データに分割され、楽曲制作の素材としての各音素片データを示すメニューが表示手段に表示される。その際、各音素片データを示すメニューは、音素片データの複雑さ順に表示手段に表示される。従って、ユーザは、所望の音素片データを容易に見つけ出すことができる。

以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明の一実施形態である楽曲制作装置の構成を示すブロック図である。この楽曲制作装置は、例えばパーソナルコンピュータなどのコンピュータにこの発明の一実施形態である楽曲制作プログラムをインストールしたものである。

図１において、ＣＰＵ１は、この楽曲制作装置の各部を制御する制御中枢である。ＲＯＭ２は、ローダなど、この楽曲制作装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。

表示部３は、装置の動作状態や入力データおよび操作者に対するメッセージなどを表示するための装置であり、例えば液晶デスプレイパネルとその駆動回路により構成されている。操作部４は、ユーザからコマンドや各種の情報を受け取るための手段であり、各種の操作子により構成されている。好ましい態様において、操作部４は、キーボードと、マウスなどのポインティングデバイスを含む。

インタフェース群５は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、磁気ディスクやＣＤ−ＲＯＭなどの外部記憶媒体との間でデータの授受を行うためのドライバなどにより構成されている。

ＨＤＤ（ハードディスク装置）６は、各種のプログラムやデータベースなどの情報を記憶するための不揮発性記憶装置である。ＲＡＭ７は、ＣＰＵ１によってワークエリアとして使用される揮発性メモリである。ＣＰＵ１は、操作部４を介して与えられる指令に従い、ＨＤＤ６内のプログラムをＲＡＭ７にロードして実行する。

サウンドシステム８は、この楽曲制作装置において編集された楽曲または編集途中の楽曲を音として出力する手段であり、音のサンプルデータであるデジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカ等により構成されている。本実施形態において、このサウンドシステム８と、上述した表示部３および操作部４は、楽曲の制作に関連した情報をユーザに提供するとともに、楽曲の制作に関する指示をユーザから受け取るユーザインタフェースとしての役割を果たす。

ＨＤＤ６に記憶される情報として、楽曲制作プログラム６１と、１または複数の楽曲データファイル６２とがある。

楽曲データファイル６２は、楽曲における演奏音やボーカル音のオーディオ波形の時系列サンプルデータである楽曲データを含むファイルである。好ましい態様において、楽曲制作プログラム６１や楽曲データファイル６２は、例えばインターネット内のサイトからインタフェース群５の中の適当なものを介してダウンロードされ、ＨＤＤ６にインストールされる。また、他の態様において、楽曲制作プログラム６１や楽曲データファイル６２は、ＣＤ−ＲＯＭ、ＭＤなどのコンピュータ読み取り可能な記憶媒体に記憶された状態で取引される。この態様では、インタフェース群５の中の適当なものを介して記憶媒体から楽曲制作プログラム６１や楽曲データファイル６２が読み出され、ＨＤＤ６にインストールされる。

楽曲制作プログラム６１は、大別して、解析部１１０と、制作部１２０とにより構成されている。解析部１１０は、操作部４の操作により指定された楽曲データファイル６２内の楽曲データをＲＡＭ７にロードして解析し、楽曲構成データをＲＡＭ７内に生成するルーチンである。この楽曲構成データは、楽曲データにおいて音の態様が急変する時刻である急変点を示す急変点データと、楽曲データにおいて急変点により分割された各区間の音素片データの音楽的特徴を示す音楽的特徴データとを含む。本実施形態において、急変点の重要度には、レベル１〜３の３段階があり、レベル１が最も重要度が低く、レベル３が最も重要度が高い。急変点データは、楽曲の先頭を基準とした急変点の位置を示す情報の他に、急変点の重要度がレベル１〜３のいずれであるかを示す情報を含む。各急変点の重要度をどのように定めるかについては幾つかの態様があるが、詳細については後述する。また、解析部１１０は、急変点により区切られた区間の音素片の構成の複雑さを示す情報を求める。急変点データは、その急変点データが示す急変点から始まる音素片の構成の複雑さに関する情報を含む。

制作部１２０は、ＲＡＭ７内の楽曲データをこの楽曲データに対応した楽曲構成データ内の急変点データが示す急変点において分割して、複数の音素片データとし、操作部４を介して得られる指示に従い、音素片データを選択して繋ぎ合わせ、新たな楽曲データを合成するルーチンである。

制作部１２０は、表示制御部１２１と、合成部１２２とを含む。ここで、表示制御部１２１は、ＲＡＭ７の楽曲データを楽曲構成データ内の急変点データに基づいて複数の音素片データに分割し、各音素片データを示すメニューを、音素片の構造が簡単なものから複雑なものへと移行するように、音素片の複雑さの順に並べて表示部３に表示させるルーチンである。ここで、各音素片データを示すメニューは、その音素片データに対応付けられた音楽的特徴データを示すマークを伴う。また、本実施形態では、ユーザは、操作部４の操作により楽曲データの分割に用いる急変点データの条件として、急変点の重要度のレベルを指定することができる。この場合、表示制御部１２１は、楽曲構成データ内の急変点データのうち、指定されたレベルに対応したものを用いて、楽曲データから音素片データへの分割を行う。

合成部１２２は、いわゆるグリッドシーケンサである。本実施形態における合成部１２２は、ＲＡＭ７内に時系列の波形データである楽曲データを格納するための楽曲トラックを確保するとともに、この楽曲トラックの時間軸の目盛りを示すグリッドを表示部３に表示させる。そして、合成部１２２は、操作部４（具体的にはポインティングデバイス）の操作により表示部３に表示された１つの音素片データのメニューが選択されると、ＲＡＭ７内の楽曲構成データを参照することにより、ＲＡＭ７内の楽曲データのうち操作部４の操作により選択された音素片データが所在する区間を求める。そして、その区間の音素片データをＲＡＭ７内の楽曲データの中から切り出して読み出す。また、操作部４の操作により表示部３上の１つのグリッドが指示されると、ＲＡＭ７内の楽曲トラックにおいて、この指示されたグリッドに対応したアドレスから始まる連続したエリアに、音素片データを格納する。合成部１２２は、このような処理を操作部４の操作に従って繰り返し、各種の音素片データを繋ぎ合わせた新規な楽曲データをＲＡＭ７内の楽曲トラック内に生成する。

本実施形態において、新たな楽曲データは、１個の楽曲データを急変点において分割した音素片データを用いて合成する他、複数の楽曲データの各々を急変点において分割した音素片データを用いて合成することも可能である。後者の場合、ユーザは、操作部４の操作により、複数の楽曲データファイル６２を指定する。この場合、解析部１１０は、指定された複数の楽曲データファイル６２内の各楽曲データをＲＡＭ７内に取り込み、各楽曲データについて楽曲構成データを生成し、元の楽曲データに対応付けてＲＡＭ７内に格納する。そして、表示制御部１２１は、各楽曲データを、各々に対応した楽曲構成データ内の急変点データに基づいて複数の音素片データに分割し、各音素片データを示すメニューを音素片の複雑さ順に並べて表示部３に表示させる。この場合の表示の態様には各種考えられるが、例えば横方向に各楽曲の音素片データのメニューが並び、縦方向に各メニューが音素片データの複雑さ順に並ぶようにしてもよい。合成部１２２の動作は、元の楽曲データが１種類である場合と同様である。

次に本実施形態の動作について説明する。ユーザは、楽曲データの制作を行う場合、操作部４の操作により、楽曲制作プログラム６１の起動を指令する。これによりＣＰＵ１は、楽曲制作プログラム６１をＲＡＭ７内にロードして実行する。そして、ユーザが操作部４の操作により、ＨＤＤ６内のある楽曲データファイル６２を指定すると、楽曲制作プログラム６１の解析部１１０は、その楽曲データファイル６２をＲＡＭ７内にロードして解析し、楽曲構成データを生成する。

解析部１１０は、楽曲データから楽曲構成データを生成するため、楽曲データが示すオーディオ波形の音の態様の急変点を検出する。この急変点の検出方法には、各種の態様があり得る。ある態様において、解析部１１０は、楽曲データが示すオーディオ波形を一定時間長のフレーム毎に複数の周波数帯域に分割し、各帯域の瞬時パワーを成分とするベクトルを求める。そして、図２に示すように、各フレームにおいて、そのフレームにおける各帯域の瞬時パワーを成分とするベクトルと、過去数フレームにおける各ベクトルの加重平均ベクトルとの類否計算を行う。ここで、加重平均ベクトルは、例えば図示のように、指数関数を用い、過去になるほど減少する指数関数値を過去数フレームの各ベクトルに乗算して加算することにより得ることができる。そして、解析部１１０は、各フレームにおいて、そのフレームのベクトルと過去数フレームの加重平均ベクトルとの類似度に顕著な負のピークが発生した場合にそのフレームを急変点とする。

類否計算では、対比する両ベクトルのユークリッド距離のほか、cosine角など、一般に距離尺度として知られる任意のものを類否の尺度として用いることが可能である。あるいは、正規化した両ベクトルを確率分布とみなし、両確率分布間のＫＬ情報量を両ベクトルの類否指標として良い。あるいは「一帯域でも顕著な変化が見られた場合は急変点とする」という基準を適用しても良い。

また、急変点を求めるに当たり、楽曲データの帯域分割を行わず、楽曲データが示す音量が急変する点を急変点としてもよい。

また、解析部１１０は、楽曲データから急変点を検出する際に、各急変点について、その重要度のレベルを決定する。ある好ましい態様において、解析部１１０は、類否計算において得られた急変点における類似度を３種類の閾値と比較することにより、重要度のレベルを決定する。すなわち、類似度が第１の閾値を下回り、かつ、第１の閾値より低い第２の閾値以上であるときにはレベル１、第２の閾値を下回り、かつ、第２の閾値より低い第３の閾値以上であるときにはレベル２、第３の閾値を下回るときにはレベル３という具合に重要度を決定するのである。

他の態様において、解析部１１０は、各々異なる方法により、レベル１〜３の急変点を求める。図３は、その例を示すものである。この図３に示す例では、上述した帯域分割と帯域成分のベクトル間の類否計算を用いた方法により楽曲データにおけるレベル１の急変点を決定し、このレベル１の急変点のうち楽曲データが示すオーディオ波形に明確な立ち上がりが現れる点をレベル２の急変点とし、このレベル２の急変点のうち楽曲の構成上、拍点や小節境界という点でも楽曲全体のレベルで明確な区切りとなっているものをレベル３の急変点としている。

さらに詳述すると、図３の最上段には、楽曲データが示すオーディオ波形のスペクトログラムが示されるとともに、レベル１の急変点がスペクトログラムを上下に横切る直線により示されている。この急変点は、上述した帯域分割とベクトル間の類否計算を用いた方法により求めたものである。この例では、楽曲データが示すオーディオ波形の成分を低域Ｌ、中域Ｍ、高域Ｈの３つの帯域に分割している。また、低域Ｌは、バスドラム音やベースギター音を捉えることができる０〜５００Ｈｚの帯域、中域Ｍは、スネアドラム音を捉えることができる５００〜４５０Ｈｚの帯域、高域Ｈは、ハイハットシンバル音を捉えることができる４５０Ｈｚ以上の帯域としている。

図３の中段には、楽曲データが示すオーディオ波形が示されるとともに、レベル２の急変点がオーディオ波形を上下に横切る直線により示されている。これらのレベル２の急変点は、レベル１の急変点のうち楽曲データが示すオーディオ波形に明確な立ち上がりが現れる点となっている。

そして、図３の下段には、レベル３の急変点が水平方向に延びたストライプを区切る直線により示されている。本実施形態では、この重要度の最も高いレベル３の急変点により楽曲データを分割した各音素片データをクラスと呼ぶ。

本実施形態において、新たな楽曲データの合成は、特にユーザからの指定がない限り、クラス単位で音素片データを繋ぎ合わせることにより行う。このため、レベル３の急変点は、楽曲の構成を反映したものである必要がある。レベル３の急変点が楽曲の構成を反映したものとなるようにするため、好ましい態様では、周知のアルゴリズムにより拍点や小節線を検出し、レベル２の急変点のうち拍点や小節線の最近傍のものをレベル３の急変点とする。その他、楽曲データから楽曲のコードシーケンスを求め、レベル２の急変点のうちコードシーケンスにおけるコードの切り換わり点の最近傍のものを用いてもよい。コードシーケンスを求めるための方法としては、例えば次のような方法が考えられる。

まず、例えばレベル１の急変点での分割により得られた各音素片データから、例えばＨＰＣＰ（Harmonic
Pitch Class Profile）情報等の音のハーモニー感を示すハーモニー情報を抽出し、ハーモニー情報列Ｈ（ｋ）（ｋ＝０〜ｎ−１）とする。ここで、ｋは楽曲の先頭からの時間に相当するインデックスであり、０は曲の先頭位置、ｎ−１は曲の終了位置に相当する。そして、このｎ個のハーモニー情報Ｈ（ｋ）（ｋ＝０〜ｎ−１）の中から任意の２個のハーモニー情報Ｈ（ｉ）およびＨ（ｊ）を取り出して、両者間の類似度Ｌ（ｉ，ｊ）を算出する。この操作をｉ＝０〜ｎ−１およびｊ＝０〜ｎ−１の範囲内の全てのｉ，ｊの組み合わせについて実施し、図４（ａ）に示すようにｎ行ｎ列の類似度マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ＝０〜ｎ−１）を作成する。

次にこの類似度マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ＝０〜ｎ−１）の一部である三角マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ≧ｉ）において、類似度Ｌ（ｉ，ｊ）が閾値以上である連続した領域を求める。図４（ｂ）において、黒い太線で示した領域はこの操作により得られた類似度の高い連続領域（以下、便宜上、高類似度連続領域という）を例示するものである。本実施形態では、このような高類似度連続領域が複数得られた場合に、ｉ軸上における高類似度連続領域の占有範囲の重複関係に基づいて、ハーモニー情報列Ｈ（ｋ）（ｋ＝０〜ｎ−１）において繰り返し現れるハーモニー情報のパターンを見つける。

例えば図４（ｂ）に示す例において、類似度マトリックスＬ（ｉ，ｊ）（ｉ＝０〜ｎ−１、ｊ＝０〜ｎ−１）は、同じハーモニー情報間の類似度の集まりである高類似度連続領域Ｌ０の他に、高類似度連続領域Ｌ１およびＬ２を含む。ここで、高類似度連続領域Ｌ１は、曲の途中の区間のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ２〜ｋ４−１）が曲の先頭から始まる区間のハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ２−１）と類似していることを示している。また、高類似度連続領域Ｌ２は、曲において高類似度連続領域Ｌ１に対応した区間の直後の区間のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ４〜ｋ５−１）が曲の先頭から始まる区間のハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ１）と類似していることを示している。

これらの高類似度連続領域Ｌ１、Ｌ２のｉ軸上での占有範囲の重複関係に着目すると、次のことが分かる。まず、高類似度連続領域Ｌ１に対応した区間のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ２〜ｋ４−１)は、曲の先頭から始まる区間のハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ２−１）と類似しているが、その一部の区間のハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ１−１）は高類似度連続領域Ｌ２に対応した区間のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ４〜ｋ５−１）とも類似している。すなわち、曲の先頭から始まるハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ２−１）の出所である区間は、前半区間Ａおよび後半区間Ｂに分かれており、高類似度連続領域Ｌ１に対応した区間では、区間ＡおよびＢと同じコードが繰り返され、高類似度連続領域Ｌ２では区間Ａと同じコードが繰り返されていると推定される。

次に高類似度連続領域Ｌ２に対応した区間の後のハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ５〜ｎ−１)は、先行するハーモニー情報列Ｈ（ｉ）（ｉ＝０〜ｋ５−１）のうちいずれの区間のものとも類似していない。そこで、ハーモニー情報列Ｈ（ｊ）（ｊ＝ｋ５〜ｎ−１)を新たな区間Ｃと判定する。

解析部１１０は、以上のような処理により、ハーモニー情報列Ｈ（ｋ）（ｋ＝０〜ｎ−１）を各種のコードに対応した区間（図４（ｂ）に示す例では、区間Ａ、Ｂ、Ａ、Ｂ、Ａ、Ｃ）に区切り、各区間に属するハーモニー情報に基づき、各区間において演奏されているコードを求める。このようにして時間軸上におけるコードの切り換わり点を求めることができる。このコードの切り換わり点の最近傍のレベル２の急変点をレベル３の急変点とするのである。なお、このようなハーモニー情報に基づくコードシーケンスの生成方法は例えば非特許文献２に開示されている。

以上のような拍点検出、小節線検出、コードシーケンス検出などを用いる代わりに、レベル２の急変点により区切られた各区間について、音の高低感を表すSpectral Centroid、音量感を表すLoudness、音の聴感上の明るさを表すBrightness、聴感上のザラザラ感を示すNoisiness等の特徴量を求め、各区間の特徴量の分布の比較によりレベル３の急変点を求める方法も考えられる。

例えば、まず、楽曲の先頭から見て最初のレベル２の急変点を選択する。そして、楽曲データにおいて、楽曲の先頭と最初のレベル２の急変点とにより挟まれた内側の区間の特徴量の平均および分散と、最初のレベル２の急変点以降の区間の特徴量の平均および分散を求め、内側の区間における特徴量の分布と外側の区間における特徴量の分布との隔たりを求める。そして、内側の区間の終点であるレベル２の急変点を２番目の急変点、３番目の急変点、…という具合に変更し、同様なことを繰り返す。このようにして内側の区間の終点を各種変えて、内側の区間における特徴量の分布と外側の区間における特徴量の分布との隔たりを求め、最大の隔たりが得られるレベル２の急変点を最初のレベル３の急変点とする。次にこの最初のレベル３の急変点を内側の区間の始点とする。そして、内側の区間の終点を内側の区間の始点以降のレベル２の急変点の中から順次選択し、内側の区間における特徴量の分布と外側の区間における特徴量の分布との隔たりを求め、最大の隔たりが得られるレベル２の急変点を２番目のレベル３の急変点とする。以下、同様の手順により、３番目以降のレベル３の急変点を求めるのである。

以上の他、解析部１１０は、図３に例示するように、スペクトログラムおよびレベル１の急変点と、オーディオ波形およびレベル２の急変点を表示部３に表示させた状態において、例えばポインティングデバイスの操作等によりレベル２の急変点の中からレベル３の急変点とするものをユーザに選択させてもよい。

解析部１１０は、以上のようにしてレベル１〜３の急変点を求めることに加え、楽曲データをレベル１の急変点により分割して得られる各音素片データについて、各々が有する音楽的特徴を示す音楽的特徴量データを生成する。

本実施形態における解析部１１０は、音素片データが以下列挙する音楽的特徴を有するか否かを判定し、肯定的な判定結果が得られた場合にその音楽的特徴を示す音楽的特徴データを生成する。
blank：これは完全に無音であるか、または顕著な高域成分を持っていないという特徴である。ＬＰＦを通過させた後のオーディオ信号は、このblankという音楽的特徴を持つ。
edge：これはパルシブまたはアタック感を与える音楽的特徴である。edgeなる音楽的特徴が現れる例として次の２つの例がある。まず、バスドラム音は、高域成分がなくても、edgeなる音楽的特徴を持つ。また、ある音素片データのスペクトログラムにおいて、１５ｋＨｚまで、暗部（パワースペクトルの弱い部分）と明部（パワースペクトルの強い部分）とを隔てる明瞭な区切りがある場合、その音素片はedgeなる音楽的特徴を持つ。
rad：音素片データが中域（特に２．５ｋＨｚ付近）に鋭いスペクトルのピークを持つとき、その音素片データは、radなる音楽的特徴を持つ。このradなる音楽的特徴を持つ部分は音の始点と終点との間の中央に位置する。この部分は、広い帯域の成分を含んでおり、フィルタ処理により多彩な音色変化を与えることができるので、音楽制作において有用な部分である。
flat：これはコードが明瞭であるという音楽的特徴である。例えば上述したＨＰＣＰによりflatか否かを判定することができる。
bend：これは、音素片データのピッチが明瞭にある方向に変化しているという音楽的特徴である。
voice：これは人間の声らしいという音楽的特徴である。
dust：これは雑音のようであるという音楽的特徴である。dustな音素片データは、ピッチを持つ場合もあるが、雑音の方が顕著である。例えばハイハットシンバル音のサスティン部はdustなる音楽的特徴を持つ。なお、ハイハットシンバル音の立ち上がり部分はedgeなる音楽的特徴を持つ。

さらに解析部１１０は、ＲＡＭ７内の楽曲データを急変点において区切った各音素片データを解析し、各音素片データの複雑さを示す指標を求める。この音素片データの複雑さを示す指標としては、各種のものが考えられるが、例えば急変点により区切られた音素片データのスペクトログラムのテキスチャとしての変化の激しさを複雑さの指標として用いてもよい。本実施形態における解析部１１０は、レベル１の急変点間に挟まれた各区間の音素片データ、レベル２の急変点間に挟まれた各区間の音素片データ、レベル３の急変点間に挟まれた各区間の音素片データの各々について、各音素片データの複雑さを示す指標を求める。これは、表示制御部１２１が楽曲データを複数の音素片データに分割するのにレベル１〜３のいずれの急変点を用いたとしても、各音素片データのメニューを音素片データの複雑さ順に並べて表示部３に表示させることができるようにするためである。

解析部１１０は、以上のようにして求めた急変点データおよび音楽的特徴量データを用いて、楽曲構成データを構成し、ＲＡＭ７内に格納する。図５は、この楽曲構成データの構成例を示す図である。なお、図５には、楽曲構成データの内容の理解を容易にするため、レベル１〜３の各急変点により区切られた楽曲データが上下に並んだ３本のストライプにより示され、楽曲構成データ中の各データが楽曲データにおけるどの部分に関するものであるかが示されている。

図５の上半分に示すように、レベル２の急変点はレベル１の急変点でもある。また、レベル３の急変点は、レベル２の急変点およびレベル１の急変点でもある。このように異種レベル間で急変点に重複が生じるが、本実施形態では、レベル毎に急変点データを作成する。すなわち、同一時刻に例えばレベル３〜レベル１の急変点がある場合、図５の下半分に示すように、楽曲構成データにおいて、最初にレベル３の急変点データを配置し、次にレベル２の急変点データを配置し、最後にレベル１の急変点データを配置する。そして、レベル１の急変点データの後に、その急変点データが示す急変点から始まる音素片データについての音楽的特徴データを配置する。この音素片データの終了点は、次のレベル１の急変点データが示す急変点または楽曲の終了点である。

各急変点データは、当該データが急変点データであることを示す識別子、楽曲の先頭から見た急変点の相対的な位置を示すデータ、急変点のレベルを示すデータ、急変点から始まる音素片データの複雑さを示すデータを含む。

ここで、レベル３の急変点データの場合、複雑さを示すデータは、そのレベル３の急変点データが示す急変点から次のレベル３の急変点データが示す急変点（あるいは楽曲の終了点）までの区間Ｌ３の音素片データを複雑さを示す。また、レベル２の急変点データの場合、複雑さを示すデータは、そのレベル２の急変点データが示す急変点から次のレベル２の急変点データが示す急変点（あるいは楽曲の終了点）までの区間Ｌ２の音素片データを複雑さを示す。また、レベル１の急変点データの場合、複雑さを示すデータは、そのレベル１の急変点データが示す急変点から次のレベル１の急変点データが示す急変点（あるいは楽曲の終了点）までの区間Ｌ１の音素片データを複雑さを示す。
以上が解析部１１０の動作の詳細である。

次に制作部１２０の動作を説明する。制作部１２０の表示制御部１２１は、ＲＡＭ７の楽曲データを楽曲構成データ内の急変点データに基づいて複数の音素片データに分割する。特にユーザからの指定がない限り、表示制御部１２１は、楽曲構成データ内の急変点データのうち、レベル３の急変点データによりＲＡＭ７内の楽曲データを音素片データに分割する。そして、各音素片データを示すメニューを音素片データの複雑さの順に並べて表示部３に表示させる。

表示制御部１２１は、表示部３に各音素片データをメニュー表示させる際、各音素片データに対応付けられた音楽的特徴データを示すマークも一緒に表示させる。さらに詳述すると、レベル３の急変点により区切られた音素片データは、レベル１の急変点により区切られた１または複数の音素片データを含む。従って、レベル３の急変点により区切られた音素片データのメニューは、このようなレベル１の急変点により区切られた音素片データの音楽的特徴を示すマークを伴うこととなる。本実施形態では、edge、rad、flat、bend、voice、dust、blankの各音楽的特徴データを示すマークとして図６に示すものを用いる。そして、図７は、レベル３の急変点データにより分割された各音素片データを示すメニュー（図７では“クラス１”、“クラス６”等）と各音素片データの音楽的特徴を示すマークの表示部３における表示例を示している。図示のように、本実施形態では、音素片データのメニューを音素片データの構成が簡単なものから順に上下方向に並べて表示する。１つのクラスは、複数の音楽的特徴を持つ場合がある。この場合、クラス毎にそのクラスが持つ各音楽的特徴が横方向に並べて表示される。複数の音楽的特徴を横方向に並べる際の順序は、楽曲において各音楽的特徴が現れる順序に合わせてもよいし、各音楽的特徴の発生頻度に合わせてもよい。図７に示す例では、各音素片データの音楽的特徴を示すマークの表示エリアの各々の縦方向の長さは、各音素片データの時間長を反映した長さにしているが、各表示エリアの縦方向の長さは一定にして、その代わりに、音素片データの時間長を反映した長さの水平方向のバー等を表示エリア内に表示してもよい。

好ましい態様では、表示部３の表示画面は、図８に示すように、下側の音素片表示エリア３１と、上側の楽曲表示エリア３２とに二分される。表示制御部１２１は、下側の音素片表示エリア３１に音素片データのメニューおよび音楽的特徴を示すマークを表示する。この音素片表示エリア３１内の表示内容は、操作部４の操作により上下方向にスクロール可能である。上側の楽曲表示エリア３２は、制作中の楽曲データが示すオーディオ波形を表示するエリアであり、水平方向が時間軸となっている。この楽曲表示エリア３２内の表示内容は、操作部４の操作により左右方向にスクロール可能である。

表示制御部１２１が音素片データのメニューおよびその音楽的特徴を示すマークを音素片表示エリア３１に表示させる制御を行う間、合成部１２２は、操作部４の操作に応じて、ＲＡＭ７内の楽曲トラックに音素片データを格納し、新たな楽曲データを合成する。さらに詳述すると、合成部１２２は、この楽曲トラックの時間軸の目盛りを示すグリッドを楽曲表示エリア３２内に表示させる（図示略）。そして、合成部１２２は、操作部４（具体的にはポインティングデバイス）の操作により音素片表示エリア３１内に表示された１つの音素片データのメニューが選択されると、そのメニューに対応した音素片データをＲＡＭ７内の楽曲データの中から切り出して読み出す。また、操作部４の操作により楽曲表示エリア３２内の１つのグリッドが指示されると、ＲＡＭ７内の楽曲トラックにおいて、この指示されたグリッドから始まる連続したエリアに、音素片データを格納する。合成部１２２は、このような処理を操作部４の操作に従って繰り返し、各種の音素片データを繋ぎ合わせた新規な楽曲データをＲＡＭ７内の楽曲トラック内に生成する。

好ましい態様では、ユーザが操作部４の操作により、１つの音素片データを選択したとき、合成部１２２は、その音素片データをＲＡＭ７から読み出してサウンドシステム８に送り、音として出力させる。これによりユーザは、所望の音素片データを選択したか否かの確認を行うことができる。

楽曲データが楽曲トラック内に得られた状態において、ユーザが操作部４の操作により再生指示を与えると、合成部１２２は、楽曲トラックから楽曲データを読み出してサウンドシステム８に送る。これによりユーザは、所望の楽曲を制作することができたか否かを確認することができる。そして、ユーザが操作部４の操作により格納指示を与えると、合成部１２２は、楽曲トラック内の楽曲データを楽曲データファイル６２としてＨＤＤ６内に格納する。

以上、表示制御部１２１が楽曲データの分割に用いる急変点データとしてレベル３の急変点データを用いる場合を例として、本実施形態の動作を説明した。しかし、上述した通り、本実施形態において、ユーザは、操作部４の操作により、楽曲データの分割に用いる急変点データのレベルを指定することができる。この場合、表示制御部１２１は、楽曲構成データ内の急変点データのうち、指定されたレベルのものを用いて、楽曲データから音素片データへの分割を行う。また、以上説明した動作例では、新たな楽曲データを、１個の楽曲データを急変点において分割した音素片データを用いて合成した。しかし、本実施形態では、複数の楽曲データの各々を急変点において分割した音素片データを用いて合成することも可能である。この場合、ユーザは、操作部４の操作により、複数の楽曲データファイル６２を指定し、解析部１１０に、複数の楽曲データファイル内の各楽曲データについて楽曲構成データを生成させればよい。この場合の動作も、基本的に上述の動作例と同様である。

以上説明したように、本実施形態によれば、楽曲データが急変点において音素片データに分割され、楽曲制作の素材としての各音素片データを示すメニューが表示部３に表示される。その際、各音素片データを示すメニューは、音素片データの構成の簡単なものから複雑なものへと移行するように、音素片の複雑さ順に表示部３に表示される。従って、ユーザは、所望の音素片データを容易に見つけ出すことができる。また、本実施形態によれば、各音素片データの音楽的特徴を示すマークが各音素片データを示すメニューとともに表示部３に表示される。従って、ユーザは、メニューとして表示された各音素片データの内容を容易に想像することができ、所望の音素片データを迅速に見つけ出すことができる。

以上、この発明の一実施形態について説明したが、この発明には、他にも実施形態が考えられる。例えば次の通りである。

（１）楽曲制作プログラム６１は、その一部または全部のプログラムを電子回路に置き換えてもよい。

（２）操作部４の操作により、所定の指令が与えられた場合、音素片の構成の複雑さではなく、楽曲内での出現順に音素片データを示すマークを並べて、表示部３に表示させてもよい。

（３）クラスを示すメニューの一部として、そのクラスの音素片の波形またはスペクトログラムを表示部３に表示させてもよい。さらに音素片の波形またはスペクトログラムの表示において、レベル２の急変点およびレベル１の急変点の位置を明示してもよい。

（４）ユーザがクラスを示すメニューを選択したとき、全部コピーまたは部分コピーのいずれかを選択させるためのメニュー表示を行ってもよい。この場合において、ユーザが操作部４の操作により全部コピーを選択したときには、上記実施形態において説明したように、ユーザが選択したクラスの音素片データの全部を楽曲データの合成に用いる。これに対し、ユーザが操作部４の操作により部分コピーを選択したときには、選択されているクラスを下位レベルの急変点（例えばレベル２の急変点）において分割した音素片データを示すメニューを表示部３に表示させ、ユーザが操作部４の操作により選択した音素片データを用いて楽曲データを合成する。この態様によれば、クラス単位での音素片データの繋ぎ合わせ（全部コピー）と、それよりも下位のレベルでの音素片データの繋ぎ合わせ（部分コピー）を併用して、楽曲データを合成することができ、柔軟な楽曲制作が可能になる。なお、この態様において、下位レベルの急変点において分割した音素片データを示すメニューを表示部３に表示させる際の順序は、クラス内における各音素片の出現順でもよく、音素片の複雑さ順でもよい。

（５）音素片データを、例えばリズム演奏に適したものとメロディ演奏に適したものという具合にグループ分けしておき、ユーザが操作部４の操作により選択したグループに属する音素片データのメニューを表示し、ユ−ザに選択させるようにしてもよい。

（６）ユーザが楽曲トラックに格納する音素片データを選択した後、ユーザがフィルタ処理、ピッチ変換処理、音量調整処理等を指定した場合に、ユーザが選択した音素片データに対し、ユーザが選択した処理を施して、楽曲トラックに格納するようにしてもよい。

（７）解析部１１０が作成した楽曲構成データをファイルとしてＨＤＤ６に格納する機能と、ＨＤＤ６に格納された楽曲構成データを読み出して、制作部１２０に引き渡す機能を楽曲制作プログラム６１に追加してもよい。この態様によれば、一度、楽曲構成データが作成された楽曲データについて、再度の楽曲構成データの作成を行う必要がなくなり、楽曲データの制作を効率的に行うことができる。

この発明の一実施形態である楽曲制作装置の構成を示すブロック図である。 同実施形態における急変点検出処理の一例を示す図である。 同実施形態において求められた各レベルの急変点の例を示す図である。 同実施形態においてレベル３の急変点を決定するために利用するコードシーケンスの解析方法を示す図である。 同実施形態において解析部１１０により生成される楽曲構成データの構成例を示す図である。 同実施形態において音素片データの音楽的特徴を示すのに用いるマークを示す図である。 同実施形態における音素片データを示すマークとその音楽的特徴を示すマークの表示例を示す図である。 同実施形態において表示部３に表示される音素片表示エリア３１と楽曲表示エリア３２を示す図である。

符号の説明

１……ＣＰＵ、２……ＲＯＭ、３……表示部、４……操作部、５……インタフェース群、６……ＨＤＤ、７……ＲＡＭ、８……サウンドシステム、６１……楽曲制作プログラム、６２……楽曲データ、１１０……解析部、１２０……制作部、１２１……表示制御部、１２２……合成部。

Claims (5)

1. 音の波形を示す楽曲データを記憶する記憶手段と、
   前記記憶手段に記憶された楽曲データを解析して、楽曲データにおける音の態様の急変点を求め、前記楽曲データを前記急変点により分割することにより得られる各音素片データの音楽的特徴を求める解析手段と、
   表示手段と、
   前記各音素片データのメニューとともに前記各音素片データの音楽的特徴を示すマークを前記表示手段に表示させる表示制御手段と、
   前記表示手段にメニュー表示された音素片データを選択する操作と音素片データの時間軸上の位置を指示する操作を受け付ける操作手段と、
   前記操作手段の操作により選択された音素片データが前記操作手段の操作により指示された時間軸上の位置に配置された楽曲データを合成する合成手段と
   を具備することを特徴とする楽曲制作装置。
2. 前記表示制御手段は、前記各音素片データのメニューを各音素片データの複雑さの順に前記表示手段に表示させることを特徴とする請求項１に記載の楽曲制作装置。
3. 前記解析手段は、前記急変点として、重要度の異なった複数種類の急変点を求め、
   前記表示制御手段は、前記操作手段の操作により指定された重要度の急変点において、前記楽曲データの分割を行うことを特徴とする請求項１または２に記載の楽曲制作装置。
4. 前記解析手段は、前記急変点として、重要度の異なった複数種類の急変点を求め、
   前記表示制御手段は、ある重要度の急変点により前記楽曲データを複数の音素片データに分割し、各音素片データのメニューを前記表示手段に表示させた状態において、前記操作手段の操作により１つの音素片データが選択された場合に、選択された音素片データを、重要度が異なった急変点によりさらに複数の音素片データに分割し、各音素片データのメニューを前記表示手段に表示させることを特徴とする請求項１または２に記載の楽曲制作装置。
5. コンピュータを、
   音の波形を示す楽曲データを記憶する記憶手段と、
   前記記憶手段に記憶された楽曲データを解析して、楽曲データにおける音の態様の急変点を求め、前記楽曲データを前記急変点により分割することにより得られる各音素片データの音楽的特徴を求める解析手段と、
   表示手段と、
   前記各音素片データのメニューとともに前記各音素片データの音楽的特徴を示すマークを前記表示手段に表示させる表示制御手段と、
   前記表示手段にメニュー表示された音素片データを選択する操作と音素片データの時間軸上の位置を指示する操作を受け付ける操作手段と、
   前記操作手段の操作により選択された音素片データが前記操作手段の操作により指示された時間軸上の位置に配置された楽曲データを合成する合成手段と
   して機能させることを特徴とするコンピュータプログラム。

Images