WO2006011342A1

WO2006011342A1 - 楽音生成装置および楽音生成システム

Info

Publication number: WO2006011342A1
Application number: PCT/JP2005/012539
Authority: WO
Inventors: Shunsuke Nakamura
Original assignee: National University Corporation Kyushu Institute Of Technology
Priority date: 2004-07-29
Filing date: 2005-07-07
Publication date: 2006-02-02
Also published as: JPWO2006011342A1; US7504572B2; JP3978506B2; US20080168893A1

Abstract

　座標データの変化量をベクトルとして算出し、算出されたベクトルに対応して楽音データを生成して楽音を出力するため、入力する座標平面の大きさや位置に制限されることなく楽音を自由に得ることができる。　楽音生成装置１０は、座標データを入力する座標入力装置１２と、主制御装置１４と、音響装置１６と、表示装置１８を備える。主制御装置１４は、所定の時間間隔で前後して入力された２つの該座標データのベクトルを算出する動き算出部２０と、算出されたベクトルに基づいて楽音データを生成する楽音データ生成部２２と、座標データに基づいて、楽器データを生成する機能と表示色データを生成する機能とを兼ね備える、楽器データ生成部兼表示色データ生成部２４と、データ転送・保存部２６と、楽音データによって制御されるＭＩＤＩ音源２８を備える。

Description

明細書

楽音生成装置および楽音生成システム

技術分野

[0001] 本発明は、入力される座標データに基づいて楽音を生成する楽音生成装置および楽音生成システムに関する。

背景技術

[0002] 近年、コンピュータを利用した音楽演奏システムが急速に普及しつつある。音楽演奏システムは、一般的には、作曲や編曲を楽しむことを目的としたものであり、音楽の専門知識や習熟を必要とするものである。

[0003] これに対して、楽譜を図形や色に置き換えて画像として視覚的に表現するものや、音楽と画像の変化とを連動させるもの等、気軽に使用でき、娯楽性の高いシステムも提案されている。

[0004] このようなシステムとして、例えば、描かれた絵の座標情報を入力するペン型入力装置と、ペン型入力装置から入力された座標情報を表示する表示装置と、ペン型入力装置から入力された座標情報に対応した音声信号を出力する音源装置と、ペン型入力装置から入力された座標情報に基づいて表示装置と音源装置とを制御する主制御装置とを備えた音楽演奏システムが提案されている。この音楽演奏システムによれば、使用する楽器の音色を入力スクリーン上の色として置き換え、使用者が色のバリエーシヨンの中から自由に選択し、表示スクリーン上に配置することにより、音を聞く楽しみに加えて見る楽しみも味わうことができるとされている（特許文献 1参照。；)。

[0005] し力しながら、上記音楽演奏システムにおいて、描くためにペンを置いた位置に対応した音声信号は、座標位置に割り当てられた音声信号である。そして、予め絵を描くときに座標位置に応じた音声信号が生成、記録され、つぎに描かれた絵を再度なぞることにより、座標位置に応じた音声信号が再生されるものである。すなわち、描いた絵によって生成された音声信号ではなぐ描かれた絵をなぞる際に画面上のどこにペンを置いたかによつて判断され、座標位置に応じた音声信号が再生されるものである。このため、実際には、自由に描いた絵に基づいて自由な音声を生成することはできず、画面の位置に規定されたペン操作を行わざるを得ないといえる。また、音楽を再現するためには完全に一致する画面位置でペンを動かさねばならない。

[0006] 一方、座標系が設定された描画領域に、入力された画像を入力順に表示する画像表示ステップと、表示しつつある画像部分の座標系における座標に対応する楽音を発生させる楽音生成ステップとを有する楽音発生方法が提案されている。ここで、座標系は、楽音の音程を決定する第一の座標軸と、楽音の左右の音量バランスを決定する第二の座標軸とに設定されている。この楽音発生方法によれば、再現される描画と楽音とを入力時の描画と楽音とに一致させることができるとされている (特許文献 2参照。；)。なお、マウスのクリック操作によりテンポの要素が加わってフレーズが生成される。

[0007] し力しながら、上記楽音生成方法 (特許文献 2)にお、て、生成される音声は、座標位置 (座標点）に割り当てられた音程および音量を持つ 1つの音である。いうなれば、特定の音程および音量の 1つの音を一義的に得るには、平面座標上で特定の座標点を入力する必要がある。また、生成されるフレーズも、平面座標上での特定の座標点におけるマウス操作によって決まるものである。その意味において、上記楽音生成方法 (特許文献 2)は、上記音楽演奏システム (特許文献 1)と同様に、いわば、自由に描いた描画に基づいて音声を生成するときの生成する音声の自由度は小さいといえる。

[0008] この点に関し、電子楽器における音色パラメータや効果のパラメータをタブレット入力で行い操作性を向上させることを目的として、タブレット上の操作点をサンプリングし、各サンプリング点 P (k=0, 1, 2, ···)を結ぶベクトル Vを想定し、操作の初動時 k k

のベクトル Vの方向に対する現在のベクトルの方向の回転角度に応じてパラメータを

0

増減させ、その際パラメータ値を増加させる力減少させるかは操作点の回転方向によって決め、一方、操作点の回転方向はベクトルの傾きの差 (変化）によって検出する電子楽器のパラメータ入力装置が提案されている (特許文献 3参照。 )₀ 特許文献 1：特開平 8 - 335076号公報

特許文献 2：特開 2003— 271164号公報

特許文献 3：特開平 6— 175652号公報発明の開示

発明が解決しょうとする課題

[0009] し力しながら、上記電子楽器のパラメータ入力装置 (特許文献 3)にお、て、ベタトルに基づいて制御する対象は音色パラメータ等の値の増減であり、音色パラメータ自体の設定変更は、タブレットとは別の入力手段であるモード設定スィッチ等のパラメータ入力装置により行うものとされている。このため、上記他の先行技術と同様に、自由に描いた描画に基づいて音声を生成するときの生成する音声の自由度は小さいといえる。

[0010] 本発明は、上記の課題に鑑みてなされたものであり、座標入力手段により自由に描いた描画に基づいて生成される楽音の自由度が大きな楽音生成装置および楽音生成システムを提供することを目的とする。

課題を解決するための手段

[0011] 上記目的を達成するために、本発明に係る楽音生成装置は、座標データを入力する座標入力手段と、所定の時間間隔で前後して入力された 2つの該座標データのベタトルを算出するベクトル算出手段と、算出された該べ外ルに基づいて楽音データを生成する楽音データ生成手段と、該座標データに基づいて楽器データを生成する楽器データ生成手段と、生成された楽音データおよび楽器データに基づいて音源を制御して楽器の楽音を出力する楽音出力手段とを備えることを特徴とする。

[0012] また、本発明に係る楽音生成装置は、前記楽器データ生成手段が、前記座標データおよび音楽理論データベースに基づいて楽音データを生成することを特徴とする。

[0013] また、本発明に係る楽音生成装置は、前記楽音データが音の高さ、音の強さ、音の長さ、音の左右バランスおよび音の揺れの中力選ばれる 1または 2以上であることを特徴とする。

[0014] また、本発明に係る楽音生成装置は、前記座標入力手段により入力された前記座標データに対応して画像を表示する画像表示手段をさらに備えることを特徴とする。

[0015] また、本発明に係る楽音生成装置は、前記座標データに基づいて表示色データを生成する表示色データ生成手段をさらに備えることを特徴とする。

[0016] また、本発明に係る楽音生成装置は、前記座標データに基づいて楽器データを生成する楽器データ生成手段をさらに備え、該楽器データと前記表示色データとが対応付けられ、生成された該楽器データに基づ!ヽて音源を制御して楽器の楽音を出力することを特徴とする。

[0017] また、本発明に係る楽音生成装置は、別々に入力された座標データ群ならびに生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群を記録し、該データ群に基づいて楽音および画像のうちのいずれか一方または双方を同時再生する記録再生手段をさらに備えることを特徴とする。

[0018] また、本発明に係る楽音生成システムは、上記楽音生成装置の複数基が通信ネットワークで結ばれ、該複数基の楽音生成装置それぞれで楽音および画像のうちのいずれか一方または双方を同時に生成することを特徴とする。

発明の効果

[0019] 本発明に係る楽音生成装置は、座標データの変化量をベクトルとして算出し、算出されたベクトルに対応して楽音データを生成し、また、座標データに基づいて楽器データを生成し、生成された楽音データおよび楽器データに基づいて音源を制御して楽器の楽音を出力するため、入力する座標平面の大きさや位置に制限されることなく楽音を自由に得ることができる。

図面の簡単な説明

[0020] [図 1]本発明の楽音生成装置の概略構成を示す図である。

[図 2]本発明の楽音生成装置における座標データとベクトルの関係を説明するための図である。

[図 3]本発明の楽音生成装置において表示色決定方法を説明するために用いる色相環を示す図である。

[図 4]本発明の楽音生成装置において楽器決定方法を説明するために用いる色相環を示す図である。

[図 5]本発明の楽音生成装置における楽音生成の処理手順のメインフローを示す図である。

[図 6]本発明の楽音生成装置における楽音生成の処理手順のうち、色選択処理のフローを示す O

[図 7]本発明の楽音生成システムの一例のシステム構成を示す図である。

[図1—

〇 8]本発明の楽音生成システムの他の一例のシステム構成を示す図である符号の説明

, 10a 楽音生成装置

12 座標入力装置

14 主制御装置

16 音響装置

18 表示装置

20 動き算出部

22 楽音データ生成部

24 楽器データ生成部兼表示色データ生成部

26 データ転送 ·保存部

28 MIDI音源

30 タイマ

30a, 30b リズム制御 ·同期部

32 座標バッファ部

34 ベクトル算出部

36 楽音データ決定部

38 音楽理論データベース

40 色 ·楽器対応照合，決定部

42 色'楽器対応データベース

44 データ転送部

46 データ保存部

48 サーバ部

50 通信ネットワーク

発明を実施するための最良の形態

[0022] 本発明に係る楽音生成装置の実施の形態について、以下に説明する。

[0023] まず、本発明の楽音生成装置の概略構成について、図 1を参照して説明する。本発明の楽音生成装置 10は、座標入力装置 (座標入力手段） 12と、主制御装置 1 4と、音響装置 (楽音出力手段） 16と、表示装置 (画像表示手段） 18を備える。

座標入力装置 12は、連続的に、あるいは不連続に描かれる線や絵の座標データを入力するためのものであり、タツチパネルディスプレイやマウス等の適宜の方式のものを用いることができる。

主制御装置 14は、例えばパソコンであり、座標入力装置 12からの座標データ信号を処理して、音響装置 16に楽音信号を送り、また、表示装置 18に画像信号を送るものである。主制御装置 14の詳細な構成は後述する。

音響装置 (楽音出力手段） 16は、例えばスピーカシステムであり、楽音信号によつて楽音を発生するものである。

表示装置 18は、例えば液晶ディスプレイであり、画像信号によって画像を表示するものである。

なお、音響装置 16および表示装置 18は、主制御装置 14と一体化されたものであつてもよい。また、必要に応じて表示装置 18を省略してもよい。

[0024] 主制御装置 14について、さらに説明する。

主制御装置 14は、動き算出部 (ベクトル算出手段) 20と、楽音データ生成部 (楽音データ生成手段） 22と、楽器データ生成部兼表示色データ生成部 (楽器データ生成手段兼表示色データ生成手段） 24と、データ転送 ·保存部 26と、音源として、例えば MIDI音源 28と、タイマ 30を備える。

[0025] 動き算出部 20は、座標入力装置 12で入力された座標データについて、所定時間間隔で前後して入力された 2つの座標位置を結んで、大きさと向きを有するベクトルとして算出するものである。動き算出部 20は、座標バッファ部 32およびベクトル算出部 34を有する。

座標バッファ部 32は、入力された座標データを一時的に記憶するものであり、入力された座標データをそのまま取り込む第 1座標バッファ部ならびに第 1座標バッファ部の座標データを所定の時間間隔で順次シフトする第 2座標バッファ部および第 3座標バッファ部を含む。

ベクトル算出部 34は、第 1座標バッファ部乃至第 3座標バッファ部の座標データからべ外ルを算出するものであり、スカラ量算出部と角度変化量算出部を含む。

[0026] 楽音データ生成部 22は、ベクトル算出部 34で算出されたベクトルに基づいて楽音データを生成するものであり、この場合 MIDIデータを生成する。

楽音データ生成部 22は、 MIDIデータを生成する楽音データ決定部 36を有するとともに、この場合、音楽理論データベース 38をさらに有する。音楽理論データベース 38の詳細は、後述する。

楽音データ決定部 36は、スカラ量に基づいて音の強さパラメータを決定する音の強さパラメータ決定部と、角度変化量に基づいて音の高さパラメータを決定する音の高さパラメータ決定部を含む。なお、これとは逆に、スカラ量に基づいて音の高さパラメータを決定し、角度変化量に基づいて音の強さパラメータを決定する構成としてもよい。

また、楽音データ決定部 36では、例えば、所定時間間隔で得られるベクトルの変化量が閾値以下のときには、前の時刻の楽音データがそのまま継続して生成されるように構成することで、楽音の音の長さ (テンポ）が得られる。

なお、楽音データは、上記音の高さ、音の強さおよび音の長さのみでなぐ音の左右バランスあるいは音の揺れ（モジュレーション）であってもよぐこれら 5つの中から選ばれる 1または 2以上とすることができる。

[0027] 楽器データ生成部兼表示色データ生成部 24は、座標データに対応して、楽器データを生成する機能と表示色データを生成する機能とを兼ね備える、色'楽器対応照合 ·決定部 40および色 ·楽器対応データベース 42を有する。

色'楽器対応データベース 42は、座標データに基づいて、表示色データおよび楽器データを生成する。すなわち、表示装置 18で表示する表示色データおよび音響装置 16で発生する楽音の素材となる楽器データが、例えば座標位置に応じて色相環および色相環に対応した楽器分割領域の形で割り付けられており、色相環を入力画面に表示したうえで座標位置を変化させることで、新、表示色データおよび楽器データが得られる。色'楽器対応照合'決定部 40で、入力された座標データを色'楽器対応データベース 42と照合して、表示色データおよび楽器データを同時に決定する。 [0028] データ転送 ·保存部 26は、楽音データ生成部 22および楽器データ生成部兼表示色データ生成部 24から送られてくる、座標データを含むそれぞれのデータを一時的に記憶するデータ転送部 44とともに、必要に応じてそれらのデータを保存するデータ保存部 46を含む。

[0029] MIDI音源 28は、複数の種類の楽器についての楽音が含まれており、データ転送部 42の楽音データおよび楽器データの信号によって制御されて、選択された楽器の楽音信号を生成する。楽音信号によって音響装置 16で楽音を発生する。

一方、データ転送部 42の表示色データを含む座標データの信号によって、入力装置 12にお、て描かれた画像を表示装置 18で表示する。

音響装置 16と表示装置 18は、両者を同時に動作させ、あるいはいずれか一方のみを動作させることができる。

[0030] ここで、座標データの変化力もベクトルを算出し、ベクトルの変化に基づいて楽音を生成する方法について、図 2および表 1〜3をさらに参照して説明する。

[0031] 連続的にあるいは不連続に変化する座標データを所定時間間隔で動き算出部 20 の座標バッファ部 32に取り込む。ここでは、例えば、座標平面上で、図 2中左から右にペンを動力して、ある時刻における座標データ l (xl, yl, tl)、座標データ 1を取得した後、所定時間経過したときの座標データ 2 (x2, y2, t2)、座標データ 2を取得した後、所定時間経過したときの座標データ 3 (x3, y3, t3)が順次得られる状態を示すものとする。ここで、（xi, yj)は座標値を、 tkは時刻をそれぞれ示す。上記のように、時刻 tl、時刻 t2および時刻 t3は、所定の等時間間隔である。最新の座標データ 3は第 1バッファ部に取り込まれる。それに先立ち、座標データ 2が第 1バッファ部から第 2バッファ部へ、座標データ 1が第 2バッファ部力も第 1バッファ部へシフトされる。

[0032] ベクトル算出部 34の角度変化量算出部では、上記座標データ 1および座標データ 2から、すなわち、座標データ 1および座標データ 2の 2つの座標位置を結んでベタトル aを得、同様に座標データ 2および座標データ 3からベクトル bを得る。このとき、座標データ（xi, yj)の位置は、ペンの動きによって自由に変化し、このため、ベクトル b は、ベクトル aと異なったものとなりうる。すなわち、例えば、図 2に示すように時刻 tlから時刻 t2までの間にペンを一定の方向にゆっくり動かし、時刻 t2から時刻 t3までの間にペンを方向を変えて速く動かすと、ベクトル bは、ベクトル aに対して、スカラ値が大きくなるとともに、ベクトルの方向が変わる。このときの、所定の時間間隔で前後して得られる 2つのベクトルの方向の変化量を図 2中、角度変化量 Θで示す。

[0033] 楽音データ生成部 22の楽音データ決定部 36で、角度変化量 Θに応じて音の高さ

(音の高さデータ、音の高さパラメータ）が生成される。

角度変化量 Θは、ペンの動きに応じて ± 180度の値をとりうる。音の高さは、 MIDI データのノートナンバー（以下、 noteという。）を用いる。 noteは、例えば、 0〜127の数字で全音 (ピアノの白鍵)と半音 (ピアノの黒鍵)が配列されたものである。

表 1に示すように、角度変化量 Θの値に応じて noteを割り付けておくことで、ペンの動きに応じて全ての音の高さをとりうる。

[0034] [表 1]

[0035] ここで、楽音データ生成部 22の音楽理論データベース 38について合わせて説明する。

音楽理論データベース 38には、表 1の角度変化量 0に応じて全ての音の高さを指定できるデータのほかにさらに、例えば表 2に示す角度変化量 0に応じてコード上の音階 (ここでは Cコード)や、表 3に示す民族風音階 (ここでは沖縛音階)のデータが含まれる。

したがって、楽音を生成する際、音楽理論を適用する操作を行うことで、好みの旋韋を得ることができる。

[0036] [表 2]

Θ -40 -30 -20 -10 0 +10 20 +30 +40

note変化量 -17 -12 -8 -5 0 +4 +7 +12 +16

note 43 48 52 55 60 64 67 72 76 [0037] [表 3]

[0038] また、ベクトル算出部 34のスカラ量算出部では、ベクトル aおよびベクトル b力もそれぞれのスカラ量が算出される。そして、楽音データ生成部 22の楽音データ決定部 36 で、ベクトル aおよびベクトル bそれぞれのスカラ量に応じて音の強さ（音の強さデータ、音の強さパラメータ）が生成される。言い換えれば、ベクトルのスカラ量を変えることで音の強さを変えることができる。

座標平面の最大幅を 1とし、ペンを動力して得られるスカラ量を Lとするとき、 Lは 0 〜1の範囲内の値をとりうる。音の強さは、 MIDIデータのボリューム（以下、 volumeという。）を用い、 volumeは 0〜127の数字をとるものとする。

そして、スカラ量 Lと volumeとの関係を、例えば次の式のように設定することで、スカラ量に応じて音の強さが生成される。

volume = (1— L)

この場合、ペンをゆっくり動かすほどスカラ量 Lの値が小さくなり大きな音の強さが得られること〖こなる。

[0039] このとき、スカラ量 Lが閾値以下のときには、その前の時刻におけるスカラ量に応じて生成された音の強さを «続するように設定することで、音の長さ (テンポ)を生成することがでさる。

[0040] つぎに、表示装置 18を用いてペンで描いた絵を表示するときに、表示色を選択する方法について図 3を参照して説明する。

[0041] 図 3に示すように、座標平面の中心点を中心として 360度の角度範囲で色相 hが割り当てられた色相環が設定される。また、色相環は、座標平面の中心点に近いほど淡!、色となり、座標平面の中心点力遠、ほど鮮やかな色となるように彩度 sが割り当てられている。

そして、色選択ボタン等の色設定手段を操作して座標平面に色相環を表示し、ぺンを平面座標の現在の座標 P (X, y)の位置に置、た状態力も別の座標の位置に移動させて色相環の角度を変えることで表示色の色相を変えることができ、また、色相環の中心からの距離を変えることで表示色の彩度を変えることができる。なお、マウスを用いるときは、右ボタンをドラッグすることで、表示色を変えることができる。

[0042] このとき、ペンを動力さずに同一の座標に固定している時間の長さに応じて明度を変化させるように設定することで、所望の明度を得ることができる。

[0043] つぎに、表示色と楽器を対応させて、表示色に応じた楽器を選択する方法にっヽて、図 4および表 4〜表 8を参照して説明する。

[0044] 図 4に示すように、図 3の色相環を例えば 12分割して、各色 A〜Lに楽器を割り当てる。このとき、 MIDI音源 28の例えば表 4に示す音色マップの楽器番号（Program Nunber)を、表 5に示すようにそのまま機械的に割り当ててもよぐまた、表 6に示すように好みの楽器番号を割り当ててもよい。あるいはまた、例えば表 7に示すドラムセット番号 1のような、別途用意したドラムセット番号を表 8に示すように割り当ててもょ、。これにより、表示色の決定と合わせて楽器の種類を決定することができる。なお、画像表示を行わな!/、ときは、座標平面上の操作で楽器の決定のみ行うこともできる。

[0045] [表 4]

[0046] [表 5]

[0047] [表 6]

[0048] [表 7] 35 Acoust i c Bass Drun

Bass

37 Side St ick

38 Aoou&tiQ Snare

S9 Hand Chp

40 Electric Snare

l L。w Floor Tom

Z Closed Hi Hat

43 High F lonr torn

44 Peda l Ηΐ-Hat

45 low Tam

[0049] [表 8]

[0050] 以上説明した、表示色を選択するためのデータおよび楽器を選択するためのデータは、色'楽器対応データベース 42に含まれており、色'楽器対応照合'決定部 40によって、入力される座標データと照合されて、表示色および楽器が決定される。

[0051] つぎに、本発明の楽音生成装置 10による楽音の発生および画像の表示の処理について、図 5および図 6のフローチャートを参照して説明する。

[0052] 楽音生成装置 10を使用する操作者が、操作を開始すると (図 5中、 S1)、時刻、座標データ等の初期設定が行われる（図 5中、 S2)。

ついで、モード確認が行われ (図 5中、 S3)、操作者は希望により色選択を行う（図 5 中、 S22) ₀色選択の処理については後述する。色選択を行わない場合は、初期設定された色条件に基づいて、描画が行われることになる。

色選択を行わない場合、描画開始 (ドラッグ開始)の判断が行われ (図 5中、 S4)、引き続き、描画の初期化が行われ、初期の連続 2座標 (Pbuf3、 Pbuf2)が第 3、第 2バッファにシフトされる（図 5中、 S5)。描画を開始していないときは、モード確認のステツプ S3に戻る。 [0053] っ、で、描画がリズム (音の長さ、テンポ）に合致したタイミングで行われて、るかが判断される（図 5中、 S6)。

描画がリズムに合致したタイミングで行われていると、描画中の現在の座標 P (以下、現座標ということがある。）、すなわち、現座標データが取得され（図 5中、 S7)、引き続き、現座標 Pと直前の座標（Pbuf 2)とが比較される（図 5中、 S8)。

現座標 Pと所定時間過去である直前の座標（Pbuf 2)の値の差が閾値未満のときには、再び、描画がリズムに合致したタイミングで行われているかが判断されるステップ S6に戻る。一方、現座標 Pと直前の座標（Pbuf 2)の値の差が閾値以上のときは、現座標 Pが第 1バッファに代入される（Pbuf 1、図 5中、 S9)。ここで、座標の値が変わつているにもかかわらず直前の音が鳴っている場合、 note offを MIDI音源 28に送信する。すなわち、例えば管楽器のように音が自然に消えることなく継続される楽器を選んでいるときは、次の音を鳴らすために、直前の音 (今の音）が止められる（図 5中、 S10)。

[0054] 第 1乃至第 3バッファの座標データ（Pbuf l〜Pbuf3)から 2つのベクトルの角度変化量 Θおよびそれぞれのベクトルのスカラ量 Lが算出される（図 5中、 Sl l)。

ついで、ベクトルの角度変化量 Θおよびスカラ量 L、ならびに、初期設定され、あるいは選択された色、および色に対応して選択 (指定)された楽器等から、 MIDIデータと画面表示データが生成される（図 5中、 S12)。

[0055] 楽音生成装置 10は、この実施例では、複数の操作者が交代で描画し、楽音を作成し、その後、これら複数の描画および楽音を同時に再生することを想定しているため

、以下の処理を経る。

生成した各データは、リストに保存され、音が鳴っていた時間がデータに追加される (図 5中、 S13)。

ついで、各バッファは、後ろにシフトされる（図 5中、 S14)。さらに、生成したデータが規定量を超えた力どうかが判断される（図 5中、 S15)。生成したデータが規定量を超えていないときは、操作者が描画を終了した力どうかが判断され (図 5中、 S16)、操作者が描画を終了したとき、すなわち、ペンを離してドラッグを終了したときは、モード確認のステップ S3に戻る。一方、操作者が描画を継続しているときは、タイミング確認のステップ S6に戻り、さらに新たな座標が取得される。なお、操作者が 1人のみの場合は、ステップ S 15は省略され、ステップ S 16に進む。

生成したデータが規定量を超えた力どうかが判断されるステップ S 15で、生成したデータが規定量を超えるときは、さらに規定人数分に達した力どうかが判断され (図 5 中、 S17)、規定人数分に達したときは処理が終了され (図 5中、 S18)、一方、規定人数分に達していないときは別の操作者による操作が行われる（図 5中、省略。 )₀ [0056] 一方、 MIDIデータと画面表示データが生成されると（図 5中、 S12)、これらのデータに基づいて、リアルタイムで画面表示が行われ（図 5中、 S 19)、あるいは MIDIデータが MIDI音源に送られて（図 5中、 S20)、発音される（図 5中、 S21)。一方、保存したデータに基づいて、画面表示や発音を行うこともできる。このとき、操作者が複数の場合は、同一の画面に複数の描画が行われ、同時演奏 (セッション）が行われる。なお、操作者が複数の場合、複数の描画および同時演奏を同時に行ってもよぐ複数の描画および同時演奏のうちのいずれか一方のみを行ってもよい。

[0057] つぎに、色選択の処理にっ、て説明する。例えば、前記したペンダウン操作により色選択が開始されると（図 6中、 S23)、現在の座標 Pが取得される（図 6中、 S24)。っ、で、前記した色相環の有効範囲の中心点 Oと現在の座標 Pの位置関係が算出され（図 6中、 S25)、さらに、ペンを上げたかどうかが判断される（図 6中、 S26)。ペンを上げると、色相環の中心角に基づいて色相 h力色相環の中心点からの距離に基づいて彩度 sが、それぞれ決定され (図 6中、 S27)、色選択が終了し（図 6中、 S28)、描画を行うメインルーチンに戻る。

[0058] 一方、ペンを置いたままのときは、閾時間が経過したときの座標が先の座標 Pと同一かどうかが判断される（図 6中、 S29)。

そして、新たな座標が先の座標 Pと異なるときは、新たな座標が現在の座標として取得される（（図 6中、 S24) ₀一方、新たな座標が先の座標 Pと同一のときは、明度が最大値かどうか判断され、明度が最大値でないときは明度を上げた後に（図 6中、 S31) 、また明度が最大値のときは明度を最小値に下げた後に（図 6中、 S32)、それぞれペンを上げたかどうかが判断されるステップ S26に戻る。

[0059] なお、本発明の楽音生成装置 10において、複数人が別々に入力する代わりに、座標入力装置 12として複数人で座標データを入力できるデバイスを用い、主制御装置 14で複数の座標データを同時処理可能に構成してもよい。

また、本発明の楽音生成装置 10において、座標入力装置 12として 3次元マウス等の 3次元入力デバイスを用いることで、 3次元ベクトルに基づ、て楽音データを生成することができる。

また、本発明の楽音生成装置 10において、座標入力装置 12はカメラで捉えた物体の位置を座標データとして入力するものであってもよい。

また、本発明の楽音生成装置 10において、ベクトルのスカラ量の大きさ、言い換えればペンの動きの早さに応じて線のかすれを表現したり、選択スィッチ等を設けて、描く線の太さを変えることも可能である。

[0060] つぎに、本発明の楽音生成装置 10を複数基用いて構成する楽音生成システムについて、図 7および図 8を参照して説明する。

本発明の楽音生成システムは、上記の楽音生成装置 10の複数基が通信ネットヮークで結ばれ、複数基の楽音生成装置 10それぞれで楽音および画像を同時に生成し、あるいは、必要に応じて録画再生するものである。この場合、リアルタイムでデータを交信してもよぐあるいは、タイムラグを置いて、例えば 1つあるいは複数の楽音生成装置 10のデータを受信して録画した別の楽音生成装置 10で、録画した他のデータに自らのデータを重ねることもできる。また、楽音および画像を同時に生成する代わりに、楽音または画像のうちの、ずれか一方を同時に生成してもよ、。

[0061] 楽音生成システムの一つの例は、図 7に示すように、例えば 2基の楽音生成装置 1 0が通信ネットワーク（図示せず。図 8参照。）で直接に繋がれたものである。図 7中、参照符号 30aはタイマ 30を含むズム制御 ·同期部を示す。

それぞれの楽音生成装置 10で入力された座標データ群ならびに座標データに応じて生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群がそれぞれの楽音生成装置 10のデータ保存部 26に記録されるとともに、それらのデータ群が例えばリアルタイムで交信されて、リズム制御 ·同期部 30aで制御、同期されたデータ群に基づいて楽音および画像を同時に生成する。なお、この場合も、楽音および画像を同時に生成する代わりに、楽音または画像のうちのいずれか一方を同時に生成してもよい。

[0062] また、楽音生成システムの他の一つの例は、図 8に示すように、例えば 3基の楽音生成装置 10aがサーバ部 48を介して通信ネットワーク 50で繋がれたものである。この場合、データ保存部 46およびリズム制御 ·同期部 30bはサーバ部 48に設けられ、図 7の楽音生成システムと同様に、 3基の楽音生成装置 10のデータ群が例えばリアルタイムで交信されて、リズム制御 ·同期部 30bで制御、同期されたデータ群に基づいて楽音および画像を同時に生成する。なお、この場合も、楽音および画像を同時に生成する代わりに、楽音または画像のうちのいずれか一方を同時に生成してもよい。

[0063] 本発明の楽音生成システムによれば、離隔した地にいる複数人でセッションを行うことができる。

[0064] 本発明の楽音生成装置 10によれば、絵を描くことと演奏することが同時に行えるため、個人の楽しみを提供するほか、アーティストの新しい表現としても利用できる。また、本発明の楽音生成装置 10は、音楽の演奏のためだけに用途を限定するものではない。例えば、サイン等の文字を書くペンの動きを音声化することにより、新たなサイン認証や視覚障害者のための視覚情報の伝達手段として活用することができる。あるいは、手の動き力簡単に音を作り出すことができるため、リハビリテーションや高齢者のボケ防止等のツールとしても適用が可能である。同様に、子供の情操教育、色と音の学習などにも適用できる。

Claims

請求の範囲

[1] 座標データを入力する座標入力手段と、所定の時間間隔で前後して入力された 2 つの該座標データのベクトルを算出するベクトル算出手段と、算出された該ベクトルに基づいて楽音データを生成する楽音データ生成手段と、該座標データに基づいて楽器データを生成する楽器データ生成手段と、生成された楽音データおよび楽器データに基づいて音源を制御して楽器の楽音を出力する楽音出力手段とを備えることを特徴とする楽音生成装置。

[2] 前記楽器データ生成手段が、前記座標データおよび音楽理論データベースに基づいて楽音データを生成することを特徴とする請求項 1記載の楽音生成装置。

[3] 前記楽音データが音の高さ、音の強さ、音の長さ、音の左右バランスおよび音の揺れの中力選ばれる 1または 2以上であることを特徴とする請求項 1または 2記載の楽音生成装置。

[4] 前記座標入力手段により入力された前記座標データに対応して画像を表示する画像表示手段をさらに備えることを特徴とする請求項 1または 2記載の楽音生成装置。

[5] 前記座標データに基づ、て表示色データを生成する表示色データ生成手段をさらに備えることを特徴とする請求項 4記載の楽音生成装置。

[6] 前記座標データに基づいて楽器データを生成する楽器データ生成手段をさらに備え、該楽器データと前記表示色データとが対応付けられ、生成された該楽器データに基づいて音源を制御して楽器の楽音を出力することを特徴とする請求項 5記載の楽音生成装置。

[7] 別々に入力された座標データ群ならびに生成された楽音データ群、表示色データ群および楽器データ群からなるデータ群を記録し、該データ群に基づ!ヽて楽音および画像のうちのいずれか一方または双方を同時再生する記録再生手段をさらに備えることを特徴とする請求項 6記載の楽音生成装置。

[8] 請求項 6記載の楽音生成装置の複数基が通信ネットワークで結ばれ、該複数基の楽音生成装置それぞれで楽音および画像のうちのいずれか一方または双方を同時に生成することを特徴とする楽音生成システム。