JP2008233576A - 楽曲及び楽譜の映像化及び画像化の方法 - Google Patents

Abstract

【課題】 聴覚創作体系（音楽）にある楽曲及び楽譜を、視覚創作体系（美術、デザイン及び映像メディアなど）に利用される映像（動画）並びに画像（静止画）へと変換する方法を提供する。
【解決手段】 聴覚創作体系と視覚創作体系それぞれを構成する要因の内、両系に共通する要因を、両系を行き交うことを可能とさせる変換パラメータとし、それに則った置換アルゴリズムを用いることによって課題を解決させる。とくに請求項１の場合、楽曲を演奏する楽器１、あるいは楽曲を再生するオーディオ装置２によって発音された楽音は、音センサ（マイクフォン）３によって検知された後、変換パラメータ４のアルゴリズムがプログラムされてある演算処理装置５によって対応する色面に変換される。変換された色面は、視覚系出力装置６によってディスプレイ画面７に向けて映写あるいは投影される。
【選択図】 図１

Description

本発明は、楽曲及び楽譜を映像化もしくは画像化する方法に関する。

本発明は、聴覚創作体系（音楽）にある楽曲及び楽譜を、視覚創作体系（美術、デザイン及び映像メディアなど）に利用される映像（動画）並びに画像（静止画）へと変換する方法に関わるものであるが、これに関連すると思われる発明には、特開２０００−１７２２５２号「メディア変換装置」及び特開２００６−３３０９２１号「画像表示付き音楽装置」がある。尚、本発明の実施方法を構成する内の一つである、色相を構成する色と音律を構成する音階との変換方法例の一つは、本発明人が、先に日本国に出願した特開２００４−２１３３８３号「色と音階と感情素とを置換させる方法」（２００２．１２．１４出願）記載の方法を適用することにより実現する。また、本発明と起因を同じくする発明に、本発明の発明人が、先に日本国に出願した特願２００７−０６０１１１号「彩色用具を利用した演奏装置及び演奏方法」がある。

従来技術である「メディア変換装置」においては、楽曲の盗作認定作業のための類似性を測ることを目的とする装置であって、曲の楽譜を画像化（静止画）させることをその実施形態とするものであり、演奏中もしくは再生中の楽曲を、即時（リアルタイム）に変換させてくれるものではない。また、同じく従来技術である「画像表示付き音楽装置」においては、その画像生成手段を、音楽情報から抽出された構成要素をフ−リエ変換手段、すなわち楽曲を構成する楽音の周波数成分の振幅及び位相の算出によって導き出すものである。そのことはすなわち、数学的（人為的）な変換ル−ルに則って、音楽情報が画像情報に変換されるものである。
特開２０００−１７２２５２号公報 特開２００６−３３０９２１号公報 特開２００４−２１３３８３号公報 特願２００７−０６０１１１号

上記のように、「メディア変換装置」においては、即時性の問題があって、演奏中もしくは再生中の楽曲の即時的（リアルタイムな）変換の方法が示されていない。また該発明においては、音階と色情報との対応方法（変換法則）が具体的に示されていない問題がある。また「画像表示付き音楽装置」においては、楽曲の画像への変換法則が数学的な手段であり、それはすなわち人為的な変換ル−ルに基づいたものであって、視覚系と聴覚系それぞれに関連する事象（色や大小、あるいは生体における知覚系システムに基づく要因分析から得られたもの）、あるいは歴史的に継承されてきた属性もしくは科目を考慮したものであるとはいえない。

視覚、聴覚といった感覚器官及びその知覚系システムたちは、生物の進化の過程で分化して生まれてきたことが明らかにされており、そのことから、視覚系と聴覚系との間には共通する合理的秩序（体系）が存在する、という考えは妥当であるといえる。そしてその共通する合理的秩序に対して、視覚系と聴覚系との間を行き来することを可能とさせる回転軸（変換パラメータ）の機能を与えるならば、異なる知覚系にある要素を異なる知覚系において利用することが可能となるだろう。

上記仮説を起因とする本発明（上記仮説を起因とする発明に本発明人が先に日本国に出願した特願２００７−０６０１１１号「彩色用具を利用した演奏装置及び演奏方法」がある）は、聴覚系と視覚系それぞれを構成する要素、すなわち音楽を構成する属性あるいは科目と美術を構成する属性あるいは科目の要因分析を行い、その中から共通する特徴を持った要素同士を見いだし、それぞれを連結させて、それらを視覚系と聴覚系とに共通する合理的秩序として位置づけ、互いの系を双方向的に行き交うことを可能とさせる回転軸、すなわち変換パラメータとして位置づけた。

本発明は、上記で表した変換パラメータを利用して、楽曲及び楽譜の映像化もしくは画像化を可能とさせる方法を提供しようとするものである。

上記目的を達成するために、本発明は、循環移行性を持つ円環であり、共に波動に関わり、その円環１周の周波数が２倍（１オクタ−ブ）であり、それら円環を構成する要素の組み合わせによって得られた調子（詳しくは色調と音調）が人の情感に通じるなどの多くの特徴を共通項とすることから、視覚系にある色相と聴覚系にある音律とが、両知覚系に共通する合理的秩序体系、すなわち両系を行き交うことを可能とさせる主軸の変換パラメータとして位置づけた。

さらにまた、聴覚系にある音の長短に対応する視覚系の属性として色面の大小を当て、それを聴覚系と視覚系とに共通するもう一つの変換パラメータの一つとして位置づけた。

上記までの変換パラメータ（回転軸）をまとめると「色−音階」、「色相−音律」、「色面の大小−音の長短」である。

また、演奏もしくは再生との即時性を可能とさせる課題の解決策としては、映写ないしは投影させるディスプレイ画面の大きさを、楽曲を構成する１小節分の長さに対応させることによって解決させた。すなわち、曲の１小節が、視覚系出力装置に対応した画面（ディスプレイ画面ないしはプロジェクタ画面）の大きさに対応させ、その画面に対して、楽曲を構成する楽音を、時系列順に、連続的に映写ないしは投影していくという方法をとるのである。

本発明の第２請求項とは、上記までに表した変換パラメータである、「色−音階」、「色相−音律」、「色面の大小−音の長短」を統合的に利用し、楽曲及び楽譜における各楽音を、画像（静止画）として描写させるための方法である。

聴覚体系にある要素を、視覚体系に変換させることを可能とさせることは、音楽の創作活動において新たなる可能性を示してくれるばかりでなく、従来から区分されてあった視覚創作体系（美術）と聴覚創作体系（音楽）との互いの領域を融合し、新たなる創作体系の出現を促してくれるものと期待できる。

さらにまた、知覚系に関わる本発明は、情操教育のためのツールや手段として新たなる可能性を示してくれるばかりでなく、知覚系障害者を持つ人々においては、従来にはなかった有効なコミュニケーションツール、もしくはその開発の支援になるものと期待できる。

本発明の第１請求項は、演奏または再生されている楽曲の各楽音を、音の高低（音階）を色相、音の長短を色面の大小に対応させ、その色面パターンを視覚系出力装置よりディスプレイ画面上に即時に映写させるための方法を示している。

上記に示した変換パラメータを利用して、楽曲及び楽譜における各楽音を画像（静止画）として描写させるための方法は、よって独立して第２請求項にあたる発明となる。

本発明においては、聴覚系と視覚系とを行き交うことを可能とさせる変換パラメータすなわち聴覚系と視覚系とに共通する合理的秩序体系を利用しているため（詳しくは、音の高低を色相、音の長短を色面の大小に対応させる変換方法）、従来技術にある人為的な変換方法をとっていない。また、第１請求項の発明においては、上記の方法によって出現させた色面パタ−ンを、画面の大きさが曲の１小節分の長さに対応したディスプレイ画面に対して、楽曲を構成する総小節数分を連続的に映写あるいは投影することにより楽曲の即時的（リアルタイムな）変換を可能とさせている。

以下、本発明の実施形態を、図にしたがって説明する。

図１は、第１請求項の主要部分の構成図であって、楽器１あるいはオーディオ再生装置２と音センサ（マイクロフォン）３と変換パラメータ４のアルゴリズムがプログラムされてある演算処理装置５と視覚系出力装置６及びディスプレイ画面７によって構成されていることを示している。

楽曲を演奏する楽器１、あるいは楽曲を再生するオーディオ装置２によって発音された楽音は、音センサ（マイクフォン）３によって検知された後、変換パラメータ４を変換軸にすえた変換アルゴリズムがプログラムされてある演算処理装置５によって対応する色面に変換される。色面は、視覚系出力装置６によってディスプレイ画面７に向けて映写される。このとき、楽曲を演奏する楽器１が電子楽器である場合もしくは再生するオーディオ装置２が発音される音を電子情報として出力可能な装置であった場合、発音された音の電子情報は、上記変換アルゴリズムに準拠する電気回路を持った継電器にリレーされて直接的に色面へと変換される。尚、本発明の主体は、視覚系と聴覚系との要因分析的な変換アルゴリズムにあるので、光学（センサ）、電子、機構系の説明は省略する。

図２は、視覚系における合理的秩序（体系）である色相１と、聴覚系における合理的秩序（体系）である音律２とを表している。尚、色相１を構成する色と音律２を構成する音階との変換方法例の一つは、本発明人が、先に日本国に出願した特開２００４−２１３３８３号「色と音階と感情素とを置換させる方法」（２００２．１２．１４出願）記載の方法を適用することにより実現する。以下に、その概略を図３−図６にしたがい説明する。

図３は、色相とは色覚（視覚系システム）における三段階の生成プロセスである三原色化（赤，緑，青）、反対応答化（シアン、マゼンタ、黄色）、それに範疇化（三原色化及び反対応答化によって生成される都合６色の間を埋める色）によって成立する循環移行する色の体系であることを示している。

図４は、音律とは基音を鳴らすときに同時に鳴る基音の倍音（ハーモニクス）とによって構成されるものであるが、その生成プロセスは、長三和音、反対応答化、その他の半音の生成という順序を経て完成されることを示している。また、図５は、音律を構成する倍音の生成順序を、周波数の見地から詳細に示したものである。

図６は、「色と音階と感情素とを置換させる方法」に記載されている方法による色と音階との対応例である。色を音階へと変換する場合、色相と音律との生成プロセスに従い、先ず、色相の三原色化１色をハ長調における長三和音４に対応させ、色相の生成第２段階にある反対応答化２色が、音律の生成第２段階にある反対応答化５によって生成される音階、そしてさらに、色相の生成第３段階にある範疇化３色群が音律の生成第３段階にある半音化６群に対応させる。

詳しくは、色相の三原色化１である赤、緑、青が、音律の（ハ長調における）長三和音４であるド、ミ、ソに対応し、色相の反対応答化２であるシアン、マゼンタ、黄色が、音律の反対応答化５であるレ、ファ、ラに対応し、色相にある範疇化３群が音律の半音化６群に対応する。

「色と音階と感情素とを置換させる方法」に記載されている方法においては、曲の音調は、使用される基音及び長音階、短音階の違いによって適宜に対応する。

例えば、ハ長調における７つのハーモニクス（「ド」、「レ」、「ミ」、「ファ」、「ソ」、「ラ」、「シ」）に対応する色々を、図２の色相１に照らしてみると「赤」、「黄」、「緑」、「青緑（図６の範疇化３に照らした場合の緑と青との間にある範疇化色）」、「瑠璃色（図６の範疇化３に照らした場合のシアンと青との間にある範疇化色）」、「紫（図６の範疇化３における青とマゼンタとの間にある範疇化色）」、「紅色（図６の範疇化３に照らした場合のマゼンタと赤との間にある範疇化色）」となる。また、例えば基音がソである短音階であるならば（＝ト短調）、その「７つのハーモニクス」に対応する色々を、図２の色相１に照らしてみると「青（基音に対応する基本色）」、「マゼンタ」、「紅色（図６の範疇化３に照らした場合のマゼンタと赤との間にある範疇化色）」、「橙（図６の範疇化３に照らした場合の赤と黄との間にある範疇化色）」、「黄緑（図６の範疇化３に照らした場合の黄と緑との間にある範疇化色）」、「緑」、「シアン」となる。

本発明を実施する場合は、上記までに示された色と音階との置換アルゴリズム、すなわち変換パラメータ「色−音階」と「色相−音律」とを軸にすえた変換アルゴリズムを利用して色面を特定した次に、その色面の大きさを特定しなければならない。その手段に変換パラメータ「音の長短−色面の大小」の利用が必要となる。その利用方法を図７−図１０にしたがい説明する。

図７では、楽器もしくはオーディオ再生装置によって演奏ないしは再生された各楽音の長短が、対応する色面の大きさに関係していることを、演奏曲（再生曲）が四分の四拍子を例にして示した図である。

７−１は１小節内に四分音符が４個ある場合、７−２は１小節内に二分音符が２個ある場合、７−３は全音、７−４は１小節内に八分音符８個、７−５は１小節内に四分音符２個と十六分音符８個がある場合に対応したそれぞれの色面の相対的大きさを示している。７−６から７−１０においては、休符については色面が出力されないことを示している。

図８は、ディスプレイ画面内における色面の配分方法は、単位音符の長さに対応した色面（これを「単位面積」と呼称する）の大小とその数（＝拍子）とに関わることを示した図である。

例えば、単位音符が八分音符に相当する場合の色面の面積を８−１、単位音符が四分音符に相当する場合の色面の面積を８−２、また単位音符が二分音符に相当する場合の色面の面積を８−３のように相対化させた場合（このことは、八分音符を基準にして各単位音符に対応する面積を２倍ずつ、比率にしておおよそ１４１パーセントずつ変化させたということである）、単位音符が四分音符であって１小節が四分音符の４個分の長さ、すなわち四分の四拍子の曲を映像化しようとする場合の１小節の面積は８−４となり、単位音符が四分音符であって１小節が四分音符の２個分の長さ、すなわち四分の二拍子の曲を映像化しようとする場合の１小節の面積は８−５となり、単位音符が二分音符であって１小節が二分音符の２個分の長さ、すなわち二分の二拍子の曲を映像化しようとする場合の１小節の面積は８−６となり、単位音符が八分音符であって１小節が八分音符の６個分の長さ、すなわち八分の六拍子の曲を映像化しようとする場合の１小節の面積は８−７となる。

上記までにて大きさが特定された色面の表示時間は、対応する音の長短に準拠することになる。そのこと、すなわちディスプレイ画面上に映写ないしは投影される各色面の相対的な表示時間の具体例を図９に示した。例は、『月の砂漠』の冒頭から第９小節まで（９−１）を抜粋して、時系列的に示したものである（９−２）。

図１０における１０−１は、視覚系出力装置より映写ないしは投影されるディスプレイ画面の大きさは、楽曲の１小節分に対応し、その小節内（ディスプレイ画面内）に順次に現れる色面の例を『月の砂漠』の冒頭から第９小節までを例にして示した図である。各画面左上に記されている丸数字が、曲を構成する小節の順位を表している。

上記までを実施する場合、ディスプレイ画面内に表示される各色面の位置は、音階の順（音の高低順）に規定される。このとき、和音のように複数の楽音が同時に発音されてあるような部分の色面の対応は、重ねて出現させることとする。

図１０における１０−１の色面は、ディスプレイ画面左より右に向けて低い音階から高い音階順に配置されている。そのことを拡大表示して示したものが１０−２である。また１０−３は、音階が円環状に配置されている例を示している。１０−１、１０−２それぞれにある破線は振り分けられた各音階に対応する色面の中心位置を表していて、配置された色面の大きさ（音の長短の対応）は、ここを中心にして増減する。尚、本発明によって映像化しようとする楽曲に伴奏部分のある場合は、新たにディスプレイ画面を追加させるか、もしくはディスプレイ画面全体を、旋律部分（メロディ部分）と伴奏部分とに分割させて対応する。

図１１は、各音階（音律）が、旋律部分と伴奏部分とが並列する２個の四角いディスプレイ画面の周縁をそれぞれに周回する順序で配置される例を示した。尚、各色面のサイズ（大きさ）は、図８にある規定に倣った。すなわち三十二分、十六分、八分、四分、二分それぞれの音符の長短に対応する面積を２倍毎に変化させている（比率にしておおよそ１４１パーセント毎）。

１１−１の左側旋律部分における色面は音階「ド」の四分音符を表し、右側伴奏部分における色面が音階「シ」の八分音符を表している。１１−２の左側旋律部分における色面は音階「ド」の四分音符を表し、右側伴奏部分における色面は音階「ラ＃」の二分音符を表している。また１１−３の左側旋律部分における色面は音階「ミ」の二分音符を表し、右側伴奏部分における色面は音階「ラ」の三十二分音符を表している。同様に１１−４の左側旋律部分における色面は音階「ファ」の十六分音符を表し、右側伴奏部分における色面は音階「ソ＃」の四分音符を表している。

図１２は、図１１によって規定された音階の配置に則って映像変換させた楽曲の一部分（楽曲『ＴＳＵＮＡＭＩ』の第２小節部から第５小節部の２拍子目まで）を例にとり、それを１拍子毎にコマ取り（抜粋）したものの例である。

本発明における第２請求項は、上記までに示された色と音階との置換アルゴリズム及び音の長短と色面の大小との置換アルゴリズムに則って実施することとなる。その実施方法を図１３−図１５にしたがい説明する。

第２請求項を実施する場合は、先ず対象となる楽曲もしくは楽譜から曲の音調、曲の長さ及び１小節の長さを検知し、それに対応した色と色面の大きさ及び描画面のサイズを特定していくこととなる。

図１３は、色面を描画する描画面（描画される領域）は、楽曲もしくは楽譜より特定した１小節分に対応したサイズ（大きさ）内であることを示している（この描画面を「基本スコア」と呼称する）。

描画される色面のサイズは、音の長短に対応させ描画することになるが、その詳しい方法は、実施例１にて説明した図７と図８の内容に準じておこなう。

また楽曲ないしは楽譜を構成する楽音は、時系列順に連続して現れるのであるが、第２請求項においてそれらを画像（静止画）化していく場合、１小節毎（基本スコア毎）に描写し、その後に基本スコア（１小節分の領域）を、時系列順に連ねて描画していく方法を基本とする。その描画総面積がとりあつかう曲の長さに対応することとなる。

基本スコア内に描画される色面の配置位置は、音階順に特定されていてもそうでなくとも特に規定されることはない。このとき、和音が出現する部分は、和音の根音を選抜させることを基本とする。

なお基本スコアの形状は規定しない。また、描画された全体を鑑みて、基本スコアの連続を変化させた場合の方がより魅力的だと判断される場合は、基本スコアを時系列順に連ねて描画されなくともよい（基本スコアの配置を適宜に変化させてもよい）。また、とりあつかう楽曲が１小節部分のみの抜粋であったとしても、すなわち描画総面積が基本スコア１個であったとしても本発明の第２請求項の実施形態の内とする。

図１４は、上記までに示した第２請求項の具体的な実施例であって、楽曲『てんとう虫のサンバ』の楽譜（１４−１）を、基本スコア（１小節分）毎に画像化し、そのそれぞれに各楽音の長短に対応した色面を分配（１４−２）、さらにそのそれぞれの色面に対して音階に対応した色を彩色（１４−３、１４−４）、１４−５において、基本スコアの配列を適宜に変えてティッシュボックスのパッケージに図案化した例の図である。

第１請求項の主要部分の構成図である。 視覚系に色相と聴覚系における音律を表した図である。 色相の生成段階を表した図である。 音律の生成段階を表した図である。 周波数の見地から見た音律の生成順序の図である。 色相を構成する色と音律を構成する音階との対応を示した図である。 音の長短が、対応する色面の大小に関係していることを示した図である。 ディスプレイ画面内における色面の配分方法を示した図である。 映写される各色面の表示時間を時系列的に示した図である。 映写される各色面がディスプレイ画面内を順次に現れる例を示した図。 各音階が、ディスプレイ画面を周回する順序で配置される例を示した図。 楽曲を図１１に則って映像変換させたものの抜粋。 「基本スコア」を示した図である。 第２請求項の実施例を示した図である。

Claims (2)

1. 楽器もしくはオーディオ再生装置によって演奏または再生されている楽曲の各楽音を、音の高低（音階）を色相、音の長短を色面の大小に対応させ、その色面パターンを、曲１小節分の長さを画面大に対応させたディスプレイ画面に即時に映写あるいは投影させるための方法。
2. 楽曲及び楽譜における各楽音を、音の高低（音階）を色相、音の長短を色面の大小に対応させ、その色面パターンを、画像（静止画）として描写するための方法。