JP2004233698A - 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム - Google Patents

Abstract

【課題】複数パートからなる曲の演奏または歌唱の練習等を行う際に、任意に選択したパートの演奏、楽譜表示、および曲に関連した動画像表示を行うことで、より効果的な演奏または歌唱ができるよう支援する。
【解決手段】ユーザは、楽曲再生するパート、表示する楽譜のパート、表示させる動画像をユーザインターフェース１０を介して指示し、選択部１４はかかる指示に応じたパート楽曲データ、パート楽譜データおよび動画像データを記憶部１５から選択して読み出す。出力制御部１７は、これらの選択されたデータに基づく楽曲再生、楽譜表示および動画像表示を同期させるよう出力タイミングを制御する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、演奏や歌唱を行う者を支援する音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラムに関する。
【０００２】
【従来の技術】
従来、ピアノやギターなどの楽器演奏練習や、歌唱の練習を行う場合、個人的に行われるのが一般的である。そして、複数パートの楽曲の演奏練習を行う場合、各パートの担当者の都合があえば合同で演奏練習を行うことも可能であるが、各々の担当者の都合があわない場合もあり、かかる場合には個人での練習を強いられることになる。そして、個人練習の場合には他のパートの伴奏等を聴くことなく、自己の担当するパートの楽曲演奏を行うといった手法がとられるのが一般的である。
【０００３】
しかしながら、個人練習を行う場合であっても、他のパートの演奏に合わせて自らの担当するパートの演奏練習を行う方が効果的である場合が多く、このような演奏練習が可能であると便利である。また、個人練習を行う場合にあっては、自己が担当するパートについて模範となる演奏を聴きながら演奏練習を行うことも効果的であると考えられる。
【０００４】
そこで、オーディオＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やカセットテープなどに、あるパートの楽曲のみを除いた他のパートの楽曲を録音した練習用記録媒体や、プロの演奏家の演奏をパートごとに録音した練習用記録媒体などが販売等されており、このような練習用記録媒体に録音された楽音を再生しながら個人で演奏を行うといった練習方法がとられることもあった。
【０００５】
また、複数のパートからなる曲データに基づく自動演奏する際に、特定の１つのパートを除く他のパートについて自動演奏を行う、いわゆるマイナスワン演奏を行う演奏練習装置も提案されており、かかる演奏練習装置を用いることで練習者は自己の担当するパート以外の自動演奏にあわせて演奏するといった練習方法が可能となる（例えば、特許文献１参照）。
【０００６】
【特許文献１】
特開２００１−１３４２６７号公報
【０００７】
【発明が解決しようとする課題】
しかし、上述したような演奏練習装置などを利用した演奏または歌唱の練習方法では、自らのパートの楽曲演奏等のためにそのパートまたは全パートの楽譜を用意しなくてはならない。
【０００８】
また、楽曲の演奏練習を行う場合にあっては、その楽曲演奏を行っているプロの演奏家の映像を参照したり、オーケストラにおいて演奏を行うための練習等を行う際には、指揮者や他の演奏者の動きの映像を参照しながら練習できると非常に効果的であると考えられるが、このような練習を行うための手法は提案されていない。上記のような映像を収録したビデオテープを作成し、これを再生することも考えられるが、楽曲演奏と同時にビデオテープの再生を開始させるといった煩雑な操作を行う必要があり、また再生されたテレビ画面等を参照しつつ、さらに楽譜を参照して練習を行わなくてはならず、かえって練習効率を悪化させてしまうおそれがある。
【０００９】
この発明は上記に鑑みてなされたもので、複数パートからなる曲の演奏または歌唱の練習等を行う際に、任意に選択したパートの演奏、楽譜表示、および曲に関連した動画像表示を行うことで、より効果的な演奏または歌唱ができるよう支援する音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラムを得ることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、複数パートからなる楽曲について、各々のパートの楽譜を表示するためのパート楽譜表示データと、各々のパートの楽音を発生させるためのパート楽音データと、前記楽曲に関連する動画像データを記憶する記憶手段と、ユーザの指示にしたがって、前記記憶手段に記憶されているデータの中から、１以上のパート楽譜表示データ、１以上のパート楽音データ、および動画像データを選択する選択手段と、前記選択手段によって選択されたパート楽譜データに基づく楽譜表示と、前記選択手段によって選択されたパート楽音データに基づく楽音発生と、前記選択手段によって選択された動画像データに基づく画像表示とを同期させて行う出力制御手段とを具備することを特徴とする音楽支援装置である。
【００１１】
請求項１にかかる発明によれば、ユーザが選択したパートの楽譜が表示され、ユーザが選択したパートの楽曲が再生されるとともに、ユーザが選択した楽曲に関連する動画像が楽曲再生に同期して再生されることになる。したがって、ユーザは楽曲再生音を聴きながら、楽譜および楽曲に関連する動画像（例えば、プロが演奏する様子、指揮者の様子等）を参照することができ、煩雑な操作を行うことなくより効果的な演奏練習などが可能となる。
【００１２】
また、請求項２にかかる発明は、請求項１にかかる発明の構成において、前記記憶手段は、１つの前記楽曲に関連して複数の動画像データを記憶しており、前記選択手段は、ユーザの指示にしたがって前記記憶手段に記憶された動画像データを選択し、前記出力制御手段は、前記選択手段によって選択された動画像データに基づく画像表示を行うことを特徴とする。
【００１３】
請求項２にかかる発明によれば、楽曲に関連した動画像データが複数あり、ユーザは必要に応じて動画像データを選択することができ、例えば指揮者の映像が見ながら演奏・歌唱をしたい場合はその様子を撮影した動画像、プロが演奏する様子を見ながら演奏等したい場合には、その様子を撮影した動画像といったように用途にあわせて再生させる動画像を選択することができる。
【００１４】
また、請求項３にかかる発明は、請求項２にかかる発明の構成において、前記選択手段は、ユーザの指示にしたがって楽曲の区間ごとに前記動画像データを選択し、前記出力制御手段は、前記選択手段によって区間ごとに選択された動画像データに基づく画像表示を行うことを特徴とする。
【００１５】
請求項３にかかる発明によれば、ユーザは、楽曲再生の区間毎に動画像を選択して楽曲再生中の各区間において自らが指定した動画像を再生表示させることができる。例えば、楽曲の先頭から所定時間といった自己が演奏する時間帯はプロの演奏している様子を撮影した動画像を参照し、演奏待機時間であるその後は指揮者の様子を参照しながら演奏練習等を行うといったことができるようになり、より効果的な練習を行うことができる。
【００１６】
また、請求項４にかかる発明は、請求項１ないし３のいずれかにかかる発明の構成において、前記出力制御手段は、ユーザからの入力内容にしたがって前記パート楽譜データに基づく楽譜表示の進行速度を調整することを特徴とする。
【００１７】
請求項４にかかる発明によれば、ユーザは自らが所望する楽譜表示の進行速度を調整することができるので、例えば楽曲進行よりもかなり早めに楽譜表示を進めたい、つまり楽曲の再生位置よりもかなり先の位置に相当する楽譜を見たい人はそのように調整することができ、逆に楽曲進行とほぼ同じタイミングで楽譜表示を見たい人はそのように調整するといったことができ、楽譜表示の進行タイミングの個人差を吸収することができる。
【００１８】
また、請求項５にかかる発明は、請求項１ないし４のいずれかにかかる発明の構成において、前記出力制御手段は、ユーザの演奏または歌唱内容にしたがってパート楽音データに基づく楽音発生の進行速度を調整することを特徴とする。
【００１９】
請求項５にかかる発明によれば、ユーザの演奏内容または歌唱内容にしたがって楽音発生の速度が調整されるので、楽音再生にあわせたユーザの演奏等の進行具合が遅い場合にはその進行具合に応じて楽音発生の進行速度を遅くすることもでき、このようにすることで初心者等も容易に練習することができるようになる。
【００２０】
また、請求項６にかかる発明は、請求項１ないし５のいずれかにかかる発明の構成において、ユーザの演奏または歌唱に対応する楽音データを入力する楽音データ入力手段をさらに具備し、前記記憶手段は、前記楽音データ入力手段によって入力された楽音データを、前記パート楽音データとして記憶することを特徴とする。
【００２１】
請求項６にかかる発明によれば、自らが演奏または歌唱した内容に対応する楽音データを新たに記憶手段に記憶させ、以降当該装置に楽音再生を行わせる際にユーザはその楽音データを選択することができる。
【００２２】
また、請求項７にかかる発明は、請求項１ないし６のいずれかにかかる発明の構成において、ユーザの発する音声を入力する音声入力手段と、前記音声入力手段によって入力された音声内容を解析し、ユーザの指示内容を決定する音声解析手段とをさらに具備することを特徴とする。
【００２３】
請求項７にかかる発明によれば、ユーザが発した音声によって何らかの指示を当該装置に与えることができ、楽器を所持している場合等キーボード操作等がしにくい場合においても何らかの指示を与えることができる。
【００２４】
また、請求項８にかかる発明は、請求項７にかかる発明の構成において、前記音声解析手段は、前記音声入力手段によって入力された音声の意味内容と、音高とを解析することを特徴とする。
【００２５】
請求項８にかかる発明によれば、ユーザがハミング等した場合、音声の意味内容だけでなく、音高が解析されるので、例えばユーザのハミング等のメロディからユーザの指示内容を特定することも可能となり、楽曲名を覚えていない場合でもハミングによって楽曲名を特定するといったことも可能となる。
【００２６】
また、請求項９にかかる発明は、クライアント装置からネットワークを介した要求に応じて楽譜データ、楽音データおよび動画像データを提供する音楽支援サーバであって、複数パートからなる楽曲について、各々のパートの楽譜を表示するためのパート楽譜表示データと、各々のパートの楽音を発生させるためのパート楽音データと、前記楽曲に関連する動画像データを記憶する記憶手段と、前記クライアント装置から前記ネットワークを介して供給される指示にしたがって、前記記憶手段に記憶されているデータの中から、１以上のパート楽譜表示データ、１以上のパート楽音データおよび動画像データを選択する選択手段と、前記選択手段によって選択されたパート楽譜データに基づく楽譜表示と、前記選択手段によって選択されたパート楽音データに基づく楽音発生と、前記選択手段によって選択された動画像データに基づく画像表示とが同期して行われるよう前記パート楽譜データ、前記パート楽音データおよび前記動画像データを前記ネットワークを介して前記クライアント装置に送信する送信手段とを具備することを特徴とする音楽支援サーバである。
【００２７】
請求項９にかかる発明によれば、ユーザがクライアント装置を用い、ネットワーク経由で選択したパートの楽譜がクライアント装置で表示され、ユーザが選択したパートの楽曲がクライアント装置で再生されるとともに、ユーザが選択した楽曲に関連する動画像がクライアント装置で楽曲再生に同期して再生されることになる。したがって、ユーザは楽曲再生音を聴きながら、楽譜および楽曲に関連する動画像（例えば、プロが演奏する様子、指揮者の様子等）を参照することができ、より効果的な演奏練習などが可能となる。
【００２８】
また、請求項１０にかかる発明は、請求項９にかかる発明の構成において、前記クライアント装置から前記ネットワークを介して送信される、ユーザの演奏または歌唱に対応する楽音データを受信する受信手段をさらに具備し、前記記憶手段は、前記受信手段によって受信された楽音データを、前記パート楽音データとして記憶することを特徴とする。
【００２９】
請求項１０にかかる発明によれば、自らが演奏または歌唱した内容に対応する楽音データを新たに記憶手段に記憶させ、以降当該音楽支援サーバに対して楽音再生のためのデータ送信を要求する際にユーザはその楽音データを選択することができる。また、他人が演奏または歌唱した内容に対応する楽音データが記憶手段に新たに記憶されていれば、そのデータを選択し配信を受けて再生することもできる。
【００３０】
また、請求項１１にかかる発明は、複数パートからなる楽曲について、各々のパートの楽譜を表示するためのパート楽譜表示データと、各々のパートの楽音を発生させるためのパート楽音データと、前記楽曲に関連する動画像データとを記憶する記憶手段に記憶されているデータの中から、ユーザの指示にしたがって１以上のパート楽譜表示データ、１以上のパート楽音データおよび動画像データを選択する選択ステップと、前記選択ステップで選択されたパート楽譜データに基づく楽譜表示と、前記選択ステップで選択されたパート楽音データに基づく楽音発生と、前記選択ステップで選択された動画像データに基づく画像表示とを同期させて行う出力制御ステップとを具備することを特徴とする音楽支援方法である。
【００３１】
請求項１１にかかる発明によれば、ユーザが選択したパートの楽譜が表示され、ユーザが選択したパートの楽曲が再生されるとともに、ユーザが選択した楽曲に関連する動画像が楽曲再生に同期して再生されることになる。したがって、ユーザは楽曲再生音を聴きながら、楽譜および楽曲に関連する動画像（例えば、プロが演奏する様子、指揮者の様子等）を参照することができ、より効果的な演奏練習などが可能となる。
【００３２】
また、請求項１２にかかる発明は、コンピュータを、複数パートからなる楽曲について、各々のパートの楽譜を表示するためのパート楽譜表示データと、各々のパートの楽音を発生させるためのパート楽音データと、前記楽曲に関連する動画像データとを記憶する記憶手段に記憶されているデータの中から、ユーザの指示にしたがって、１以上のパート楽譜表示データ、１以上のパート楽音データおよび動画像データとを選択する選択手段、前記選択手段によって選択されたパート楽譜データに基づく楽譜表示と、前記選択手段によって選択されたパート楽音データに基づく楽音発生と、前記選択手段によって選択された動画像データに基づく画像表示とを同期させて行う出力制御手段として機能させるためのプログラムである。
【００３３】
請求項１２にかかるプログラムをコンピュータに実行させることで、コンピュータを請求項１にかかる発明と同様の構成を有する装置として機能させることができる。したがって、ユーザは楽曲再生音を聴きながら、楽譜および楽曲に関連する動画像（例えば、プロが演奏する様子、指揮者の様子等）を参照することができ、より効果的な演奏練習などが可能となる。
【００３４】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラムの好適な実施の形態を詳細に説明する。
【００３５】
Ａ．第１実施形態
図１は、本発明の第１実施形態にかかる音楽支援装置の構成を示すブロック図である。同図に示すように、音楽支援装置１００は、ユーザインターフェース（Ｉ／Ｆ：ｉｎｔｅｒｆａｃｅ）１０と、音声解析部１１と、音声入力部１２と、楽曲データ変換部１３と、選択部１４と、記憶部１５と、楽音発生部１６と、出力制御部１７と、動画像再生部１８と、表示部２０とを備える。
【００３６】
ユーザインターフェース１０は、キーボードやマウス等を有しており、ユーザがこれらのデバイスを操作した際にはその操作内容に応じた指示等のデータを生成する。当該音楽支援装置１００では、ユーザはキーボード等のデバイスを操作することで、どのような楽曲の演奏や歌唱等を行うのか、複数のパートからなる楽曲の演奏練習等を行う際に、いずれのパートの演奏を行い、いずれのパートの楽譜を表示させ、どのような動画像を表示させるかといったことを指示することができるようになっている。また、ユーザは楽音発生等の停止、開始、早送り、巻き戻し、頭だし等の指示もユーザインターフェース１０を介して行うことができるようになっている。
【００３７】
音声入力部１２は、マイクロホン等を有しており、ユーザが発した音声から音声データを生成し、これを音声解析部１１または楽曲データ変換部１３に出力する。
【００３８】
音声解析部１１は、音声入力部１２から供給される音声データの内容を解析し、その解析結果をユーザインターフェース１０に出力する。より具体的には、図２に示すように、音声解析部１１は、音声認識処理部１１１と、メロディ検出処理部１１２と、指示内容特定部１１３とを有している。
【００３９】
音声認識処理部１１１は、供給される音声データに対して音声認識処理を行い、これをテキストデータに変換し、指示内容特定部１１３に出力する。メロディ検出処理部１１２は、供給される音声データに対してピッチ検出処理を行い、当該検出結果から音声データのメロディ情報を取得し、これを指示内容特定部１１３に出力する。
【００４０】
指示内容特定部１１３は、テキストとコマンドを対応つけたコマンドテーブル１１３ａと、楽曲の主要部分のメロディ情報と後述する記憶部１５に格納されている楽曲名とを対応つけたメロディテーブルを有しており、これらを参照することで、音声認識処理部１１１から供給されるテキストデータ、メロディ検出処理部１１２から供給されるメロディ情報に基づいて、コマンドを特定する、もしくは楽曲名を特定する。
【００４１】
すなわち、コマンドテーブル１１３ａ中に供給されたテキストデータと合致するテキストがある場合、当該テキストに対応つけられたコマンドを、出力コマンドとして特定し、これをユーザインターフェース１０（図１参照）に出力する。例えば、「停止」とユーザが声を発した場合には、「テイシ」といったテキストデータが取得され、これに対応する楽曲発生等の「停止」を指示するコマンドが特定される。なお、当該音楽支援装置１００は楽音発生中にあっては、その発生楽音も音声入力部１２から供給される音声データに含まれることになり、音声認識処理部１１１の認識精度に影響を与えることもある。よって、音声認識処理部１１１による処理前に、音声入力部１２から供給された音声データに含まれる信号成分から、その際に当該音楽支援装置１００が発していた楽音成分を除去する処理を行い、除去処理後のデータに基づいて音声認識処理を行うようにしてもよい。
【００４２】
また、メロディテーブル１１３ｂ中に供給されたメロディ情報と一致もしくは類似するメロディ情報がある場合には、当該メロディ情報に対応つけられた楽曲名を出力楽曲名として特定し、これをユーザインターフェース１０に出力する。
【００４３】
なお、メロディ情報の類似判定については、供給されたメロディ情報に示される各音高と、その発生タイミングが、メロディテーブル１１３ｂ中のメロディ情報を構成する基本音高、および基本発音タイミングと一致しないものの、そのずれが予め定められた一定の範囲内に収まる場合には類似として判断するといった手法を用いることができる。
【００４４】
図１に戻り、楽曲データ変換部（楽音データ入力手段）１３は、音声入力部１２から供給される音声データを予め決められたフォーマットの楽曲データに変換し、これを記憶部１５に出力する。より具体的には、後述する楽曲登録モードにおいては、ユーザが所定の楽曲演奏または歌唱を行い、その演奏音（または歌唱音）に対応する音声データが音声入力部１２によって生成される。楽曲データ変換部１３は、このように楽曲登録モード時に、音声入力部１２から供給される音声データを、後述する記憶部１５に記憶されている楽曲データと同じファーマットの楽曲データに変換し、これを記憶部１５に出力する。
【００４５】
記憶部１５は、例えばハードディスクドライブのような記録、読み出しが可能な記憶装置であり、図３に示すように、複数の楽曲の各々について、楽曲を再生するための楽曲データと、楽曲の楽譜データと、楽曲に関連する動画像データとが記憶されている。
【００４６】
より具体的には、複数パートからなる１つの楽曲について、パートごとに楽音発生を行うためのパート楽曲データと、パートごとに楽曲の楽譜を表示するためのパート楽譜データと、すべてのパートの楽譜を表示するための全パート楽譜データと、当該楽曲に関連する複数の動画像データとが記憶されている。
【００４７】
図示の例では、楽曲αは３つのパートからなっており、楽曲データについては、パートＡ、Ｂ、Ｃの各々に対応するパート楽曲データが記憶されている。また、楽曲αの楽譜データについては、各パートＡ、Ｂ、Ｃの楽譜を表示するためのパート楽譜データと、パートＡ、Ｂ、Ｃのすべての楽譜を表示するための全パート楽譜データと、つまり４つのデータが記憶されている。これらのパート楽譜データおよび全パート楽譜データは、楽譜を表示するためのページごとの画像データから構成されている。
【００４８】
さらに、楽曲αに関連する動画像データとしては、各パートＡ、Ｂ、Ｃの各々についてプロの演奏家が演奏する様子を撮影した動画像データ、当該楽曲をオーケストラ等で演奏する際の指揮者の様子を撮影した動画像データ、オーケストラ全体の様子を撮影した動画像データなどが記憶されている。
【００４９】
また、図４に示すように、記憶部１５に記憶されるパート楽曲データ、パート楽譜データ（全パート楽譜データを含む）および動画像データは、各々同期出力が可能となるよう対応付けがなされており、これらのデータの出力時にはかかる対応関係に基づいて出力制御が行われる。より具体的には、動画像データおよびパート楽曲データと、パート楽譜データとは、楽譜をページごとに表示させるページ番号の切り替えタイミングとが対応つけられている。すなわち、動画像データおよびパート楽曲データの、ページ番号の切り替えタイミング（図示の例では、０：５６と１：５２）にはそれぞれ２ページへ切り替え、３ページへ切り替えといった情報が記述されている。
【００５０】
また、パート楽譜データの各ページデータは、それぞれ楽曲データおよび動画像データの再生区間と対応つけられている。図示の例では、１ページと再生区間（０：００〜０：５２）、２ページと再生区間（０：５６〜１：５２）とが対応つけられている。このような対応つけがなされていることにより、楽曲再生や動画像データの再生を途中から開始した場合であっても、その再生内容に対応する楽譜のページを特定することができ、そのページを表示させるよう制御するといった同期出力制御が可能となる。なお、動画像データと、パート楽曲データとは、ともに時系列のデータであり、各々その再生時刻での対応関係があるのは明らかである。
【００５１】
また、記憶部１５は、上述したように楽曲データ変換部１３から楽曲データが供給された場合には、その楽曲データを記憶する。
【００５２】
図１に戻り、選択部１４は、ユーザインターフェース１０を介して入力されるユーザの指示にしたがって、記憶部１５に記憶されている指定された楽曲についてのパート楽曲データ、パート楽譜データまたは全パート楽譜データおよび当該楽曲に関連する動画像データを選択し、これを出力制御部１７に出力する。
【００５３】
より具体的には、選択部１４は、ユーザから楽曲αが指定されている場合においては、記憶部１５に記憶されている３つの各パートに対応するパート楽曲データの中から、ユーザが指定した１以上のパート楽曲データを選択し、これを読み出して出力制御部１７に出力する。また、ユーザの指定にしたがって記憶部１５に記憶されている３つのパート楽譜データまたは全パート楽譜データの中から、いずれかの楽譜データを選択し、これを読み出して出力制御部１７に出力する。また、ユーザの指定にしたがって記憶部１５に記憶されている４つの動画像データの中から動画像データを選択し、これを読み出して出力制御部１７に出力する。
【００５４】
出力制御部１７は、選択部１４から供給される１以上のパート楽曲データに基づく楽音発生、パート楽譜データ（または全パート楽譜データ）に基づく楽譜表示、および動画像データに基づく動画像表示が同期してなされるよう、各々のデータを楽音発生部１６、表示部２０および動画像再生部１８に出力する。
【００５５】
また、出力制御部１７は、ユーザインターフェース１０からユーザの指示等に応じて、表示部２０のディスプレイに、再生すべき楽曲、パート、表示すべき楽譜、表示すべき動画像等の選択をユーザに促すための選択画面等を表示部２０に表示させる。
【００５６】
楽音発生部１６は、音源、アンプおよびスピーカ等を有しており、出力制御部１７から供給されるパート楽曲データに基づく楽音を発生させる。ここで、楽音発生部１６は、同時に供給される複数のパート楽曲データに基づく楽音発生を同時に行うことができるようになっている。そして、楽音発生部１６は、ユーザによって複数のパート楽曲データが指定され、出力制御部１７からこれらのパート楽曲データが供給された場合には、各々のパート楽曲データに基づく楽音発生を同時に行う。つまり、楽音発生部１６によれば、複数のパート楽曲データに基づき複数パートからなる楽曲を再生することができるのである。
【００５７】
動画像再生部１８は、出力制御部１７から供給される動画像データに基づく動画像を表示部２０に表示させるための動画像信号を表示部２０に出力する。
【００５８】
表示部２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）等の表示ディスプレイを有しており、出力制御部１７から供給される楽譜を表示させる画像信号に基づく画像をディスプレイに表示させるとともに、動画像再生部１８から供給される動画像信号に基づく動画像をそのディスプレイに表示させる。
【００５９】
ここで、図５は、出力制御部１７から供給されるパート楽譜データに基づく画像信号と、動画像再生部１８から供給される動画像信号に基づく動画像表示がなされている場合の表示部２０に表示される画面の一例を示す。同図に示すように、この表示画面には、動画像表示欄４００と、楽譜表示欄４１０とが表示されており、動画像再生部１８からの動画像信号に基づく動画像は動画像表示欄４００に表示され、出力制御部１７からの画像信号に基づく楽譜画像は楽譜表示欄４１０に表示される。ユーザは、このように１画面上に表示される自らが選択した楽曲に関連する動画像と、自らが選択した楽曲のパートの楽譜とを参照しながら、楽器の演奏や歌唱練習を行うことができるのである。
【００６０】
以上が本実施形態にかかる音楽支援装置１００の構成であり、以下かかる構成の音楽支援装置１００をユーザが利用する際の動作について説明する。この音楽支援装置１００では、ユーザは自らが選んだ楽曲について、自らが選んだパートの楽曲再生、自らが選んだパートの楽譜表示、自らが選んだ動画像表示の同期出力を実現することができるようになっている。そして、このような同期出力される楽曲等にあわせてユーザは楽器を演奏したり、歌唱したりすることができるので、かかる音楽支援装置１００は演奏支援または歌唱支援装置としての機能を発揮する。このような同期出力の際の当該音楽支援装置１００の動作およびそれによって実現される音楽支援方法について図６を参照しながら説明する。
【００６１】
まず、ユーザがユーザインターフェース１０を介して同期出力をなすことを指示すると、かかる指示がユーザインターフェース１０から出力制御部１７に供給される。このような指示が入力されると、音楽支援装置１００では、図６に示すような処理が行われることになる。
【００６２】
なお、ユーザインターフェース１０を介した指示は、マウスやキーボード等を操作する指示であってもよいし、指示内容や選択内容を声やハミング（選択楽曲のハミング）で発することで音声入力部１２によって解析された指示であってもよい。このように声やハミングによって選択楽曲等を指示することができるので、ユーザは楽器から手を離せない状態であっても指示することができ、またハミングにより楽曲を指定選択できるので、ユーザが楽曲名をはっきりと覚えておらず、主要部分のメロディ等を覚えている場合にはそのメロディをハミングすることで楽曲の選択を行うこともできる。
【００６３】
同図に示すように、ユーザからの指示を受けると、出力制御部１７は、表示部２０に、楽曲の選択、および選択した楽曲について再生パート、楽譜表示パートおよび再生動画像の選択を促す画面を表示させる（ステップＳａ１）。例えば、図７に示すような選択画面を表示させる。同図に示す例では、楽曲名（楽曲α、β‥‥）ごとに、選択可能な楽曲パート、楽譜パート、動画像を識別する情報が表示されており、ユーザはこの選択画面を参照しながら、楽曲と、選択した楽曲について、１以上の楽曲パート、楽譜パートおよび動画像を、クリック等の操作によって選択することができる。
【００６４】
なお、上記のように１の画面上に、楽曲、選択可能な楽曲パート、楽譜パート、動画像を識別する情報を表示させるようにしてもよいが、選択可能な楽曲名を一覧表示し、ある楽曲が選択されると、その楽曲について選択可能な楽曲パート、楽譜パートおよび動画像を表示させるといったように階層的に選択画面を表示させるようにしてもよい。
【００６５】
以上のように選択画面を表示させると、ユーザからの選択指示を待ち受け、選択指示の有無を検出する（ステップＳａ２）。そして、ユーザインターフェース１０を介して選択指示があった場合、選択部１４は、選択された楽曲について、選択されたパート楽曲データ、パート楽譜データおよび動画像データを記憶部１５から読み出し（ステップＳａ３）、これらのデータを出力制御部１７に出力する。
【００６６】
そして、ユーザからの出力開始指示がある否かを検出し（ステップＳａ４）、出力開始指示があった場合には、出力制御部１７は、選択されたパート楽曲データに基づく楽音発生、選択されたパート楽譜データに基づく楽譜表示、および選択された動画像データに基づく動画像表示が最初から同期して行われるよう、パート楽曲データを楽音発生部１６に、パート楽譜データを表示部２０に、選択された動画像データを動画像再生部１８に出力する（ステップＳａ５）。
【００６７】
すなわち、選択されたパート楽曲データに基づく楽音発生部１６による曲の最初からの楽音再生が開始されるタイミングと、選択された動画像データに基づく最初の動画像表示が表示部２０になされるタイミングとが一致するよう各々のデータの楽音発生部１６および動画像再生部１８への出力開始タイミングを制御するとともに、これらの再生開始にあわせて１ページ目の楽譜が表示部２０に表示されるよう１ページ目の楽譜を表示するための画像信号を表示部２０に出力するのである。
【００６８】
以上のような出力タイミングで各データを楽音発生部１６、動画像再生部１８および表示部２０に出力した後、出力制御部１７は、楽音発生部１６による楽音発生および動画像再生部１８による再生処理の進行に合致する楽譜を表示部２０に表示させるべく、所定のタイミングで２ページ目、３ページ目といった後続ページの楽譜に対応する画像信号を表示部２０に出力する。より具体的には、パート楽曲データに基づく楽音発生と動画像データに基づく動画像再生との進行時刻が楽譜の各ページについて予め決められた時刻となった場合に、そのページを表示させるべく、そのページに対応する画像信号を表示部２０に出力する。なお、本明細書においては、このように楽曲再生の進行に合致した部分の楽譜を表示させることを楽曲再生に同期した楽譜表示と表現する。
【００６９】
パート楽曲データおよび動画像データとパート楽譜データとの間に、上記図４に示すような対応関係がある場合、楽音再生および動画再生時刻が０：５６になった時点で楽譜表示を１ページ目から２ページ目に切り替えるため、出力制御部１７が２ページ目の画像信号を表示部２０に出力する。また、再生時刻が１：５２になった時点で楽譜表示を２ページ目から３ページ目に切り替えるため、出力制御部１７が３ページ目の画像信号を表示部２０に出力する。
【００７０】
このように出力制御部１７は、楽音および動画再生時にはその進行タイミングに同期させて楽譜表示のページ切り替えがなされるよう出力タイミング制御を行うのである。
【００７１】
ここで、上記のように予め設定された切り替えタイミング（０：５６や１：５２）は、楽音発生部１６による楽音再生位置が、現在表示されているページの楽譜の最終小節に達したタイミング等、楽曲再生位置に対応する楽譜上の位置表示が現在表示されている楽譜の最終部分に近い位置となるよう設定されていることが好ましい。このようにすることで、表示ページの最終小節等に楽音再生が達したタイミングで次ページに表示が切り替わり、楽曲進行よりも若干早めに表示される楽譜を参照することができ、ユーザの演奏に資することになる。
【００７２】
また、上記のように同期出力が開始された後同期出力を行っている間、出力制御部１７は、ユーザから再生位置の変更指示があるか否かを検出する（ステップＳａ６）。そして、ユーザインターフェース１０を介して再生位置の変更指示があった場合、出力制御部１７は、指示された再生位置からの楽音発生、動画像再生および楽譜表示が同期してなされるよるデータの出力タイミングを制御する（ステップＳａ７）。
【００７３】
例えば、図８に示すように、スタートから「０：３０」のパート楽曲データに基づく楽音再生および動画像データに基づく動画像再生が行われている時に、ユーザから「１：３５」の時点から楽音再生および動画像再生を行う旨の指示を受けた場合、出力制御部１７は、「１：３５」からのパート楽曲データ（斜線部分）を楽音発生部１６に、「１：３５」からの動画像データ（斜線部分）の出力を開始させる。また、出力制御部１７は、指示されたタイミング「１：３５」に対応するページ（＝２ページ）の楽譜を表示させるため、２ページ目の楽譜を表示させるための画像信号を表示部２０に出力する。これにより表示部２０に指示直前の時点で表示されていた１ページの楽譜から、２ページ目の楽譜にその表示が切り替わるのである。
【００７４】
このように出力制御部１７は、再生時にユーザから再生位置の変更指示があった場合には、指示された再生位置からパート楽曲データに基づく楽音再生、動画像データに基づく動画像再生および楽譜表示が同期してなされるよう上記のような出力制御を行うのである。
【００７５】
また、上記のように同期出力を行っている間、出力制御部１７は、楽曲再生が終了したか否かを検出し（ステップＳａ８）、終了したと検知した場合には、当該処理を終了する。すなわち、ユーザによって選択されたパート楽曲データおよび動画像データの再生が最後まで終了した場合、もしくはユーザから強制終了の指示があった場合には、それを検出し、当該処理を終了する。なお、ユーザからの強制終了指示があった場合には、その指示にしたがい各部へのデータ等の出力を停止する等して楽音再生、動画像再生、楽譜表示等を終了させる。
【００７６】
以上が音楽支援装置１００によって行われる楽音再生、動画像再生および楽譜表示の同期出力処理の詳細である。かかる処理を行う音楽支援装置１００によれば、ユーザは表示部２０の一画面上にレイアウトされる動画像表示欄４００および楽譜表示欄４１０を参照することで、ユーザが選択した練習対象の楽器をプロが演奏している様子、指揮者の様子、オーケストラ全体の様子等楽曲に関連する映像と楽譜とを１画面上で参照しつつ、さらにユーザが選択したパートの楽曲再生を聴きながら演奏（または歌唱）練習を行うことができる。
【００７７】
また、以上のように１画面に表示される動画像は楽曲再生に同期しており、例えばプロが演奏した様子を示す動画像である場合には、楽音発生部１６による楽曲再生の進行に合致してプロが演奏する様子が映像として表示されることになる。また、指揮者の様子を示す動画像である場合には、楽曲再生の進行に合致した指揮者の様子が映像として表示されることになる。したがって、これらの様子を見ながら練習を行うことで、より効果的な練習が行えるものといえる。
【００７８】
さらに、上記のような楽曲の再生にあわせて自動的に楽譜表示が切り替わるようになっているので、ユーザは楽譜めくりといった作業を行う必要がなく、より演奏練習等に集中できる。
【００７９】
また、ユーザは、複数パートからなる楽曲の１以上のパートを必要に応じて選択して楽曲再生させることができるので、自己が演奏するパートを除いた楽曲再生、いわゆるマイナスワン再生を行わせることができ、個人であっても他のパートの楽曲と合わせて練習することができる。
【００８０】
また、楽曲の途中の位置から楽曲再生または動画像再生を指示すれば、その指示した位置から楽曲再生および動画像再生が同期して開始されるので、楽曲の途中から練習等を開始することも容易となる。また、このように途中開始の指示をした場合には、その指示位置に応じたページの楽譜が表示されるので、楽譜ページ送りや戻しといった操作を行う必要がない。
【００８１】
また、本実施形態にかかる音楽支援装置１００では、上記のように予め記憶部１５に記憶されているパート楽曲データに基づく楽曲再生だけではなく、自ら演奏（または歌唱）した楽曲を新たに楽曲データとして記憶部１５に登録し、かかる楽曲データに基づく楽音発生を、上記のように動画像再生と同期させて行うことができる。
【００８２】
より具体的には、ユーザがユーザインターフェース１０を介して新たな楽曲データを登録する旨を指示し、この指示に応じて当該音楽支援装置１００が楽曲登録モードに移行する。楽曲登録モードにおいては、ユーザが発した声、ユーザの演奏音などの音に基づいて、図１に示す音声入力部１２によって音声データが生成され、かかる音声データが楽曲データ変換部１３に供給される。
【００８３】
楽曲データ変換部１３では、この音声データを、記憶部１５に記憶されているパート楽曲データと同形式の楽曲データに変換し、記憶部１５に新たな楽曲データとして記憶させる。すなわち、楽音発生部１６によって楽音発生が可能な形式のデータに入力音声データを変換して記憶部１５に新たに記憶する。かかる楽曲データの形式がＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）である場合には、入力音声データに示される音声成分のピッチ検出を行い音高を求めるとともに、各音の発生・停止タイミングを求める。そして、これらの情報からＭＩＤＩデータを作成すればよい。
【００８４】
以上のように記憶させた自己の演奏に対応する楽曲データをパート楽曲データとして新たに登録することができ、登録したパート楽曲データを、予め記憶されている他のパート楽曲データとあわせて選択して楽曲再生を指示することで、ユーザは自らした演奏の再生音と、他のパートの楽曲再生音とからなる楽曲再生を聴くことができる。このような自己の演奏再生音を含む多パートの楽曲再生を聴くことで、例えば単独の自己の演奏音再生ではわからないミス等を見つけることも可能となる場合もあり、自己の演奏内容の反省等に役立てることができる。また、自己が演奏したパートと同じパートの楽曲データを選択し、同一パートについてデフォルトのパート楽曲データに基づく楽曲再生と、自己の演奏音から作成されたパート楽曲データに基づく楽曲再生とを行うことで、両者を聴き比べてミスを見つけるといった具合に利用することもできる。
【００８５】
Ｂ．第２実施形態
次に、本発明の第２実施形態にかかる音楽支援サーバについて説明する。図９は第２実施形態にかかる音楽支援サーバ９００による音楽支援サービスが実施されるネットワークシステムの全体構成を示す。同図に示すように、このネットワークシステムは、インターネット９１０に接続される音楽支援サーバ９００、クライアントＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）９２０、９３０を備える。
【００８６】
クライアントＰＣ９２０、９３０は、音楽支援サーバ９００によって提供される音楽支援サービスを受けるために、ユーザが利用するクライアント装置である。すなわち、複数パートからなる楽曲の各パートの中から任意に選択したパートの楽曲再生のためのデータと、任意に選択したパートの楽譜を表示するためのデータと、当該楽曲に関連する動画像データとを配信し、クライアント装置においてこれらのデータに基づく楽曲再生、動画像再生および楽譜表示を同期させて行うことを可能とする音楽支援サービスを受けるためにユーザが利用するＰＣである。
【００８７】
クライアントＰＣ９２０、９３０は、音楽支援サーバ９００から配信される楽曲データに基づく楽曲再生、動画像データに基づく動画像再生、および楽譜データに基づく楽譜表示を実現するためのソフトウェアまたはハードウェア（例えばＭＩＤＩ音源機能、動画像再生ソフトウェア、ＪＰＥＧ等の静止画表示機能等）を有している。
【００８８】
音楽支援サーバ９００は、通信インターフェース（Ｉ／Ｆ）９５０と、楽曲データ変換部１３と、選択部１４と、記憶部１５と、出力制御部１７とを備えている。
【００８９】
通信インターフェース９５０は、インターネット９１０を介してクライアントＰＣ９２０、９３０とデータの授受を行うインターフェースである。
【００９０】
楽曲データ変換部１３は、上述した第１実施形態と同様、入力音声データをＭＩＤＩ形式等の所定の形式の楽曲データに変換するものであり、本実施形態では、インターネット９１０および通信インターフェース９５０を介してクライアントＰＣ９２０、９３０等から供給された音声データを所定の楽曲データに変換し、これを記憶部１５に供給する。
【００９１】
記憶部１５は、上記第１実施形態と同様、複数の楽曲の各々について、複数のパート楽曲データ、パート楽譜データ、楽曲に関連する動画像データを記憶する（図３参照）。
【００９２】
選択部１４は、上記第１実施形態と同様、ユーザの指示にしたがって記憶部１５に記憶されている、指定された楽曲についての楽曲データのパート楽曲データ、楽譜データのパート楽譜データまたは全パート楽譜データおよび当該楽曲に関連する動画像データを選択し、これを出力制御部１７に出力する。
【００９３】
第２実施形態においては、ユーザはクライアントＰＣ９２０、９３０のユーザであり、選択部１４は、クライアントＰＣ９２０、９３０からインターネット９１０および通信インターフェース９５０を介して供給される選択指示内容にしたがってパート楽曲データ、パート楽譜データおよび動画像データを選択し、記憶部１５から選択したデータを読み出して出力制御部１７に出力する。
【００９４】
出力制御部（送信手段）１７は、選択部１４から供給される１以上のパート楽曲データに基づく楽音発生、パート楽譜データ（または全パート楽譜データ）に基づく楽譜表示、および動画像データに基づく動画像表示が、データの配信要求元のクライアントＰＣ９２０（クライアントＰＣ９３０）において同期してなされるよう、上記第１実施形態と同様の出力タイミング制御を行い、各々のデータを通信インターフェース９５０、インターネット９１０を経由して要求元であるクライアントＰＣ９２０（またはクライアントＰＣ９３０）に送信する。
【００９５】
以上が音楽支援サーバ９００による音楽支援サービスが実施されるネットワークシステムの構成であり、以下、クライアントＰＣ９２０から音楽支援サーバ９００に対してデータ配信要求が行われ、実際に音楽支援サービスが実施される際の当該ネットワークシステムの動作について図１０を参照しながら説明する。
【００９６】
まず、ユーザはＰＣ９２０においてブラウザを起動させる。そして、クライアントＰＣ９２０に対して所定の操作を行い、予め音楽支援サーバ９００にアクセスするためのアクセス情報（ドメイン名等）を指定してインターネットにアクセスさせる（ステップＳｂ１）。
【００９７】
クライアントＰＣ９２０からのアクセスを受けた音楽支援サーバ９００は、サービスを受けることができる者であるか否かを認証するためのパスワードや会員ＩＤ等を入力させる認証画面をクライアントＰＣ９２０に表示させ、認証情報等の入力を促す。そして、この際に入力された認証情報が正当であると判別した場合、音楽支援サーバ９００は、アクセスしてきたクライアントＰＣ９２０に対してインターネット９１０を介して楽曲等の選択ページ（Ｗｅｂページ）を送信し（ステップＳｂ２）、クライアントＰＣ９２０の表示画面に選択画面を表示させる。ここでの表示画面としては、上記第１実施形態と同様、図７に示すような選択画面を表示させるようにすればよい。
【００９８】
ユーザは、かかる選択画面を参照しながら、クライアントＰＣ９２０のマウス等を適宜操作して配信を希望する楽曲データのパート、楽譜データのパート、動画像を選択する。この選択操作がなされると、クライアントＰＣ９２０は、選択内容を含むデータの配信要求をインターネット９１０を介して音楽支援サーバ９００に送信する（ステップＳｂ３）。
【００９９】
選択内容を含むデータの配信要求を受けた音楽支援サーバ９００では、ユーザの選択内容にしたがって選択部１４が記憶部１５からパート楽曲データ、パート楽譜データおよび動画像データを選択して読み出し（ステップＳｂ４）、これを出力制御部１７に供給する。
【０１００】
音楽支援サーバ９００の出力制御部１７は、選択部１４によって選択されたパート楽曲データに基づく楽曲再生、パート楽譜データに基づく楽譜表示、および動画像データに基づく動画像再生がクライアントＰＣ９２０において同期して行われるよう、これらのデータをインターネット９１０を経由してクライアントＰＣ９２０に送信する（ステップＳｂ５）。すなわち、出力制御部１７は、クライアントＰＣ９２０において、パート楽曲データに基づく楽曲再生の開始タイミングと、動画像データに基づく動画像表示の開始タイミングが一致するよう、パート楽曲データと動画像データの送信制御を行うとともに、１ページ目の楽譜が表示されるよう１ページ目に対応する画像データを送信するのである。
【０１０１】
以上のような出力制御部１７の制御により送信されるパート楽曲データ、動画像データおよびパート楽譜データを受信したクライアントＰＣ９２０では、送信されるパート楽曲データおよび動画像データをリアルタイムで再生することで、上記第１実施形態と同様これらの同期再生を行うことができ、また送信されたパート楽譜データに基づく楽譜表示を行えば、楽曲再生位置に対応する楽譜表示がなされ（ステップＳｂ６）、上記第１実施形態と同様、クライアントＰＣ９２０の表示画面に図５に示すような画面が表示されることになる。
【０１０２】
また、以上のように音楽支援サーバ９００からのデータ配信を受けたクライアントＰＣ９２０が楽曲データに基づく楽曲再生等をしている間に、ユーザがクライアントＰＣ９２０に対して再生位置変更指示を行った場合には、その変更指示をクライアントＰＣ９２０からインターネット９１０を経由して音楽支援サーバ９００に送信する。そして、これを受けた音楽支援サーバ９００が上記第１実施形態と同様（図６のステップＳａ６、ステップＳａ７参照）、変更指示位置に応じたパート楽曲データ、動画像データおよびパート楽譜データをクライアントＰＣ９２０に送信することで、変更指示に応じた位置から楽曲再生等をクライアントＰＣ９２０において実行することができる。
【０１０３】
以上説明したように第２実施形態における音楽支援サーバ９００による音楽支援サービスを受けたクライアントＰＣ９２０では、ユーザはクライアントＰＣ９２０の表示画面を参照することで、ユーザが選択した練習対象の楽器をプロが演奏している様子、指揮者の様子、オーケストラ全体の様子等楽曲に関連する映像と楽譜とを１画面上で参照しつつ、さらにユーザが選択したパートの楽曲再生を聴きながら演奏（または歌唱）練習を行うことができる。
【０１０４】
また、上記第１実施形態と同様、以上のように１画面に表示される動画像は楽曲再生に同期しており、楽曲再生の進行に応じたプロの演奏や指揮者等の映像を見ながら練習を行うことで、より効果的な練習が行えるものといえる。また、楽曲の再生にあわせて自動的に楽譜表示が切り替わるようになっているので、ユーザは楽譜めくりといった作業を行う必要がなく、より演奏練習等に集中できる。さらには、ユーザは、複数パートからなる楽曲の１以上のパートを必要に応じて選択して楽曲再生させることができるので、自己が演奏するパートを除いた楽曲再生、いわゆるマイナスワン再生を行わせることができ、個人であっても他のパートの楽曲と合わせて練習することができる等、上記第１実施形態と同様、練習を効果的にするための種々の効果が得られる。
【０１０５】
また、本実施形態にかかる音楽支援サーバ９００による音楽支援サービスでは、予め記憶部１５に記憶されているパート楽曲データに基づく楽曲再生だけではなく、自ら演奏（または歌唱）した楽曲を新たに楽曲データとして音楽支援サーバ９００の記憶部１５にアップロードすることができるようになっており、かかる楽曲データに基づく楽音発生や、他人が他のクライアントＰＣからアップロードした楽曲データに基づく楽曲再生を、上記のように動画像再生と同期させて行うことができる。
【０１０６】
より具体的には、ユーザが、マイクロホンといった音声入力手段を備えたクライアントＰＣ９２０の前で楽器演奏や歌唱を行い、かかる演奏音（歌唱音）に対応する音声データをクライアントＰＣ９２０において保持しておく。
【０１０７】
そして、ユーザがクライアントＰＣ９２０を操作してインターネット９１０を介して音楽支援サーバ９００に接続し、所定の対話画面を参照しながら、適宜クライアントＰＣ９２０を操作することで、クライアントＰＣ９２０から音楽支援サーバ９００に対して新たな楽曲データをアップロードする旨の指示を送信する。
【０１０８】
かかる指示を受けた音楽支援サーバ９００では、アップロード要求をしてきたクライアントＰＣ９２０から音声データが供給されるのを待機する一方で、ユーザはクライアントＰＣ９２０を適宜操作し、上記のように作成しておいた音声データをクライアントＰＣ９２０からインターネット９１０を経由して音楽支援サーバ９００に送信する。
【０１０９】
クライアントＰＣ９２０から送信される音声データを受信した音楽支援サーバ９００では、この受信データが楽曲データ変換部１３（図９参照）によって所定の形式の楽曲データに変換され、新たなパート楽曲データとして記憶部１５に記憶される。
【０１１０】
以上のように音楽支援サーバ９００にアップロードした自己の演奏または他人がアップロードした演奏等に対応する楽曲データを新たにパート楽曲データとして登録することができ、このようにアップロードされたパート楽曲データを、予め記憶されている他のパート楽曲データとあわせて選択して楽曲再生を指示することで、ユーザは自らした演奏の再生音と、他のパートの楽曲再生音とからなる楽曲再生を聴くことができる。
【０１１１】
本実施形態では、上記のような手順でユーザが音楽支援サーバ９００にアップロードしたパート楽曲データを選択してその配信を受けることできるので、クライアントＰＣ９２０において他人がアップロードした楽曲データに基づく楽曲再生を行わせることもできる。したがって、例えば遠隔地にいる１つのグループに属する仲間同士（Ａさん、Ｂさん）で複数パートからなる楽曲の演奏練習を行う場合に、以下のように音楽支援サーバ９００による音楽支援サービスを利用することで、効果的な練習を行うことができる。
【０１１２】
すなわち、Ａさんがあるパートについて演奏した楽音を上記の手順でパート楽曲データとして音楽支援サーバ９００にアップロードし、Ｂさんが他のパートについて演奏した楽音を上記の手順でパート楽曲データとして音楽支援サーバ９００にアップロードすれば、Ａさん、Ｂさんは互いに他の者がアップロードしたパート楽曲データの配信を受けて自己が所持するクライアントＰＣ９２０によって、他の者の演奏音に対応する楽曲再生が可能となる。よって、遠隔地にいるＡさん、Ｂさんが相手の演奏音を聴きながら、自己のパートの演奏練習等を行うことができる。
【０１１３】
Ｃ．変形例
なお、本発明は、上述した第１実施形態および第２実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【０１１４】
（変形例１）
上述した各実施形態では、ユーザは１つのパート楽譜データを選択し、図５に示す表示画面においては、選択したパートの楽譜が楽譜表示欄４１０に表示されるようになっていたが、ユーザが２つ以上のパート楽譜データを選択し、図１１に示すように、選択された各パートの楽譜をそれぞれ１画面上で表示するようにしてもよい。同図に示す例では、２つのパートが選択された場合であり、選択されたパートの楽譜を第１の楽譜表示欄７００および第２の楽譜表示欄７１０に表示させるようにしてもよい。
【０１１５】
（変形例２）
また、上述した各実施形態では、ユーザは１つの楽曲について１つの動画像データを選択し、選択した動画像データに基づく動画像表示を楽曲再生に同期して行うようにしていたが、ユーザが２つ以上の動画像データを選択することができるようにしてもよい。
【０１１６】
この場合、図１２に示すように、楽曲再生時に選択された２つ以上の動画像データ（図示の例では２つ）に基づく動画像表示を、各々別の動画像表示欄８００、８１０に表示させるようにすればよい。このようにすることで、例えば動画像表示欄８００には、自己が演奏練習をするパートの楽器をプロが演奏している様子を表示させる一方で、動画像表示欄８１０には指揮者の様子を表示させるといったことができる。
【０１１７】
また、上記のように複数の動画像表示欄に選択した２以上の動画像データに基づく動画像表示を行うようにしてもよいが、図１３に示すように、動画像データを時間的な部分（区間）ごとに選択することで、２つ以上選択した動画像データを１つの動画像表示欄に表示させるようにしてもよい。例えば、プロがパートＡを演奏している様子を撮影した動画像データ（パートＡ）と、指揮者を撮影した動画像データ（指揮者）と、オーケストラ全体を撮影した動画像データ（オーケストラ）といった３つの動画像データを選択する際に、「０：００」〜「１：２５」の区間ａについては動画像データ（パートＡ）を選択し、「１：２５」〜「２：４４」の区間ｂについては動画像データ（指揮者）を選択し、「２：４４」〜の区間ｃについては動画像データ（オーケストラ）といった選択ができるようにしてもよい。
【０１１８】
そして、かかる選択がなされた場合、出力制御部１７は、スタート「０：００」〜「１：２５」までの区間ａについては動画像データ（パートＡ）を出力することで、図中斜線で示す動画像データ（パートＡ）に基づく動画像表示を行わせる。次に、「１：２５」の時点になると、出力制御部１７は出力するデータを動画像データ（パートＡ）から動画像データ（指揮者）に切り替え、図中斜線で示す「１：２５」の時点以降の動画像データ（指揮者）を出力することで、動画像データ（指揮者）に基づく動画像表示を行わせる。さらに、「２：４４」の時点になると、出力制御部１７は出力するデータを動画像データ（指揮者）から動画像データ（オーケストラ）に切り替え、図中斜線で示す「２：４４」の時点以降の動画像データ（オーケストラ）を出力することで、動画像データ（オーケストラ）に基づく動画像表示を行わせる。
【０１１９】
以上のようにすることで、例えば自己が演奏する時間帯（例えば、「０：００」〜「１：２５」）についてはプロの演奏している様子を表示させ、自己のパートの演奏がない時間帯については指揮者やオーケストラの映像を表示させるといったことができ、指揮者やオーケストラ全体を見ながら次に自己が演奏するタイミング等を把握する練習を行うこともできる。
【０１２０】
（変形例３）
また、上述した各実施形態では、ユーザの演奏音等を新たなパート楽曲データとして登録する際に、マイクロホン等で収音した音声データを所定の形式の楽曲データに変換するようにしていたが、これに限らず、ユーザが電子楽器を利用して演奏を行う場合には、電子楽器によって生成される楽音データ（例えばＭＩＤＩ楽器であればＭＩＤＩデータ）を音楽支援装置１００に供給するようにし、かかる楽曲データを記憶部１５に供給し、記憶部１５が新たなパート楽曲データとして登録するようにしてもよい。
【０１２１】
（変形例４）
また、上述した各実施形態では、ユーザからの指示に応じて楽曲の先頭、もしくは指示された位置からパート楽曲データに基づく楽曲再生と動画像データに基づく動画像表示とを同期させて行うようにしていたが、このような同期して行われる楽曲再生と動画像表示の進行速度を、ユーザの演奏の進行速度に応じて調整するようにしてもよい。
【０１２２】
より具体的には、音楽支援装置１００に、ユーザの演奏内容に関する情報をリアルタイムで取得する手段を設ける。例えば、ユーザがＭＩＤＩ楽器等の電子楽器で演奏を行う場合にはその電子楽器で演奏内容に基づいて生成される信号（ＭＩＤＩ信号等）を取得するインターフェースを設ける。マイクロホンによってユーザの演奏音（または歌唱音）を収音する場合は、その収音信号に対してピッチ検出等の情報処理を行い、音の発生・停止タイミングおよび音高に関する情報等を取得する手段を設ける。例えば、入力音声信号からＭＩＤＩ信号を生成するといったＭＩＤＩ信号生成装置等を用いることができる。
【０１２３】
そして、上記のような演奏音等に関する情報（ＭＩＤＩ信号等）をリアルタイムで取得した音楽支援装置１００の出力制御部１７は、ユーザの演奏の進行位置と、楽音発生部１６によって行われる楽曲再生の進行位置とを比較する。
【０１２４】
例えば、パート楽曲データがＭＩＤＩデータである場合には、ＭＩＤＩデータに記述されているノートオン、ノートオフタイミング、音高等の情報と、リアルタイムで供給されるユーザの演奏内容に応じた情報に示される音高、発音タイミング等を比較し、ユーザが楽曲中のどの位置を演奏しているかを判別する手法があり、このような手法を採用することでユーザの演奏位置を特定することができる。
【０１２５】
このようにユーザの演奏内容からその演奏位置（具体的には曲の先頭からの経過時間）を特定すると、それと現在の楽音発生部１６による再生位置とを比較し、ユーザの演奏位置が楽曲再生位置よりも所定時間（例えば、３秒）以上遅れている場合には、出力制御部１７がパート楽曲データの楽音発生部１６への出力を一時停止する。これにより楽曲再生速度を調整することができる。
【０１２６】
なお、このようにパート楽曲データの出力を一時停止した場合、出力制御部１７は、楽曲再生と動画像表示との同期を取るため、パート楽曲データの出力を停止する間は動画像データの動画像再生部１８への出力も一時停止する。
【０１２７】
以上のようにユーザの演奏（歌唱）に関する情報を取得し、その情報からユーザの演奏位置（歌唱位置）と、楽曲再生の位置とを比較し、演奏位置が送れている場合には楽曲再生の進行を停止するといったようにユーザの演奏位置に応じて楽曲再生の進行具合を調整することで、十分な速度で演奏できない初心者等にとって効果的な演奏練習ができるようになる。
【０１２８】
なお、音楽支援サーバ９００も、上記のようなユーザの演奏速度に応じた楽曲再生速度調整を行うようにしてもよい。この場合、ユーザは演奏に関する情報をクライアントＰＣ９２０からインターネット９１０を経由してリアルタイムで音楽支援サーバ９００に送信し、音楽支援サーバ９００がリアルタイムで供給される当該情報に基づいて、出力制御部１７が上記と同様のデータ出力タイミング制御を行うようにすればよい。
【０１２９】
（変形例５）
また、上述した各実施形態では、予めパート楽譜データに基づいて表示される楽譜の各ページの切り替えタイミングが設定されており（図４参照）、出力制御部１７は、楽曲再生および動画像表示の進行時刻が予め設定されたタイミングになると、ページを切り替えるようパート楽譜データの出力制御を行っていた。このように予め設定されたタイミングで楽譜の表示ページ切り替えがなされるようにしてもよいが、ユーザが楽譜の表示ページ切り替えタイミングを任意に設定できるようにしてもよい。
【０１３０】
例えば、ユーザがユーザインターフェース１０を介してページめくりタイミング設定を行う旨を指示すると、音楽支援装置１００がページめくりタイミング設定モードに移行するようにし、かかるモードでは音楽支援装置１００が以下のような処理を行うようにすればよい。
【０１３１】
まず、ページめくりタイミング設定モードでは、上記第１実施形態と同様、ユーザが指定したパート楽曲データ、パート楽譜データおよび動画像データに基づく楽曲再生、動画像表示および楽譜表示が行われるが、上記第１実施形態とは異なり、出力制御部１７は予め決められた楽譜ページの切り替えタイミング（図４の例では、「０：５６」等）になってもページ切り替えのための出力制御を行わない。そして、楽曲再生等の進行中において出力制御部１７は、ユーザインターフェース１０から供給されるユーザからのページ切り替え指示を待ち受け、ページ切り替え指示があったタイミングをページ切り替えタイミングとして新たに設定する。例えば、１ページ目から２ページ目の切り替え指示が、楽曲先頭から「０：５３」の時点でなされた場合には、その時間を２ページ目への切り替えタイミングとして設定し、以降当該楽曲の再生を行う場合には「０：５３」の時点で楽譜を２ページ目に切り替えるよう出力制御を行うのである。
【０１３２】
以上のように楽譜ページの切り替えタイミングをユーザが任意に設定することができるようにすることで、以下のような理由から、演奏者個々の癖などを考慮した効果的な練習を行うことができる。すなわち、楽器演奏の際に演奏者が楽譜のページをめくるタイミングは人それぞれ異なっている。例えば、演奏位置が現在表示されている楽譜の最終部分に達した時点でめくる人もいるし、早めにページめくりをする人もいる等様々であり、これらの人々にとって自分のタイミングでページがめくられないことは違和感を与えてしまうことになる。
【０１３３】
上記のようにページめくりタイミングを任意に設定することで、上記のようなページめくりタイミングの個人差を吸収することができ、個人の癖を考慮した効果的な練習が可能となる。
【０１３４】
（変形例６）
また、上述した第１実施形態では、パート楽譜データが楽譜をページ単位で表示するページ画像データを有しており、出力制御部１７がページ単位で画像データを表示部２０に出力することで、図５に示す楽譜表示欄４１０にページ単位で楽譜が表示されるようになっていた。このようにページ単位で楽譜を表示させる以外にも、図１５に示すように、楽曲再生の進行具合に応じて楽譜表示をスクロールするようにしてもよい。
【０１３５】
同図に示すように、最初の時点で選択したパートの楽譜の▲１▼、▲２▼、▲３▼、▲４▼という４段の楽譜が表示されていた場合（ａ）、楽曲再生が進行すると、楽譜表示がスクロールし、▲１▼の段が消えて新たに▲５▼の段が表示される（Ｂ）。さらに、楽曲再生が進行すると、楽譜表示がスクロールし、▲２▼の段が消えて新たに▲６▼の段が表示される（ｃ）。出力制御部１７が、以上のような楽曲再生の進行に合わせたスクロール表示がなされるといったように楽曲再生に同期した楽譜表示が行われるようパート楽譜データに基づく表示タイミングを制御するようにしてもよい。
【０１３６】
（変形例７）
また、上述した各実施形態において選択部１４や出力制御部１７が行っていたパート楽曲データ、パート楽譜データおよび動画像データの選択処理と、選択した各データの出力タイミング制御処理を、ＣＰＵといったコンピュータに実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ ＯｎｌｙＭｅｍｏｒｙ）などのコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。また、上記のような処理を行う専用のハードウェア回路によって実現する装置として構成し、ユーザに提供等するようにしてもよい。
【０１３７】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、ユーザは楽曲再生音を聴きながら、楽譜および楽曲に関連する動画像（例えば、プロが演奏する様子、指揮者の様子等）を参照することができ、より効果的な演奏練習などが可能となるという効果を奏する。
【０１３８】
また、請求項２にかかる発明によれば、楽曲に関連した動画像データが複数あり、ユーザは必要に応じて動画像データを選択し、それを楽曲再生に同期させて表示させることができるという効果を奏する。
【０１３９】
また、請求項３にかかる発明によれば、ユーザは、楽曲再生の区間毎に動画像を選択して楽曲再生中の各区間において自らが指定した動画像を再生表示させることができるという効果を奏する。
【０１４０】
また、請求項４にかかる発明によれば、ユーザは自らが所望する楽譜表示の進行速度を調整することができるという効果を奏する。
【０１４１】
また、請求項５にかかる発明によれば、ユーザの演奏内容または歌唱内容にしたがって楽音発生の速度が調整されるので、演奏速度の遅い初心者等も容易に練習することができるようになるという効果を奏する。
【０１４２】
また、請求項６にかかる発明によれば、自らが演奏または歌唱した内容に対応する楽音データを新たに記憶手段に記憶させ、以降当該装置に楽音再生を行わせる際にユーザはその楽音データを選択することができるという効果を奏する。
【０１４３】
また、請求項７にかかる発明によれば、ユーザが発した音声によって何らかの指示を当該装置に与えることができ、楽器を所持している場合等キーボード操作等がしにくい場合においても何らかの指示を与えることができるという効果を奏する。
【０１４４】
また、請求項８にかかる発明によれば、ユーザがハミング等した場合、音声の意味内容だけでなく、音高が解析されるので、例えばユーザのハミング等のメロディからユーザの指示内容を特定することも可能となり、楽曲名を覚えていない場合でもハミングによって楽曲名を特定するといったことも可能となるという効果を奏する。
【０１４５】
また、請求項９にかかる発明によれば、ユーザは楽曲再生音を聴きながら、楽譜および楽曲に関連する動画像（例えば、プロが演奏する様子、指揮者の様子等）を参照することができ、より効果的な演奏練習などが可能となるという効果を奏する。
【０１４６】
また、請求項１０にかかる発明によれば、自らが演奏または歌唱した内容に対応する楽音データや、他人が演奏または歌唱した内容に対応する楽音データを選択し配信を受けて再生することができるという効果を奏する。
【０１４７】
また、請求項１１にかかる発明によれば、ユーザは楽曲再生音を聴きながら、楽譜および楽曲に関連する動画像（例えば、プロが演奏する様子、指揮者の様子等）を参照することができ、より効果的な演奏練習などが可能となるという効果を奏する。
【０１４８】
また、請求項１２にかかる発明によれば、プログラムをコンピュータに実行させることで、ユーザは楽曲再生音を聴きながら、楽譜および楽曲に関連する動画像（例えば、プロが演奏する様子、指揮者の様子等）を参照することができ、より効果的な演奏練習などが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１実施形態にかかる音楽支援装置の構成を示すブロック図である。
【図２】前記音楽支援装置の構成要素である音声解析部の構成を示すブロック図である。
【図３】前記音楽支援装置の構成要素である記憶部に記憶されるデータの内容を示す図である。
【図４】前記記憶部に記憶される楽曲データ、楽譜データおよび動画像データの対応関係を説明するための図である。
【図５】前記音楽支援装置が動作時に表示部に表示される画面の一例を示す図である。
【図６】前記音楽支援装置が同期再生を行う際の処理手順を示すフローチャートである。
【図７】前記音楽支援装置の表示部に表示される画面の一例を示す図であり、ユーザの楽曲等の選択を促す画面である。
【図８】前記音楽支援装置に対し、再生位置の変更指示があった場合に当該音楽支援装置の処理内容を説明するための図である。
【図９】本発明の第２実施形態にかかる音楽支援サーバを備えたネットワークシステムの全体構成を示すブロック図である。
【図１０】前記音楽支援サーバによる音楽支援サービスを受ける際に、前記ネットワークシステムの動作を示すシーケンスフローチャートである。
【図１１】前記音楽支援装置の変形例の表示部に表示される画面の一例を示す図である。
【図１２】前記音楽支援装置の他の変形例の表示部に表示される画面の一例を示す図である。
【図１３】前記音楽支援装置のその他の変形例によって行われる動画像データの同期再生のための処理を説明するための図である。
【図１４】前記音楽支援装置のさらにその他の変形例の表示部に表示される楽譜の楽曲再生の進行具合による変化を説明するための図である。
【符号の説明】
１０ ユーザインターフェース
１１ 音声解析部
１２ 音声入力部
１３ 楽曲データ変換部
１４ 選択部
１５ 記憶部
１６ 楽音発生部
１７ 出力制御部
１８ 動画像再生部
２０ 表示部
１００ 音楽支援装置
１１１ 音声認識処理部
１１２ メロディ検出処理部
１１３ａ コマンドテーブル
１１３ｂ メロディテーブル
１１３ 指示内容特定部
９００ 音楽支援サーバ
９１０ インターネット
９５０ 通信インターフェース
９２０ クライアントＰＣ
９３０ クライアントＰＣ

Claims (12)

1. 複数パートからなる楽曲について、各々のパートの楽譜を表
   示するためのパート楽譜表示データと、各々のパートの楽音を発生させるためのパート楽音データと、前記楽曲に関連する動画像データを記憶する記憶手段と、
   ユーザの指示にしたがって、前記記憶手段に記憶されているデータの中から、１以上のパート楽譜表示データ、１以上のパート楽音データ、および動画像データを選択する選択手段と、
   前記選択手段によって選択されたパート楽譜データに基づく楽譜表示と、前記選択手段によって選択されたパート楽音データに基づく楽音発生と、前記選択手段によって選択された動画像データに基づく画像表示とを同期させて行う出力制御手段と
   を具備することを特徴とする音楽支援装置。
2. 前記記憶手段は、１つの前記楽曲に関連して複数の動画像データを記憶しており、
   前記選択手段は、ユーザの指示にしたがって前記記憶手段に記憶された動画像データを選択し、
   前記出力制御手段は、前記選択手段によって選択された動画像データに基づく画像表示を行う
   ことを特徴とする請求項１に記載の音楽支援装置。
3. 前記選択手段は、ユーザの指示にしたがって楽曲の区間ごとに前記動画像データを選択し、
   前記出力制御手段は、前記選択手段によって区間ごとに選択された動画像データに基づく画像表示を行う
   ことを特徴とする請求項２に記載の音楽支援装置。
4. 前記出力制御手段は、ユーザからの入力内容にしたがって前記パート楽譜データに基づく楽譜表示の進行速度を調整する
   ことを特徴とする請求項１ないし３のいずれかに記載の音楽支援装置。
5. 前記出力制御手段は、ユーザの演奏または歌唱内容にしたがってパート楽音データに基づく楽音発生の進行速度を調整する
   ことを特徴とする請求項１ないし４のいずれかに記載の音楽支援装置。
6. ユーザの演奏または歌唱に対応する楽音データを入力する楽音データ入力手段をさらに具備し、
   前記記憶手段は、前記楽音データ入力手段によって入力された楽音データを、前記パート楽音データとして記憶する
   ことを特徴とする請求項１ないし５のいずれかに記載の音楽支援装置。
7. ユーザの発する音声を入力する音声入力手段と、
   前記音声入力手段によって入力された音声内容を解析し、ユーザの指示内容を決定する音声解析手段と
   をさらに具備することを特徴とする請求項１ないし６のいずれかに記載の音楽支援装置。
8. 前記音声解析手段は、前記音声入力手段によって入力された音声の意味内容と、音高とを解析する
   ことを特徴とする請求項７に記載の音楽支援装置。
9. クライアント装置からネットワークを介した要求に応じて楽譜データ、楽音データおよび動画像データを提供する音楽支援サーバであって、
   複数パートからなる楽曲について、各々のパートの楽譜を表示するためのパート楽譜表示データと、各々のパートの楽音を発生させるためのパート楽音データと、前記楽曲に関連する動画像データを記憶する記憶手段と、
   前記クライアント装置から前記ネットワークを介して供給される指示にしたがって、前記記憶手段に記憶されているデータの中から、１以上のパート楽譜表示データ、１以上のパート楽音データおよび動画像データを選択する選択手段と、
   前記選択手段によって選択されたパート楽譜データに基づく楽譜表示と、前記選択手段によって選択されたパート楽音データに基づく楽音発生と、前記選択手段によって選択された動画像データに基づく画像表示とが同期して行われるよう前記パート楽譜データ、前記パート楽音データおよび前記動画像データを前記ネットワークを介して前記クライアント装置に送信する送信手段と
   を具備することを特徴とする音楽支援サーバ。
10. 前記クライアント装置から前記ネットワークを介して送信される、ユーザの演奏または歌唱に対応する楽音データを受信する受信手段をさらに具備し、
    前記記憶手段は、前記受信手段によって受信された楽音データを、前記パート楽音データとして記憶する
    ことを特徴とする請求項９に記載の音楽支援サーバ。
11. 複数パートからなる楽曲について、各々のパートの楽譜を表示するためのパート楽譜表示データと、各々のパートの楽音を発生させるためのパート楽音データと、前記楽曲に関連する動画像データとを記憶する記憶手段に記憶されているデータの中から、ユーザの指示にしたがって１以上のパート楽譜表示データ、１以上のパート楽音データおよび動画像データを選択する選択ステップと、
    前記選択ステップで選択されたパート楽譜データに基づく楽譜表示と、前記選択ステップで選択されたパート楽音データに基づく楽音発生と、前記選択ステップで選択された動画像データに基づく画像表示とを同期させて行う出力制御ステップと
    を具備することを特徴とする音楽支援方法。
12. コンピュータを、
    複数パートからなる楽曲について、各々のパートの楽譜を表示するためのパート楽譜表示データと、各々のパートの楽音を発生させるためのパート楽音データと、前記楽曲に関連する動画像データとを記憶する記憶手段に記憶されているデータの中から、ユーザの指示にしたがって、１以上のパート楽譜表示データ、１以上のパート楽音データおよび動画像データとを選択する選択手段、
    前記選択手段によって選択されたパート楽譜データに基づく楽譜表示と、前記選択手段によって選択されたパート楽音データに基づく楽音発生と、前記選択手段によって選択された動画像データに基づく画像表示とを同期させて行う出力制御手段
    として機能させるためのプログラム。

Images