JP6380305B2 - データ生成装置、カラオケシステム、及びプログラム - Google Patents

Description

本発明は、楽曲において特定の人物が用いた歌い方の特徴を表すデータを生成する技術、及びそのデータを用いるカラオケシステムに関する。

従来、指定された楽曲の演奏中にマイクを介して入力された歌唱音声を出力すると共に、その歌唱音声を評価するカラオケ装置が知られている（特許文献１参照）。
この特許文献１に記載のカラオケ装置では、楽曲の曲データに含まれるガイドメロディデータをリファレンスとし、そのガイドメロディデータによって表される歌唱旋律の音高推移と、歌唱音声の基本周波数の推移とを比較した結果に基づいて基本得点を算出する。

特開２００７−３３４３６４号公報

しかしながら、従来の技術では、利用者による楽曲の歌唱音声を判定するために歌唱音声と比較する対象をガイドメロディデータによって表される歌唱旋律の音高推移としている。このように、ガイドメロディによって表される歌唱旋律の音高推移を比較対象とした場合、利用者が楽曲を歌唱する場合の歌い方の特徴を含む歌い回しを正当に評価できない。

すなわち、ガイドメロディデータによって表される歌唱旋律の音高推移は、歌唱音声に対する比較対象として適していないという課題がある。
そこで、本発明においては、楽曲を歌唱する特定の人物が用いる歌い方の特徴を正確に検出可能なデータを自動で生成することを目的とする。

上記目的を達成するためになされた本発明は、合成音取得手段と、合成推移導出手段と、オリジナル取得手段と、歌唱推移導出手段と、差分算出手段と、登録手段とを備える、データ生成装置に関する。

合成音取得手段は、歌唱合成音データを取得する。ここで言う歌唱合成音データとは、楽譜データと、歌詞データとに基づいて生成され、歌詞データによって表される歌詞を楽譜データによって表される楽譜通りに音声合成された合成音声である。また、楽譜データは、音高と音価との組み合わせからなる音符を複数有し指定された楽曲である指定楽曲の楽譜を表す。歌詞データは、指定楽曲を構成する複数の音符の少なくとも一部に割り当てられた歌詞を表す。

合成推移導出手段は、合成音取得手段で取得した歌唱合成音データから、合成音声の基本周波数の推移を表す歌唱合成ｆ０推移を導出する。さらに、オリジナル取得手段は、指定楽曲を特定の人物が歌唱した歌唱音声である歌唱音声データを取得する。

そして、歌唱推移導出手段は、オリジナル取得手段で取得した歌唱音声データから、歌唱音声の基本周波数の推移を表すオリジナルｆ０推移を導出する。差分算出手段は、合成推移導出手段で導出した歌唱合成ｆ０推移と、歌唱推移導出手段で導出したオリジナルｆ０推移との指定楽曲における時間軸に沿った差分を表す差分データを算出する。

さらに、登録手段は、差分算出手段で算出した差分データを記憶部に記憶する。
楽譜データは、音高と音価との組み合わせからなる音符を有したものであり、楽譜データには、指定楽曲において用いる歌唱技法などの歌い方の特徴は指示されていない。このため、合成音声は、歌唱技法などの歌い方の特徴が現れていない歌唱の音の推移となり、歌唱合成ｆ０推移は、合成音声の基本周波数の推移である。

一方、歌唱音声データは、特定の人物が指定楽曲を歌唱した場合の音声であり、その指定楽曲での特定の人物の歌い方の特徴が表出している。
したがって、データ生成装置にて算出される差分データには、特定の人物が用いた歌い方の特徴が表されることになり、特定の人物による歌い方の特徴を表すものとなる。

換言すると、データ生成装置によれば、特定の人物による歌い方の特徴を表すデータを自動で生成できる。
この結果、カラオケ装置においては、差分データを用いて、利用者の歌声を評価したり、歌唱の際に用いるべき歌い方の特徴を報知したりすることができる。

なお、ここで言う特定の人物とは、指定楽曲が歌唱するプロの歌手（いわゆるアーティスト）であってもよいし、プロの歌手ではなく一般の人物であってもよい。
データ生成装置は、技法判定手段と、技法データ生成手段とを更に備えていてもよい。

技法判定手段は、合成推移導出手段で導出した歌唱合成ｆ０推移と、歌唱推移導出手段で導出したオリジナルｆ０推移とを比較し、その比較した結果、歌唱合成ｆ０推移に対してオリジナルｆ０推移が示す歌唱音声データが、歌唱において用いられる各種の歌唱技法の条件として予め規定された技法条件を満たしているか否かを判定する。

また、技法データ生成手段は、技法判定手段での判定の結果、技法条件を満たしていれば、当該技法条件に適合する歌唱技法の種類及び歌唱技法を用いたタイミングを特定し、その特定した歌唱技法の種類及び歌唱技法を用いたタイミングを表す技法データを生成する。

そして、登録手段は、技法データ生成手段で生成した技法データと差分データとを指定楽曲における時間軸に沿って対応付けたデータである歌回データを、記憶部に記憶する。
このようなデータ生成装置によれば、指定楽曲において特定の人物が用いた歌唱技法の種類及び歌唱技法を用いたタイミングを表す技法データを生成できる。そして、データ生成装置によれば、その技法データと差分データとを対応付けたデータである歌回データを記憶部に記憶できる。

この結果、データ生成装置によれば、記憶部に記憶するデータの内容を充実させることができる。
また、技法データ生成手段は、技法判定手段にて比較した結果、技法条件を満たしていなかったとしても、歌唱合成ｆ０推移とオリジナルｆ０推移との間に予め規定された規定値以上の差違があれば、その差違の内容及び当該差違が存在するタイミングを技法データとして生成する。

このようなデータ生成装置によれば、技法条件を満たさない程度の差違であっても、その差違の内容を、指定楽曲を歌唱した特定の人物が用いた歌い方の特徴としてデータ化することができる。

この結果、データ生成装置によれば、特定の人物が用いる歌い方の特徴としてより細かな内容を歌回データに包含させることができる。
本発明は、合成音取得手段と、合成推移導出手段と、演奏実行手段と、オリジナル取得手段と、歌唱推移導出手段と、差分算出手段と、登録手段と、処理実行手段とを備えるカラオケシステムとしてなされていてもよい。

合成音取得手段は、歌唱合成音データを取得する。合成推移導出手段は、歌唱合成ｆ０推移を導出する。演奏実行手段は、楽譜データに従って、指定楽曲を演奏する。
オリジナル取得手段は、演奏実行手段により演奏される指定楽曲を特定の人物が歌唱した歌唱音声である歌唱音声データを取得する。歌唱推移導出手段は、オリジナルｆ０推移を導出する。差分算出手段は、歌唱合成ｆ０推移と、オリジナルｆ０推移との指定楽曲における差分データを算出する。

さらに、登録手段は、差分データを記憶部に記憶する。処理実行手段は、差分データに基づいて、指定楽曲の演奏に関して規定された処理である規定処理を実行する。
このようなカラオケシステムにおける差分データは、指定楽曲において特定の人物が用いた歌い方の特徴を表すデータである。

そして、カラオケ装置によれば、差分データに基づいて規定処理を実行することができ、指定楽曲の演奏に関して趣向性の高いものとすることができる。
処理実行手段は、演奏実行手段により指定楽曲が演奏される場合、記憶部に記憶された差分データに基づいて、指定楽曲を歌唱した特定の人物が用いた歌い方の特徴を報知する報知処理を規定処理として実行する。

このようなカラオケシステムによれば、特定の人物が用いた歌い方の特徴を報知できる。
さらに、カラオケシステムにおいては、歌声取得手段と、歌声推移導出手段とを備えていてもよい。

歌声取得手段は、演奏実行手段による指定楽曲の演奏中にマイクを介して入力された音声である歌声データを取得する。歌声推移導出手段は、歌声取得手段で取得した歌声データに基づいて、歌声の基本周波数の推移を表す歌声ｆ０推移を導出する。

さらに、処理実行手段は、歌声推移導出手段で導出した歌声ｆ０推移に基づく処理を規定処理として実行する。
このようなカラオケシステムによれば、歌声ｆ０推移に基づく処理を規定処理として実行できる。

また、カラオケシステムにおける処理実行手段は、差分生成手段を備えていてもよい。この差分生成手段では、歌声推移導出手段で導出した歌声ｆ０推移と、合成推移導出手段で導出した歌唱合成ｆ０推移との指定楽曲における時間軸に沿った差分を表す歌唱差分データを生成する。

さらに、処理実行手段では、差分生成手段で生成した歌唱差分データと、記憶部に記憶されている差分データとを比較し、その比較の結果、一致度が高いほど高い評価とする評価処理を規定処理として実行してもよい。

このようなカラオケシステムによれば、歌唱差分データと差分データとの一致度が高いほど、高く評価できる。この結果、カラオケシステムによれば、指定楽曲を歌唱した特定の人物の歌い方をより高い再現性で実現した場合ほど、高い評価とすることができる。

なお、カラオケシステムにおける処理実行手段は、記憶部に記憶されている差分データに基づいて、特定の人物が指定楽曲を歌唱した歌声に近づくように、歌声推移導出手段で導出した歌声ｆ０推移を変更し、その変更した歌声ｆ０推移に基づく音声を出力する変更処理を、規定処理として実行する。

このようなカラオケシステムによれば、特定の人物が指定楽曲を歌唱した歌声に近づくように、利用者の歌声を変更して出力できる。
本発明は、合成音取得手順と、合成推移導出手順と、オリジナル取得手順と、歌唱推移導出手順と、差分算出手順と、登録手順とを、コンピュータに実行させるプログラムとしてなされていても良い。

このように、本発明がプログラムとしてなされていれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータをデータ生成装置として機能させることができ、特定の人物が用いた歌い方の特徴を表すデータを生成できる。

なお、ここで言う記録媒体には、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。

カラオケシステムの概略構成を示すブロック図である。 楽曲解析処理の処理手順を示すフローチャートである。 差分データの概要を説明する説明図である。 歌唱技法判定処理の処理手順を示すフローチャートである。 演奏処理の処理手順を示すフローチャートである。 歌唱技法の表示の一例を示す図である。 変更音声の一例を示す図である。 評価方法の一例を示す図である。 実施形態の効果を説明する図である。 実施形態の効果を説明する図である。 実施形態の効果を説明する図である。

以下に本発明の実施形態を図面と共に説明する。
＜システム構成＞
図１に示すカラオケシステム１は、情報処理装置２と、情報処理サーバ１０と、カラオケ装置３０とを備えている。カラオケシステム１では、情報処理装置２にて生成した歌回データＥＭが情報処理サーバ１０に記憶され、カラオケ装置３０において、指定された楽曲を演奏すると共に、情報処理サーバ１０に記憶された歌回データＥＭに基づく処理を実行する。

なお、ここで言う楽曲とは、音高と音価との組み合わせからなる音符を複数有した楽曲のうち、楽曲を構成する複数の音符の少なくとも一部に歌詞が割り当てられた楽曲である。

また、ここで言う歌回データＥＭとは、楽曲を歌唱する特定の人物の歌い方における特徴を表すデータである。この歌回データＥＭは、情報処理装置２に記憶された楽曲データＷＤと、ＭＩＤＩ楽曲ＭＤとに基づいて、情報処理装置２にて生成される。

カラオケシステム１が備えるカラオケ装置３０は、図１に示すように、複数であってもよいし、単数であってもよい。
＜楽曲データ＞
楽曲データＷＤは、楽曲ごとに予め用意されたものである。楽曲データＷＤは、楽曲管理情報と、原盤波形データとを備えている。楽曲管理情報は、楽曲を識別する情報であり、楽曲ごとに割り当てられた固有の識別情報である楽曲ＩＤを有する。

原盤波形データは、楽曲の演奏音の推移を表す音声データである。ここで言う楽曲の演奏音には、複数の楽器の演奏音と、歌唱旋律をプロの歌手が歌唱した歌唱音声とを含む。また、音声データは、非圧縮音声ファイルフォーマットの音声ファイルによって構成されたデータであっても良いし、音声圧縮フォーマットの音声ファイルによって構成されたデータであっても良い。

なお、以下では、原盤波形データに含まれる歌唱音声の推移を表す音声波形データを歌唱音声データと称す。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、楽譜データと、歌詞データとを有している。

楽譜データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この楽譜データは、楽曲ＩＤと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックとを有している。

そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音価と称す）とが規定されている。楽譜トラックにおける音価は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。

すなわち、楽譜トラックでは、ノートナンバーと、ノートオンタイミング及びノートオフタイミングによって表される音価とによって、１つの音符ＮＯが規定される。そして、楽譜トラックは、音符ＮＯが演奏順に配置されることによって、１つの楽譜として機能する。

本実施形態における楽譜トラックとして、少なくとも、歌唱旋律を表すメロディラインを担当する特定の楽器の楽譜トラックが用意されている。この特定の楽器の一例として、ヴィブラフォンが考えられる。

歌詞データは、楽曲の歌詞に関するデータである。歌詞データは、歌詞テロップデータと、歌詞出力データとを備えている。歌詞テロップデータは、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを、楽譜データの演奏と対応付けるタイミング対応関係が規定されたデータである。

本実施形態におけるタイミング対応関係では、楽譜データの演奏を開始するタイミングに、歌詞テロップデータの出力を開始するタイミングが対応付けられている。さらに、タイミング対応関係では、楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、楽譜データの演奏開始からの経過時間によって規定されている。これにより、楽譜トラックに規定された個々の演奏音の音符と、歌詞構成文字それぞれとが対応付けられる。
＜情報処理装置＞
情報処理装置２は、入力受付部３と、情報出力部４と、記憶部５と、制御部６とを備えた周知の情報処理装置である。この情報処理装置２の一例として、周知のパーソナルコンピュータが考えられる。

入力受付部３は、外部からの情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、可搬型の記憶媒体（例えば、ＣＤやＤＶＤ、フラッシュメモリ）に記憶されたデータを読み取る読取ドライブ、通信網を介して情報を取得する通信ポートなどである。情報出力部４は、外部に情報を出力する出力装置である。ここでの出力装置とは、可搬型の記憶媒体にデータを書き込む書込ドライブや、通信網に情報を出力する通信ポートなどである。

記憶部５は、記憶内容を読み書き可能に構成された周知の記憶装置である。記憶部５には、楽曲データＷＤとＭＩＤＩ楽曲ＭＤとが、共通する楽曲ごとに対応付けて記憶されている。

制御部６は、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ７は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ８は、処理プログラムやデータを一時的に記憶する。ＣＰＵ９は、ＲＯＭ７やＲＡＭ８に記憶された処理プログラムに従って各処理を実行する。

本実施形態のＲＯＭ７には、記憶部５に記憶されている楽曲データＷＤとＭＩＤＩ楽曲ＭＤとに基づいて、歌回データＥＭを生成する楽曲解析処理を、制御部６が実行するための処理プログラムが記憶されている。
＜情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。

このうち、通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。

記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、複数のＭＩＤＩ楽曲ＭＤが記憶される。さらに、記憶部１４には、情報処理装置２が楽曲解析処理を実行することで生成された歌回データＥＭが記憶される。なお、図１に示す符号「ｎ」は、情報処理サーバ１０の記憶部１４に記憶されているＭＩＤＩ楽曲ＭＤ及び歌回データＥＭを識別する識別子であり、１以上の自然数である。

制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２は、それぞれ、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９と同様に構成されている。
＜カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。

通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。

楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。
音声制御部４０は、音声の入出力を制御するデバイスである。音声制御部４０は、出力部４２と、マイク入力部４４とを備えている。マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、利用者の歌唱音を取得する。出力部４２にはスピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から出力される音源信号を音に換えて出力する。

映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像の出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。

制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６は、それぞれ、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９と同様に構成されている。

そして、ＲＯＭ５２には、演奏処理を制御部５０が実行するための処理プログラムが記憶されている。演奏処理は、指定楽曲を演奏すると共に、その指定楽曲に対応する歌回データＥＭに基づく規定処理を実行する処理である。なお、規定処理とは、指定楽曲の演奏に関して規定された処理であり、歌回データＥＭに基づいて実行される処理である。
＜楽曲解析処理＞
情報処理装置２が実行する楽曲解析処理について図２を用いて説明する。この楽曲解析処理は、予め規定された起動指令が入力されると起動される。起動指令は、例えば、プロの歌手が歌う歌唱音声を含む原盤波形データを読み込んだときに入力される。あるいは、利用者の歌唱音がマイク入力されたときに入力される。

そして、楽曲解析処理が起動されると、制御部６は、図２に示すように、まず、楽曲ＩＤを取得する（Ｓ１１０）。このＳ１１０にて取得する楽曲ＩＤは、歌回データＥＭの生成対象となる楽曲を表す楽曲ＩＤであり、入力受付部３を介して入力された楽曲に対応する楽曲ＩＤである。なお、Ｓ１１０で取得した楽曲ＩＤに対応する楽曲が、指定楽曲である。

また、楽曲解析処理では、制御部６は、Ｓ１１０で取得した楽曲ＩＤが含まれるＭＩＤＩ楽曲ＭＤを取得する（Ｓ１２０）。さらに、制御部６は、Ｓ１２０で取得したＭＩＤＩ楽曲ＭＤに含まれる歌詞データを取得する（Ｓ１３０）。

続いて、楽曲解析処理では、制御部６は、Ｓ１２０で取得したＭＩＤＩ楽曲ＭＤに含まれる楽譜データと、Ｓ１３０で取得した歌詞データとに基づいて、歌唱合成音データを生成して取得する（Ｓ１４０）。ここで言う歌唱合成音データとは、指定楽曲において、歌詞データによって表される歌詞を楽譜データによって表される楽譜通りに音声合成（即ち、情報処理装置２によって生成される歌唱）をした合成音声（以下、「歌唱合成音」と称す）である。この歌唱合成音の生成方法は、周知であるため、ここでの詳しい説明は省略するが、例えば、歌唱合成音の生成方法としてフォルマント合成を用いることが考えられる。

さらに、制御部６は、Ｓ１４０で取得した歌唱合成音データに基づいて、歌唱合成ｆ０推移を導出する（Ｓ１５０）。歌唱合成ｆ０推移とは、歌唱合成音の基本周波数ｆ０の推移である。本実施形態においては、基本周波数ｆ０の推移の特定方法として、以下の方法を用いてもよい。制御部６は、予め規定された単位時間を表す分析窓を互いに隣接するように歌唱合成音データに設定する。この設定された分析窓それぞれでの歌唱合成音データについて周波数解析（例えば、ＤＦＴ）を実施する。さらに、制御部６は、自己相関の結果、最も強い周波数成分を基本周波数ｆ０とすることで、１つの分析窓に対して１つの基本周波数ｆ０を算出する。そして、基本周波数ｆ０を時間軸に沿って配置することによって、歌唱合成ｆ０推移を導出する。

続いて、楽曲解析処理では、制御部６は、指定楽曲の歌唱音声データを取得する（Ｓ１６０）。さらに、制御部６は、Ｓ１６０で取得した歌唱音声データに基づいて、オリジナルｆ０推移を導出する（Ｓ１７０）。ここで言うオリジナルｆ０推移とは、指定楽曲の歌唱音声データによって表される歌唱音声の基本周波数ｆ０の推移である。基本周波数ｆ０の推移の特定方法としては、「歌唱合成音データ」を「歌唱音声データ」へと読み替えることを除けば、Ｓ１５０と同様の方法を用いればよい。

そして、楽曲解析処理では、制御部６は、Ｓ１５０で算出した歌唱合成ｆ０推移と、Ｓ１７０で算出したオリジナルｆ０推移とに従って、差分データを算出する（Ｓ１８０）。ここで言う差分データは、図３に示すように、歌唱合成ｆ０推移とオリジナルｆ０推移との指定楽曲における時間軸に沿った差分を表す。本実施形態における差分データは、オリジナルｆ０推移から歌唱合成ｆ０推移を減算することで求めればよい。

続いて、楽曲解析処理では、制御部６は、歌唱技法判定処理を実行する（Ｓ１９０）。この歌唱技法判定処理では、詳しくは後述するが、歌唱合成ｆ０推移とオリジナルｆ０推移とを比較した結果、技法条件を満たしていれば、特定楽曲においてプロの歌手が歌唱技法を用いているものと特定する。そして、歌唱技法判定処理では、特定した歌唱技法の種類及び歌唱技法を用いたタイミングを表す技法データを生成する。歌唱技法判定処理は、例えば、歌唱合成ｆ０推移と、オリジナルｆ０推移とを比較し、比較した結果、オリジナルｆ０推移に対して歌唱合成ｆ０推移が、各種の歌唱技法の技法条件を満たす推移であるとき、各種の歌唱技法が用いられているものと判定する。歌唱技法判定処理では、歌唱合成ｆ０推移と、オリジナルｆ０推移とを比較した結果として、ステップＳ１８０において算出された差分データを用いて、各種の歌唱技法を判定してもよい。

なお、ここで言う技法条件とは、特定楽曲の歌唱において用いられる各種の歌唱技法の条件として予め規定された条件である。
さらに、楽曲解析処理では、制御部６は、歌回データＥＭを生成して記憶部５に記憶する（Ｓ２００）。本実施形態における歌回データＥＭは、指定楽曲におけるプロの歌手の歌い回しを表すデータであり、差分データと、技法データと、歌唱合成ｆ０推移と、楽曲ＩＤとが含まれる。具体的に本実施形態のＳ２００では、差分データと技法データと歌唱合成ｆ０推移とを指定楽曲における時間軸に沿って対応付けると共に、その指定楽曲の楽曲ＩＤを対応付けることで、歌回データＥＭを生成する。あるいは、歌回データＥＭを作成せず、差分データと、技法データと、歌唱合成ｆ０推移と、楽曲ＩＤとが対応付けられて記憶部５に記憶されていてもよい。

その後、制御部６は楽曲解析処理を終了する。
なお、情報処理装置２の制御部６が楽曲解析処理を実行することで生成される歌回データＥＭは、可搬型の記憶媒体を用いて情報処理サーバ１０の記憶部１４に記憶されても良い。情報処理装置２と情報処理サーバ１０とが通信網を介して接続されている場合には、情報処理装置２の記憶部５に記憶された歌回データＥＭは、通信網を介して転送されることで、情報処理サーバ１０の記憶部１４に記憶されても良い。

すなわち、楽曲解析処理を実行する情報処理装置２が、データ生成装置として機能する。
＜歌唱技法判定処理＞
次に、楽曲解析処理のＳ１９０で実行される歌唱技法判定処理について図４を用いて説明する。

この歌唱技法判定処理が起動されると、制御部６は、図４に示すように、まず、歌唱技法の１つである「しゃくり」が用いられているか否かを判定する（Ｓ３１０）。本実施形態においては、オリジナルｆ０推移が歌唱合成ｆ０推移に対して以下の技法条件を満たす場合、「しゃくり」が用いられているものと判定する。

「しゃくり」が用いられていることを表す技法条件とは、歌詞が割り当てられた音符の演奏開始タイミングにおいて、オリジナルｆ０推移が、歌唱合成ｆ０推移よりも周波数軸に沿って低いこと。さらに、音符の演奏開始タイミング以降のオリジナルｆ０推移が、単位時間の間に規定された割合以上で上昇して歌唱合成ｆ０推移へと到達することである。

続いて、歌唱技法判定処理では、制御部６は、歌唱技法の１つである「ビブラート」が用いられているか否かを判定する（Ｓ３２０）。本実施形態においては、オリジナルｆ０推移が歌唱合成ｆ０推移に対して以下の技法条件を満たす場合、「ビブラート」が用いられているものと判定する。

「ビブラート」が用いられていることを表す技法条件とは、歌詞が割り当てられた１つの音符の区間おいて、歌唱合成ｆ０推移を基準の周波数として、オリジナルｆ０推移が規定された周波数の範囲内で周波数方向に沿って変動していることである。

さらに、歌唱技法判定処理では、制御部６は、歌唱技法の１つである「こぶし」が用いられているか否かを判定する（Ｓ３３０）。本実施形態においては、オリジナルｆ０推移が歌唱合成ｆ０推移に対して以下の技法条件を満たす場合、「こぶし」が用いられているものと判定する。

「こぶし」が用いられていることを表す技法条件とは、歌詞が割り当てられた１つの音符の区間おいて、オリジナルｆ０推移が歌唱合成ｆ０推移に対して単位時間の間に周波数方向に沿って規定値以上上昇し、その後、オリジナルｆ０推移が上昇前の周波数へと戻ったことである。

そして、歌唱技法判定処理では、制御部６は、歌唱技法の１つである「タメ」が用いられているか否かを判定する（Ｓ３４０）。本実施形態においては、オリジナルｆ０推移が歌唱合成ｆ０推移に対して以下の技法条件を満たす場合、「タメ」が用いられているものと判定する。

「タメ」が用いられていることを表す技法条件とは、歌詞が割り当てられた音符の演奏開始タイミングにおいて、現時点での音符よりも時間軸に沿って１つ前の音符の音高に、オリジナルｆ０推移が、予め規定された規定時間維持され、その後、現時点での音符の音高へと遷移することである。

続いて、歌唱技法判定処理では、制御部６は、歌唱技法の１つである「表情付け」が用いられているか否かを判定する（Ｓ３５０）。本実施形態においては、オリジナルｆ０推移が歌唱合成ｆ０推移に対して以下の技法条件を満たす場合、「表情付け」が用いられているものと判定する。なお、ここで言う「表情付け」とは、歌唱における強弱を表現する歌唱技法である。

「表情付け」が用いられていることを表す技法条件とは、歌詞が割り当てられた１つの音符の区間おいて、歌唱合成ｆ０推移が連続しているのに対して、オリジナルｆ０推移が途切れていることである。

さらに、歌唱技法判定処理では、制御部６は、歌唱技法の１つである「拡張技法」が用いられているか否かを判定する（Ｓ３６０）。本実施形態においては、上述したＳ３１０からＳ３５０までの条件を満たしていなかったとしても、歌唱合成ｆ０推移とオリジナルｆ０推移との間に予め規定された規定値以上の差違があれば、その差違の内容及び当該差違が存在するタイミングを、「拡張技法」が用いられている区間として判定する。すなわち、「拡張技法」とは、歌唱合成ｆ０推移とオリジナルｆ０推移との間に、技法条件によって規定される歌唱技法には適合しない差違、あるいは技法条件を満たさない程度の差異などの技法条件には適合しない差異が存在する場合における当該差違の内容である。

そして、歌唱技法判定処理では、制御部６は、Ｓ３１０からＳ３６０までの各ステップで判定した歌唱技法に基づいて、技法データを生成する（Ｓ３７０）。ここで言う技法データとは、歌唱技法の種類及び歌唱技法を用いたタイミングを表すデータである。

その後、本歌唱技法判定処理を終了し、楽曲解析処理のＳ２００へと戻る。
つまり、歌唱技法判定処理では、歌唱合成ｆ０推移と、オリジナルｆ０推移とを比較する。その比較の結果、歌唱において用いられる各種の歌唱技法の条件として予め規定された技法条件を満たしているか否かを判定する。そして、判定の結果、技法条件を満たしていれば、当該技法条件に適合する歌唱技法の種類及び歌唱技法を用いたタイミングを特定し、その特定した歌唱技法の種類及び歌唱技法を用いたタイミングを表す技法データを生成する。
＜演奏処理＞
次に、カラオケ装置３０が実行する演奏処理について説明する。

図５に示す演奏処理が起動されると、制御部５０は、まず、入力受付部３４を介して指定された楽曲（即ち、指定楽曲）の楽曲ＩＤを取得する（Ｓ４１０）。そして、制御部５０は、Ｓ４１０で取得した楽曲ＩＤに対応するＭＩＤＩ楽曲ＭＤを、情報処理サーバ１０の記憶部１４から取得する（Ｓ４２０）。

続いて、演奏処理では、制御部５０は、情報処理サーバ１０の記憶部１４に格納されている全ての歌回データＥＭの中から、Ｓ４１０で取得した楽曲ＩＤを含む歌回データＥＭを取得する（Ｓ４３０）。さらに、演奏処理では、制御部５０は、Ｓ４２０で取得した楽曲ＩＤに対応するＭＩＤＩ楽曲ＭＤの中から歌詞データを取得する（Ｓ４４０）。

そして、演奏処理では、制御部５０は、Ｓ４２０にて取得したＭＩＤＩ楽曲ＭＤに基づいて指定楽曲の演奏を開始する（Ｓ４５０）。このＳ４５０におけるＭＩＤＩ楽曲ＭＤに基づく指定楽曲の演奏では、制御部５０は、楽曲再生部３６にＭＩＤＩ楽曲ＭＤを時間軸に沿って順次出力する。そのＭＩＤＩ楽曲ＭＤを取得した楽曲再生部３６は、楽曲の演奏を行う。そして、楽曲再生部３６によって演奏された楽曲の音源信号が、出力部４２を介してスピーカ６０へと出力される。すると、スピーカ６０は、音源信号を音に換えて出力する。

さらに、演奏処理では、制御部５０は、Ｓ４３０で取得した歌詞データを映像制御部４６に出力する（Ｓ４６０）。その歌詞データを取得した映像制御部４６は、楽曲再生部３６での指定楽曲の演奏に併せて、表示部６４に歌詞を表示する。

また、演奏処理では、制御部５０は、歌回データＥＭに含まれる技法データに基づいて、指定楽曲に用いられるべき歌唱技法を映像制御部４６に出力する（Ｓ４７０）。その歌唱技法を取得した映像制御部４６は、楽曲再生部３６での指定楽曲の演奏に併せて、歌唱技法を表示部６４に表示する。なお、表示部６４に表示される歌唱技法には、図６に示すような歌唱技法を表すアイコンを含む。この歌唱技法を表すアイコンとは、歌唱技法としての、「しゃくり」，「タメ」，「ビブラート」，「こぶし」，「表情付け」，「拡張技法」の種類、及び各歌唱技法を実施するタイミングを示すものである。

すなわち、Ｓ４６０では、指定楽曲が演奏される場合、歌回データＥＭに基づいて、指定楽曲を歌唱したプロの歌手が用いた歌い方の特徴を報知する報知処理を、規定処理の１つとして実行する。

続いて、演奏処理では、制御部５０は、マイク６２及びマイク入力部４４を介して入力された音声を歌声データとして取得する（Ｓ４８０）。そして、制御部５０は、Ｓ５３０にて取得した歌声データに基づいて歌声ｆ０推移を算出する（Ｓ４９０）。ここで言う歌声ｆ０推移は、歌声データによって表される音声の基本周波数の推移を表す。なお、歌声ｆ０推移の算出方法は、処理の実行対象とするデータを「歌声データ」とすることを除けば、楽曲解析処理のＳ１５０と同様の手法を用いればよい。このため、歌声ｆ０推移の算出方法の詳しい説明については省略する。

また、制御部５０は、Ｓ４３０にて取得した歌回データＥＭに含まれる差分データに基づいて、Ｓ４９０で算出した歌声ｆ０推移を変更する（Ｓ５００）。このＳ５００では、プロの歌手が指定楽曲を歌唱した場合の歌声に近づくように歌声ｆ０推移を変更する。具体的には、図７に示すように、指定楽曲における時間軸に沿って歌声ｆ０推移に差分データを加算する。これにより、プロの歌手が指定楽曲にて用いた歌い方の特徴が、後述する変更音声に反映される。

さらに、演奏処理では、制御部５０は、Ｓ５００で変更した歌声ｆ０推移に基づく音声である変更音声を出力する（Ｓ５１０）。このＳ５１０では、制御部５０は、変更音声を表す音源信号を出力部４２に出力する。その音源信号は、出力部４２を介してスピーカ６０へと出力され、スピーカ６０にて変更音声へと戻されて出力される。

続いて、制御部５０は、歌唱差分データを算出する（Ｓ５２０）。ここで言う歌唱差分データとは、Ｓ４３０にて取得した歌回データＥＭに含まれる歌唱合成ｆ０推移と歌声ｆ０推移との指定楽曲における時間軸に沿った差分を表すデータである。

さらに、制御部５０は、Ｓ５２０で算出した歌唱差分データと差分データとを比較する（Ｓ５３０）。そして、制御部５０は、Ｓ５３０での比較の結果、歌唱差分データと差分データとの相関（即ち、一致度）が、予め規定された規定値以上であれば、指定楽曲において演奏された当該区間を歌唱したプロの歌手が用いた歌い方の特徴を再現できているものと特定する（Ｓ５４０）。

続いて、制御部５０は、指定楽曲の演奏が終了したか否かを判定する（Ｓ５５０）。このＳ５５０での判定の結果、指定楽曲の演奏が終了していなければ（Ｓ５５０：ＮＯ）、制御部５０は、演奏処理をＳ４６０へと戻す。

一方、Ｓ５５０での判定の結果、指定楽曲の演奏が終了していれば（Ｓ５５０：ＹＥＳ）、制御部５０は、利用者による指定楽曲の歌声を評価する（Ｓ５６０）。このＳ５６０での評価は、図８に示すように、指定楽曲に規定された区間ごとに、歌唱差分データと差分データとの一致度を算出し、その算出した一致度の演算結果が高いほど、高い評価とすればよい。なお、ここで言う一致度の算出は、Ｓ５３０において、歌唱差分データと差分データとを比較し相関係数を算出することで実施すればよい。また、ここで言う一致度の演算結果とは、規定された区間ごとに算出された、一致度の和でもよいし、重み付け加算の結果でもよいし、代表値であってもよいし、その他の演算結果であってもよい。

すなわち、Ｓ５６０では、利用者の歌声が、指定楽曲を歌唱したプロの歌手が用いた歌い方の特徴を再現できていれば高い評価とする評価処理を、規定処理の１つとして実行する。

制御部５０は、その後、本演奏処理を終了する。
［実施形態の効果］
本実施形態における楽譜データは、音高と音価との組み合わせからなる音符を有したものであり、楽譜データには、指定楽曲において用いる歌唱技法などの歌い方の特徴は指示されていない。このため、歌唱合成音には、歌唱技法などの歌い方の特徴は現れず、歌唱合成ｆ０推移は、指定楽曲における標準的な歌声の基本周波数ｆ０の推移となる。

一方、歌唱音声データは、プロの歌手が指定楽曲を歌唱した場合の音声であり、その指定楽曲でのプロの歌手の歌い方の特徴が表出している。
したがって、楽曲解析処理にて算出される差分データには、プロの歌手が用いた歌い方の特徴が表されることになり、差分データは、プロの歌手による歌い方の特徴を表すものとなる。

換言すると、楽曲解析処理によれば、プロの歌手による歌い方の特徴を表すデータを自動で生成できる。
また、楽曲解析処理では、指定楽曲においてプロの歌手が用いた歌唱技法の種類及び歌唱技法を用いたタイミングを表す技法データを生成し、その技法データと差分データとを対応付けたデータを歌回データＥＭとして記憶部に記憶している。

この結果、楽曲解析処理によれば、歌回データＥＭの内容を充実させることができ、プロの歌手の歌い方をより詳細に表したデータを歌回データＥＭとして生成できる。
また、楽曲解析処理では、歌唱合成ｆ０推移とオリジナルｆ０推移との差違が、技法条件を満たさない程度であっても、その差違の内容を、指定楽曲を歌唱したプロの歌手が用いた歌い方の特徴（すなわち「拡張技法」）としてデータ化している。

この結果、データ生成装置によれば、特定の人物が用いる歌い方の特徴としてより細かな内容を歌回データＥＭに包含させることができる。
また、演奏処理においては、指定楽曲においてプロの歌手が用いた歌唱技法を報知できる。このため、カラオケ装置３０の利用者は、指定楽曲を歌っている際に、その指定楽曲を歌唱したプロの歌手が用いた歌唱技法を認識できる。

演奏処理においては、指定楽曲におけるプロの歌手の歌い方に近づくように、利用者の歌声を変更して出力している。このため、演奏処理によれば、利用者の歌声を、プロの歌手の歌い方に近づけることができる。

さらに、演奏処理では、歌唱差分データと差分データとの一致度が高いほど、高く評価している。このため、演奏処理によれば、指定楽曲を歌唱したプロの歌手の歌い方をより高い再現性で実現した場合ほど、高い評価とすることができる。

ところで、上記実施形態のカラオケシステム１では、楽曲解析処理においてオリジナルｆ０推移と比較する対象、及び演奏処理において歌声ｆ０推移と比較する対象の双方を、歌唱合成ｆ０推移としている。

このようにすることで、演奏処理によれば、歌唱合成ｆ０推移に特有の基本周波数ｆ０の推移態様（以下、ｆ０推移態様と称す）に関係なく、カラオケ装置３０の利用者の歌声を評価できる。

なお、ここで言う「ｆ０推移態様」の一例として、図９に示すように、「カ行」，「サ行」，「タ行」またはその濁音の歌詞を歌唱した場合に、基本周波数ｆ０の推移が、当該歌詞が割り当てられた音符の演奏開始タイミングよりも、時間軸に沿って前で途切れることが挙げられる。また、「ｆ０推移態様」の一例として、図１０に示すように、「ア行」，「ナ行」，「ラ行」の歌詞を歌唱した場合に、当該歌詞が割り当てられた音符へと時間軸に沿った直前の音符から、基本周波数の推移が滑らかに接続されることが挙げられる（図１０中の継続音高変化）。

さらに、「ｆ０推移態様」の一例として、図１１に示すように、時間軸に沿って同じ音高の音符が連続し、かつ時間軸に沿って後の音符に割り当てられた「ナ行」，または「マ行」の歌詞を歌唱した場合、基本周波数の推移が、当該歌詞が割り当てられた音符の音高よりも低い音高から当該音高へと推移することが挙げられる（図１１中の音高揺らぎ）。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

（１）上記実施形態における歌回データＥＭは、指定楽曲におけるプロの歌手の歌い回しを表すデータであったが、この歌回データＥＭは、指定楽曲における特定の人物の歌い回しを表すデータであれば、その特定の人物は、プロの歌手でなくともよい。すなわち、特定の人物は、指定楽曲を歌唱した一般の人物であってもよい。この場合、歌回データＥＭは、その特定の人物が歌唱した歌唱音声の基本周波数の推移を表すオリジナルｆ０推移と、歌唱合成ｆ０推移との指定楽曲における時間軸に沿った差分を表す差分データを含むデータであれば、どのようなデータであってもよい。

（２）上記実施形態においては、楽曲解析処理の実行主体を情報処理装置としていたが、楽曲解析処理の実行主体は、情報処理サーバ１０であってもよいし、カラオケ装置３０であってもよい。

（３）上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。

（４）本発明は、前述したデータ生成装置，カラオケシステム１の他、データ生成装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体など、種々の形態で本発明を実現することもできる。
＜対応関係の例示＞
楽曲解析処理におけるＳ１４０を実行することで得られる機能が、合成音取得手段の一例である。Ｓ１５０を実行することで得られる機能が、合成推移導出手段の一例である。Ｓ１６０を実行することで得られる機能が、オリジナル取得手段の一例である。Ｓ１７０を実行することで得られる機能が、歌唱推移導出手段の一例である。Ｓ１８０を実行することで得られる機能が、差分算出手段の一例である。Ｓ２００を実行することで得られる機能が、登録手段の一例である。

また、歌唱技法判定処理におけるＳ３１０〜Ｓ３６０を実行することで得られる機能が、技法判定手段の一例である。Ｓ３７０を実行することで得られる機能が、技法データ生成手段の一例である。

そして、演奏処理におけるＳ４７０，Ｓ５００，Ｓ５１０，Ｓ５３０，Ｓ５６０を実行することで得られる機能が、処理実行手段の一例である。Ｓ４８０を実行することで得られる機能が、歌声取得手段の一例である。Ｓ４９０を実行することで得られる機能が、歌声推移導出手段の一例である。Ｓ５２０を実行することで得られる機能が、差分生成手段の一例である。

１…カラオケシステム ２…情報処理装置 ３…入力受付部 ４…情報出力部 ５，１４，３８…記憶部 ６，１６，５０…制御部 ７，１８，５２…ＲＯＭ ８，２０，５４…ＲＡＭ ９，２２，５６…ＣＰＵ １０…情報処理サーバ １２…通信部 ３０…カラオケ装置 ３２…通信部 ３４…入力受付部 ３６…楽曲再生部 ４０…音声制御部 ４２…出力部 ４４…マイク入力部 ４６…映像制御部 ６０…スピーカ ６２…マイク ６４…表示部

Claims (9)

1. 音高と音価との組み合わせからなる音符を複数有し指定された楽曲である指定楽曲の楽譜を表す楽譜データと、前記指定楽曲を構成する複数の音符の少なくとも一部に割り当てられた歌詞を表す歌詞データとに基づいて生成され、前記歌詞データによって表される歌詞が前記楽譜データによって表される楽譜通りに音声合成された合成音声である歌唱合成音データを取得する合成音取得手段と、
   前記合成音取得手段で取得した歌唱合成音データから、前記合成音声の基本周波数の推移を表す歌唱合成ｆ０推移を導出する合成推移導出手段と、
   前記指定楽曲を特定の人物が歌唱した歌唱音声である歌唱音声データを取得するオリジナル取得手段と、
   前記オリジナル取得手段で取得した歌唱音声データから、前記歌唱音声の基本周波数の推移を表すオリジナルｆ０推移を導出する歌唱推移導出手段と、
   前記合成推移導出手段で導出した歌唱合成ｆ０推移と、前記歌唱推移導出手段で導出したオリジナルｆ０推移との前記指定楽曲における時間軸に沿った差分を表す差分データを算出する差分算出手段と、
   前記差分算出手段で算出した差分データを、記憶部に記憶する登録手段と
   を備える、データ生成装置。
2. 前記合成推移導出手段で導出した歌唱合成ｆ０推移と、前記歌唱推移導出手段で導出したオリジナルｆ０推移とを比較し、その比較した結果、歌唱合成ｆ０推移に対してオリジナルｆ０推移が示す歌唱音声データが、歌唱において用いられる各種の歌唱技法の条件として予め規定された技法条件を満たしているか否かを判定する技法判定手段と、
   前記技法判定手段での判定の結果、前記技法条件を満たしているとき、当該技法条件に適合する歌唱技法の種類及び歌唱技法を用いたタイミングを特定し、その特定した歌唱技法の種類及び歌唱技法を用いたタイミングを表す技法データを生成する技法データ生成手段と、を備え、
   前記登録手段は、
   前記技法データ生成手段で生成した技法データと前記差分データとを前記指定楽曲における時間軸に沿って対応付けたデータである歌回データを、前記記憶部に記憶する、請求項１に記載のデータ生成装置。
3. 前記技法データ生成手段は、
   前記技法判定手段にて比較した結果、前記技法条件を満たしていなかったとしても、前記歌唱合成ｆ０推移と前記オリジナルｆ０推移との間に予め規定された規定値以上の差違があるとき、その差違の内容及び当該差違が存在するタイミングを前記技法データとして生成する、請求項２に記載のデータ生成装置。
4. 音高と音価との組み合わせからなる音符を複数有し指定された楽曲である指定楽曲の楽譜を表す楽譜データと、前記指定楽曲を構成する複数の音符の少なくとも一部に割り当てられた歌詞を表す歌詞データとに基づいて生成され、前記歌詞データによって表される歌詞が前記楽譜データによって表される楽譜通りに音声合成された合成音声である歌唱合成音データを取得する合成音取得手段と、
   前記合成音取得手段で取得した歌唱合成音データから、前記合成音声の基本周波数の推移を表す歌唱合成ｆ０推移を導出する合成推移導出手段と、
   前記楽譜データに従って、前記指定楽曲を演奏する演奏実行手段と、
   前記演奏実行手段により演奏される前記指定楽曲を特定の人物が歌唱した歌唱音声である歌唱音声データを取得するオリジナル取得手段と、
   前記オリジナル取得手段で取得した歌唱音声データから、前記歌唱音声の基本周波数の推移を表すオリジナルｆ０推移を導出する歌唱推移導出手段と、
   前記合成推移導出手段で導出した歌唱合成ｆ０推移と、前記歌唱推移導出手段で導出したオリジナルｆ０推移との前記指定楽曲における時間軸に沿った差分を表す差分データを算出する差分算出手段と、
   前記差分算出手段で算出した差分データを、記憶部に記憶する登録手段と、
   前記記憶部に記憶された差分データに基づいて、前記指定楽曲の演奏に関して規定された処理である規定処理を実行する処理実行手段と
   を備える、カラオケシステム。
5. 前記処理実行手段は、
   前記演奏実行手段により前記指定楽曲が演奏される場合、前記記憶部に記憶された差分データに基づいて、前記指定楽曲を歌唱した特定の人物が用いた歌唱技法の種類及び歌唱技法を用いたタイミングを報知する報知処理を、前記規定処理として実行する、請求項４に記載のカラオケシステム。
6. 前記演奏実行手段による前記指定楽曲の演奏中にマイクを介して入力された音声である歌声データを取得する歌声取得手段と、
   前記歌声取得手段で取得した歌声データに基づいて、前記音声の基本周波数の推移を表す歌声ｆ０推移を導出する歌声推移導出手段と
   を備え、
   前記処理実行手段は、
   前記歌声推移導出手段で導出した歌声ｆ０推移に基づく処理を、前記規定処理として実行する、請求項４または請求項５に記載のカラオケシステム。
7. 前記処理実行手段は、
   前記歌声推移導出手段で導出した歌声ｆ０推移と、前記合成推移導出手段で導出した歌唱合成ｆ０推移との前記指定楽曲における時間軸に沿った差分を表す歌唱差分データを生成する差分生成手段を備え、
   前記差分生成手段で生成した歌唱差分データと、前記記憶部に記憶されている差分データとを比較し、その比較の結果、一致度が高いほど、高い評価とする評価処理を、前記規定処理として実行する、請求項６に記載のカラオケシステム。
8. 前記処理実行手段は、
   前記記憶部に記憶されている差分データに基づいて、前記歌声推移導出手段で導出した歌声ｆ０推移を変更し、その変更した歌声ｆ０推移に基づく音声を出力する変更処理を、前記規定処理として実行する、請求項６または請求項７に記載のカラオケシステム。
9. 音高と音価との組み合わせからなる音符を複数有し指定された楽曲である指定楽曲の楽譜を表す楽譜データと、前記指定楽曲を構成する複数の音符の少なくとも一部に割り当てられた歌詞を表す歌詞データとに基づいて生成され、前記歌詞データによって表される歌詞が前記楽譜データによって表される楽譜通りに音声合成された合成音声である歌唱合成音データを取得する合成音取得手順と、
   前記合成音取得手順で取得した歌唱合成音データに基づいて、前記合成音声の基本周波数の推移を表す歌唱合成ｆ０推移を導出する合成推移導出手順と、
   前記指定楽曲を特定の人物が歌唱した歌唱音声である歌唱音声データを取得するオリジナル取得手順と、
   前記オリジナル取得手順で取得した歌唱音声データに基づいて、前記歌唱音声の基本周波数の推移を表すオリジナルｆ０推移を導出する歌唱推移導出手順と、
   前記合成推移導出手順で導出した歌唱合成ｆ０推移と、前記歌唱推移導出手順で導出したオリジナルｆ０推移との前記指定楽曲における時間軸に沿った差分を表す差分データを算出する差分算出手順と、
   前記差分算出手順で算出した差分データを、記憶部に記憶する登録手順とを、
   コンピュータに実行させる、プログラム。