JP6810676B2 - 歌唱評価装置、歌唱評価プログラム及びカラオケ装置 - Google Patents

Description

本発明は、カラオケ等、再生される伴奏音に併せて歌唱を行う際、歌唱評価を行う歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置に関する。

従来、伴奏音に合わせて歌唱を楽しむことのできるカラオケ装置では、歌唱評価としての採点機能を備えたものがある。カラオケ装置における採点機能は、伴奏情報内の主旋律情報と、マイクロホンから入力される歌唱音声信号を比較して行われることが一般的である。したがって、ＣＤ等のように主旋律情報を有していない音源では、採点機能を利用することができなかった。

特許文献１には、ＣＤ等のように主旋律情報を有していない音源であっても採点（歌唱評価）を行うことのできる音声評価装置が開示されている。この音声評価装置では、マイクロホンから入力される音声データから、時間軸に沿って抽出された評価対象ピッチと、複数の音が含まれるオーディオデータから時間軸に沿って抽出された複数の音、各々の基準ピッチとを比較することで音声データを評価している。

特開２０１６−１２２１６４号公報

特許文献１に開示される音声評価装置によれば、市販の音楽用ＣＤのように、主旋律（正解データ）が設けられていない音源であっても歌唱評価を行うことが可能である。しかしながら、特許文献１では、複数の基準ピッチを抽出する必要があるため、歌唱評価に必要となる処理負荷が大きくなることが想定される。また、評価対象ピッチを、オーディオデータに含まれるメインボーカル、コーラス、各種楽器などのあらゆる音の基準ピッチと比較するため比較に必要な処理負荷は大きくなることが考えられる。また、複数の基準ピッチの内、適切な基準ピッチと比較しないと、歌唱評価が不適切となってしまう場合がある。

本発明は、このような事情を考慮したものであって、ＣＤ等のように主旋律情報を有していない音源であっても、精度良く、また、処理負荷も抑えた歌唱評価を行うことのできる歌唱評価装置、歌唱評価プログラム及びカラオケ装置を提供することを目的としている。

そのため本発明に係る歌唱評価装置は、以下の構成を採用したことを特徴としている。
マイクロホンから入力される歌唱音声信号を周波数解析し、歌唱音声信号の音高近傍の周波数範囲である歌唱音高近傍範囲を算出する歌唱音高近傍範囲算出手段と、
模範歌唱音を含んだ伴奏音信号から、歌唱音高近傍範囲算出手段で算出された歌唱音高近傍範囲内における模範歌唱特性を算出する模範歌唱音声特性算出手段と、
歌唱音声信号を周波数解析し、歌唱音声特性を算出する歌唱音声特性算出手段と、
歌唱音声特性算出手段で算出された歌唱音声信号の歌唱音声特性と、模範歌唱音声特性算出手段で算出された模範歌唱特性を比較することで歌唱音声信号の評価を行う評価手段と、を備えたことを特徴とする。

さらに本発明に係る歌唱評価装置において、
歌唱音高近傍範囲は、周波数軸方向または時間軸方向の少なくとも何れか１つについて、歌唱音声信号の音高を基準とする所定分布であることを特徴とする。

また本発明に係る歌唱評価装置は、
歌唱音高近傍範囲、もしくは、歌唱音高近傍範囲を特定可能な情報が付帯された伴奏音信号から歌唱音高近傍範囲を算出する歌唱音高近傍範囲算出手段と、
模範歌唱音を含んだ伴奏音信号から、歌唱音高近傍範囲内における模範歌唱特性を算出する模範歌唱音声特性算出手段と、
マイクロホンから入力される歌唱音声信号の歌唱音声特性と、模範歌唱特性を比較することで歌唱音声信号の評価を行う評価手段と、を備えたことを特徴とする。

また本発明に係るカラオケ装置は、
上記した何れか１つの歌唱評価装置と、
模範歌唱音を含んだ伴奏音信号を再生する再生手段と、を備えたことを特徴とする。

また本発明に係る歌唱評価プログラムは、
マイクロホンから入力される歌唱音声信号を周波数解析し、歌唱音声信号の音高近傍の周波数範囲である歌唱音高近傍範囲を算出する歌唱音高近傍範囲算出処理と、
模範歌唱音を含んだ伴奏音信号から、歌唱音高近傍範囲算出手段で算出された歌唱音高近傍範囲内における模範歌唱特性を算出する模範歌唱音声特性算出処理と、
歌唱音声信号を周波数解析し、歌唱音声特性を算出する歌唱音声特性算出手段と、
歌唱音声特性算出手段で算出された歌唱音声信号の歌唱音声特性と、模範歌唱音声特性算出手段で算出された模範歌唱特性を比較することで歌唱音声信号の評価を行う評価処理と、を実行可能としたことを特徴とする。

また本発明に係る歌唱評価プログラムは、
歌唱音高近傍範囲、もしくは、歌唱音高近傍範囲を特定可能な情報が付帯された伴奏音信号から歌唱音高近傍範囲を算出する歌唱音高近傍範囲算出処理と、
模範歌唱音を含んだ伴奏音信号から、歌唱音高近傍範囲内における模範歌唱特性を算出する模範歌唱音声特性算出処理と、
マイクロホンから入力される歌唱音声信号の歌唱音声特性と、模範歌唱特性を比較することで歌唱音声信号の評価を行う評価処理と、を実行可能としたことを特徴とする。

本発明に係る歌唱評価装置、歌唱評価プログラム及びカラオケ装置によれば、主旋律情報が付帯されていないＣＤ音源等のような伴奏音信号を使用して歌唱を行う場合であっても、伴奏音信号から模範歌唱音声特性を算出することで、採点等の歌唱評価を行うことが可能となる。そして、伴奏音信号から模範歌唱音声特性を算出する際、ユーザーの歌唱する歌唱音高近傍範囲を使用して算出するため、伴奏音信号の全周波数範囲を対象とする必要が無く、処理負荷を抑えるとともに、精度の高い歌唱評価を行うことが可能となる。

また、本発明に係る歌唱評価装置、歌唱評価プログラム及びカラオケ装置で使用する歌唱音高近傍範囲は、周波数軸方向について、歌唱音高を基準とする所定分布となっている。このように歌唱音高範囲に所定分布を持たせることで、模範歌唱音特性に重み付けを行うことでさらに精度の高い歌唱評価を行うことが可能となる。

さらに、本発明に係る歌唱評価装置、歌唱評価プログラム及びカラオケ装置で使用する歌唱音高近傍範囲は、時間軸方向について、歌唱音高を基準とする所定分布となっている。このように歌唱音高範囲の時間軸方向を考慮することで、さらに精度の高い歌唱評価を行うことが可能となる。

また、本発明に係る歌唱評価装置、歌唱評価プログラム及びカラオケ装置によれば、伴奏音信号に歌唱音高近傍範囲、もしくは、歌唱音高近傍範囲を特定可能な情報を付帯しておくことで、正確な主旋律情報が付帯されていないＣＤ音源等のような伴奏音信号を使用して歌唱を行う場合であっても、伴奏音信号から模範歌唱音声特性を算出することで、採点等の歌唱評価を行うことが可能となる。そして、伴奏音信号から模範歌唱音声特性を算出する際、予め付帯されている歌唱音高近傍範囲を使用して算出するため、伴奏音信号の全周波数範囲を対象とする必要が無く、処理負荷を抑えるとともに、精度の高い歌唱評価を行うことが可能となる。

本実施形態のカラオケシステムの構成を示す図 本実施形態のカラオケシステムで使用する各種データ構成を示す図 本実施形態の演奏音確率密度算出処理を示すフロー図 本実施形態の楽曲再生処理を示すフロー図 本実施形態の評価処理を示すフロー図 本実施形態の歌唱音高近傍範囲を説明するための図 本実施形態の音高確率密度の二次元正規分布領域を説明するための図 本実施形態の模範歌唱特性を説明するための図 本実施形態の比較処理を説明するための図

図１は、本実施形態のカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２（コマンダと呼ぶこともある）と、リモコン装置１を含んで構成されている。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１３０を利用してネットワークを形成するように通信接続されている。

カラオケボックスなどの店舗に設置されるカラオケ装置２は、楽曲を演奏するための演奏部として音響制御部２５を備えている。また、カラオケ装置２は、ユーザーからの各種入力を受け付ける操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶する記憶部としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に接続してネットワークに加入する通信手段としてのＬＡＮ通信部２４ａを備えている。また、本実施形態のカラオケ装置２は、無線ＬＡＮ通信部２４ｂも備えており、ＬＡＮ通信部２４ａを使用した有線によるネットワーク接続に代え、無線ＬＡＮ通信部２４ｂを使用した無線によるネットワーク接続を行うことも可能である。

また、カラオケ装置２は、モニター４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果の付与等を行う映像制御部３１を備えて構成される。

さらに、このカラオケ装置２では、外部に接続されるモニター４１以外に、タッチパネルモニター３３に対して各種情報を表示することを可能としている。タッチパネルモニター３３は映像制御部３１から入力された映像情報を表示する表示部３５と、タッチ入力された位置を操作処理部２２に出力するタッチパネル３４が重畳されて構成されている。このタッチパネルモニター３３は、カラオケ装置２の筐体前面等に配置され、カラオケ装置２の操作部２１、あるいは、リモコン装置１のタッチパネルモニター１１などと同様、入力部として機能する。ユーザーは、タッチパネルモニター３３にて楽曲を選択することで、直接カラオケ装置２に予約させる等、カラオケ装置２に対する各種操作を行うことが可能である。

さらに、カラオケ装置２は、各構成を統括して制御するためのＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を含んだ制御部を備えて構成されている。

このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザーからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置１と連携して実行される。リモコン装置１の選曲処理で形成された予約情報は、カラオケ装置２に送信される。カラオケ装置２は、受信した予約情報をメモリ２７中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞表示処理とが同期して実行される処理である。

楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響制御部２５に演奏を実行させる処理である。音響制御部２５にて演奏された楽曲は、マイクロホン４３ａ、４３ｂから入力される歌唱音声と一緒にスピーカー４２から放音される。歌詞表示処理は、楽曲情報に含まれる歌詞情報をモニター４１に表示させることで歌唱補助を行う処理である。この歌詞表示処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。

一方、リモコン装置１は、ユーザーからの指示に基づいて楽曲を検索し、再生指示のあった楽曲について予約情報をカラオケ装置２に送信する選曲処理を実行可能としている。また、リモコン装置１は、カラオケ装置２あるいはインターネット上に接続されたホスト装置５から各種情報を受信し、各種処理を実行することが可能である。本実施形態では、ユーザーから各種指示を受け付けるユーザインターフェイスとして、操作部１７と、タッチパネルモニター１１を備えている。タッチパネルモニター１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザーからのタッチ入力を受付可能としている。

さらにリモコン装置１は、選曲処理に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ１４、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、ＣＰＵ１５、タッチパネルモニター１１に対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、タッチパネルモニター１１あるいは操作部１７からの入力を解釈してＣＰＵ１５に伝える操作処理部１８が含まれている。

リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１３０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。

このようなリモコン装置１の構成により、ユーザーからの各種入力をタッチパネルモニター１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニター１１の表示により各種情報を提供することで、カラオケ装置２に対して出力する予約情報を送信する選曲処理など、各種処理を行うことが可能となっている。

本実施形態のカラオケ装置２は、２種類の楽曲情報を再生可能としている。一方の種類（Ａタイプ）の楽曲情報は、歌唱評価を行うための歌唱評価情報を含んだ楽曲情報である。従来から知られているように、このような楽曲情報を再生する際の歌唱評価では、主旋律情報としての歌唱評価情報と、マイクロホンから入力される歌唱音声信号とを比較し、その一致の度合いに基づいて採点値を算出することが可能である。

図２（Ａ）は、本実施形態の楽曲情報（Ａタイプ）のデータ構成を示した図である。楽曲情報は、楽曲情報に関連する各種情報を含んだメタ情報と、演奏や歌詞の表示といった各種処理を実行するための実情報を有している。メタ情報には、楽曲情報を識別するための楽曲ＩＤ、曲名、歌手名、ジャンル等の楽曲関連情報を有している。楽曲関連情報は、ユーザーが楽曲を検索する際の検索対象項目として使用することが可能である。楽曲情報の実情報には、演奏情報、歌詞情報、背景映像情報等を含んで構成される。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等を含んで構成された、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成してもよい。歌唱評価情報は、楽曲再生時において、ユーザーの歌唱音声を評価する情報であり、歌唱すべき旋律等を含んで構成される。楽曲再生時、歌唱評価を行う際には、マイクロホン４３ａ、４３ｂに入力される歌唱音声と、この歌唱評価情報を比較することで、採点値の算出等を行うことが可能である。

他方の種類（Ｂタイプ）の楽曲情報は、歌唱評価情報を含んでいない、例えば、ＣＤに記録された楽曲等のように歌唱評価情報を有していない楽曲情報である。従来、このような楽曲情報の再生時には、歌唱評価情報を含んでいないため歌唱評価を行うことが困難であった。本実施形態のカラオケ装置２では、このような楽曲情報についても歌唱評価を行うことが可能となっている。

図２（Ｂ）は、本実施形態の楽曲情報（Ｂタイプ）のデータ構成を示した図である。図２（Ａ）の楽曲情報と同様、楽曲情報は、楽曲情報に関連する各種情報を含んだメタ情報と、演奏や歌詞の表示といった各種処理を実行するための実情報を有している。メタ情報については図２（Ａ）の楽曲情報と同様であるため、ここでの説明は省略する。実情報には、伴奏音を含んだ演奏情報（本発明における「伴奏音信号」に相当）、映像情報が含まれている。演奏情報には、市販されるＣＤのように実際の演奏を録音した伴奏音が含まれている。また、演奏情報には、伴奏音のみならず、歌手による歌唱音声（本発明における「模範歌唱音」に相当）が含まれていている。楽曲情報（Ｂタイプ）における演奏情報は、伴奏音と歌唱音声がミキシングされた状態となっている。映像情報には、背景映像、伴奏音に同期して表示される歌詞が含まれている。本実施形態のカラオケ装置２は、歌唱評価情報が含まれない楽曲情報（Ｂタイプ）についても、演奏情報を使用して歌唱評価を行うことが可能となっている。

なお、本実施形態では、事前に演奏情報に基づいて得られた演奏音確率密度を楽曲情報に含ませた構成としている。この演奏音確率密度は、伴奏音に加えて歌唱音を含んだ演奏音情報を、周波数解析した情報であって、歌唱音の音高の他、伴奏に使用される各種楽器の音高を含んだ情報となっている。

なお、主旋律情報等、直接の比較対象となる歌唱評価情報を含まない楽曲情報（Ｂタイプ）としては、本実施形態のように演奏音確率密度を含んだ形態のみならず、演奏音確率密度を含んでいない楽曲情報であってもよい。その場合、楽曲演奏処理時に演奏音確率密度が算出されることになる。

図３は、本実施形態の演奏音確率密度算出処理を示すフロー図である。本実施形態で使用する演奏音確率密度は、模範歌唱音と伴奏音を含んだ演奏情報（本発明の「伴奏音信号」に相当）を解析して得られる情報であって、特許第３４１３６３４号公報に記載される音高推定方法に従って算出される。本実施形態では、楽曲情報（Ｂタイプ）に含まれる演奏情報を事前に処理して、楽曲情報（Ｂタイプ）に含ませることとしているが、カラオケ装置２の処理能力によっては、楽曲演奏中に、演奏音確率密度を算出して歌唱評価を行うこととしてもよい。その場合、楽曲情報（Ｂタイプ）には、演奏音確率密度は含まれないことになる。

演奏音確率密度算出処理は、解析対象となる楽曲情報から演奏情報を取得することで開始される（Ｓ１００）。特許第３４１３６３４号に記載される音高推定方法では、ＢＰＦを通すことで、メロディーライン（歌唱音）、ベースライン（ベース音）毎に基本周波数の軌跡を求めているが、本実施形態では、ＢＰＦを通さずに全ての帯域の演奏情報を対象としている。解析精度を高めるため、周波数解析（ＦＦＴ）を行う前の前処理として、ゼロパディング（ゼロ詰め）が行われる（Ｓ１０１）。そして、ゼロパディングされた演奏情報に対して周波数解析（Ｓ１０２）を実行する。本実施形態では、周波数解析手法としてＦＦＴを使用しているが、他の周波数解析手法を使用することも可能である。

周波数解析された演奏音情報に対して、ＥＭアルゴリズム（ExpectationーMaximization）を使用して、演奏情報に含まれる演奏音確率密度が算出される。ＥＭアルゴリズムは、Ｅステップ（Expectation Step、Ｓ１０３）と、Ｍステップ（Maximization Step、Ｓ１０４）を交互に繰り返し適用することで実行される。その際、歌唱音の高調波構造の音モデルを適用することで、歌唱音について精度の高い演奏音確率密度が算出される。算出された演奏音確率密度は、解析対象となった楽曲情報に格納される（Ｓ１０５）。

本実施形態では、このようにして算出された演奏音確率密度を使用して、楽曲情報（Ａタイプ）のように、主旋律情報のような歌唱音の音高を直接示した歌唱評価情報を含んでいない楽曲情報であっても、適切に歌唱評価を行うことが可能となっている。

では、本実施形態のカラオケ装置２について歌唱評価を行う評価処理を含んだ楽曲再生処理について説明する。図４は、本実施形態の楽曲再生処理を示すフロー図である。カラオケ装置２は、リモコン装置１、あるいは、タッチパネルモニター３３等の入力部に対する操作に基づいて楽曲が予約される。図２（Ｃ）は、予約操作に基づいてカラオケ装置２のメモリ２７に記憶される予約情報のデータ構成である。予約情報は、楽曲情報を識別するための楽曲ＩＤの他、予約したユーザーを示すユーザーＩＤ、予約時の音程設定に基づく音程設定値等が含まれている。

カラオケ装置２は、メモリ２７に記憶管理している予約テーブルをチェックし、再生の対象となる楽曲を確認する（Ｓ２０１）。次に再生する楽曲がある場合（Ｓ２０２：Ｙｅｓ）、予約情報中の楽曲ＩＤに対応する楽曲情報を読み出して楽曲の再生を開始する（Ｓ２０３）。楽曲情報の再生期間中、ユーザーの歌唱を評価する標準評価処理（Ｓ２０５）、あるいは、評価処理（Ｓ３００）が実行される。再生中の楽曲情報が、歌唱評価情報が含まれる楽曲情報（Ａタイプ）と判断された場合（Ｓ２０４：Ｙｅｓ）、標準評価処理（Ｓ２０５）が実行される。この標準評価処理（Ｓ２０５）は、従来から行われている歌唱評価であって、楽曲情報に含まれる歌唱評価情報（主旋律情報）と、マイクロホン４３ａ、４３ｂから入力される歌唱音声信号とを比較し、採点値等の評価結果を算出する処理である。なお、標準評価処理（Ｓ２０５）は、従来からよく知られている処理であるため、ここでの詳細な説明は省略する。

一方、再生中の楽曲情報が、歌唱評価情報が含まれない楽曲情報（Ｂタイプ）と判断された場合（Ｓ２０４：Ｎｏ）、評価処理（Ｓ３００）が実行される。この評価処理（Ｓ３００）は、本実施形態の特徴となる処理であって、楽曲情報（Ｂタイプ）に含まれる演奏音確率密度に基づいて歌唱評価を行う処理である。この評価処理（Ｓ３００）の詳細については後述する。Ａタイプ、Ｂタイプの何れについても楽曲の再生が終了する（Ｓ２０６、Ｓ２０７：Ｙｅｓ）と、標準評価処理（Ｓ２０５）、あるいは、評価処理（Ｓ３００）で判定された評価結果をモニター４１等に表示することでユーザーの歌唱能力が通知される。そして、楽曲再生処理の先頭に戻り、次に再生の対象となる楽曲の確認が行われる。

図５は、本実施形態の評価処理（Ｓ３００）を示すフロー図である。評価処理（Ｓ３００）では、マイクロホン４３ａ、４３ｂから入力される歌唱音声信号と、楽曲情報から取得する演奏音確率密度に基づいて評価が行われる。マイクロホン４３ａ、４３ｂから入力された歌唱音声信号（Ｓ３０３）に対しては、歌唱音声信号の基本周波数について、その確率密度が算出される（Ｓ３０４）。その際、現時点が歌唱区間か否かが判定される（Ｓ３０５）。歌唱区間の判定は、歌唱音声信号自体を使用して判定してもよいし、演奏音情報、あるいは、演奏音確率密度を参照して判定してもよい。あるいは、楽曲情報に含まれる歌詞情報の進行状況を使用して判定することも可能である。

歌唱区間と判定された場合（Ｓ３０５：Ｙｅｓ）、Ｓ３０４で算出された基本周波数の確率密度について二次元正規分布領域が算出される（Ｓ３０６）。図６は、本実施形態の音高確率密度の二次元正規分布領域を説明するための図である。図６（Ａ）は、基本周波数の確率密度を示すグラフであって、解析した時点における基本周波数ｆｃについて確率密度（確からしさ）が与えられた状態となっている。本実施形態では、この基本周波数ｆｃを中心（基準）として、所定分布を適用することで評価精度の向上を図っている。本実施形態では、周波数方向、時間軸方向のそれぞれに正規分布を適用し、図６（Ｂ）に示す二次元正規分布領域を作成している。基本周波数ｆｃを基準とする分布は、二次元正規分布に限られるものではなく、周波数軸方向のみ、時間軸方向のみであってもよい。また、分布形態も正規分布ではなく、各種他の分布形態を採用してもよい。作成された二次元正規分布領域を使用して、演奏音確率密度における模範歌唱特性の抽出、並びに、歌唱音声信号の評価を行うこととしている。

図３で説明したように演奏音確率密度は、歌唱評価に必要となる歌唱音以外に、伴奏音、バックコーラス等の情報が含まれている。そのため、この演奏音確率密度を、そのまま評価に使用すると、評価精度が低下してしまうことが考えられる。本実施形態では、演奏音確率密度を、歌唱音声信号でフィルタリングすることで模範歌唱特性を抽出し、この模範歌唱特性を歌唱音声信号との比較に使用することで、評価精度の向上を図ることとしている。これは、歌唱者によって歌唱音の巧拙の相違はあるとはいえ、適切に歌唱を行えば、模範歌唱特性に類似した特性となること、反対にいえば、適切に歌唱を行わない場合、演奏音確率密度から模範歌唱特性を適切に抽出できないことを理由としている。

評価処理では、評価対象となる区間の演奏音確率密度が取得され（Ｓ３０１）、取得された歌唱音高確率密度から、歌唱音声信号の基本周波数を基準とする歌唱音高近傍範囲を抽出し、模範歌唱特性が算出される（Ｓ３０２）。本実施形態では、演奏音確率密度に対して、歌唱音声信号の二次元正規分布領域を乗算することで、歌唱音高近傍範囲の抽出、及び、模範歌唱特性の算出を同時に行うこととしている。なお、歌唱するユーザーは、本来歌唱すべき歌唱音高に対しオクターブを異ならせて歌唱することが考えられる。そのため、歌唱音高近傍範囲は、複数のオクターブ毎に歌唱音高近傍範囲を抽出することとしてもよい。あるいは、複数のオクターブ毎に抽出し、演奏音確率密度が占める割合が高いオクターブを歌唱音高近傍範囲として抽出することとしてもよい。

図７は、本実施形態の歌唱音高近傍範囲を説明するための図である。図７（Ａ）は、歌唱音高確率密度の時間変化を示したグラフである。図７（Ｂ）は、図７（Ａ）のグラフについて、歌唱尾音高近傍範囲を示したグラフである。図７（Ｂ）に示される歌唱音高近傍範囲は、歌唱するユーザーの基本周波数を基準とした範囲であって、この範囲外の歌唱音高確率密度は、歌唱評価の対象外となる。したがって、周波数について評価範囲を減らし、評価処理で必要となる負荷を削減することが可能となっている。

図８は、本実施形態の模範歌唱特性の算出を説明するための図である。図８（Ａ）は、ある時間における演奏音確率密度と、歌唱音声信号から算出された二次元正規分布領域が記載されている。演奏音確率密度に対して二次元分布領域を乗算することで、図８（Ｂ）に示される模範歌唱特性が算出される。

歌唱評価は、算出された模範歌唱特性と、二次元正規分布領域を比較処理（一致度算出）することで、行われる（Ｓ３０７）。図９は、図９は、本実施形態の比較処理（Ｓ３０７）を説明するための図である。図９（Ａ）は、演奏音情報に基づいて算出された模範歌唱特性であって、図９（Ｂ）は、歌唱音声信号に基づいて算出された二次元正規分布領域である。両者の一致度を算出することで比較処理が実行される。両者の一致具合が高い程、一致度、すなわち、歌唱評価は高いものとなる。なお、本実施形態では、二次元正規分布領域を、周波数方向、時間軸方向の両軸方向に持たせている。そのため、時間軸方向についても考慮して評価を行うことが可能である。時間軸方向を考慮する場合には、模範歌唱特性についても時間的な推移を使用する等、模範歌唱特性を二次元的に換算する、あるいは、二次元正規分布領域の時間的な推移に基づいて周波数軸に関する一次元の分布領域に換算して比較することが好ましい。

比較処理（Ｓ３０７）で算出された比較採点値を積算することで採点値が算出される（Ｓ３０８）。楽曲情報の再生期間中、評価処理（Ｓ３００）を繰り返し実行することで、楽曲全体の採点値が算出されることになる。楽曲の再生終了が判定された場合（Ｓ２０７：Ｙｅｓ）、評価処理（Ｓ３００）の評価結果として算出された採点値をモニター４１等に表示することで、歌唱したユーザーに対して歌唱能力としての採点値が通知される。

以上、本実施形態のカラオケシステムによれば、主旋律情報のような歌唱評価情報を含んでいない楽曲情報であっても、演奏情報中、歌唱音声信号の音高近傍の周波数範囲である歌唱音高近傍範囲を評価の対象とすることで、処理負荷を抑えると共に、精度の高い歌唱評価を行うことが可能となる。

なお、本実施形態では、歌唱音声信号、演奏音情報の両方について、確率密度を算出して比較の対象としているが、各々について確率密度のみならず、各種指標を使用することが可能である。

また、本実施形態では、楽曲情報（Ｂタイプ）に、演奏情報を解析して得られた演奏音確率密度を付帯させているが、この演奏音確率密度は、予め付帯させず、楽曲再生処理中に算出することとしてもよい。また、歌唱音高近傍範囲、あるいは、歌唱音高近傍範囲を特定可能な情報は、楽曲再生処理時にユーザーが歌唱する歌唱音声信号を使用して算出することに代えて、予め楽曲情報に付帯させておくこととしてもよい。その場合、楽曲情報の提供側（製造メーカー側）で用意した歌唱者が歌唱を行い、当該歌唱音声信号から得られた歌唱音高近傍範囲を楽曲情報に付帯させておく、あるいは、当該歌唱音声信号から得られた歌唱音高近傍範囲を特定可能な情報を楽曲情報に付帯させておくことが考えられる。

このように歌唱音高近傍範囲、あるいは、歌唱音高近傍範囲を特定可能な情報を楽曲情報に付帯させておくことで、楽曲情報の提供側（製造メーカー側）において、プロの歌手程、上手くなくても適度に歌唱できる歌唱者を使用して、適切な歌唱音高近傍範囲を提供することが可能となる。

以上、本発明についてカラオケシステムを用いて説明したが、本発明はカラオケシステムに限られるものではない。カラオケ装置内、あるいは、カラオケ装置外において歌唱評価を実行する歌唱評価装置についても本発明の範疇に属するものである。また、現在、スマートホンにカラオケ用アプリ（プログラム）をインストールすることで、スマートホンでカラオケを行う形態、あるいは、ゲーム機において実行されるカラオケ用プログラムもよく知られている。このような各種情報処理装置にインストールすることで、本発明の機能を実現するカラオケ用プログラムに実装された歌唱評価プログラムについても本発明の範疇に属するものである。さらに歌唱評価方法についても本発明の範疇に属することはいうまでもない。

１：リモコン装置 ２４ｂ：無線ＬＡＮ通信部
２：カラオケ装置 ２５：音響制御部
５：ホスト装置 ２７：メモリ
１１：タッチパネルモニター ２８：ビデオＲＡＭ
１１ａ：表示部 ２９：映像再生部
１１ｂ：タッチパネル ３０：ＣＰＵ
１２：ビデオＲＡＭ ３１：映像制御部
１３：映像制御部 ３２：ハードディスク
１４：メモリ ３３：タッチパネルモニター
１５：ＣＰＵ ３４：タッチパネル
１６：無線ＬＡＮ通信部 ３５：表示部
１７：操作部 ４１：モニター
１８：操作処理部 ４２：スピーカー
２１：操作部 ４３ａ、４３ｂ：マイクロホン
２２：操作処理部 １３０：アクセスポイント
２４ａ：ＬＡＮ通信部

Claims (6)

1. マイクロホンから入力される歌唱音声信号を周波数解析し、歌唱音声信号の音高近傍の周波数範囲である歌唱音高近傍範囲を算出する歌唱音高近傍範囲算出手段と、
   模範歌唱音を含んだ伴奏音信号から、歌唱音高近傍範囲算出手段で算出された歌唱音高近傍範囲内における模範歌唱特性を算出する模範歌唱音声特性算出手段と、
   歌唱音声信号を周波数解析し、歌唱音声特性を算出する歌唱音声特性算出手段と、
   歌唱音声特性算出手段で算出された歌唱音声信号の歌唱音声特性と、模範歌唱音声特性算出手段で算出された模範歌唱特性を比較することで歌唱音声信号の評価を行う評価手段と、を備えたことを特徴とする
   歌唱評価装置。
2. 歌唱音高近傍範囲は、周波数軸方向または時間軸方向の少なくとも何れか１つについて、歌唱音声信号の音高を基準とする所定分布であることを特徴とする
   請求項１に記載の歌唱評価装置。
3. 歌唱音高近傍範囲、もしくは、歌唱音高近傍範囲を特定可能な情報が付帯された伴奏音信号から歌唱音高近傍範囲を算出する歌唱音高近傍範囲算出手段と、
   模範歌唱音を含んだ伴奏音信号から、歌唱音高近傍範囲内における模範歌唱特性を算出する模範歌唱音声特性算出手段と、
   マイクロホンから入力される歌唱音声信号の歌唱音声特性と、模範歌唱特性を比較することで歌唱音声信号の評価を行う評価手段と、を備えたことを特徴とする
   歌唱評価装置。
4. 請求項１から請求項３の何れか１項に記載の歌唱評価装置と、
   伴奏音信号を再生する再生手段と、を備えたことを特徴とする
   カラオケ装置。
5. マイクロホンから入力される歌唱音声信号を周波数解析し、歌唱音声信号の音高近傍の周波数範囲である歌唱音高近傍範囲を算出する歌唱音高近傍範囲算出処理と、
   模範歌唱音を含んだ伴奏音信号から、歌唱音高近傍範囲算出手段で算出された歌唱音高近傍範囲内における模範歌唱特性を算出する模範歌唱音声特性算出処理と、
   歌唱音声信号を周波数解析し、歌唱音声特性を算出する歌唱音声特性算出手段と、
   歌唱音声特性算出手段で算出された歌唱音声信号の歌唱音声特性と、模範歌唱音声特性算出手段で算出された模範歌唱特性を比較することで歌唱音声信号の評価を行う評価処理と、を実行可能としたことを特徴とする
   歌唱評価プログラム。
6. 歌唱音高近傍範囲、もしくは、歌唱音高近傍範囲を特定可能な情報が付帯された伴奏音信号から歌唱音高近傍範囲を算出する歌唱音高近傍範囲算出処理と、
   模範か消音を含んだ伴奏音信号から、歌唱音高近傍範囲内における模範歌唱特性を算出する模範歌唱音声特性算出処理と、
   マイクロホンから入力される歌唱音声信号の歌唱音声特性と、模範歌唱特性を比較することで歌唱音声信号の評価を行う評価処理と、を実行可能としたことを特徴とする
   歌唱評価プログラム。