JP2016031395A - リファレンス表示装置およびプログラム - Google Patents

Abstract

【課題】より直感的で分かりやすい表示を行うリファレンス表示装置およびプログラムを提供する。
【解決手段】ＣＰＵ１１は、奥行き方向が時間に対応し、平面方向（この例では上下方向）が音階に対応する主観視点で線状画像を表示する。画面内には、リファレンスデータに対応する線状画像が表示される。また、各線状画像には、それぞれ対応するキャラクタ画像が表示される。画面上部には採点結果に対応する得点が表示される。ＣＰＵ１１は、線状画像に沿って（すなわち歌唱者の音程に沿って）キャラクタ画像が奥行き方向に移動するように、線状画像および背景をスクロールさせる。
【選択図】図４

Description

本発明は、表示装置に関し、特にお手本（リファレンス）の表示を行う装置に関する。

従来、カラオケ装置は、歌詞やお手本の音程を表示部に表示することが行われている（例えば特許文献１を参照）。音程は、いわゆるピアノロールとして表示される。ピアノロールとは、縦軸が音階（ピアノの鍵盤が縦になった状態）、横軸が時間に対応した画面上に、各音の発音開始タイミングと発音の長さに応じた線状の画像を表示するものである。これにより、歌唱者は、歌唱するタイミングと音程を視覚的に把握することができる。

特開２００４−２０５８１７号公報

しかし、従来のピアノロールは必ずしも直感的で分かりやすいものではなかった。例えば、複数人でデュエット歌唱を行う場合、各歌唱者のピアノロールを同一画面上に表示しようとしても、音程が重なった場合に線状画像が重なり、見難いものになってしまう。

そこで、本発明は、より直感的で分かりやすい表示を行うリファレンス表示装置およびプログラムを提供することを目的とする。

本発明のリファレンス表示装置は、表示部と、リファレンスデータに基づいて、発音タイミング、音程、および発音長を示す線状画像を前記表示部に表示する画像処理部と、を備えている。

そして、画像処理部は、奥行き方向を時間軸に対応させ、平面方向を音程に対応させた主観視点で前記線状画像を表示することを特徴とする。主観視点とは、ユーザ自身の視野を模した表示態様である。ただし、ユーザ自身に相当する画像（キャラクタ画像等）を表示し、当該キャラクタ画像等を背後から映すように表示する態様も主観視点に相当する。

これにより、ユーザ（歌唱者、話者、または演奏者等）の主観的な空間上にお手本となる線状画像が表示されることになる。ユーザは、各音の発音タイミングと音程を、より直感的に把握することができ、かつ楽しみながら歌唱等を行うことができる。

なお、画像処理部は、現在の発音タイミングに応じた位置にユーザに対応する画像（ユーザを撮影した写真、キャラクタ画像等）を表示し、該ユーザに対応する画像が前記線状画像に沿って移動するように、前記線状画像をスクロールさせる態様としてもよい。この場合、ユーザは、自身の発音に応じてキャラクタ等を移動させているように感じることができ、歌唱、語学学習、または演奏等を楽しんで行うことができる。

また、リファレンス表示装置は、例えばデュエット歌唱を行う場合に、各歌唱者に対するリファレンスデータを、それぞれ複数の線状画像として、前記主観視点で並べて表示する。本発明は、主観視点で各線状画像を並べて表示するため、同一画面上であっても各線状画像が重なることがなく、高い視認性を得ることができる。

また、自身に相当するキャラクタと他の歌唱者に相当するキャラクタとを並行して表示することも可能である。この場合、ユーザは、自身の主観的な空間内に他の歌唱者が表示されるため、他の歌唱者と一緒に歌唱を行っている雰囲気をより感じ取ることができる。

また、リファレンス表示装置は、ユーザの発音結果を入力する入力手段と、前記ユーザの発音結果を前記リファレンスデータと比較することにより採点を行う採点手段と、を備え、前記画像処理部は、前記採点手段の採点結果を前記線状画像とともに表示することが好ましい。

この場合、ユーザは、自身の歌唱等の結果に応じて表示画像が変化するため、より楽しみながら歌唱等を行うことができる。

本発明のリファレンス表示装置は、より直感的で分かりやすい表示を行うことができる。

カラオケシステムの構成を示したブロック図である。 カラオケ装置の構成を示したブロック図である。 センタの構成を示したブロック図である。 リファレンスデータを含む各種データの構造を示す図である。 リファレンスの表示例を示す図である。 リファレンスの表示例を示す図である。 カラオケ装置の動作を示すフローチャートである。 他の例に係るリファレンスの表示態様である。 他の例に係るリファレンスの表示態様である。 リファレンス表示装置の最小構成を示したブロック図である。

図１は、本発明のリファレンス表示装置を備えたカラオケシステムの構成を示す図である。カラオケシステムは、インターネット等のネットワーク２を介して接続されるセンタ（サーバ）１と、複数のカラオケ店舗３と、からなる。

各カラオケ店舗３には、ネットワーク２に接続されるルータ等の中継機５と、中継機５を介してネットワーク２に接続される複数のカラオケ装置７が設けられている。中継機５は、カラオケ店舗の管理室内等に設置されている。複数台のカラオケ装置７は、それぞれ個室（カラオケボックス）に１台ずつ設置されている。また、各カラオケ装置７には、それぞれリモコン９が設置されている。

カラオケ装置７は、中継機５およびネットワーク２を介して他のカラオケ装置７と通信可能になっている。カラオケシステムは、異なる場所に設置されているカラオケ装置７同士で通信を行い、複数の歌唱者間でデュエットを行うことができる。

図２は、カラオケ装置の構成を示すブロック図である。図３は、センタ１の構成を示すブロック図である。

カラオケ装置７は、本発明のリファレンス表示装置に相当する。カラオケ装置７は、ＣＰＵ１１、ＲＡＭ１２、ＨＤＤ１３、ネットワークインタフェース（Ｉ／Ｆ）１４、ＬＣＤ（タッチパネル）１５、マイク１６、Ａ／Ｄコンバータ１７、音源１８、ミキサ（エフェクタ）１９、サウンドシステム（ＳＳ）２０、スピーカ２１、ＭＰＥＧ等のデコーダ２２、表示処理部２３、モニタ２４、操作部２５、および送受信部２６を備えている。

装置全体の動作を制御するＣＰＵ１１には、ＲＡＭ１２、ＨＤＤ１３、ネットワークインタフェース（Ｉ／Ｆ）１４、ＬＣＤ（タッチパネル）１５、Ａ／Ｄコンバータ１７、音源１８、ミキサ（エフェクタ）１９、ＭＰＥＧ等のデコーダ２２、表示処理部２３、操作部２５、および送受信部２６が接続されている。

ＨＤＤ１３は、ＣＰＵ１１の動作用プログラムが記憶されている。ワークメモリであるＲＡＭ１２には、ＣＰＵ１１の動作用プログラムを実行するために読み出すエリア、カラオケ曲を演奏するために楽曲データを読み出すエリア、ガイドメロディ等のリファレンスデータを読み出すエリア、予約リストや採点結果等のデータを一時記憶するエリア、等が設定される。

また、ＨＤＤ１３は、カラオケ曲を演奏するための楽曲データを記憶している。さらに、ＨＤＤ１３は、モニタ２４に背景映像を表示するための映像データも記憶している。映像データは、動画および静止画の両方を記憶している。映像データには、後述するキャラクタ画像も含まれている。楽曲データおよび映像データは、定期的にセンタ１から配信され、更新される。

センタ１は、図３に示すように、ＣＰＵ３１、ＲＡＭ３２、ＨＤＤ３３、およびネットワークインタフェース（Ｉ／Ｆ）３４を備えている。ＨＤＤ３３は、ＣＰＵ３１の動作用プログラムが記憶されている。ワークメモリであるＲＡＭ３２には、ＣＰＵ３１の動作用プログラムを実行するために読み出すエリア等が設定される。ＣＰＵ３１は、センタ１を統括的に制御する制御部である。ＣＰＵ３１は、ネットワークを介してデュエットを行う場合に、各カラオケ装置７を接続する接続処理を行う。また、ＨＤＤ３３に記憶されている歌唱データの配信処理を行う。

ＨＤＤ３３には、配信用の楽曲データおよび映像データが記憶されている。さらに、ＨＤＤ３３には、氏名等の各歌唱者の情報が記憶されている。例えば、各歌唱者がカラオケ装置を操作して特定の歌唱者の氏名を入力すると、当該歌唱者の情報がセンタ１に送信される。ＣＰＵ３１は、ＨＤＤ３３に記憶されている歌唱者情報から当該歌唱者に係る氏名を検索する。ＣＰＵ３１は、歌唱者の氏名を入力したカラオケ装置と、検索された歌唱者が利用するカラオケ装置と、を接続させる。これにより、ネットワーク経由のデュエット歌唱を実現する。

ＨＤＤ３３には、さらに歌唱データおよび採点データも記憶されている。歌唱データは、例えば各歌唱者が過去に歌唱したときの歌唱音を録音したものである。採点データは、当該歌唱時の採点結果を示すものである。これら歌唱データおよび採点データは、各歌唱者がリクエストを行った場合に配信される。これにより、各歌唱者は、例えば自身が過去に歌唱したときの歌唱音とともにデュエットを行うことが可能になる。また、歌唱データおよび採点データは、例えば歌手または声優等が歌唱したものであってもよい。これにより、各歌唱者は、好きな歌手または声優等とデュエットを行うことが可能になる。

図２に戻り、カラオケ装置７について説明する。ＣＰＵ１１は、カラオケ装置を統括的に制御する制御部であり、機能的にシーケンサを内蔵し、カラオケ演奏を行う。また、ＣＰＵ１１は、音声信号生成処理、映像信号生成処理、採点処理、および線状画像表示処理を行う。これにより、ＣＰＵ１１は、本発明における画像処理部として機能する。

タッチパネル１５および操作部２５は、カラオケ装置の前面に設けられている。ＣＰＵ１１は、タッチパネル１５から入力される操作情報に基づいて、操作情報に応じた画像をタッチパネル１５上に表示し、ＧＵＩを実現する。また、リモコン９も同様のＧＵＩを実現するものである。ＣＰＵ１１は、タッチパネル１５、操作部２５、または送受信部２６を介してリモコン９から入力される操作情報に基づいて、各種の動作を行う。

次に、カラオケ演奏を行うための構成について説明する。上述したように、ＣＰＵ１１は、機能的にシーケンサを内蔵している。ＣＰＵ１１は、ＲＡＭ１２の予約リストに登録された予約曲の曲番号に対応する楽曲データをＨＤＤ１３から読み出し、シーケンサでカラオケ演奏を行う。

楽曲データは、例えば図４に示すように、曲番号等が書き込まれているヘッダ、演奏用ＭＩＤＩデータが書き込まれている楽音トラック、ガイドメロディ用ＭＩＤＩデータが書き込まれているガイドメロディトラック、歌詞用ＭＩＤＩデータが書き込まれている歌詞トラック、バックコーラス再生タイミングおよび再生すべき音声データが書き込まれているコーラストラック、息継ぎのタイミングを示すブレス位置トラック、歌唱技法のタイミングを示す技法位置トラック、等からなっている。ガイドメロディトラック、ブレス位置トラック、および技法位置トラックは、本発明のリファレンスデータに対応する。リファレンスデータとは、歌唱者が歌唱の参考にするためのお手本データであり、各音を発する発音タイミング、音程、および発音長を示す情報が含まれている。なお、楽曲データの形式としては、この例に限るものではない。例えば、ブレス位置トラックおよび技法位置トラックのない既存の楽曲データを用意し、ブレス位置トラックおよび技法位置トラックは、別のデータとして用意してもよい。この場合、ブレス位置トラックおよび技法位置トラックが含まれた新たな楽曲データを用意する必要はない。ただし、ブレス位置トラックおよび技法位置トラックのデータには、それぞれ曲番号等の曲識別情報を記載しておく。ＣＰＵ１１は、楽曲データを読み出すときに、対応するブレス位置トラックおよび技法位置トラックを読み出し、シーケンス動作を行う。また、リファレンスデータの形式も、上述のようなＭＩＤＩ形式に限るものではない。例えばブレス位置を示すリファレンスデータとしては、ブレス位置のタイミング（楽曲先頭からの時間経過）を示したテキストデータ等であってもよい。また、リファレンスデータが音声データ（例えば歌唱音を録音したもの）である場合には、当該音声データからピッチを抽出して音程を抽出するとともに、該音程が抽出されるタイミングおよび長さから、発音タイミングおよび発音長を抽出することも可能である。また、音量（パワー）を検出することで無音区間を検出し、各音の間に無音区間が存在する場合には、当該無音区間が抽出されたタイミングをブレス位置のタイミングとして抽出することも可能である。また、所定期間内においてピッチが規則的に変動している場合には、当該機関について「ビブラート」が行われていると判定することで、歌唱技法が行われたタイミング（技法位置）を抽出することも可能である。

楽音トラックは、楽音を発生させる楽器の種類、タイミング、音程（キー）、強さ、長さ、定位（パン）、音響効果（エフェクト）等を示す情報が記録されている。ガイドメロディトラックは、お手本の歌唱に対応する各音の発音開始タイミング、発音の長さ等の情報が記録されている。

シーケンサは、楽音トラックのデータに基づいて音源１８を制御し、カラオケ曲の楽音を発生する。

また、シーケンサは、コーラストラックの指定するタイミングでバックコーラスの音声データ（楽曲データに付随しているＭＰ３等の圧縮音声データ）を再生する。また、シーケンサは、歌詞トラックに基づいて曲の進行に同期して歌詞の文字パターンを合成し、この文字パターンを映像信号に変換して表示処理部２３に入力する。

音源１８は、シーケンサの処理によってＣＰＵ１１から入力されたデータ（ノートイベントデータ）に応じて楽音信号（デジタル音声信号）を形成する。形成した楽音信号はミキサ１９に入力される。

ミキサ１９は、音源１８が発生した楽音信号、コーラス音、およびマイク（歌唱音声入力手段）１６からＡ／Ｄコンバータ１７を介して入力された歌唱者の歌唱音声信号に対してエコー等の音響効果を付与するとともに、これらの信号をミキシングする。

また、異なる場所に設置されているカラオケ装置７同士で通信を行い、デュエットを行う場合には、他のカラオケ装置から歌唱音声信号が送信される。ミキサ１９には、当該他のカラオケ装置から受信した歌唱音声信号も入力され、自装置のマイク１６から入力された歌唱音声信号とミキシングされる。

ミキシングされた各デジタル音声信号はサウンドシステム２０に入力される。サウンドシステム２０は、Ｄ／Ａコンバータおよびパワーアンプを内蔵しており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ（楽音発生手段）２１から放音する。ミキサ１９が各音声信号に付与する効果およびミキシングのバランスは、ＣＰＵ１１によって制御される。

ＣＰＵ１１は、上記シーケンサによる楽音の発生、歌詞テロップの生成と同期して、ＨＤＤ１３に記憶されている映像データを読み出して背景映像等を再生する。動画の映像データは、ＭＰＥＧ形式にエンコードされている。

また、ＣＰＵ１１は、歌唱者を表す写真、またはキャラクタ等の映像データをセンタ１からダウンロードして表示処理部２３に入力することもできる。歌唱者を表す写真は、その場でカラオケ装置またはリモコン９に設けられたカメラ（不図示）で撮影したり、ユーザが所有する携帯端末等に設けられたカメラで撮影したりすることも可能である。

ＣＰＵ１１は、読み出した背景映像の映像データをデコーダ２２に入力する。デコーダ２２は、入力されたＭＰＥＧ等のデータを映像信号に変換して表示処理部２３に入力する。表示処理部２３には、背景映像の映像信号以外に上記歌詞テロップの文字パターンとともに、ガイドメロディトラックに基づく線状画像の映像信号およびキャラクタ画像の映像信号も入力される。

従来のピアノロールでは、縦軸が音階（ピアノの鍵盤が縦になった状態）、横軸が時間に対応した画面上に、各音の発音開始タイミングと発音の長さに応じた線状の画像を表示するものであった。しかし、本実施形態では、図５（Ａ）に示すように、奥行き方向が時間軸に対応し、平面方向（この例では上下方向）が音階に対応する主観視点で線状画像を表示するものである。主観視点とは、ユーザ自身の視野を模した表示態様である。図５（Ａ）のように、ユーザ自身に相当する画像（キャラクタ画像等）を表示し、当該キャラクタ画像等を背後から映すように表示する態様も主観視点に相当する。

図中の線状画像に重なって表示されている大きい球状の画像５０２は、ガイドメロディトラックにおける各音の発音タイミングである。これにより、ユーザは、球状の画像５０２が表示されているタイミングで発音を行う旨を把握することができる。また小さい球状の画像５０３は、採点のタイミングに対応し、歌唱音とガイドメロディとの音程が合致していれば得点が付与される。得点が付与された場合には、星状の画像５０５が流れるように表示され、図中右上に表示された得点欄５０４に得点が加算される。また、連続して音程が合致していた場合には、図中の上部に示すように、例えば「２５ｃｏｍｂｏ」と表示されることにより、連続して音程を合致させることができた数を把握することができる。

なお、本発明で言う線状画像とは、図５（Ｂ）に示しているような細長い線に限るものではなく、図５（Ａ）の例に示したように、左右または上下方向にある程度の幅を有した画像が一方向（この例では奥行き方向）に延びるものも含む。

図５（Ｂ）に示すように、本実施形態では、リファレンスデータに対応する線状画像（図５（Ａ）においては、線状画像５０１Ａ、線状画像５０１Ｂ、および線状画像５０１Ｃ）が奥行き方向に延びるように表示される。また、各線状画像５０１Ａ、線状画像５０１Ｂ、および線状画像５０１Ｃには、それぞれ対応するキャラクタ画像１０１Ａ、キャラクタ画像１０１Ｂ、およびキャラクタ画像１０１Ｃが表示される。画面上部には採点結果に対応する得点が表示される。

まず、ＣＰＵ１１は、ガイドメロディトラックに含まれている各音の発音開始タイミングおよび発音の長さの情報に基づいて、線状画像を生成する。そして、ＣＰＵ１１は、各音の線状画像を滑らかに連結する。各音の連結部分の傾きは、例えば１６分音符に対応する時間長で連結させる等、一律に同じ傾きの画像として表示させる態様とする。ただし、実際には各曲に個別の歌い方が存在し、音程の変化の態様は一律ではない。したがって、各音の連結部分毎に異なる傾きで表示されることが好ましい。この場合、リファレンスデータとして、各音の連結部分の音程の変化に応じた傾きを指定する情報が含まれていてもよい。なお、線状画像は、予め各曲毎に用意した画像データ（線状画像に相当するもの）を読み出して表示するようにしてもよい。

その後、ＣＰＵ１１は、ブレス位置トラックが示す息継ぎタイミングで線状画像を離散させる。例えば、従来の客観視点で説明すると、図５（Ｂ）に示すように、「あかい」の発音の後と、「はなが」の冒頭の発音タイミングとの間に息継ぎタイミングが存在するため、「あかい」の線状画像と、「はなが」の線状画像とを離散させる。

そして、ＣＰＵ１１は、当該線状画像を図５（Ａ）に示したような主観視点で表示する。これにより、歌唱者は、各音の発音タイミングと音程とを、より直感的に把握することができる。なお、線状画像を滑らかに接続することは、本発明において必須ではない。ただし、線状画像を滑らかに接続することにより、歌唱者は、各音のつなげ方および息継ぎのタイミングを視覚的に把握することができる。また、ＣＰＵ１１は、ブレス位置トラックが示す息継ぎタイミングで線状画像を離散させるため（リファレンスデータに息継ぎタイミングを示す情報が含まれているため）、単なる無音区間と息継ぎの区間と明確に区別して表示することができ、ユーザに対して正確な息継ぎの位置を把握させることができる。

また、ＣＰＵ１１は、現在の歌唱位置にキャラクタを表示する。この例では、自身のキャラクタ画像１０１Ａを画面中央の下部に表示し、キャラクタ画像１０１Ａが線状画像に沿って（すなわち歌唱者の音程に沿って）奥行き方向に移動するように、線状画像および背景をスクロールさせる。歌唱者が音程を誤って歌唱した場合には、キャラクタ画像１０１Ａが線状画像から離れた位置に表示されることになり、歌唱者は、音程がどの程度外れたのかを直感的に把握することができる。

また、ＣＰＵ１１は、採点結果に応じた得点を表示する。採点は、歌唱者の歌唱音声をガイドメロディトラックと比較することによって行われる。採点は、ガイドメロディトラックのノート毎に、歌唱音声とガイドメロディの音程（ピッチ）を比較することによって行われる。すなわち、歌唱音声の音程が、所定時間以上、ガイドメロディトラックの音程に合っていた（許容範囲に入っていた）場合には、高い得点を付与する。また、音程変化のタイミングも得点に考慮される。さらに、音程変化のタイミング、ビブラート、抑揚、しゃくり（低い音程からなだらかに移行すること）等の歌唱技法の有無に基づいて加点も行われる。

なお、採点処理では、ブレス位置トラックに含まれる息継ぎタイミングにおいて歌唱者が息継ぎを行ったか否かも加点対象としてもよい。息継ぎを行ったか否かは、当該息継ぎタイミングを含む所定時間内においてマイク１６から音声が入力されていない（入力レベルが所定閾値未満である）場合か、息継ぎ音が収音された場合に、息継ぎを行ったと判定し、マイク１６から音声が入力された（入力レベルが所定閾値以上である）場合に、息継ぎが行われていないと判定する。息継ぎ音が収音されたか否かは、例えばパターンマッチング等で息継ぎ音の波形と対比することで判断する。なお、ＣＰＵ１１は、息継ぎを検出しなかった場合に、キャラクタ画像が地面（線状画像が途切れている箇所）から落ちるような表示を行ってもよい。

また、本実施形態の採点処理では、技法位置トラックに含まれる各技法のタイミングにおいて、同じ技法を検出した場合に、より高い得点を付与することが好ましい。

なお、採点処理は、各カラオケ装置において行ってもよいが、センタ１（または他のサーバ）で行ってもよい。また、ネットワークを介して他のカラオケ装置とデュエットを行っている場合には、代表的に処理を行うカラオケ装置１台で採点処理を行ってもよい。

以上のようにして、歌唱者は、自身の歌唱に応じてキャラクタ画像１０１Ａが移動し、かつ自身の歌唱の採点結果を得点で確認することができるため、ゲームのように楽しんでカラオケを行うことができる。

また、図５（Ａ）の例では、デュエット歌唱を行う場合に、自身に相当するキャラクタ画像１０１Ａとともに、他の歌唱者に相当するキャラクタ画像１０１Ｂおよびキャラクタ画像１０１Ｃが並んで表示される。デュエット曲用の楽曲データは、複数の歌唱者用に複数のリファレンスデータ（ガイドメロディトラック）が含まれている。したがって、ＣＰＵ１１は、各ガイドメロディトラックに対応する線状画像を並べて表示し、それぞれの線状画像に対応してキャラクタ画像を表示する。これにより、ユーザは、他の歌唱者と一緒に歌唱を行っている雰囲気をより感じ取ることができる。また、各歌唱者の採点結果に応じて得点を加算して態様とすれば、各歌唱者が協力しながら得点を稼いでいると感じることができ、より一体感を得ることができる。

なお、マイク１６にジャイロセンサまたは加速度センサ等の姿勢を検出することができるセンサを設け、マイク１６の姿勢に応じて主観視点の画像を変更するようにしてもよい。例えば、図５（Ａ）の例では、キャラクタ画像１０１Ａが左右の中心付近に表示されているが、歌唱者がマイク１６を右方向に向けた場合に、画面内のキャラクタ画像および線状画像が左方向に移動し、キャラクタ１０１Ｃが左右の中心に近づくような表示を行う。これにより、歌唱者が右方向を向いた場合に主観視点の画面も右側に向いたような表示が行われ、よりリアルで直感的な表示態様となる。

なお、歌唱者がデュエット曲用ではない楽曲データを選択した場合（同じメロディを異なる歌唱者で歌唱する場合）、ＣＰＵ１１は、例えば同じ線状画像を並べて表示し、それぞれの線状画像に対応してキャラクタ画像を表示する。

なお、図５（Ａ）の例では、上下方向が音階に対応する主観視点で表示するものであるが、例えば図６に示すように、左右方向が音階に対応する主観視点で表示してもよい。この場合、左方向に向かって低い音階となり、右方向に向かって高い音階となっている。

なお、本実施形態においては、線状画像を主観視点で表示する例を示したが、例えば図８に示すように、客観視点で表示するようにしてもよい。図８の例では、左右方向が時間軸に対応し、上下方向が音階に対応するようになっている。この例では、線状画像が地面の画像に対応し、息継ぎタイミングにおいて地面の画像が途切れるようになっている。そして、キャラクタ画像１０１Ａが線状画像（地面の画像）に沿って移動するように、線状画像および背景をスクロールさせる。息継ぎタイミングにおいては、地面が途切れるため、息継ぎ（マイク１６から音声が入力されていない状態）を検出しなかった場合に、キャラクタ画像１０１Ａが地面から落ちるようになっている。また、この例でも、歌唱採点の結果が画面上に表示される。したがって、この例においても、歌唱者は、ゲームのように楽しんでカラオケを行うことができる。

次に、カラオケシステムの動作についてフローチャートを参照して説明する。図７は、カラオケシステムの動作を示すフローチャートである。

まず、ＣＰＵ１１は、歌唱者から楽曲のリクエストを受け付ける（ｓ１１）。さらに、ＣＰＵ１１は、ネットワーク経由のデュエット歌唱のリクエストであるか否かを判断する（ｓ１２）。ネットワーク経由のデュエット歌唱のリクエストであった場合、センタ１に対して接続リクエストを行う（ｓ１３）。このとき、ＣＰＵ１１は、モニタ２４において、ネットワークを介して接続された他のカラオケ装置の歌唱者とデュエットを行うか否かを促す画像を表示し、ネットワーク経由のデュエット歌唱を受け付ける。例えば、歌唱者がタッチパネル１５、操作部２５、またはリモコン９を用いて特定のユーザの氏名を入力すると、センタ１に当該氏名に係る情報が送信される。

センタ１は、接続リクエストを受信し（ｓ５１）、ＨＤＤ３３に記憶されている歌唱者情報を読み出して、該当する歌唱者のカラオケ装置と接続処理を行う（ｓ５２）。これにより、各カラオケ装置は、他のカラオケ装置と接続され（ｓ１４）、各歌唱者の歌唱データを送受信することによりデュエット歌唱が可能となる。

次に、カラオケ装置７のＣＰＵ１１は、リクエストされた楽曲データを読み出し（ｓ１５）、描画処理を行う（ｓ１６）。すなわち、ＣＰＵ１１は、ＨＤＤ１３に記憶されている映像データを読み出し、背景映像を生成するとともに、当該背景映像にキャラクタ画像を合成する。さらに、ＣＰＵ１１は、ガイドメロディトラックに含まれている各音の発音開始タイミングおよび発音の長さの情報に基づいて、線状画像を生成する。ＣＰＵ１１は、ブレス位置トラックから息継ぎタイミングの情報を読み出し、各音の線状画像を滑らかに連結するとともにブレス位置トラックが示す息継ぎタイミングで線状画像を離散させて表示する。当該線状画像は、各キャラクタ画像に対応させて背景映像に合成する。デュエット歌唱である場合には、複数の線状画像およびキャラクタ画像を並べて表示する。

なお、ＣＰＵ１１は、促音の音素に係る線状画像と、該促音の音素の後の線状画像と、を離散させて表示することが好ましい。促音は、日本語のかな表記では「っ」「ッ」で表されるものであり、後に続く音との間が無音となるものである。ＣＰＵ１１は、歌詞トラックの中から促音を抽出し、抽出した促音を発するタイミングにおいて、線状画像を離散させる。例えば、「つかったら」という歌詞であった場合、「か」の後に促音が存在するため、「か」の線状画像と、その後の「た」の線状画像とを離散させて表示する。また、促音に係る音素が存在する旨を示す画像（この例では「っ」と記載された四角画像）をさらに表示してもよい。

また、ＣＰＵ１１は、技法位置トラックを読み出して、歌唱技法を線状画像に表示することが好ましい。例えば図５（Ａ）の例では、冒頭はしゃくり（リファレンスの音程よりも低い音程から持ち上げつつ歌唱を行う）の技法を行う箇所である。したがって「ノ」のような音程が上がることを連想させる画像５０６を表示する。また、図６に示すように、ビブラートの区間については波線状の線状画像に加えて、別途「ｍ」のような波線状の画像５０７を表示する。これにより、歌唱者は、どのタイミングでどのような歌唱技法を行うか、容易に把握することができる。

なお、ビブラートの区間は、線状画像を波線に変更して表示する態様としてもよい。また、技法位置トラックに「タメ」の情報が含まれている場合には、当該「タメ」の情報に対応する音（この例では「か」の音）の先頭の位置を遅らせる。これにより、歌唱者は、当該特定の音（この例では「か」の音）の歌いだしを故意に遅らせる「タメ」を直感的に把握し易くなる。また、技法位置トラックに「コブシ」の情報が含まれている場合には、当該「コブシ」のタイミングに対応する位置で線状画像を一時的に上昇させる。これにより、特定の音の声色を発音の途中でうなるように変化させる歌唱技法である「コブシ」に対応する線状画像とすることも可能である。また、技法位置トラックに「フォール」の情報が含まれている場合には、「フォール」のタイミングに対応する位置から線状画像を低い音程に変化させる態様とすることで、「フォール」の歌唱技法に対応する線状画像とすることも可能である。

さらに、ＣＰＵ１１は、ブレス位置トラックが示す息継ぎタイミングを示す情報に基づいて、息継ぎを促す画像（例えば「Ｖ」のような画像）を、線状画像とともに表示する態様としてもよい。

また、ＣＰＵ１１は、ガイドメロディトラックに含まれている各音の音量を示す情報を読み出し、各音の音量に応じた線状画像に変更する処理を行ってもよい。例えば、音量に応じて線の太さを変更したり、音量に応じて線の色を変更したりする。

なお、同じ音程で続けて異なる歌詞を発音する場合、線状画像が連結されていると、ユーザは、どのタイミングで次の歌詞を発音するのか把握し難い可能性がある。そこで、ＣＰＵ１１は、図５（Ａ）に示すように、ガイドメロディトラックにおける各音の発音タイミングにおいて、例えば線状画像の上に球体の画像を重畳して表示する。これにより、ユーザは、当該球体画像が表示されているタイミングで発音を行う旨を把握することができる。なお、図５（Ａ）の例では、拍タイミングで小さい球体画像を表示し、発音タイミングで大きい球体画像を表示する態様としている。

また、ＣＰＵ１１は、描画処理において、歌詞トラックを読み出して、各線状画像に歌詞の画像を対応付け表示する。

次に、ＣＰＵ１１は、カラオケ演奏の進行とともに採点処理を行う（ｓ１７）。採点処理は、上述したようにリファレンスデータとの比較で行われる。

ＣＰＵ１１は、当該採点処理における採点結果、およびマイク１６から入力された歌唱音に係る歌唱データをセンタ１に送信する（ｓ１８）。センタ１は、各カラオケ装置７から採点結果および歌唱データを受信し、対応する他のカラオケ装置７に歌唱データを送信する（ｓ５３）。これにより、各カラオケ装置７における歌唱音声が、他のカラオケ装置７に送信される。各カラオケ装置７では、自身の歌唱音声とデュエット相手の歌唱音声がミキシングされてスピーカ２１から放音される。また、センタ１は、各カラオケ装置７から受信した採点結果を集計した後、各カラオケ装置７に送信する。これにより、各カラオケ装置７では、自身の採点結果とデュエット相手の採点結果とを集計した採点結果を得ることができ、例えば集計後の採点結果に応じた点数を表示する。

以上のような処理が楽曲の演奏終了時までなされる。カラオケ装置７のＣＰＵ１１は、楽曲の演奏が終了したか否かを判断し（ｓ１９）、楽曲の演奏が終了するまで、曲の進行にしたがって線状画像をスクロールさせるとともにキャラクタ画像を移動させる。また、採点結果に応じた点数を表示する。同様に、センタ１のＣＰＵ３１は、楽曲の演奏が終了したか否かを判断し（ｓ５４）、楽曲の演奏が終了するまで、各カラオケ装置７から歌唱データおよび採点結果を送受信する。

なお、本実施形態では、カラオケ装置７を用いてカラオケ演奏および主観視点で線状画像の表示を行う態様を示したが、例えばユーザの所有するＰＣやスマートフォン、ゲーム機等の情報処理装置（マイク、スピーカ、および表示部の構成を備えたもの）を用いることでも、本発明のリファレンス表示装置を実現することが可能である。なお、楽曲データおよびリファレンスデータは、表示装置に記憶されている必要はなく、サーバから都度ダウンロードして利用するようにしてもよい。

また、本実施形態では、カラオケにおけるガイドメロディを線状画像として表示する例を示したが、例えば吹奏楽器演奏のお手本の音程変化を線状画像として表示し、息継ぎタイミングで線状画像が途切れる態様としても同様の効果が得られる。また、例えば語学学習において、お手本の発音タイミングおよび発音長を示す線状画像を表示し、息継ぎタイミングおよび促音で線状画像が途切れる態様としても、同様の効果が得られる。

なお、図５においては、ユーザ自身に相当するキャラクタ画像および他のユーザに相当するキャラクタ画像をそれぞれ表示する態様を示したが、複数の線状画像および複数のキャラクタ画像を表示することは、本発明において必須ではない。例えば図９（Ａ）に示すように、キャラクタ画像を表示せず、奥行き方向を時間軸に対応させ、平面方向を音程に対応させた主観視点で線状画像のみを表示する態様としてもよい。図９（Ａ）の例では歌詞も表示しているが、歌詞の表示も本発明において必須ではない。また、この場合も、図９（Ｂ）に示すように、時間経過にともなって奥行き方向に延びた線状画像が手前に近づいてくるように表示されるため、ユーザは、各音の発音タイミングと音程を直感的に把握することができ、楽しみながら歌唱や楽器演奏等を行うことができる。

なお、図１０に示すように、本発明のリファレンス表示装置は、表示部であるモニタ２４と、線状画像表示処理を行う画像処理部として機能するＣＰＵ１１と、を備え、当該ＣＰＵ１１がＨＤＤ１３に記憶されている楽曲データ（本発明のリファレンスデータの一例である。）に基づいた線状画像を主観視点で表示させる態様とすればよい。他のハードウェア構成は、本発明において必須の要素ではない。

また、上述したように、リファレンスデータは、ＨＤＤ１３に記憶されている必要はなく、外部（例えばサーバ）から都度ダウンロードして利用するようにしてもよい。また、デコーダ２２、表示処理部２３、およびＲＡＭ１２も、ＣＰＵ１１の機能の一部として当該ＣＰＵ１１が内蔵していてもよい。

１…センタ
２…ネットワーク
３…カラオケ店舗
５…中継機
７…カラオケ装置
９…リモコン
１１…ＣＰＵ
１２…ＲＡＭ
１３…ＨＤＤ
１５…タッチパネル
１６…マイク
１７…Ａ／Ｄコンバータ
１８…音源
１９…ミキサ
２０…サウンドシステム
２１…スピーカ
２２…デコーダ
２３…表示処理部
２４…モニタ
２５…操作部
２６…送受信部
３１…ＣＰＵ
３２…ＲＡＭ
３３…ＨＤＤ
１０１…キャラクタ画像
１０１Ａ，１０１Ｂ，１０１Ｃ…キャラクタ画像
５０１Ａ，５０１Ｂ，５０１Ｃ…線状画像

Claims (5)

1. 表示部と、
   リファレンスデータに基づいて、発音タイミング、音程、および発音長を示す線状画像を前記表示部に表示する画像処理部と、
   を備えたリファレンス表示装置であって、
   前記画像処理部は、奥行き方向を時間軸に対応させ、平面方向を音程に対応させた主観視点で前記線状画像を表示することを特徴とするリファレンス表示装置。
2. 前記画像処理部は、異なるリファレンスデータを、それぞれ複数の線状画像として、前記主観視点で並べて表示する請求項１に記載のリファレンス表示装置。
3. 前記画像処理部は、現在の発音タイミングに応じた位置にユーザに対応する画像を表示し、該ユーザに対応する画像が前記線状画像に沿って移動するように、前記線状画像をスクロールさせる請求項１または請求項２に記載のリファレンス表示装置。
4. ユーザの発音結果を入力する入力手段と、
   前記ユーザの発音結果を前記リファレンスデータと比較することにより採点を行う採点手段と、を備え、
   前記画像処理部は、前記採点手段の採点結果を前記線状画像とともに表示する請求項１乃至請求項３のいずれかに記載のリファレンス表示装置。
5. 表示部を備えた情報処理装置に、
   リファレンスデータに基づいて、発音タイミング、音程、および発音長を示す線状画像を前記表示部に表示する画像処理ステップを実行させるプログラムであって、
   前記画像処理ステップは、奥行き方向を時間軸に対応させ、平面方向を音程に対応させた主観視点で前記線状画像を表示することを特徴とするプログラム。

Images