以下、本発明の一実施形態について説明する。
(システム構成)
先ず、本発明の一実施形態に係るカラオケシステムの構成について、図1、図2を参照しつつ説明する。本実施形態に係るカラオケシステムは、各地のカラオケ店舗等に設置されたカラオケ装置100と、通信網Nと、サーバ600と、によって基本的に構成される(図2参照)。カラオケ装置100は、カラオケ店舗の客室ごとに設置されている。カラオケ装置100は、例えば、カラオケ店舗内に設置されるルータを介して、通信網Nによってサーバ600と接続される。
(カラオケ装置の構成)
続いて、カラオケ装置100の構成について説明する。当該カラオケ装置100は、コマンダ200、STB300(セットトップボックス、Set Top Box)、カメラ410、第1ディスプレイ421、第2ディスプレイ422、マイク430、スピーカ450から構成されている。図1に示すように、歌唱者Sは、スピーカ450から出力される所望の楽曲に係る伴奏に合わせて、マイク430を用いてカラオケ歌唱を行う。この時、歌詞テロップ及び背景画像が、第1ディスプレイ421、第2ディスプレイ422に表示される(例えば、図13(a)、(c)参照)。従って、歌唱者Sは、第2ディスプレイ422等における歌詞テロップの表示に従って、カラオケ歌唱を行い得る。
そして、カメラ410は、通常、歌唱者Sを撮影可能な位置に配置されている。従って、当該カラオケ装置100は、カラオケ歌唱を行う歌唱者Sを撮影し得る。尚、当該カメラ410は、自由に移動させることができる。
尚、図1に示すカラオケ装置100の外観は単なる一例であり、本発明は、当該外観を有するカラオケ装置100に限定されるものではない。例えば、本実施形態においては、ディスプレイの数を2つとしているが、第2ディスプレイ422を省略して、第1ディスプレイ421のみで構成することも可能である。
(コマンダの構成)
次に、カラオケ装置100を構成するコマンダ200について、図2を参照しつつ説明する。当該コマンダ200は、制御部210、映像データ再生部220、再生映像データ記憶部230、指示入力部240、音声再生部、補助記憶部を有している。
制御部210は、CPU、ROM、RAMを有している。制御部210のCPUは、種々のプログラム(例えば、後述する映像データ再生処理プログラム等)を実行する。制御部210のROMは、種々のデータを記憶する。具体的には、制御部210のROMは、映像データ再生処理プログラム等(図6〜図9参照)を記憶している。コマンダ200のRAMは、種々のデータを一時的に記憶する。
そして、制御部210は、各種制御プログラムに基づいて、後述する著作権フラグに基づく著作権信号Cr、再生映像データPvの再生出力に伴うフレーム同期信号Fsの入力を受け付ける。又、制御部210は、指示入力部240からの操作信号に基づいて、撮影開始信号St、撮影終了信号En、アップロード信号Uを出力する。更に、当該制御部210は、著作権信号Cr、フレーム同期信号Fsと、各種制御プログラムに基づいて、後述するアルファブレンド信号αを出力する。又、当該制御部210は、STB300の色情報抽出部320からの色情報検出信号Cdの入力を受け付ける。
映像データ再生部220は、再生映像データ記憶部230に格納されている再生映像データPvを読み出し、当該再生映像データPvに基づく映像の再生を行う。即ち、当該映像データ再生部220は、当該再生映像データPvに係るビデオ信号Viと共に、マイク430から入力された音声信号Voを、第1ディスプレイ421、第2ディスプレイ422へ出力する。又、映像データ再生部220は、制御部210から出力されたアルファブレンド信号αの入力を受け付ける。
図3に示すように、映像データ再生部220は、MPEGデコーダ221と、アルファブレンド層設定部222と、を有している。MPEGデコーダ221は、MPEGフォーマットで生成されている再生映像データPvをデコードし、ビデオ信号Vi及びフレーム同期信号Fsを出力する。当該ビデオ信号Viは、再生映像データPvに基づくRGBビデオ信号である。フレーム同期信号Fsは、HSYNC、VSYNCを含む。HSYNCは、第1ディスプレイ421等の画面に再生映像データPvに基づく画像を描画する際に、画面の水平方向の描画タイミングを計るための信号である。VSYNCは、第1ディスプレイ421等の画面に再生映像データPvに基づく画像を描画する際に、画面の垂直方向の描画タイミングを計るための信号である。そして、MPEGデコーダ221は、フレーム同期信号Fs(即ち、HSYNC及びVSYNC)をアルファブレンド層設定部222に入力する。
アルファブレンド層設定部222は、後述するアルファブレンド信号出力処理プログラム(図7参照)と、アルファブレンド信号α及びフレーム同期信号Fsに基づいて、再生映像データPvに基づく再生映像フレームPfに識別色を表示するように、アルファブレンド層を設定する。ここで、本実施形態における識別色は、255階調で200を示す明度の青(B)である。
そして、図2に示すように、再生映像データ記憶部230は、カラオケ歌唱に用いられる楽曲に対応する再生映像データPvを記憶している。当該再生映像データPvに基づく映像は、カラオケ歌唱に際し、映像データ再生部220を介して、第1ディスプレイ421、第2ディスプレイ422に表示される。尚、カラオケデータ(楽曲データ)は、前記再生映像データPv以外に、MIDI等の楽音データも含んで構成される。この点、楽音データに係る楽音は、本発明の特徴ではなく、楽音データを再生する構成も周知であるため、これらについての図示は省略する。
ここで、再生映像データPvは、図13(a)、(c)に示すように、背景映像及び歌詞テロップを含む。当該再生映像データPvに含まれる背景映像、歌詞テロップは、カラオケ歌唱のための「再生」は許可されているが、「記憶」が禁止されている場合がある。図1に示す歌唱態様においては、カメラ410が撮影する映像に、背景映像、歌詞テロップが映ることが想定される(図13(b)参照)。
本実施形態に係るカラオケシステムにおいては、歌詞テロップ、背景映像の記録が禁止されている場合、著作権フラグが、当該再生映像データPvに対して付帯される(図4、図5参照)。図5に示すように、再生映像データPvに対する著作権フラグが「1」の場合、当該著作権フラグは、再生映像データPvに係る背景映像、歌詞テロップの記憶が禁止されていることを示す。一方、著作権フラグが「0」の場合、当該著作権フラグは、再生映像データPvに係る背景映像、歌詞テロップの記憶が許可されていることを示す。従って、コマンダ200のCPUは、著作権フラグを確認することで、当該再生映像データPvに係る背景映像、歌詞テロップの記憶が禁止されているか否かを把握し得る。
尚、本実施形態では、再生映像データPvに対して著作権フラグを付帯させていたが、楽曲(再生映像データPv)毎の著作権フラグをテーブルとして定義してもよい。この場合、当該テーブルは、コマンダ200の記憶装置(例えば、再生映像データ記憶部230や、後述する補助記憶部)に記憶される。
指示入力部240は、カラオケ装置100に関する各種指示の入力を受け付ける。当該指示入力部240は、コマンダ200に配設されたコントロールパネルや、リモコン(図示せず)に対するユーザの操作入力を受け付ける。当該リモコンは、指示入力部240との間で、赤外線通信や電波通信可能に無線接続されている。そして、当該指示入力部240は、ユーザの操作に基づく撮影開始信号St、撮影終了信号Enや、後述する著作権信号Crを、カメラ410へ出力する。又、当該指示入力部240は、ユーザの操作に基づくアップロード信号Uを、STB300へ出力する。
コマンダ200の音声再生部は、カラオケデータを構成する楽曲の再生を行う。コマンダ200の補助記憶部は、例えば、楽曲の再生に必要な音声データ(楽音信号)等を記憶する。従って、当該音声再生部は、ユーザ所望の楽曲に係る音声データを読み出し、読み出した音声データを再生する。
尚、コマンダ200から出力される音声信号Voは、マイク430から入力された音声信号Voのみに限定されるものではなく、楽音信号と、マイク430からの音声信号Voと、を混合した音声信号(以下、「混合音声信号」という。)の場合を含む。
(STBの構成)
続いて、カラオケ装置100を構成するSTB300について、図2を参照しつつ説明する。STB300は、CPU、ROM、RAM、A/Dコンバータ310、色情報抽出部320、MPEGエンコーダ330、記憶部340を有している。
STB300のCPUは、各種制御プログラム(例えば、後述するSTB側制御処理プログラム)に基づいて、STB300全体を制御する。STB300のROMは、種々のデータを記憶する。具体的には、STB300のROMは、STB側制御処理プログラム(図10参照)を記憶している。STB300のRAMは、種々のデータを一時的に記憶する。
A/Dコンバータ310は、カメラ410により撮影された撮影映像信号R(即ち、アナログ信号)を、デジタル信号に変換することで、撮影映像フレームRfを出力する。そして、当該A/Dコンバータ310は、撮影映像フレームRfを、MPEGエンコーダ330及び色情報抽出部320へ出力する。
色情報抽出部320は、STB側制御処理プログラム(図10参照)に基づいて、撮影映像フレームRfにおける色情報(R値、G値、B値)の検出頻度について、ヒストグラム解析を行う。当該ヒストグラム解析の結果が色情報検出条件を満たす場合、色情報抽出部320は、制御部210に対して、色情報検出信号Cdを出力する。本実施形態における色情報検出条件は、255階調で200を示す明度のB値の検出頻度が所定の閾値を超えることである。尚、色情報の検出頻度に係るヒストグラム解析処理については既に公知であるため、色情報抽出部320の構成に関する詳細な説明は省略する。
MPEGエンコーダ330は、A/Dコンバータ310から入力された撮影映像フレームRfと、マイク430から入力された音声信号Voを、MPEGフォーマットでエンコードし、投稿動画データCoを生成する。ここで、投稿動画データCoのフォーマットは適宜選択することができる。
記憶部340は、MPEGエンコーダ330で生成された投稿動画データCoを記憶する。これにより、カメラ410からの撮影映像信号R及びマイク430からの音声信号Voは、STB300によってキャプチャされる。そして、記憶部340に記憶された投稿動画データCoは、後述するサーバ600へのアップロードの対象となる。即ち、記憶部340に記憶された投稿動画データCoは、アップロード信号Uに基づいて、通信網Nを介して、サーバ600の投稿動画データベース610にアップロードされる。
尚、STB300は、コマンダ200に接続されている。そして、当該STB300は、コマンダ200に対する外部接続装置として機能する。即ち、本発明は、既存のコマンダ200に対し、STB300を接続することで実現し得る。コマンダ200と、STB300は、制御線を介して接続されており、種々の制御信号を用いて互いの機器を制御し得る。
(カメラの構成)
次に、カラオケ装置100を構成するカメラ410について、図2を参照しつつ説明する。カメラ410は、基本的に、所謂、デジタルビデオカメラであり、画像形成部411、CPU、ROM、RAM、レンズ(図示せず)を有している。
カメラ410のCPUは、各種制御プログラムに基づいて、カメラ410全体を制御する。具体的には、カメラ410のCPUは、コマンダ200から出力された撮影開始信号St、撮影終了信号Enに応じて、カメラ410による撮影に関する制御を行う。カメラ410のROMは、種々のデータを記憶する。具体的には、カメラ410のROMは、制御処理プログラムを記憶している。そして、カメラ410のRAMは、種々のデータを一時的に記憶する。
画像形成部411は、撮像面を有しており、レンズを介して、当該撮像面に入射された光に基づいて、アナログ信号である撮影映像信号Rを生成する。そして、当該画像形成部411は、生成した撮影映像信号Rを、STB300のA/Dコンバータ310へ出力する。当該画像形成部411の構成については、既に公知であるため、その詳細な説明を省略する。
(その他の構成)
続いて、カラオケ装置100を構成するその他の構成について、図1、図2を参照しつつ説明する。第1ディスプレイ421、第2ディスプレイ422は、所謂、液晶ディスプレイにより構成される。第1ディスプレイ421、第2ディスプレイ422は、フレーム同期信号Fsに基づいて、入力された映像信号(例えば、再生映像データPvに基づくビデオ信号Vi)に係る映像を画面上に描画・表示する。
マイク430は、歌唱者Sがカラオケ歌唱を行う際に用いられ、当該歌唱等に基づく音声信号Voを、コマンダ200及びMPEGエンコーダ330に入力する。尚、マイク430の個数は、適宜設定可能である。そして、スピーカ450は、アンプ(図示せず)を介して、コマンダ200と接続されている。コマンダ200から出力された音声信号Voは、アンプにより増幅されて、当該スピーカ450から出力される(図1参照)。
次に、本実施形態に係るカラオケシステムを構成するサーバ600の構成について、図面を参照しつつ詳細に説明する。図2に示すように、サーバ600は、投稿動画データベース610を有している。投稿動画データベース610は、カラオケ装置100からアップロードされた投稿動画データCoを記憶している。又、投稿動画データベース610は、パソコンやコマンダ等を介して、アクセスされ得る。投稿された撮影映像の利用者は、パソコンや他のコマンダを介して、投稿動画データベース610から投稿動画データCoを読み出して再生することで、投稿された撮影映像を閲覧し得る。
又、当該サーバ600は、カラオケデータベース(図示せず)を有している。当該カラオケデータベースは、カラオケ楽曲の再生に用いられるカラオケデータを記憶している。カラオケデータは、カラオケ楽曲の生成起源となる音声データと、カラオケ楽曲の再生中に表示される歌詞テロップ及び背景映像(動画、静止画)の生成起源となる再生映像データPvと、を含む。又、サーバ600は、カラオケデータベースに記憶されているカラオケデータを、各カラオケ店舗に配信する。
尚、上記内部構成は単なる一例である。又、本発明は、上述した内部構成と均等な内部構成で実現することができることはいうまでもない。
(コマンダ側制御処理の内容)
続いて、カラオケ装置100に係るコマンダ200で実行されるコマンダ側制御処理について、図面を参照しつつ詳細に説明する。先ず、コマンダ200の制御部210により実行される映像データ再生処理プログラムについて、図6を参照しつつ詳細に説明する。
先ず、S1においては、制御部210は、リモコン等からの操作信号に基づいて、楽曲再生指示があったか否かを判断する。楽曲再生指示があった場合(S1:YES)、制御部210は、S2に処理を移行する。楽曲再生指示がない場合(S1:NO)、制御部210は、処理を待機する。
S2に移行すると、制御部210は、ユーザ所望の楽曲を再生する。この時、制御部210は、当該楽曲に係る再生映像データPvを再生映像データ記憶部230から読み出し、映像データ再生部220を介して、当該再生映像データPvに基づくビデオ信号Viを、第1ディスプレイ421、第2ディスプレイ422へ出力する。同時に、制御部210は、マイク430から入力された音声信号Voを、スピーカ450へ出力する。その後、制御部210は、S3に処理を移行する。
S3では、制御部210は、リモコン等からの操作信号に基づいて、投稿指示があったか否かを判断する。投稿指示があった場合(S3:YES)、制御部210は、アップロード信号UをSTB300に出力する。この時、制御部210は、撮影開始信号Stを、STB300及びカメラ410へ出力する。これにより、カメラ410は、歌唱者Sの歌唱の様子に関する撮影を開始する。そして、アップロード信号U等を出力した後、制御部210は、S4に処理を移行する。投稿指示がなかった場合(S3:NO)、制御部210は、S6に処理を移行する。
S4においては、制御部210は、当該楽曲に係る再生映像データPvに、著作権フラグが付帯されているか否かを判断する。即ち、制御部210は、著作権信号Crに基づいて、当該再生映像データPvの著作権フラグが「1」であるか否かを判断する。著作権フラグが付帯されている場合(S4:YES)、制御部210は、S5に処理を移行する。著作権フラグが付帯されていない場合(S4:NO)、制御部210は、S6に処理を移行する。
S5に移行すると、制御部210は、アルファブレンド信号出力処理を実行する。アルファブレンド信号出力処理(S5)では、当該楽曲の再生映像データPvに著作権フラグが付帯されているため、再生映像データPvの記録が禁止されているものと判断し、アルファブレンド信号αを、映像データ再生部220と、STB300の色情報抽出部320に対して出力する。当該アルファブレンド信号出力処理では、制御部210は、後述するアルファブレンド信号出力処理プログラムを実行する。アルファブレンド信号出力処理の詳細については、後に図面を参照しつつ詳細に説明する。アルファブレンド信号αを出力した後、制御部210は、S6に処理を移行する。
S6では、制御部210は、楽曲(即ち、再生映像データPvに基づく映像)の再生が終了したか否かを判断する。楽曲の再生を終了した場合(S6:YES)、制御部210は、S7に処理を移行する。一方、楽曲が未だ再生中である場合(S6:NO)、制御部210は、S4へ処理を戻す。
S7においては、制御部210は、撮影終了信号出力処理を実行する。撮影終了信号出力処理(S8)では、制御部210は、楽曲の再生終了に伴い、歌唱者Sの歌唱が終了したものと判断し、撮影終了信号EnをSTB300及びカメラ410に出力する。これにより、カメラ410は、歌唱者Sの歌唱の様子に関する撮影を終了し、映像データ再生処理プログラムを終了する。
次に、映像データ再生処理プログラムのS5で実行されるアルファブレンド信号出力処理プログラムについて、図7を参照しつつ詳細に説明する。当該アルファブレンド信号出力処理プログラムは、制御部210のCPUにより実行される。
アルファブレンド信号出力処理(S5)に移行すると、制御部210は、先ず、フレーム同期信号Fsをカウントする(S11)。この時、制御部210は、フレーム同期信号Fsを構成するHSYNC、VSYNCを個別に計数する。具体的には、制御部210は、制御部210のRAMに形成されたカウンタ値を参照する。フレーム同期信号Fsをカウントした後、制御部210は、S12に処理を移行する。
S12においては、制御部210は、前記カウンタの値が所定数であるか否かを判断する。即ち、制御部210は、フレーム同期信号Fsを所定数カウントしたか否かを判断する。前記カウンタの値が所定数である場合(S12:YES)、制御部210は、S13に処理を移行する。一方、前記カウンタの値が所定数未満である場合(S12:NO)、制御部210は、S16に処理を移行する。
S13では、制御部210は、アルファブレンド信号αを、所定の期間(例えば、一の再生映像フレームPfの描画に要する期間)の間、映像データ再生部220と、STB300の色情報抽出部320へ出力する。アルファブレンド信号αを所定期間出力した後、制御部210は、S14に処理を移行する。
S14に移行すると、制御部210は、アルファブレンド設定処理を実行する。アルファブレンド設定処理(S14)では、制御部210は、アルファブレンド層設定部222を制御することにより、識別色(即ち、255階調で200を示す明度の青(B))を再生映像フレームPfに表示するように、アルファブレンド層を設定する。アルファブレンド設定処理を終了すると、制御部210は、S15に処理を移行する。
S15においては、制御部210は、制御部210のRAMに形成されたカウンタの値をクリアし、「0」に初期化する。前記カウンタをクリアした後、制御部210は、アルファブレンド信号出力処理プログラムを終了し、映像データ再生処理プログラムのS6へ処理を移行する。
S16では、制御部210は、前記カウンタの値に「1」を加算する。即ち、前記カウンタの値は、所定期間におけるフレーム同期信号Fsの数を示す。カウンタの値に「1」を加算した後、制御部210は、アルファブレンド信号出力処理プログラムを終了し、映像データ再生処理プログラムのS6へ処理を移行する。
上述したように、アルファブレンド信号出力処理(S5)は、楽曲の再生(即ち、再生映像データPvの再生)を終了するまで繰り返し実行される。従って、アルファブレンド信号出力処理プログラムは、制御部210により、再生映像データPv全体に対して実行される。
続いて、コマンダ200の制御部210により実行される色情報検出確認処理プログラムについて、図8を参照しつつ詳細に説明する。色情報検出確認処理プログラムは、STB300の色情報抽出部320において、撮影映像フレームRfから識別色が検出されたことを確認するプログラムである。
先ず、S21では、制御部210は、制御部210は、リモコン等からの操作信号に基づいて、再生映像データPvの再生が開始された否かを判断する。再生映像データPvの再生が開始されている場合(S21:YES)、制御部210は、S22に処理を移行する。一方、再生映像データPvの再生が開始されていない場合(S21:NO)、制御部210は、処理を待機する。
S22においては、制御部210は、制御部210を構成するRAMに形成された色情報検出メモリをリセットする。当該色情報検出メモリの記憶内容を初期化した後、制御部210は、S23に処理を移行する。
S23に移行すると、制御部210は、色情報検出信号Cdを受信したか否かを判断する。色情報検出信号Cdは、後述するSTB側制御処理プログラム(図10)において、色情報抽出部320が撮影映像フレームRfから識別色を検出した場合に、当該色情報抽出部320から出力される。色情報検出信号Cdを受信した場合(S23:YES)、制御部210は、S24に処理を移行する。一方、色情報検出信号Cdを受信していない場合(S23:NO)、制御部210は、S25に処理を移行する。
S24では、制御部210は、色情報検出信号Cdを受信したことに伴って、色情報検出メモリをセットする。色情報検出メモリがセットされていることは、撮影映像フレームRfから識別色を検出したことを意味し、カメラ410によって再生映像データPvを含む映像の記録が禁止されていることを示す。色情報検出メモリをセットした後、制御部210は、S25に処理を移行する。
S25においては、制御部210は、再生映像データPvの再生を終了したか否かを判断する。再生映像データPvの再生を終了している場合(S25:YES)、制御部210は、色情報検出確認処理プログラムを終了する。一方、再生映像データPvの再生が未だ終了していない場合(S25:NO)、制御部210は、S23に処理を戻す。
次に、コマンダ200の制御部210により実行される撮影映像アップロード処理プログラムについて、図9を参照しつつ詳細に説明する。撮影映像アップロード処理プログラムは、カメラ410で撮影した投稿動画データCoのアップロードを行う際に実行される。
先ず、S31では、制御部210は、ユーザによる投稿指示があったか否かを判断する。具体的には、制御部210は、アップロード信号Uの出力があったか否かにより、S31の判断処理を行う。投稿指示があった場合(S31:YES)、制御部210は、S32に処理を移行する。一方、投稿指示がなかった場合(S31:NO)、制御部210は、処理を待機する。
S32においては、制御部210は、RAMに形成された色情報検出メモリがセットされているか否かを判断する。色情報検出メモリがセットされている場合(S32:YES)、制御部210は、S33に処理を移行する。一方、色情報検出メモリがセットされていない場合(S32:NO)、制御部210は、S34に処理を移行する。
S33に移行すると、制御部210は、アップロード不許可処理を実行する。アップロード不許可処理(S33)では、記録が禁止された再生映像データPvの映像が投稿動画データCoに含まれているものと判断し、制御部210は、投稿動画データCoのアップロードを行うことなく、投稿動画データCoを記憶部340から削除するように、STB300へ制御信号を出力する。又、当該アップロード不許可処理(S33)では、制御部210は、「当該投稿動画データCoのアップロードは禁止されており、アップロードできない旨」の画像(以下、「不許可報知画像」という。)第1ディスプレイ421等に表示する(図13(d)参照)。アップロード不許可処理を終了すると、制御部210は、撮影映像アップロード処理プログラムを終了する。
S34では、制御部210は、アップロード許可処理を実行する。アップロード許可処理(S34)では、制御部210は、当該投稿動画データCoを、通信網Nを介して、サーバ600の投稿動画データベース610へアップロードすべく、STB300に対して、制御信号を出力する。アップロード許可処理を終了すると、制御部210は、撮影映像アップロード処理プログラムを終了する。尚、アップロード許可処理で出力された制御信号を受信すると、STB300は、制御信号が示す投稿動画データCoを記憶部340から読み出し、通信網Nを介して、投稿動画データベース610へアップロードする。
(STB側制御処理の内容)
続いて、カラオケ装置100に係るSTB300で実行されるSTB側制御処理プログラムについて、図10を参照しつつ詳細に説明する。当該STB側制御処理プログラムは、STB300のCPUによって、実行される。
先ず、S41においては、STB300は、コマンダ200から出力された撮影開始信号Stを受信したか否かを判断する。撮影開始信号Stを受信している場合(S41:YES)、STB300は、S42に処理を移行する。撮影開始信号Stを受信していない場合(S41:NO)、STB300は、処理を待機する。
S42に移行すると、STB300は、アルファブレンド信号αを受信したか否かを判断する。上述したように、当該アルファブレンド信号αは、記録が禁止された再生映像データPvを第1ディスプレイ421等の画面上で再生する場合に、コマンダ200から出力される(S5)。アルファブレンド信号αを受信した場合(S42:YES)、STB300は、S43に処理を移行する。一方、アルファブレンド信号αを受信していない場合(S42:NO)、STB300は、S47に処理を移行する。
S43では、STB300は、撮影映像フレーム抽出処理を実行する。撮影映像フレーム抽出処理(S43)では、STB300は、カメラ410からの撮影映像信号Rに基づく一の撮影映像フレームRfを静止画として抽出し、色情報抽出部320に入力する。撮影映像フレームRfを抽出した後、STB300は、S44に処理を移行する。
S44においては、STB300は、色情報ヒストグラム解析処理を実行する。具体的には、STB300は、色情報抽出部320を制御して、S43で抽出した撮影映像フレームRfを対象として、当該撮影映像フレームRfを構成する画素のR値、G値、B値について、255階調の明度毎の検出頻度を用いて、ヒストグラム解析を行う(図12参照)。色情報ヒストグラム解析処理(S44)における色情報抽出部320の処理内容については、既に公知であるため、その詳細な説明を省略する。色情報ヒストグラム解析処理の解析結果をSTB300のRAMに格納すると、STB300は、色情報ヒストグラム解析処理を終了し、S45に処理を移行する。
S45に移行すると、STB300は、色情報ヒストグラム解析処理(S44)の解析結果が色情報検出条件を満たすか否かを判断する。ここで、本実施形態における色情報検出条件は、「255階調における200の明度にあたるB値の検出頻度が閾値(例えば、70%)以上であること」である。即ち、STB300は、撮影映像フレームRfから、第1ディスプレイ421等に表示された映像に含まれる識別色を検出したか否かを判断する。例えば、色情報ヒストグラム解析処理の解析結果が、図12に示す態様である場合、STB300は、色情報検出条件を満たすと判断する。S44の解析結果が色情報検出条件を満たす場合(S45:YES)、STB300は、S46に処理を移行する。一方、S44の解析結果が色情報検出条件を満たしていない場合(S45:NO)、STB300は、S47に処理を移行する。
ここで、色情報検出条件に係る閾値は、一律に定めることができない可能性がある。撮影対象が歌唱者Sではなく、第1ディスプレイ421等に表示された映像であると判断する基準(即ち、閾値)は、再生映像データPvの著作者毎の映像に対する考え方に依存するためである。このような場合は、予め閾値を再生映像データPvの著作者と決定しておき、決定した閾値を示す情報を、著作権フラグと共に、再生映像データPvに添付しておけば良い。
上記の場合におけるコマンダ200側の処理については、S4において、制御部210が著作権フラグを検出した際に、添付された閾値を読み取り、S4からS5へ移行する間のタイミングで、当該閾値に係る情報を、撮影開始信号St等と同様に、STB300へ送信する。一方、STB300側では、閾値に関する情報を色情報抽出部320がコマンダ200から受信すると、S45における色情報検出条件に係る閾値を、当該閾値に係る情報に基づいて設定する。この時、STB300側は、S41において、既に撮影開始信号Stを受信しているが、コマンダ200側では、映像データ再生処理のS5に至っていない状態にある。従って、アルファブレンド信号αは、コマンダ200側から出力されていない。つまり、この構成であっても、本発明の制御に支障をきたすことはない。これらの、再生映像データPvの構成、コマンダ200側処理、及びSTB300側処理によって、再生映像データPvごとに色情報検出条件が決定されるため、再生映像データPvの著作者毎の再生映像に対する意向を反映し得る。
S46では、STB300は、色情報検出信号出力処理を実行する。色情報検出信号出力処理(S46)においては、STB300は、S43〜S45の処理により、投稿動画データCoを構成する撮影映像フレームRfから識別色を検出したことに伴って、コマンダ200の制御部210へ、色情報検出信号Cdを出力する。色情報検出信号出力処理(S46)を終了すると、STB300は、S47へ処理を移行する。
S47においては、STB300は、コマンダ200から出力された撮影終了信号Enを受信したか否かを判断する。撮影終了信号Enを受信している場合(S47:YES)、STB300は、STB側制御処理プログラムを終了する。一方、撮影終了信号Enを受信していない場合(S47:NO)、STB300は、S42に処理を戻す。
(アップロード禁止映像再生時の制御内容)
続いて、本実施形態に係るカラオケ装置100において、図6〜図10に示す制御プログラムを実行した場合の制御内容について、図面を参照しつつ説明する。尚、以下の説明においては、著作権フラグが付帯されている再生映像データPvに係る映像(以下、アップロード禁止映像)を第1ディスプレイ421等に出力する場合について説明する。
先ず、コマンダ200側で行われるアップロード禁止映像の出力に係る制御内容を説明する。上述したように、アップロード禁止映像に係る再生映像データPvに対しては、再生映像データ記憶部230において、著作権フラグ「1」が付帯されている。そして、アップロード禁止映像の再生(例えば、図13(c)参照)を開始すると、制御部210は、当該アップロード禁止映像を第1ディスプレイ421等に描画する際に出力されるフレーム同期信号Fs(HSYNC、VSYNC)をカウントする(S5)。
そして、制御部210は、アルファブレンド出力処理(S5)及びS6の判断処理を実行することで、アップロード禁止映像に係る再生映像フレームPfの所定フレーム(例えば、30フレーム)毎に、アルファブレンド信号αを、再生映像フレームPfの1フレーム分に対応する期間、映像データ再生部220及び色情報抽出部320へ出力する。
図11に示すように、アルファブレンド信号αの出力期間は、フレーム同期信号Fsを構成するVSYNC、HSYNCによって特定される。即ち、アルファブレンド信号αの出力開始時期は、再生映像フレームPfに係るVSYNCが制御部210に入力されるタイミングに同期する。そして、アルファブレンド信号αの出力終了時期は、当該VSYNCの直後に入力されるHSYNC群が制御部210に対する入力を完了するタイミングに同期する。これにより、制御部210は、再生映像フレームPfの1フレーム分の間、アルファブレンド信号αを出力し得る。
上述したように、アルファブレンド設定処理(S14)においては、アルファブレンド信号αが映像データ再生部220に入力されると、制御部210は、アルファブレンド層設定部222を制御し、再生映像フレームPfの1フレームに識別色を表示するように、アルファブレンド層を設定する。
これにより、アップロード禁止映像を第1ディスプレイ421等に出力する場合、識別色を含む再生映像フレームPfが、アップロード禁止映像に係る再生映像フレームPfの30フレーム毎に、第1ディスプレイ421等に表示される。
ここで、本実施形態に係るカラオケ装置100は、歌唱者Sの歌唱の様子を、カメラ410により撮影することができる。歌唱者Sの歌唱の様子を撮影する際に、アップロード禁止映像を表示している第1ディスプレイ421等が映り込む場合がある。
続いて、本実施形態に係るカラオケ装置100において、カメラ410による撮影に際し、アップロード禁止映像を表示する第1ディスプレイ421等が映り込んだ場合の制御内容について、図11を参照しつつ詳細に説明する。
上述したように、カメラ410は、撮影開始信号Stを受信すると、歌唱者Sの歌唱の様子等を撮影する。ここで、アップロード禁止映像が第1ディスプレイ421等に表示されている場合、第1ディスプレイ421等は、アップロード禁止映像に係る再生映像フレームPfの30フレーム毎に、識別色を含む再生映像フレームPfを表示する。従って、アップロード禁止映像を表示する第1ディスプレイ421等がカメラ410に映り込んだ場合、カメラ410で撮影された映像は、第1ディスプレイ421等に表示された識別色を含む。
そして、STB300は、カメラ410によって撮影された撮影映像信号Rを、撮影映像フレームRfに変換する。この時、STB300は、コマンダ200からアルファブレンド信号αを受信している場合(S42:YES)、当該撮影映像フレームRfを抽出し、色情報抽出部320へ入力する(S43)。その後、STB300は、色情報抽出部320を制御することにより、抽出された撮影映像フレームRfに対して、色情報ヒストグラム解析処理(S44)を実行する。
ここで、アップロード禁止映像を表示する第1ディスプレイ421等がカメラ410に映り込んだ場合、カメラ410で撮影された映像は、第1ディスプレイ421等に表示された識別色を含む。つまり、この時の撮影映像フレームRfは、識別色を含むこととなる。従って、色情報ヒストグラム解析処理(S44)において、STB300は、撮影映像フレームRf中の識別色を検出し得る。撮影映像フレームRfから識別色を検出した場合、当該撮影映像フレームRfの解析結果は、色情報検出条件を満たす(S45:YES)。従って、図10、図11に示すように、STB300は、色情報抽出部320を介して、色情報検出信号Cdを、コマンダ200の制御部210へ出力する(S46)。
色情報検出信号Cdを受信した場合、コマンダ200の制御部210は、色情報検出メモリをセットする(S24)。そして、制御部210は、色情報検出メモリがセットされている場合(S32:YES)、アップロード不許可処理(S33)を実行する。このアップロード不許可処理(S33)では、制御部210は、STB300へ制御信号を出力し、投稿動画データCoを投稿動画データベース610へアップロードすることなく、記憶部340から削除する。この時、制御部210は、不許可報知画像(図13(d)参照)を、第1ディスプレイ421等に表示する。
(アップロード許可映像再生時の制御内容)
次に、本実施形態に係るカラオケシステムにおいて、アップロード許可映像が第1ディスプレイ421等で再生されている場合における制御内容について、図面を参照しつつ詳細に説明する。ここで、アップロード許可映像とは、歌詞テロップ、背景映像の記録が許可されている映像であり、著作権フラグが「0」を示す再生映像データPvに係る映像を意味する。
ここで、アップロード許可映像に係る楽曲を歌唱する歌唱者Sの様子を撮影する場合、第1ディスプレイ421、第2ディスプレイ422(以下、第1ディスプレイ421等という)は、当該アップロード許可映像に係る再生映像データPvに基づいて、歌詞テロップ、背景映像を含む映像を出力する(図13(a)参照)。この場合、著作権フラグが「0」を示すため、アップロード許可映像を第1ディスプレイ421等に出力する場合には、アルファブレンド信号αが出力されることはなく、アルファブレンド層設定部222により識別色が設定された再生映像フレームPfが第1ディスプレイ421等に表示されることもない。
そして、この場合、識別色を含む再生映像フレームPfが第1ディスプレイ421等に表示されることもないため、投稿動画データCoを構成する各撮影映像フレームRfが、色情報検出条件を満たすことはない。従って、コマンダ200の制御部210は、アップロード許可処理(S34)を実行する。これにより、STB300は、アップロード許可映像を含む投稿動画データCo(例えば、図13(b)参照)を、記憶部340から読み出し、通信網Nを介して、サーバ600の投稿動画データベース610へアップロードする。
以上、説明したように、本発明は、カラオケ装置100と、サーバ600と、を有するカラオケシステムであって、カラオケ装置100は、コマンダ200、STB300、カメラ410等を有する。著作権フラグが付帯されている再生映像データPvに係る楽曲について歌唱者Sが歌唱する場合、カラオケ装置100は、映像データ再生部220により、再生映像データPvに係る所定の再生映像フレームPfに対して、所定の識別色を表示するように、アルファブレンド層を設定して(S14)、再生映像データPvに係る映像を第1ディスプレイ421等に出力する。この場合、カメラ410により撮影された撮影映像フレームRfには、当該再生映像フレームPf中の色情報が含まれる。当該カラオケ装置100は、色情報抽出部320により、撮影映像フレームRfから色情報を検出すると(S32:YES)、アップロード不許可処理(S33)を実行し、当該撮影映像フレームRfを含む投稿動画データCoをサーバ600へアップロードすることなく、記憶部340から削除する。
これにより、当該カラオケシステムは、著作権フラグによってアップロード禁止映像を含む投稿動画データCoのサーバ600へのアップロードを確実に禁止し得る。又、アップロード不許可処理(S33)において、カラオケ装置100は、不許可報知画像(図13(d)参照)を、第1ディスプレイ421等に表示する。これにより、歌唱者S等は、当該楽曲に係る再生映像データPvのアップロードが禁止されていること、カメラ410により撮影した投稿動画データCoのアップロードが行わなかったことを把握し得る。
一方、著作権フラグが付帯されていない再生映像データPv係る楽曲について歌唱者Sが歌唱する様子を、カメラ410で撮影し、その内容をアップロードする場合、カラオケ装置100は、識別色を表示するようにアルファブレンド層を設定することなく、再生映像データPvに係る再生映像フレームPfを第1ディスプレイ421等に出力する。つまり、この場合の撮影映像フレームRfは、当該識別色を含むことはない。従って、当該カラオケ装置100は、色情報抽出部320で撮影映像フレームRfから色情報を検出することなく(S32:NO)、当該撮影映像フレームRfを含む投稿動画データCoをサーバ600へアップロードする(S34)。これにより、当該カラオケシステム及びカラオケ装置は、アップロード許可映像の内容を含む映像データを記録し、当該映像データをサーバ600にアップロードし得る。
この結果、当該カラオケシステム及びカラオケ装置は、アップロードが禁止されているカラオケコンテンツ(即ち、アップロード禁止映像)を用いた場合、歌唱者Sの歌唱の様子を撮影し、アップロードすることを適切に禁止し得る。アップロードが許可されているカラオケコンテンツ(即ち、アップロード許可映像)を用いた場合、歌唱者Sの歌唱の様子と共に、第1ディスプレイ421等の表示内容を撮影し、アップロードすることができるので、当該カラオケシステム及びカラオケ装置は、カラオケ事業におけるサービスの多様化・充実化に貢献し得る。
以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能である。例えば、本実施形態においては、再生映像フレームPfに識別色を表示するように、アルファブレンド層を設定していたが、この態様に限定されるものではない。特定の再生映像フレーム中に識別色を表示することができれば、種々の態様を採用し得る。例えば、再生映像データPvをレターボックスやピラーボックスで表示する方式であれば、レターボックス等の方式に係る再生映像フレームPfの余白部分(所謂、ボーダ)に識別色を表示するように構成することも可能である。
又、本実施形態においては、撮影映像フレームRfから色情報を検出した場合、当該撮影映像フレームRfを含む投稿動画データCoをサーバ600にアップロードする際に、アップロードを禁止し、記憶部340から削除する構成であったが、この態様に限定するものではない。例えば、撮影映像フレームRfから色情報を検出した時点で、カメラ410による撮影を中止するように構成することも可能である。
そして、本実施形態においては、カメラ410に画像形成部411が配設され、STB300にA/Dコンバータ310が配設された態様であったが、カメラ410が画像形成部及びA/Dコンバータを有する構成であってもよい。
更に、上述した各フローチャートは単なる一例であり、該各フローチャートの処理と同等の結果を得ることできるものであれば、他のフローチャートによって処理を実現してもよい。
そして、上述したカラオケ装置、カラオケシステム、STBに係る方法、該方法をコンピュータに実行させるためのプログラム、該プログラムを記録した記録媒体等としても本発明は実現可能である。