JP2005156641A - 再生態様制御装置及び再生態様制御方法 - Google Patents

Abstract

【課題】 ユーザに適した態様で音楽コンテンツや映像コンテンツを再生する。
【解決手段】 携帯型の音楽再生装置１０のヘッドホン１５にユーザの上下動を検出する振動センサ１２を設ける。歩行動作検出部１３は、振動センサ１２の出力を基にユーザの歩行間隔を検出する。再生態様制御部１４は、ユーザの歩行間隔に音楽コンテンツの再生速度を合わせる制御を行う。
【選択図】図１

Description

本発明は、音楽コンテンツや映像コンテンツを再生するときの再生態様を制御する再生態様制御装置及び再生態様制御方法、ユーザの動作を示す生体情報を再生態様制御装置に出力する生体情報検出装置に関する。

従来、ユーザの動作に応じて音楽や映像の出力を変化させる装置が存在する。例えば、特許文献１記載の携帯電話装置は、携帯電話の本体に振動を検知する磁気センサを備え、利用者が本体を振ることによって音楽のテンポやボリュームを変更することができる。また、特許文献２記載の音響制御装置は、ユーザの荷重情報から重心情報を計測し、重心情報を基に音響効果を変化している。

特許文献１記載の携帯電話装置は、ユーザが意図したように楽曲を速くしたり遅くしたりする場合には都合がよいが、ユーザの無意識な体の動きに音楽をあわせたり、音楽の聴取時に常時音楽の再生態様を変化させるものではない。

また、特許文献２記載の音響制御装置は、仮想世界におけるユーザの位置を示すために仮想世界内で生成された音響を立体音場で提示する技術に適用され、限られた空間内で提示する音響の意味を分かりやすくユーザに伝えることを目的としている。

このように、屋外などを自由に動くユーザに適した音楽や映像を提供するものはこれまで存在しなかった。

特開２００３−１０８１３０号公報 特許公報第２９６４８９７号

本発明は、ユーザの動作に合わせて映像コンテンツや音楽コンテンツの再生態様を変化させる再生態様制御装置及び再生態様制御方法を提供することを目的とする。

本発明に再生態様制御装置は、コンテンツを再生する再生手段と、ユーザの体の一部に取り付けられ、ユーザの動作によって変化する生体情報を検出する生体情報検出手段手段と、ユーザの生体情報を基にコンテンツの再生態様を制御する再生態様制御手段とを備える。再生態様制御手段は、コンテンツの選択、再生速度、音量、ビート音、音色などを制御する。

本発明にかかる再生態様制御方法は、ユーザの動作によって変化する生体情報を検出及び解析する動作解析工程と、ユーザの生体情報を基にコンテンツの再生態様の変更を決定する再生態様決定工程と、再生態様決定工程で決定した再生態様でコンテンツを再生する再生工程とを有する。

本発明によれば、ユーザの自然な動作を入力情報としてコンテンツの再生態様を制御するため、ユーザが音楽を聞きながら歩くような場合に、体の動きに合わせて自動的にテンポやリズムなどが変化する。これにより、ユーザは、変化に富んだコンテンツを享受することができる。

本発明は、音楽コンテンツや映像コンテンツを再生するコンテンツ再生装置１に適用される。本発明を適用したコンテンツ再生装置１は、図１に示すようにユーザの動作を生体情報として検出する生体情報検出部２と、生体情報を基にユーザの動作などを解析する動作解析部３と、コンテンツを再生信号に変換する再生処理部４と、再生信号を音や映像として出力するコンテンツ出力部５と、ユーザの動作に応じてコンテンツの再生態様を制御するコンテンツ再生態様制御部６とからなる。

生体情報検出部２は、ユーザの動作や生命活動によって変化する生体情報を検出する。生体情報検出部２には、加速度センサ、速度センサ、圧力センサ、体動加速度センサ、ジャイロセンサ、位置センサなどがある。図１では、生体情報検出部２がコンテンツ再生装置１に一体的に内蔵されたように描画しているが、ケーブルや無線通信を介して接続し分離させてもよい。

動作解析部３は、生体情報検出部２からの検出結果を基にユーザの動作や特徴を検出する。例えば、速度センサの出力からユーザが歩行しているか、走っているかを検出することができる。また、歩行している場合には、ユーザの歩行ピッチ（一歩で進む距離）、歩行テンポ（一歩に要する時間）、歩行テンポのゆらぎ、歩行のくせ、歩行速度、回転角速度、体のゆれ、位置、方位などさらに詳細な動作を検出することができる。

再生態様制御部６は、ユーザの動作と生体情報とを基に音楽コンテンツの再生態様をユーザに適した態様に変化させる。再生態様制御部６は、コンテンツの再生速度、音量、ビート音、音色、コンテンツのタイトルなどを制御する。

再生処理部４は、コンテンツを音声信号や映像信号などの再生信号に変換する。再生するコンテンツは、コンパクトディスクやミニディスクのような記録媒体やＨＤＤ（Hard Disk Drive）のような補助記録装置に記録されたものでもよいし、ネットワークを介して外部の記録装置からダウンロードしたものでもよい。ＭＩＤＩファイルのようにデジタル化された音楽情報でもよい。再生処理部４は、再生速度、再生音量、ビート音量、音色、音楽コンテンツのタイトルなど再生信号の再生態様を変化することができる。再生処理部４は、再生態様制御部６からの指示信号に従って出力を変化させる。

コンテンツ出力部５は、再生処理部４が生成した再生信号を音や映像として出力する。コンテンツ出力部５は、スピーカやディスプレイのように映像や音楽を外部に発散する装置でもよいし、ヘッドホンやヘッドマウントディスプレイのようにユーザの耳や目の周囲に取り付け、ユーザ個人に対してのみ映像や音楽を出力する装置でもよい。

以下、図２を参照して音楽コンテンツを再生する音楽再生装置１０について説明する。音楽再生装置１０は、音楽コンテンツの再生速度をユーザの歩行テンポに合わせる制御を行う。

音楽コンテンツは、コンパクトディスクやミニディスク（登録商標）などの記録媒体、ＨＤＤ（Hard Disk Drive）などの補助記録媒体、又はネットワーク上のサーバから音楽コンテンツを取得する。音楽再生装置１０は、バッテリを内蔵し戸外で携帯することができる。音楽再生装置１０には再生処理部１１が再生した音楽コンテンツを出力する出力端子が設けられ、出力端子にはヘッドホン１５が取り付けられる。ユーザはヘッドホン１５から出力される音楽を個人的に楽しむ。ヘッドホン１５にはユーザの上下動を振動として検出する振動センサ１２が設けられている。

歩行動作検出部１３はユーザの上下動を基にユーザの歩行テンポを検出する。再生態様制御部１４は、ユーザの歩行テンポと音楽の再生速度を制御する。

音楽再生装置１０は、図２に示すように音楽コンテンツを再生信号に変換する再生処理部１１と、ユーザの上下動を振動として検出する振動センサ１２と、振動センサ１２の出力を基にユーザの歩行テンポを検出する歩行動作検出部１３と、ユーザの歩行に応じて音楽コンテンツの再生態様を制御する再生態様制御部１４と、音楽コンテンツを音として出力するヘッドホン１５と、ユーザインターフェースとしての入力部１６及び表示部１７と、補助記録手段としての記録部１８と、音楽再生装置１０全体を制御するＣＰＵ（Central Processing Unit）１９と、ＣＰＵ１９の作業領域としてのＲＡＭ（Random Access Memory）２０と、プログラムや設定情報を記憶するＲＯＭ（Read Only Memory）２１と、外部ネットワークと接続するためのネットワークインターフェース２２と、無線で情報を送受信する無線インターフェース２３と、心拍数や皮膚表面温度などユーザの上下動を除く生体情報を測定する生体情報センサ２４とを備える。

振動センサ１２は、音楽再生装置１０のヘッドホン１５ａ，１５ｂ，１５ｃに取り付けられる。図３は、振動センサ１２の取り付け例を示している。図３（ａ）は頭上型ヘッドホン１５ａの例を示す。頭上型ヘッドホン１５ａは、左右のスピーカ３１，３２を繋ぐ連結部３３をユーザの頭頂部側にかけまわすタイプのヘッドホンである。図３（ａ）の頭上型ヘッドホン１５ａは、連結部３３の中心、すなわち、ユーザの頭頂部の上部に振動センサ１２が取り付けられる。図３（ｂ）はネックバンド型ヘッドホン１５ｂの例を示す。ネックバンド型ヘッドホン１５ｂは、左右のスピーカ３４，３５を繋ぐ連結部３６をユーザの後頭部側にかけまわすタイプのヘッドホンである。図３（ｂ）のネックバンド型ヘッドホン１５ｂでは、連結部３６の中心、すなわち、ユーザの後頭部の後に振動センサ１２が取り付けられている。図３（ｃ）は、インナーイヤー型ヘッドホン１５ｃの例を示す。インナーイヤー型ヘッドホン１５ｃは、ユーザの耳の穴にスピーカを挿入するタイプのヘッドホンである。図３（ｃ）のインナーイヤー型ヘッドホン１５ｃは、左右のそれぞれのスピーカ３７，３８に振動センサ１２が取り付けられている。

振動センサ１２は、垂直一軸の振動を検出する。図４は、歩行中における振動センサ１２の出力例である。この図では、横軸に時間、縦軸に加速度の値をプロットしている。図４では、計測を開始してから０〜６秒の間で速く小さい振動が検出され、６〜１５秒の間で遅く小さな振動が検出され、１８〜２２秒の間で速く強い振動が検出され、２３〜３２秒の間でゆっくり大きな振動が検出され、３２〜３４秒の間で速く強い振動が検出される。

歩行動作検出部１３は、振動の周期を基にユーザの歩行テンポを検出したり、振動の振幅を基に足踏みの強さを検出したり、振動の波形を基にユーザが歩行中であるか否かを検出したりする。

再生態様制御部１４は、平常時のユーザの歩行テンポと現在のユーザの歩行テンポとを比較して、ユーザの歩行テンポが平常時よりも速いときには音楽コンテンツの再生速度を速くし、ユーザの歩行テンポが平常時よりも遅いときには音楽コンテンツの再生速度を遅くする。平常時の歩行テンポは、学習により算出する。

図５は、現在の歩行テンポに対する再生速度の変化量を示している。図５の横軸は現在のユーザの歩行テンポを示し、図５の縦軸は再生速度の変化量を示している。

再生態様制御部１４は、歩行動作検出部１３の出力が“０〜閾値１”の間であるとき、音楽コンテンツの再生速度を変化しない。これは、“０〜閾値１”の間であるときは、ユーザが非常にゆっくり歩いている（若しくは静止している）ため、ユーザの歩行テンポに音楽コンテンツの再生速度を合わせて音楽コンテンツが適切に再生されなくなることを防いでいる。

歩行動作検出部１３の出力が“閾値１〜閾値２”の間であるとき、再生態様制御部１４は、ユーザの歩行テンポが通常よりもゆっくりであると判断し、ユーザの歩行テンポが下がるのに比例して音楽コンテンツの再生速度を実際の速さよりも遅くする。

歩行動作検出部１３の出力が“閾値２〜閾値３”の間であるとき、再生態様制御部１４は、ユーザが通常の歩行テンポで歩いていると判断し、音楽コンテンツの再生速度を変化させない。

歩行動作検出部１３の出力が“閾値３〜閾値４”の間であるとき、再生態様制御部１４は、ユーザが通常の歩行テンポよりも速く歩いていると判断して、ユーザの歩行テンポが上がるのに比例して音楽コンテンツの再生速度を速くする。

歩行動作検出部１３の出力が“閾値４”を超えると、再生態様制御部１４は、ユーザが通常の歩行テンポよりも非常に早く歩いていると判断して、音楽コンテンツの再生速度を最速にした状態を継続する。

次いで、図６のフローチャートを参照して音楽再生装置１０の動作を説明する。音楽再生装置１０は、ユーザから再生開始の指示入力を受けると、ユーザの歩行テンポの検出を開始する。歩行テンポの検出では、まず、ユーザの体の一部に取り付けた加速度センサがユーザの上下動を検出する（ステップＳ１１）。そして、歩行動作検出部１３は、加速度センサの検出結果を入力し、入力した振動波形からユーザの歩行テンポを検出する（ステップＳ１２）。

再生態様制御部１４は、現在のユーザの歩行テンポと通常の歩行テンポとを比較し、現在の歩行テンポが通常の歩行テンポより速いとき音楽コンテンツの再生速度を上げ、現在の歩行テンポが通常の歩行テンポより遅いとき音楽コンテンツの再生速度を下げる（ステップＳ１３）。

また、実施例１における加速度センサ１２の代わりに図７に示す歩行センサ４０を用いてもよい。歩行センサ４０は、ユーザの足の接地を検出するセンサである。歩行センサ４０は、ユーザの靴のヒール部分に取り付けられる。図７で用いる歩行センサ４０は、汎用箔ひずみゲージ４１であり、燐青銅板４２に貼り付けられている。汎用箔ひずみゲージ４１の出力端子４３は、補強材４４で補強されて燐青銅板４２の外部に延出している。汎用箔ひずみゲージ４１の出力端子４３はアンプ４５に接続されており、アンプ４５の出力端子４６は無線送信部４７に接続されている。無線送信部４７は、汎用箔ひずみゲージ４１からの出力を音楽再生装置１０の無線インターフェース２３に送信する。

図８は、歩行センサ４０の出力例を示す。この例では、ユーザが通常の歩行テンポで歩いたときの出力と、ゆっくりとした歩行テンポで歩いたときの出力と、速めの歩行テンポで歩いたときの出力とが表示されている。歩行センサ４０の出力は、ユーザの足が接地した瞬間に出力が極大になり、ユーザの足が地面から離れた瞬間に出力が極小になる。歩行センサ４０は、左右の足に１つずつ設けてもよいし、片足のみに取り付けて、接地間隔の２分の１を歩行テンポとして利用してもよい。図８（ａ）は右脚の靴底に取り付けられた歩行センサ４０の出力を示し、図８（ｂ）は左脚の靴底に取り付けられた歩行センサ４０の出力を示している。ユーザの歩行テンポは、一方の足が接地してから他方の足が接地するまでの時間間隔、すなわち、一方の足の歩行センサ４０の値が極大になったときから他方の足の歩行センサ４０の値が極大になるまでの時間間隔である。

ユーザの動作を検出するセンサには、歩行センサ４０の他に、マイクロフォンを用いたセンサも存在する。従来、マイクロフォンからの出力を基にユーザの振動を検出する沿い打ちが存在する。そこで、音楽再生装置１０の本体、ユーザの衣服、時計などにマイクロフォンを取り付け、ユーザの移動を検出することができる。また、携帯電話には予めマイクロフォンが設けられているのでこれを利用してユーザの移動を検出することもできる。

音楽再生装置１０は、再生速度を変化させるだけでなく、ユーザの接地のタイミングと音楽の拍子とを同期させることもできる。図９は、ユーザが足を接地した瞬間と拍子とを同期させるときの再生態様制御部１４の動作を示している。

再生態様制御部１４は、音楽の再生開始が指示されると、再生態様制御部１４は、音楽コンテンツの拍子と、ユーザの歩行テンポとを検出する。拍子は、再生信号の周波数分布からベースやスネアの特徴周波数を検出することもできるし、低音の発生間隔を検出することもできる（ステップＳ２１）。歩行テンポは、上述したようにユーザの上下動や歩行センサからの出力を基に検出することができる（ステップＳ２２）。

再生態様制御部１４は、ユーザの歩行テンポを基にユーザが足を接地する瞬間にビートが合うように出力する（ステップＳ２３）。その後、再生態様制御部１４は、ユーザの歩行テンポとビート音とが合うように音楽コンテンツの再生速度を制御する（ステップＳ２４）。

再生態様制御部１４は、曲の終了部まで音楽の再生を終了すると（ステップＳ２５；ＹＥＳ）、ステップＳ２１に処理を移行し、次の曲の拍子の検出を行う。一方、曲の終了部まで再生が終了していない場合には（ステップＳ２５；ＮＯ）、ステップＳ２４に処理を移行し、音楽コンテンツの再生速度を制御する。

また、再生態様制御部１４は、音楽コンテンツの終了部まで再生が終了すると（ステップＳ２６；ＹＥＳ）、再生速度の制御を終了する。一方、再生態様制御部１４は、音楽コンテンツの終了部まで再生が終了しない場合には（ステップＳ２６；ＮＯ）、ステップＳ２１に処理を移行し、次の曲の拍子の検出を行う。

ユーザの足の接地と音楽のビートとを同期させる制御は、ダンスの練習に応用することができる。ダンスでは、体の上下動でリズムを取ったり、音に合わせてステップを踏んだりする。そこで、ユーザの体の上下動に合わせてビートの間隔を変えたり、足の踏み出したりすると同時に拍子の音を再生する。これにより、ユーザは、どの音のときにどの振りをすればいいのかが分かりダンスの音合わせの練習になる。

音楽再生装置１０は、ユーザの生理学的変化を基に音楽の再生態様を変化することができる。このような音楽再生装置１０は、ユーザの生体情報を検出する生体センサを備えている。生体情報センサ２４は、ユーザの脈拍、皮膚発汗、皮膚抵抗、筋電位、体表面温度などの生体情報を検出する。生体センサは、リストバンド、指輪、腕時計、衣類、靴、衣服などのユーザが身に付けるものに取り付けられている。

再生態様制御部１４は、ユーザの生体情報に合わせて音楽コンテンツの再生態様を変化する。再生態様の変化には、再生速度の変化、再生音量の変化、ビート音量の変化、再生するコンテンツの変化、音色の変化などがある。

本発明を適用したコンテンツ再生装置の構成を示すブロック図である。 本発明を適用した音楽再生装置の構成を示すブロック図である。 振動センサの取り付け位置の一例を示す図である。 振動センサの出力の一例を示す図である。 ユーザの歩行間隔に対する音楽コンテンツの再生速度の変化量を示す図である。 本発明を適用した音楽再生装置の動作を示すフローチャートである。 歩行センサの一例を示す図である。 歩行センサの出力の一例を示す図である。 ユーザが足を接地した瞬間とビート音とを同期させるときの再生態様制御部の動作を示すフローチャートである。

符号の説明

１ コンテンツ再生装置、２ 生体情報検出部、３ 動作解析部、４ 再生処理部、５ コンテンツ出力部、６ 再生態様制御部、１０ 音楽再生装置、１１ 再生処理部、１２ 振動センサ、１３ 歩行動作検出部、１４ 再生態様制御部、１５ ヘッドホン、１６ 入力部、１７ 表示部、１８ 記録部、２２ ネットワークインターフェース、２３ 無線インターフェース、２４ 生体情報センサ、４０ 歩行センサ

Claims (11)

1. コンテンツを再生する再生手段と、
   ユーザの生体情報を検出する生体情報検出手段と、
   上記生体情報を基にユーザの動作を解析する動作解析手段と、
   上記ユーザの動作に応じて上記コンテンツの再生態様を制御する再生態様制御手段と
   を備えることを特徴とする再生態様制御装置。
2. 上記再生態様制御手段は、
   コンテンツの選択、再生速度、音量、ビート音、音色の少なくとも１つを制御することを特徴とする請求項１記載の再生態様制御装置。
3. 上記生体情報検出手段は、ユーザの体に装着されることを特徴とする請求項１記載の再生態様制御装置。
4. 上記動作解析手段は、ユーザの歩行テンポを検出し、
   上記再生態様制御手段は、コンテンツの再生速度を上記歩行テンポに同期させることを特徴とする請求項１記載の再生態様制御装置。
5. 上記生体情報は、ユーザの上下方向の加速度又は速度であり、
   上記動作解析手段は、ユーザの上下動を基に歩行テンポを検出することを特徴とする請求項１記載の再生態様制御装置。
6. 上記生体情報検出手段は、ユーザの靴底に設けられた圧力センサであり、
   上記動作解析手段は、ユーザの靴底の接地及び／又はユーザの靴底の地面からの離間を検出することを特徴とする請求項１記載の再生態様制御装置。
7. ユーザの生体情報を検出する生体情報検出工程と、
   上記生体情報を基にユーザの動作を解析する動作解析工程と、
   上記ユーザの生体情報を基にコンテンツの再生態様の変更を決定する再生態様決定工程と、
   上記再生態様決定工程で決定した再生態様でコンテンツを再生する再生工程と
   を有することを特徴とする再生態様制御方法。
8. 上記再生態様決定工程では、コンテンツの選択、再生速度、音量、ビート音、音色の少なくとも１つを制御することを特徴とする請求項７記載の再生態様制御方法。
9. 上記動作解析工程は、上記生体情報を基にユーザの歩行テンポを検出する歩行テンポ検出工程を有し、
   上記再生態様決定工程では、ユーザの歩行テンポとコンテンツの再生速度とを同期させることを特徴とする請求項７記載の再生態様制御方法。
10. 上記生体情報は、ユーザの上下方向の加速度又は速度であり、
    上記動作解析工程では、ユーザの加速度又は速度を基にユーザの歩行テンポを検出することを特徴とする請求項７記載の再生態様制御方法。
11. 上記生体情報検出工程では、ユーザの靴底の接地及び／又はユーザの靴底の地面からの離間を検出し、
    上記動作解析工程では、ユーザの歩行テンポを検出することを特徴とする請求項７記載の再生態様制御方法。

Images