WO2022038929A1 - 情報処理方法、プログラム、及び、音響再生装置 - Google Patents

Abstract

情報処理方法は、時間軸上の各時点での、所定音に関する情報及び所定方向に関する情報を含む音情報から、時間軸上での所定方向の変動の角度量を算出し、所定方向に関する情報に基づいて、入力される入力音を到来方向からの音として知覚させる立体音響フィルタを、候補となる複数の立体音響フィルタであって、到来方向ごとに準備された複数の立体音響フィルタの中から選択し、所定音に関する情報を、選択された立体音響フィルタに入力して出力信号を生成し、立体音響フィルタの選択では、算出された所定方向の変動の角度量が閾値よりも小さい場合において、所定方向の変動の角度量が閾値以上である場合に比べて所定音をより強調してユーザに知覚させるように、立体音響フィルタを選択する。

Description

情報処理方法、プログラム、及び、音響再生装置

　本開示は、音響再生装置、ならびに、当該音響再生装置に係る情報処理方法及びプログラムに関する。

　従来、仮想的な三次元空間内で、感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている（例えば、特許文献１参照）。

特開２０２０－１８６２０号公報

　一方で、音を三次元音場内の立体的な音としてユーザに知覚させる際に、ユーザによって知覚されにくい音が発生する場合がある。従来の音響再生装置などにおける情報処理方法では、このような知覚されにくい音に対して、適切な処理がなされていない場合があった。

　上記に鑑みて、本開示は、より適切に立体的な音をユーザに知覚させる情報処理方法等を提供することを目的とする。

　本開示の一態様に係る情報処理方法は、時間軸上の各時点での、所定音に関する情報及び所定方向に関する情報を含む音情報から、前記所定方向に対応する三次元音場上の到来方向から到来する音として前記所定音を時系列に沿ってユーザに知覚させるための出力音信号を生成する情報処理方法であって、時間軸上での前記所定方向の変動の角度量を算出し、前記所定方向に関する情報に基づいて、入力される入力音を前記到来方向からの音として知覚させる立体音響フィルタを、候補となる複数の立体音響フィルタであって、到来方向ごとに準備された複数の立体音響フィルタの中から選択し、前記所定音に関する情報を、前記選択された立体音響フィルタに入力して前記出力信号を生成し、前記立体音響フィルタの選択では、算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記所定方向の変動の角度量が閾値以上である場合に比べて前記所定音をより強調して前記ユーザに知覚させるように、前記立体音響フィルタを選択する。

　また、本開示の一態様に係る音響再生装置は、時間軸上の各時点での、所定音に関する情報及び所定方向に関する情報を含む音情報から、前記所定方向に対応する三次元音場上の到来方向から到来する音として前記所定音をユーザに知覚させるための出力音信号を生成して再生する音響再生装置であって、前記音情報を取得する取得部と、時間軸上での前記所定方向の変動の角度量を算出し、前記所定方向に関する情報に基づいて、入力される入力音を前記到来方向からの音として知覚させる立体音響フィルタを、候補となる複数の立体音響フィルタであって、到来方向ごとに準備された複数の立体音響フィルタの中から選択するフィルタ選択部と、前記所定音に関する情報を、前記入力音として、前記選択された立体音響フィルタに入力して前記出力音信号を生成する出力音生成部と、生成された前記出力音信号により音を出力する出力部と、を備え、前記フィルタ選択部は、算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記所定方向の変動の角度量が閾値以上である場合に比べて前記所定音をより強調して前記ユーザに知覚させるように、前記立体音響フィルタを選択する。

　また、本開示の一態様は、上記に記載の音響再生方法をコンピュータに実行させるためのプログラムとして実現することもできる。

　なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。

　本開示によれば、より適切に立体的な音をユーザに知覚させることが可能となる。

図１は、実施の形態に係る音響再生装置の使用事例を示す概略図である。 図２は、実施の形態に係る音響再生装置の機能構成を示すブロック図である。 図３は、実施の形態に係る取得部の機能構成を示すブロック図である。 図４は、実施の形態に係るフィルタ選択部の機能構成を示すブロック図である。 図５は、実施の形態に係る出力音生成部の機能構成を示すブロック図である。 図６は、実施の形態に係る音響再生装置の動作を示すフローチャートである。 図７は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第１図である。 図８は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第２図である。 図９は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第３図である。

　（開示の基礎となった知見）
　従来、仮想的な三次元空間内（以下、三次元音場という場合がある）で、ユーザの感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている（例えば、特許文献１参照）。仮想的な三次元空間内における所定位置に音像を定位させることで、ユーザは、当該所定位置とユーザとを結ぶ直線に平行な方向（すなわち所定方向）から到来する音であるかのごとく、この音を知覚することができる。このように仮想的な三次元空間内の所定位置に音像を定位させるには、例えば、収音された音に対して、立体的な音として知覚されるような両耳間での音の到来時間差、及び、両耳間での音のレベル差（又は音圧差）などを生じさせる計算処理が必要となる。

　このような計算処理の一例として、所定方向から到来する音として知覚させるための頭部伝達関数を目的の音の信号に対して畳み込む処理が知られている。この頭部伝達関数の畳み込みの処理を、より高解像度に実施することで、ユーザが体感する臨場感が向上される。一方で、頭部伝達関数の畳み込みにおいて、音の到来方向の時間領域における変動が知覚されにくいということが知られている。このため、時間領域における変動がわずかな音に対して、ユーザはこの音が変動しないものと誤って知覚してしまう場合がある。

　また、近年、仮想現実（VR：Virtual Reality）に関する技術の開発が盛んに行われている。仮想現実では、ユーザの動きに対して仮想的な三次元空間の位置が追従せず、あたかもユーザが仮想空間内を移動しているように体感できることが主眼に置かれている。特に、この仮想現実の技術において視覚的な要素に聴覚的な要素を取り入れることで、より臨場感を高めるといった試みが行われている。例えば、ユーザの正面に音像が定位しているときに、ユーザが右を向くと当該音像がユーザの左方向に移動し、ユーザが左を向くと当該音像がユーザの右方向に移動する。このように、ユーザの動きに対して、仮想空間内の音像の定位位置をユーザの動きとは逆方向に移動させる必要が生じる。このような処理は、元の音情報に対して立体音響フィルタを適用することで行われる。

　本開示では、上記に鑑みて、三次元音場内の所定方向からの音としてユーザに知覚させるための立体音響フィルタを利用しながら、時間領域における変動がわずかな音の知覚されやすさを改善するというより適切な計算処理を実施する。本開示では、この適切な計算処理により立体的な音をユーザに知覚させる情報処理方法等を提供することを目的とする。

　より具体的には、本開示の一態様に係る情報処理方法は、時間軸上の各時点での、所定音に関する情報及び所定方向に関する情報を含む音情報から、所定方向に対応する三次元音場上の到来方向から到来する音として所定音を時系列に沿ってユーザに知覚させるための出力音信号を生成する情報処理方法であって、時間軸上での所定方向の変動の角度量を算出し、所定方向に関する情報に基づいて、入力される入力音を到来方向からの音として知覚させる立体音響フィルタを、候補となる複数の立体音響フィルタであって、到来方向ごとに準備された複数の立体音響フィルタの中から選択し、所定音に関する情報を、選択された立体音響フィルタに入力して出力信号を生成し、立体音響フィルタの選択では、算出された所定方向の変動の角度量が閾値よりも小さい場合において、所定方向の変動の角度量が閾値以上である場合に比べて所定音をより強調してユーザに知覚させるように、立体音響フィルタを選択する。

　このような情報処理方法によれば、算出された所定方向の変動の角度量が閾値よりも小さい場合、すなわち、ユーザにとって、その到来方向の変動を感知しにくいような微小な変動をしている所定音が含まれている場合に、この所定音をより強調してユーザに知覚させることができる。ユーザの注意が当該所定音に向かうため、所定音の到来方向の微小な変動をより適切にユーザに知覚させることができる。

　また、例えば、立体音響フィルタの選択では、算出された所定方向の変動の角度量が閾値よりも小さい場合において、選択された立体音響フィルタを用いたときの出力音信号によって知覚される到来方向の変動の角度量の方が、算出された所定方向の変動の角度量が閾値以上の場合に選択される立体音響フィルタを用いるときの出力音信号によって知覚される到来方向の変動の角度量よりも大きくなるように、立体音響フィルタを選択してもよい。

　これによれば、所定音に対して閾値以上の変動の角度量を有している場合に選択される立体音響フィルタ、すなわち、コンテンツにあらかじめ設定されている変動の角度量となるように出力音信号を生成させる立体音響フィルタを適用する場合に比べて、所定音をより強調するために、変動の角度量が大きくなるように立体音響フィルタの選択を行うことができる。この結果、出力音信号によって、変動の角度量が拡大されることで所定音が強調されて知覚される。

　また、例えば、立体音響フィルタの選択では、算出された所定方向の変動の角度量が小さいほど、選択された立体音響フィルタを用いた場合の出力音信号によって知覚される到来方向の変動の角度量が大きくなるように、立体音響フィルタを選択してもよい。

　これによれば、所定音に対して閾値以上の変動の角度量を有している場合に選択される立体音響フィルタ、すなわち、コンテンツにあらかじめ設定されている変動の角度量となるように出力音信号を生成させる立体音響フィルタを適用する場合に比べて、所定音をより強調するために、変動の角度量が大きくなるように立体音響フィルタの選択を行うことができる。この結果、出力音信号によって、変動の角度量が拡大されることで所定音が強調されて知覚される。このとき、音情報上で変動の角度量がより小さいほど出力音信号における音の変動の角度量が大きくなるので、元のコンテンツ上では変動が小さいためにその変動が知覚されにくい所定音ほど、より知覚されやすくなるように強調されてユーザに提示される。

　また、例えば、算出された所定方向の変動の角度量が閾値よりも小さい場合において、選択された立体音響フィルタを用いたとき、音情報上の所定方向の変動の角度量が小さいほど、その数値が大きくなる拡張係数α（α＞１）が乗算されることで出力音信号の時間軸上の到来方向の変動の角度量が拡張され、所定方向の変動の角度量と拡張係数αとの関係は非線形であってもよい。

　これによれば、音情報上で変動の角度量がより小さいほど出力音信号における音の変動の角度量が大きくなるので、元のコンテンツ上では変動が小さいためにその変動が知覚されにくい所定音ほど、より知覚されやすくなるように強調されてユーザに提示される。拡張係数αが乗じられることより、所定方向の変動の角度量と出力音情報における所定音の到来方向との関係が非線形となって、変動が小さい所定音ほどその強調効果を際立たせることが可能となる。

　また、例えば、立体音響フィルタの選択では、ユーザの頭部を前後に分ける仮想的な境界面に対して、所定方向が境界面の前面側にあり、かつ、算出された所定方向の変動の角度量が閾値よりも小さい場合において、選択された立体音響フィルタを用いたときの時間軸上の到来方向の変動の角度量よりも、所定方向が境界面の後面側にあり、かつ、算出された所定方向の変動の角度量が閾値よりも小さい場合において、選択された立体音響フィルタを用いたときの時間軸上の到来方向の変動の角度量のほうが大きくなるように立体音響フィルタを選択してもよい。

　これによれば、到来方向の変動を感知しにくい境界面の後面側において、境界面の前面側よりも強調効果をより大きくすることができる。

　また、例えば、立体音響フィルタの選択では、音情報上の所定方向に比べて、選択された立体音響フィルタを用いた場合の出力音信号によって知覚される到来方向が時間軸上で振動するように、立体音響フィルタを選択してもよい。

　これによれば、出力音情報において、到来方向が振動する所定音をユーザに提示できる。到来方向が時間軸上で振動しているために他の音に比べて所定音をユーザがより知覚しやすくなっているので、この所定音の変動をより知覚させやすいという効果がある。

　また、例えば、選択された立体音響フィルタを用いた場合、出力音信号の時間軸上の第Ｎ番目（Ｎは２以上の整数）の時点の到来方向は、出力音信号の時間軸上の第（Ｎ－１）番目の時点に対応する音情報上の所定方向と、第Ｎ番目の時点に対応する音情報上の所定方向との差分値に対して、時間軸上で数値が振動する振動関数における対応する時点の数値を乗算し、乗算後の差分値を第（Ｎ－１）番目の時点に対応する音情報上の所定方向に加算することで算出されてもよい。

　これによれば、出力音情報において、到来方向が振動する所定音をユーザに提示できる。到来方向が時間軸上で振動しているために他の音に比べて所定音をユーザがより知覚しやすくなっているので、この所定音の変動をより知覚させやすいという効果がある。

　また、例えば、立体音響フィルタの選択では、算出された所定方向の変動の角度量が閾値よりも小さい場合において、選択された立体音響フィルタを用いたときの出力音信号によって知覚される時間軸上の所定音の音圧の変化の量の方が、算出された所定方向の変動の角度量が閾値以上の場合に選択される立体音響フィルタを用いるときの出力音信号によって知覚される所定音の音圧の変化の量よりも大きくなるように、立体音響フィルタを選択してもよい。

　これによれば、所定音に対して閾値以上の変動の角度量を有している場合に選択される立体音響フィルタ、すなわち、コンテンツにあらかじめ設定されている変動の角度量となるように出力音信号を生成させる立体音響フィルタを適用する場合に比べて、所定音をより強調するために、音圧の変化の量が大きくなるように立体音響フィルタの選択を行うことができる。この結果、出力音信号によって、音圧の変化の量が拡大されることで所定音が強調されて知覚される。

　また、例えば、時間軸上の各時点での、所定音に関する情報及び所定方向に関する情報を含む音情報から、所定方向に対応する三次元音場上の到来方向から到来する音として所定音を時系列に沿ってユーザに知覚させるための出力音信号を生成する情報処理方法であって、時間軸上での所定方向の変動の角度量を算出し、算出された所定方向の変動の角度量が閾値よりも小さい場合において、所定方向の変動の角度量が閾値以上である場合に比べて所定音をより強調してユーザに知覚させるように、所定方向に関する情報を補正し、所定音に関する情報を、候補となる複数の立体音響フィルタであって、到来方向ごとに準備された複数の立体音響フィルタの中から補正後の所定方向に関する情報に基づいて選択された立体音響フィルタに入力して出力信号を生成してもよい。

　これによれば、算出された所定方向の変動の角度量が閾値よりも小さい場合、すなわち、ユーザにとって、その到来方向の変動を感知しにくいような微小な変動をしている所定音が含まれている場合に、この所定音をより強調してユーザに知覚させることができる。このために、音情報に含まれる所定方向に関する情報を補正することで、その後に選択される立体音響フィルタを、所定音をより強調してユーザに知覚させるための立体音響フィルタにさせることができる。この結果、ユーザの注意が当該所定音に向かうため、所定音の到来方向の微小な変動をより適切にユーザに知覚させることができる。

　また、本開示の一態様に係るプログラムは、上記に記載の情報処理方法をコンピュータに実行させるためのプログラムである。

　これによれば、コンピュータを用いて上記に記載の情報処理方法と同様の効果を奏することができる。

　また、本開示の一態様に係る音響再生装置は、時間軸上の各時点での、所定音に関する情報及び所定方向に関する情報を含む音情報から、所定方向に対応する三次元音場上の到来方向から到来する音として所定音をユーザに知覚させるための出力音信号を生成して再生する音響再生装置であって、音情報を取得する取得部と、時間軸上での所定方向の変動の角度量を算出し、所定方向に関する情報に基づいて、入力される入力音を到来方向からの音として知覚させる立体音響フィルタを、候補となる複数の立体音響フィルタであって、到来方向ごとに準備された複数の立体音響フィルタの中から選択するフィルタ選択部と、所定音に関する情報を、入力音として、選択された立体音響フィルタに入力して出力音信号を生成する出力音生成部と、生成された出力音信号により音を出力する出力部と、を備え、フィルタ選択部は、算出された所定方向の変動の角度量が閾値よりも小さい場合において、所定方向の変動の角度量が閾値以上である場合に比べて所定音をより強調してユーザに知覚させるように、立体音響フィルタを選択する。

　これによれば、上記に記載の情報処理方法と同様の効果を奏することができる。

　さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。

　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略又は簡略化される場合がある。

　また、以下の説明において、第１、第２及び第３等の序数が要素に付けられている場合がある。これらの序数は、要素を識別するため、要素に付けられており、意味のある順序に必ずしも対応しない。これらの序数は、適宜、入れ替えられてもよいし、新たに付与されてもよいし、取り除かれてもよい。

　（実施の形態）
　［概要］
　はじめに、実施の形態に係る音響再生装置の概要について説明する。図１は、実施の形態に係る音響再生装置の使用事例を示す概略図である。図１では、音響再生装置１００を使用するユーザ９９が示されている。

　図１に示す音響再生装置１００は、立体映像再生装置２００と同時に使用されている。立体的な画像及び立体的な音を同時に視聴することで、画像が聴覚的な臨場感を、音が視覚的な臨場感をそれぞれ高め合い、画像及び音が撮られた現場に居るかのように体感することができる。例えば、人が会話をする画像（動画像）が表示されている場合に、会話音の音像の定位が当該人の口元とずれている場合にも、ユーザ９９が、当該人の口から発せられた会話音として知覚することが知られている。このように視覚情報によって、音像の位置が補正されるなど、画像と音とが併せられることで臨場感が高められることがある。

　立体映像再生装置２００は、ユーザ９９の頭部に装着される画像表示デバイスである。したがって、立体映像再生装置２００は、ユーザ９９の頭部と一体的に移動する。例えば、立体映像再生装置２００は、図示するように、ユーザ９９の耳と鼻とで支持するメガネ型のデバイスである。

　立体映像再生装置２００は、ユーザ９９の頭部の動きに応じて表示する画像を変化させることで、ユーザ９９が三次元画像空間内で頭部を動かしているように知覚させる。つまり、ユーザ９９の正面に三次元画像空間内の物体が位置しているときに、ユーザ９９が右を向くと当該物体がユーザ９９の左方向に移動し、ユーザ９９が左を向くと当該物体がユーザの右方向に移動する。このように、立体映像再生装置２００は、ユーザ９９の動きに対して、三次元画像空間をユーザ９９の動きとは逆方向に移動させる。

　立体映像再生装置２００は、ユーザ９９の左右の目それぞれに視差分のずれが生じた２つの画像を表示する。ユーザ９９は、表示される画像の視差分のずれに基づき、画像上の物体の三次元的な位置を知覚することができる。なお、音響再生装置１００を睡眠誘導用のヒーリング音の再生に使用する等、ユーザ９９が目を閉じて使用する場合等には、立体映像再生装置２００が同時に使用される必要はない。つまり、立体映像再生装置２００は、本開示の必須の構成要素ではない。

　音響再生装置１００は、ユーザ９９の頭部に装着される音提示デバイスである。したがって、音響再生装置１００は、ユーザ９９の頭部と一体的に移動する。例えば、本実施の形態における音響再生装置１００は、いわゆるオーバーイヤーヘッドホン型のデバイスである。なお、音響再生装置１００の形態に特に限定はなく、例えば、ユーザ９９の左右の耳にそれぞれ独立して装着される２つの耳栓型のデバイスであってもよい。この２つのデバイスは、互いに通信することで、右耳用の音と左耳用の音とを同期して提示する。

　音響再生装置１００は、ユーザ９９の頭部の動きに応じて提示する音を変化させることで、ユーザ９９が三次元音場内で頭部を動かしているようにユーザ９９に知覚させる。このため、上記したように、音響再生装置１００は、ユーザ９９の動きに対して三次元音場をユーザの動きとは逆方向に移動させる。

　ここで、ユーザに提示される音像の時間領域における変化（時間軸上の変動ともいう）が小さくなると、ユーザ９９は、三次元音場内における音像の動きの識別が曖昧になることが知られている。本実施の形態に係る音響再生装置１００は、この現象を補完するように情報処理によって提示される音を補正することで音像に動きがあることをユーザ９９に知覚させることができる。すなわち、音響再生装置１００は、音像の動きの量を取得し、取得した動きの量が閾値より小さい場合に、三次元音場上の所定音をより強調してユーザ９９に知覚させる。

　この閾値は、ユーザ９９が動きの量をとらえきれなくなるような動きの量に関する数値であるので、ユーザ９９によって固有の閾値となる。したがって、この閾値は、実験又は経験的に得られる値が設定されるとよい。また、複数のユーザ９９の統計による、一般化された閾値が適用されるとしてもよい。なお、ここでの動きの量とは、微小時間における所定音の到来方向の変動の量であり、ユーザ９９からみた所定方向の微小時間当たりの変化角の量である。すなわち、動きの量とは、第１時点から第２時点までの間の２つの時点のそれぞれに対応する２つの所定音の到来方向同士がなす角度の最大値によって表現される。

　［構成］
　次に、図２を参照して、本実施の形態に係る音響再生装置１００の構成について説明する。図２は、実施の形態に係る音響再生装置の機能構成を示すブロック図である。

　図２に示すように、本実施の形態に係る音響再生装置１００は、処理モジュール１０１と、通信モジュール１０２と、検知器１０３と、ドライバ１０４と、を備える。

　処理モジュール１０１は、音響再生装置１００における各種の信号処理を行うための演算装置である、処理モジュール１０１は、例えば、プロセッサとメモリとを備え、メモリに記憶されたプログラムがプロセッサによって実行されることで、各種の機能を発揮する。　処理モジュール１０１は、取得部１１１、フィルタ選択部１２１、出力音生成部１３１、及び、信号出力部１４１を有する。処理モジュール１０１が有する各機能部の詳細は、処理モジュール１０１以外の構成の詳細と併せて以下に説明する。

　通信モジュール１０２は、音響再生装置１００への音情報の入力を受け付けるためのインタフェース装置である。通信モジュール１０２は、例えば、アンテナと信号変換器とを備え、無線通信により外部の装置から音情報を受信する。より詳しくは、通信モジュール１０２は、無線通信のための形式に変換された音情報を示す無線信号を、アンテナを用いて受波し、信号変換器により無線信号から音情報への再変換を行う。これにより、音響再生装置１００は、外部の装置から無線通信により音情報を取得する。通信モジュール１０２によって取得された音情報は、取得部１１１によって取得される。このようにして音情報は、処理モジュール１０１に入力される。なお、音響再生装置１００と外部の装置との通信は、有線通信によって行われてもよい。

　音響再生装置１００が取得する音情報は、例えば、ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏ（ＩＳＯ／ＩＥＣ　２３００８－３）等の所定の形式で符号化されている。一例として、符号化された音情報には、音響再生装置１００によって再生される所定音についての情報と、当該音の音像を三次元音場内において所定位置に定位させる（つまり所定方向から到来する音として知覚させる）際の定位位置に関する情報、すなわち所定方向に関する情報とが含まれる。例えば、音情報には第１の所定音及び第２の所定音を含む複数の音に関する情報が含まれ、それぞれの音が再生された際の音像を三次元音場内における異なる方向から到来する音として知覚させるように音像を定位させる。

　この立体的な音によって、例えば、立体映像再生装置２００を用いて視認される画像と併せて、視聴されるコンテンツなどの臨場感を向上することができる。なお、音情報には、所定音についての情報のみが含まれていてもよい。この場合、所定方向に関する情報を別途取得してもよい。また、上記したように、音情報は、第１の所定音に関する第１音情報、及び、第２の所定音に関する第２音情報を含むが、これらを別個に含む複数の音情報をそれぞれ取得し、同時に再生することで三次元音場内における異なる位置に音像を定位させてもよい。このように、入力される音情報の形態に特に限定はなく、音響再生装置１００に各種の形態の音情報に応じた取得部１１１が備えられればよい。

　ここで、取得部１１１の一例を、図３を用いて説明する。図３は、実施の形態に係る取得部の機能構成を示すブロック図である。図３に示すように、本実施の形態における取得部１１１は、例えば、エンコード音情報入力部１１２、デコード処理部１１３、及び、センシング情報入力部１１４を備える。

　エンコード音情報入力部１１２は、取得部１１１が取得した、符号化された（言い換えるとエンコードされている）音情報が入力される処理部である。エンコード音情報入力部１１２は、入力された音情報をデコード処理部１１３へと出力する。デコード処理部１１３は、エンコード音情報入力部１１２から出力された音情報を復号する（言い換えるとデコードする）ことにより音情報に含まれる所定音に関する情報と、所定方向に関する情報とを、以降の処理に用いられる形式で生成する処理部である。センシング情報入力部１１４については、検知器１０３の機能とともに、以下に説明する。

　検知器１０３は、ユーザ９９の頭部の動き速度を検知するための装置である。検知器１０３は、ジャイロセンサ、加速度センサなど動きの検知に使用される各種のセンサを組み合わせて構成される。本実施の形態では、検知器１０３は、音響再生装置１００に内蔵されているが、例えば、音響再生装置１００と同様にユーザ９９の頭部の動きに応じて動作する立体映像再生装置２００等、外部の装置に内蔵されていてもよい。この場合、検知器１０３は、音響再生装置１００に含まれなくてもよい。また、検知器１０３として、外部の撮像装置などを用いて、ユーザ９９の頭部の動きを撮像し、撮像された画像を処理することでユーザ９９の動きを検知してもよい。

　検知器１０３は、例えば、音響再生装置１００の筐体に一体的に固定され、筐体の動きの速度を検知する。上記の筐体を含む音響再生装置１００は、ユーザ９９が装着した後、ユーザ９９の頭部と一体的に移動するため、検知器１０３は、結果としてユーザ９９の頭部の動きの速度を検知することができる。

　検知器１０３は、例えば、ユーザ９９の頭部の動きの量として、三次元空間内で互いに直交する３軸の少なくとも一つを回転軸とする回転量を検知してもよいし、上記３軸の少なくとも一つを変位方向とする変位量を検知してもよい。また、検知器１０３は、ユーザ９９の頭部の動きの量として、回転量及び変位量の両方を検知してもよい。

　センシング情報入力部１１４は、検知器１０３からユーザ９９の頭部の動き速度を取得する。より具体的には、センシング情報入力部１１４は、単位時間あたりに検知器１０３が検知したユーザ９９の頭部の動きの量を動きの速度として取得する。このようにしてセンシング情報入力部１１４は、検知器１０３から回転速度及び変位速度の少なくとも一方を取得する。ここで取得されるユーザ９９の頭部の動きの量は、三次元音場内のユーザ９９の座標及び向きを決定するために用いられる。音響再生装置１００では、決定されたユーザ９９の座標及び向きに基づいて、音像の相対的な位置を決定して音が再生される。具体的には、フィルタ選択部１２１、及び、出力音生成部１３１によって、上記の機能が実現されている。

　フィルタ選択部１２１は、決定されたユーザ９９の座標及び向きに基づいて、所定音について、三次元音場内のいずれの方向から到来する音としてユーザ９９に知覚させるかを決定し、所定音に対して適用される立体音響フィルタを選択する処理部である。立体音響フィルタは、入力された所定音に特定の頭部伝達関数を畳み込むことにより、当該特定の頭部伝達関数に基づく所定方向から到来する音として、上記の所定音をユーザ９９に知覚させる関数フィルタである。言い換えると、立体音響フィルタに所定音（又は、所定音に関する情報）が入力されることにより、所定音の左右の音信号に音圧差、時間差、及び、位相差などを発生させ、到来方向が制御された所定音を再生できる音信号を出力することができる。

　選択の候補となる複数の立体音響フィルタは、例えば、ユーザ９９ごとに調整されてあらかじめ準備されている。

　ここで、フィルタ選択部１２１の一例を、図４を用いて説明する。図４は、実施の形態に係るフィルタ選択部の機能構成を示すブロック図である。図４に示すように、本実施の形態におけるフィルタ選択部１２１は、例えば、フィルタ記憶部１２２、変動角算出部１２３、及び、フィルタ決定部１２４を備える。

　フィルタ記憶部１２２は、上記のように、あらかじめ音の到来方向ごとに計算して生成された複数の立体音響フィルタを記憶するための記憶装置である。変動角算出部１２３は、音情報に基づいて、微小時間における所定方向の変動の量（角度量）を算出する処理部である。例えば、変動角算出部１２３は、所定方向に関する情報から、数ミリ秒～数秒の範囲内で固定された期間内における、所定方向の変動の量を算出する。ここでは、変動角算出部１２３は、上記期間内において、所定方向の角度差が最大となった際の角度差を上記の角度量として算出する。変動角算出部１２３は、算出した角度量と閾値との比較を行う。算出した角度量が閾値よりも小さい等の比較結果は、フィルタ決定部１２４による、選択される立体音響フィルタの決定のために用いられる。

　フィルタ決定部１２４は、上記の変動角算出部１２３によって算出された角度量が閾値よりも小さい場合に、所定音をより強調してユーザ９９に知覚させるようにして、選択される立体音響フィルタを決定する処理部である。フィルタ決定部１２４によって決定された立体音響フィルタは、フィルタ記憶部１２２から読み出されることで出力される、すなわち、フィルタ選択部１２１によって選択された立体音響フィルタとして出力される。フィルタ決定部１２４による立体音響フィルタの決定（つまり、フィルタ選択部１２１による立体音響フィルタの選択）の詳細は、後述する。

　出力音生成部１３１は、フィルタ選択部１２１において選択された立体音響フィルタを用いて、音情報に含まれる所定音に関する情報を選択された立体音響フィルタに入力することで、出力音信号を生成する処理部である。

　ここで、出力音生成部１３１の一例を、図５を用いて説明する。図５は、実施の形態に係る出力音生成部の機能構成を示すブロック図である。図５に示すように、本実施の形態における出力音生成部１３１は、例えば、フィルタ処理部１３２を備える。フィルタ処理部１３２は、フィルタ選択部１２１が連続的に選択するフィルタを逐次読み込み、時間軸上の対応する所定音に関する情報を入力することで、三次元音場上で所定音が到来する到来方向が制御された音信号を連続的に出力する。このようにして、時間軸上で処理単位の時間ごとに区切られた音情報が、時間軸上で連続的な音信号（出力音信号）として出力される。

　信号出力部１４１は、生成された出力音信号をドライバ１０４へと出力する機能部である。信号出力部１４１は、出力音信号に基づいてデジタル信号からアナログ信号への信号変換などを行うことで、波形信号を生成し、波形信号に基づいてドライバ１０４に音波を発生させ、ユーザ９９に音を提示する。ドライバ１０４は、例えば、振動板とマグネット及びボイスコイルなどの駆動機構とを有する。ドライバ１０４は、波形信号に応じて駆動機構を動作させ、駆動機構によって振動板を振動させる。このようにして、ドライバ１０４は、出力音信号に応じた振動板の振動により、音波を発生させ、音波が空気を伝播してユーザ９９の耳に伝達し、ユーザ９９が音を知覚する。

　［動作］
　次に、図６を参照して、上記に説明した音響再生装置１００の動作について説明する。図６は、実施の形態に係る音響再生装置の動作を示すフローチャートである。まず、音響再生装置１００の動作が開始されると、取得部１１１が通信モジュール１０２を介して音情報を取得する。音情報は、デコード処理部１１３によって所定音に関する情報と、所定方向に関する情報とにデコードされ、フィルタ選択が開始される。

　フィルタ選択部１２１では、初期値として、コンテンツにあらかじめ設定された到来方向（所定方向と一致する到来方向）となるように所定音を再生させる立体音響フィルタが、フィルタ記憶部１２２から読み出される。一方で、変動角算出部１２３では、所定方向の変動の角度量を算出する（Ｓ１０１）。その後、変動角算出部１２３は、変動の角度量が閾値よりも小さいか否かを判定する（Ｓ１０２）。変動の角度量が閾値以上の場合（Ｓ１０２でＮｏ）、フィルタ選択部１２１は処理を終了して、所定方向と到来方向とが一致する立体音響フィルタを、出力音生成部１３１へと出力する。

　一方で、変動の角度量が閾値より小さい場合（Ｓ１０２でＹｅｓ）、フィルタ決定部１２４による立体音響フィルタの決定（Ｓ１０３）が行われる。立体音響フィルタの決定は、すなわち、初期値として選択されている立体音響フィルタを変更するための選択を行うことと読み替えることもできる。このときの出力音信号における音の到来方向は、音情報上の所定方向と異なる方向である。

　なお、上記のような立体音響フィルタの初期値を設定することなく、直接的にフィルタ決定部１２４が決定した立体音響フィルタをフィルタ記憶部１２２から読み出してもよい。つまり、立体音響フィルタの変更とは、説明のために便宜的に用いられる表現であり、初期値を用いることなく直接的に立体音響フィルタを選択して出力することも本開示に含まれる。

　以下、立体音響フィルタの決定について、図７～図９を参照して説明する。図７は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第１図である。また、図８は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第２図である。また、図９は、実施の形態に係る、選択された立体音響フィルタによる所定音の到来方向を説明する第３図である。

　図７では、白抜き右向き矢印の左側に立体音響フィルタの変更が行われない場合における所定音の到来方向が示されており、第１時点の所定音の到来方向を実線で示し、第１時点に続く第２時点の所定音の到来方向を破線で示している。また、図７では、白抜き右向き矢印の右側に立体音響フィルタの変更が行われた場合における所定音の到来方向が示されており、第１時点の所定音の到来方向を実線で示し、第１時点に続く第２時点の所定音の到来方向を破線で示している。また、図７では、紙面上方向を正面とした姿勢のユーザ９９を「Ｕ」が付された円形で模式的に示しており、このユーザ９９は、紙面に垂直な方向に直立の姿勢でいる。

　さらに、図７では、所定音が定位されている位置を、黒丸印として示しており、仮想的なスピーカが併せて示されている。

　図７に示すように、第１時点の第１の所定音の定位されている位置は、第１位置Ｓ１である。この第１の所定音は、立体音響フィルタの変更がない場合、第２時点で第２位置Ｓ１ａへと移動している。所定方向は、第１位置Ｓ１とユーザ９９とを結ぶ第１方向から、第２位置Ｓ１ａとユーザ９９とを結ぶ第２方向へと回転している。なお、第１時点と第２時点との間で、第１の所定音は時間的にも空間的にも直線的に移動したものとする。この第１方向から第２方向への回転の量（所定音の到来方向の変動量）が閾値よりも小さい場合、ユーザ９９は、第１の所定音が移動したことを認識することが困難である。

　一方で、立体音響フィルタの変更をすることによって、所定音は、第２時点での第３位置Ｓ１ｂへと移動している。所定方向は、第１位置Ｓ１とユーザ９９とを結ぶ第１方向から、第３位置Ｓ１ｂとユーザ９９とを結ぶ第３方向へと回転している。第２方向と第３方向との角度差（変更によって拡大される角度）は、例えば、５度、１０度、１５度、２０度などの固定的な角度であってもよいし、第１方向と第２方向との角度差に基づいて、第１方向と第３方向との角度差がヒトの最小弁別角度（約１０度）を十分に超える角度であってもよい。

　また、第１方向と第２方向との角度差（つまり、もとの音情報上の所定方向の変動の角度量）が小さいほど、第２方向と第３方向との角度差が大きくなるようにしてもよい。具体的には、フィルタ決定部１２４は、もとの音情報上の所定方向の変動の角度量が小さいほど、変更後の立体音響フィルタを用いた場合の出力音信号の到来方向の変動の角度量が大きくなるように、立体音響フィルタを決定してもよい。例えば、図８に示すように、拡張係数α（α＞１）であって、音情報上の所定方向の変動の角度量が小さいほど、その数値が大きくなる拡張係数αが、第１方向と第２方向との角度差に乗算されることで、第３方向が決定され、この第３方向から、第２時点での所定音が到来するような立体音響フィルタの変更がされればよい。また、この拡張係数αは、変動の角度量が小さいほど変更によって変動する角度量を拡大するために、非線形の関係であってもよい。

　また、図７において、ユーザ９９の左右に延びる１点鎖線は、ユーザ９９の頭部を前後に分ける仮想的な境界面を示している。この境界面は、ユーザ９９の外耳道に沿う面であってもよいし、ユーザ９９の耳殻の最後端の点を通る面であってもよいし、単にユーザ９９の頭部の重心を通る面であってもよい。このような境界面の前後において、つまり、ユーザ９９の前後で音の聞き取りやすさに差があることが知られている。したがって、境界面を境に、前面側と後面側とで、立体音響フィルタの変更の特性を異ならせることが有効である。

　図７では、第１時点の第２の所定音の定位されている位置は、第４位置Ｓ２である。この第２の所定音は、立体音響フィルタの変更がない場合、第２時点で第５位置Ｓ２ａへと移動している。所定方向は、第４位置Ｓ２とユーザ９９とを結ぶ第４方向から、第５位置Ｓ２ａとユーザ９９とを結ぶ第５方向へと回転している。第１方向と第４方向とは平行であり、第２方向と第５方向とは平行である。したがって、第１時点から第２時点までの期間で、第２の所定音の変動の角度量は第１の所定音の変動の角度量と同等である。しかしながら、第２の所定音は、境界面よりも後面側（ユーザ９９の背後側）であるため、前面側に比べて、ユーザ９９によって変動がより認識されにくいといえる。

　このため、フィルタ決定部１２４は、所定方向が境界面の前面側にあるときに変更後の立体音響フィルタを用いた場合の時間軸上の到来方向の変動の角度量よりも、所定方向が境界面の後面側にあるときに変更後の立体音響フィルタを用いた場合の時間軸上の到来方向の変動の角度量のほうが大きくなるように立体音響フィルタを決定する。例えば、図７では、第１方向と第３方向とがなす角度よりも大きい変動角となるように、第４方向の第４位置Ｓ２から、第６位置Ｓ２ｂへと、所定音の定位位置が変化している。第５方向と第６方向との角度差は、例えば、１０度、１５度、２０度、２５度などの固定的な角度であってもよいし、前面側での角度差に対する２倍、３倍、４倍、５倍などの係数倍の角度差となるように設定されてもよい。

　また、フィルタ決定部１２４による立体音響フィルタの決定の別例を図９に示す。図９では、図７と同様の構成の図が示されており、立体音響フィルタの変更後の構成（白抜き右向き矢印の右側）が異なっている。なお、図９では、境界面の前面側の音像のみを示しており、また、白抜き右向き矢印の右側では、判読性のため、第１時点の第１の所定音が定位している第１位置Ｓ１に関する図示を省略している。

　図９に示すように、第２時点での第１の所定音は、第７位置Ｓ１ｃに定位され、音情報上の所定方向の変動とは別に振動するように立体音響フィルタが選択されてもよい。ここでは、第７位置Ｓ１ｃを中心に、２つの１点鎖線に挟まれた角度領域内で、第１の所定音が振動している様子が示されている。このように、第１の所定音は、到来方向の変動の大きさが拡大されるのではない方法によって強調されてもよい。図９の例では、第１の所定音に周期的及び規則的な変動をさせることで、ユーザ９９によって意識が向けられるようにさせ、その変化が多少小さくてもユーザ９９が注意することで認識されやすくすることができる。

　なお、このような周期的及び規則的な変動は、正弦関数又は余弦関数等の時間軸上で数値が振動する振動関数を、所定音の到来方向の変動の角度量に対して、乗算又は加算することによって生じさせることができる。例えば、変更後の立体音響フィルタを用いた場合の、出力音信号の時間軸上の第Ｎ番目（Ｎは２以上の整数）の時点の到来方向（変更後の角度量に対応）を、出力音信号の時間軸上の第（Ｎ－１）番目の時点に対応する音情報上の所定方向と、第Ｎ番目の時点に対応する音情報上の所定方向との差分値（もとの角度量）に対して、振動関数における対応する時点の数値を乗算し、乗算後の差分値を第（Ｎ－１）番目の時点に対応する音情報上の所定方向に加算することで算出してもよい。

　このほか、第２時点での所定音の到来方向を強調させるために、変更前の立体音響フィルタを用いる場合に比べて、変更後の立体音響フィルタを用いた場合の出力音信号によって知覚される時間軸上の所定音の音圧の変化の量の方が大きくなるように、立体音響フィルタを変更してもよい。また、これらの立体音響フィルタの変更の例は、互いに相反するものではなく、任意の組み合わせとして用いられてもよい。

　このようにして、本実施の形態では、所定音の到来方向の変動が閾値よりも小さい場合に、この変動がユーザ９９によって認識されにくいといった現象を、立体音響フィルタの変更によって、変動を強調するようにして出力音信号を生成することができる。よって、ユーザ９９において認識されにくい所定音の到来方向の小さな変動がより明瞭なものとなるので、より適切に立体的な音をユーザ９９に知覚させることが可能となる。

　（その他の実施の形態）
　以上、実施の形態について説明したが、本開示は、上記の実施の形態に限定されるものではない。

　例えば、上記の実施の形態では、ユーザの頭部の動きに音が追従しない例を説明したが、本開示の内容は、ユーザの頭部の動きに音が追従する場合においても有効である。つまり、ユーザの頭部の動きとともに相対的に移動する第１位置から到達する音として所定音をユーザに知覚させる動作の中で、所定音の到来方向の変動量が閾値より小さい場合に、立体音響フィルタを選択して、変動が強調されるようにしてもよい。

　また、例えば、上記の実施の形態に説明した音響再生装置は、構成要素をすべて備える一つの装置として実現されてもよいし、複数の装置に各機能が割り振られ、この複数の装置が連携することで実現されてもよい。後者の場合には、処理モジュールに該当する装置として、スマートフォン、タブレット端末、又は、ＰＣなどの情報処理装置が用いられてもよい。

　上記実施の形態の説明と異なる構成として例えば、デコード処理部によって、元の音情報を補正することにより、変更された立体音響フィルタを選択させることもできる。具体的には、本例におけるデコード処理部は、音情報に含まれる所定方向に関する情報を生成するとともに、元の音情報の補正を行う処理部である。デコード処理部は、時間軸上での所定方向の変動の角度量を算出し、算出された所定方向の変動の角度量が閾値よりも小さい場合において、所定方向の変動の角度量が閾値以上である場合に比べて所定音をより強調してユーザに知覚させるように、所定方向に関する情報を補正する。これにより、デコード処理部から出力された補正後の所定方向に関する情報に基づいて、所定音が到来する到来方向を規定する立体音響フィルタが選択されるだけで、上記の実施の形態における変更後の立体音響フィルタが適用されることとなる。

　このように、本願開示の情報処理方法等を、元の音情報における所定方向に関する情報を補正することによって実現してもよい。上記のようなデコード処理部は、例えば、従来の立体音響再生装置のデコード処理を行う処理部と入れ替えて挿入するだけで、本願開示と同様の効果を奏することができる音響再生装置を実現することができる。

　また、本開示の音響再生装置は、ドライバのみを備える再生装置に接続され、当該再生装置に対して、取得した音情報に基づいて選択が行われた立体音響フィルタを用いて出力音信号を出力するのみの音響処理装置として実現することもできる。この場合、音響処理装置は、専用の回路を備えるハードウェアとして実現してもよいし、汎用のプロセッサに特定の処理を実行させるためのソフトウェアとして実現してもよい。

　また、上記の実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

　また、上記の実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

　また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

　また、本開示の全般的又は具体的な態様は、装置、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の全般的又は具体的な態様は、装置、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

　例えば、本開示は、コンピュータによって実行される音声信号再生方法として実現されてもよいし、音声信号再生方法コンピュータに実行させるためのプログラムとして実現されてもよい。本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

　本開示は、立体的な音をユーザに知覚させる等の音響再生の際に有用である。

　　　９９　ユーザ
　　１００　音響再生装置
　　１０１　処理モジュール
　　１０２　通信モジュール
　　１０３　検知器
　　１０４　ドライバ
　　１１１　取得部
　　１１２　エンコード音情報入力部
　　１１３　デコード処理部
　　１１４　センシング情報入力部
　　１２１　フィルタ選択部
　　１２２　フィルタ記憶部
　　１２３　変動角算出部
　　１２４　フィルタ決定部
　　１３１　出力音生成部
　　１３２　フィルタ処理部
　　１４１　信号出力部
　　２００　立体映像再生装置
　　　Ｓ１　第１位置
　　　Ｓ１ａ　第２位置
　　　Ｓ１ｂ　第３位置
　　　Ｓ１ｃ　第７位置
　　　Ｓ２　第４位置
　　　Ｓ２ａ　第５位置
　　　Ｓ２ｂ　第６位置

Claims (11)

1. 　時間軸上の各時点での、所定音に関する情報及び所定方向に関する情報を含む音情報から、前記所定方向に対応する三次元音場上の到来方向から到来する音として前記所定音を時系列に沿ってユーザに知覚させるための出力音信号を生成する情報処理方法であって、
   　時間軸上での前記所定方向の変動の角度量を算出し、
   　前記所定方向に関する情報に基づいて、入力される入力音を前記到来方向からの音として知覚させる立体音響フィルタを、候補となる複数の立体音響フィルタであって、到来方向ごとに準備された複数の立体音響フィルタの中から選択し、
   　前記所定音に関する情報を、前記選択された立体音響フィルタに入力して前記出力信号を生成し、
   　前記立体音響フィルタの選択では、算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記所定方向の変動の角度量が閾値以上である場合に比べて前記所定音をより強調して前記ユーザに知覚させるように、前記立体音響フィルタを選択する
   　情報処理方法。
2. 　前記立体音響フィルタの選択では、算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記選択された立体音響フィルタを用いたときの前記出力音信号によって知覚される前記到来方向の変動の角度量の方が、算出された前記所定方向の変動の角度量が閾値以上の場合に選択される立体音響フィルタを用いるときの前記出力音信号によって知覚される前記到来方向の変動の角度量よりも大きくなるように、前記立体音響フィルタを選択する
   　請求項１に記載の情報処理方法。
3. 　前記立体音響フィルタの選択では、算出された前記所定方向の変動の角度量が小さいほど、前記選択された立体音響フィルタを用いた場合の前記出力音信号によって知覚される前記到来方向の変動の角度量が大きくなるように、前記立体音響フィルタを選択する
   　請求項２に記載の情報処理方法。
4. 　算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記選択された立体音響フィルタを用いたとき、前記音情報上の前記所定方向の変動の角度量が小さいほど、その数値が大きくなる拡張係数α（α＞１）が乗算されることで前記出力音信号の時間軸上の前記到来方向の変動の角度量が拡張され、
   　前記所定方向の変動の角度量と前記拡張係数αとの関係は非線形である
   　請求項３に記載の情報処理方法。
5. 　前記立体音響フィルタの選択では、前記ユーザの頭部を前後に分ける仮想的な境界面に対して、前記所定方向が前記境界面の前面側にあり、かつ、算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記選択された立体音響フィルタを用いたときの時間軸上の前記到来方向の変動の角度量よりも、前記所定方向が前記境界面の後面側にあり、かつ、算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記選択された立体音響フィルタを用いたときの時間軸上の前記到来方向の変動の角度量のほうが大きくなるように前記立体音響フィルタを選択する
   　請求項２～４のいずれか１項に記載の情報処理方法。
6. 　前記立体音響フィルタの選択では、前記音情報上の前記所定方向に比べて、前記選択された立体音響フィルタを用いた場合の前記出力音信号によって知覚される前記到来方向が時間軸上で振動するように、前記立体音響フィルタを選択する
   　請求項１～５のいずれか１項に記載の情報処理方法。
7. 　前記選択された立体音響フィルタを用いた場合、前記出力音信号の時間軸上の第Ｎ番目（Ｎは２以上の整数）の時点の前記到来方向は、
   　　前記出力音信号の時間軸上の第（Ｎ－１）番目の時点に対応する前記音情報上の前記所定方向と、前記第Ｎ番目の時点に対応する前記音情報上の前記所定方向との差分値に対して、時間軸上で数値が振動する振動関数における対応する時点の数値を乗算し、
   　　乗算後の前記差分値を前記第（Ｎ－１）番目の時点に対応する前記音情報上の前記所定方向に加算することで算出される
   　請求項６に記載の情報処理方法。
8. 　前記立体音響フィルタの選択では、算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記選択された立体音響フィルタを用いたときの前記出力音信号によって知覚される時間軸上の前記所定音の音圧の変化の量の方が、算出された前記所定方向の変動の角度量が閾値以上の場合に選択される立体音響フィルタを用いるときの前記出力音信号によって知覚される前記所定音の音圧の変化の量よりも大きくなるように、前記立体音響フィルタを選択する
   　請求項１に記載の情報処理方法。
9. 　時間軸上の各時点での、所定音に関する情報及び所定方向に関する情報を含む音情報から、前記所定方向に対応する三次元音場上の到来方向から到来する音として前記所定音を時系列に沿ってユーザに知覚させるための出力音信号を生成する情報処理方法であって、
   　時間軸上での前記所定方向の変動の角度量を算出し、
   　算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記所定方向の変動の角度量が閾値以上である場合に比べて前記所定音をより強調して前記ユーザに知覚させるように、前記所定方向に関する情報を補正し、
   　前記所定音に関する情報を、候補となる複数の立体音響フィルタであって、到来方向ごとに準備された複数の立体音響フィルタの中から補正後の前記所定方向に関する情報に基づいて選択された立体音響フィルタに入力して前記出力信号を生成する
   　情報処理方法。
10. 　請求項１～９のいずれか１項に記載の情報処理方法をコンピュータに実行させるための
    　プログラム。
11. 　時間軸上の各時点での、所定音に関する情報及び所定方向に関する情報を含む音情報から、前記所定方向に対応する三次元音場上の到来方向から到来する音として前記所定音をユーザに知覚させるための出力音信号を生成して再生する音響再生装置であって、
    　前記音情報を取得する取得部と、
    　時間軸上での前記所定方向の変動の角度量を算出し、前記所定方向に関する情報に基づいて、入力される入力音を前記到来方向からの音として知覚させる立体音響フィルタを、候補となる複数の立体音響フィルタであって、到来方向ごとに準備された複数の立体音響フィルタの中から選択するフィルタ選択部と、
    　前記所定音に関する情報を、前記入力音として、前記選択された立体音響フィルタに入力して前記出力音信号を生成する出力音生成部と、
    　生成された前記出力音信号により音を出力する出力部と、を備え、
    　前記フィルタ選択部は、算出された前記所定方向の変動の角度量が閾値よりも小さい場合において、前記所定方向の変動の角度量が閾値以上である場合に比べて前記所定音をより強調して前記ユーザに知覚させるように、前記立体音響フィルタを選択する
    　音響再生装置。

Images