JP2012165283A - 信号処理装置 - Google Patents

Abstract

【課題】複数のチャンネル間の周波数に依存する特徴量の関係のうち、特定の関係をもつ音のレベルを調整するように、オーディオ信号に対して信号処理を行うこと。
【解決手段】本発明の実施形態における端末の信号処理部１００は、取得した複数チャンネルのオーディオ信号を周波数スペクトルに変換し、各周波数に対応した音像位置を算出して、周波数および音像位置の座標軸をもつ座標系を用いて表示画面に表示する。利用者によって指定された座標系における一部領域が指定領域として設定され、また出力レベルの調整量が設定されることにより、信号処理部１００は、周波数スペクトルのうち指定領域に含まれる音の出力レベルを調整し、オーディオ信号に変換して出力する。
【選択図】図３

Description

本発明は、オーディオ信号に対して信号処理を行う技術に関する。

ステレオのオーディオ信号において、音像位置を周波数帯域別に表示することができる技術が開発されている（例えば、特許文献１）。この技術によれば、ステレオのオーディオ信号が示す音について音像位置を詳細に知ることができる。

特許３９１２３８６号公報

ところで、オーディオ信号の周波数帯域別にレベル調整をするときには、グラフィックイコライザなどが用いられる。グラフィックイコライザによれば周波数帯域別にレベル調整をすることができるが、その周波数帯域の音の信号レベル全体が調整されるため、特定の音像位置をもつ音のレベルを調整することはできなかった。
また、このようなグラフィックイコライザの中には、ステレオのＬｃｈ、Ｒｃｈそれぞれに対してレベル調整をすることができるものも存在する。しかしながら、このグラフィックイコライザによっても、特定の周波数帯域についてＬｃｈのみ信号レベルを減少させた場合、その特定の周波数帯域については、相対的にＲｃｈの信号レベルが上昇して、音像位置が全体的にＲｃｈ側に移動することになり、特定の音像位置をもつ音のレベルの調整をすることはできなかった。

本発明は、上述の事情に鑑みてなされたものであり、複数のチャンネル間の周波数に依存する特徴量の関係のうち、特定の関係をもつ音のレベルを調整するように、オーディオ信号に対して信号処理を行うことを目的とする。

上述の課題を解決するため、本発明は、複数チャンネルのオーディオ信号を取得する取得手段と、前記取得した各チャンネルのオーディオ信号を、出力レベルの周波数依存性を示す周波数スペクトルに変換する第１変換手段と、前記取得したオーディオ信号から周波数に依存する特徴量を抽出し、各チャンネル間の当該特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、前記座標系における一部領域を指定領域として設定する領域設定手段と、前記指定領域における前記出力レベルの調整量を設定する調整量設定手段と、前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、前記調整量に応じて変化させるレベル変化手段と、前記レベル変化手段によって出力レベルを変化させた周波数スペクトルを、各チャンネルのオーディオ信号に変換する第２変換手段とを具備することを特徴とする信号処理装置を提供する。

また、別の好ましい態様において、前記領域設定手段は、複数の領域を前記指定領域として設定し、前記調整量設定手段は、前記複数の指定領域の各々に対して前記調整量を設定し、前記レベル変化手段は、前記複数の指定領域に重複した重複領域がある場合には、前記抽出した周波数値のうち、当該重複領域に含まれる周波数値に対応する出力レベルについては、当該重複領域を構成する指定領域の各々に対して設定された調整量によって決められる量に応じて変化させることを特徴とする。

また、別の好ましい態様において、前記レベル変化手段は、前記重複領域に含まれる周波数値に対応する出力レベルについては、当該重複領域を構成する指定領域の各々に対して設定された調整量、および当該指定領域の各々に含まれる前記算出結果の内容によって決められる量に応じて変化させることを特徴とする。

また、別の好ましい態様において、前記レベル変化手段は、前記重複領域に含まれる周波数値に対応する出力レベルについては、当該重複領域を構成する指定領域の各々に対して設定された調整量、および当該指定領域の各々の大きさの関係によって決められる量に応じて変化させることを特徴とする。

また、別の好ましい態様において、前記調整量設定手段は、前記指定領域における位置に応じて異なる量になるように前記調整量を設定することを特徴とする。

本発明によれば、複数のチャンネル間の周波数に依存する特徴量の関係のうち、特定の関係をもつ音のレベルを調整するように、オーディオ信号に対して信号処理を行うことができる。

本発明の実施形態における端末の外観を説明する図である。 本発明の実施形態における端末の構成を説明するブロック図である。 本発明の実施形態における信号処理機能の構成を説明する機能ブロック図である。 本発明の実施形態における表示画面の表示例を説明する図である。 本発明の実施形態における指定領域が表示された表示画面の表示例を説明する図である。 本発明の変形例１における指定領域に設定される調整量を説明する図である。 本発明の変形例２における指定領域を説明する図である。 本発明の変形例３における表示画面の表示例を説明する図である。 本発明の変形例４における指定領域を指定するときの表示画面の表示例を説明する図である。 本発明の変形例４における指定領域を指定するときの表示画面の別の表示例を説明する図である。 本発明の変形例５における表示画面の表示例を説明する図である。 本発明の変形例６における表示画面の表示例を説明する図である。 本発明の変形例７において設定される指定領域を説明する図である。

＜実施形態＞
[端末１の構成]
図１は、本発明の実施形態における端末１の外観を説明する図である。端末１は、携帯電話、ＰＤＡ（Personal Digital Assistant）、音楽プレイヤなどの携帯可能な情報処理端末である。なお、端末１は、携帯可能な情報処理端末に限らず、パーソナルコンピュータなどであってもよい。
図１に示すように、端末１は、筐体の前面に、タッチセンサ１２１、操作ボタン１２２、および表示画面１３１を有する。タッチセンサ１２１は、表示画面１３１の前面に設けられ、表示画面１３１とともに、タッチパネルを構成している。操作ボタン１２２は、図１においては、１つのみであるが、複数であってもよいし、なくてもよい。

図２は、本発明の実施形態における端末１の構成を説明するブロック図である。端末１は、制御部１１、操作部１２、表示部１３、記憶部１４、姿勢検出部１５、インターフェイス１６、通信部１７を有する。これらの各構成については、互いにバスで接続されている。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１１は、ＲＯＭまたは記憶部１４に記憶された制御プログラムを実行することにより、バスを介して端末１の各部を制御する。この例においては、制御部１１は、制御プログラムを実行することにより、指定された信号処理を、オーディオ信号に対して行う信号処理機能などの各種機能を実現する。この例においては、各種機能には、一般的な携帯電話、ＰＤＡ、音楽プレイヤなどが有する機能が含まれているが、必ずしも含まれていなくてもよい。

操作部１２は、利用者からの操作を受け付けるタッチセンサ１２１および操作ボタン１２２を有し、それぞれに受け付けられた操作の内容を示す操作情報を制御部１１に出力する。このタッチセンサ１２１は、複数への同時の接触を検知する、いわゆるマルチタッチセンサになっている。以下、利用者からの指定、指示は、特に示していない限り、操作部１２を介して行われる操作によって行われるものとする。
表示部１３は、液晶ディスプレイなどの表示画面１３１を有する表示デバイスであり、制御部１１の制御に応じた内容の表示を表示画面１３１に行う。信号処理機能が実現されているときには、表示画面１３１には、処理対象となるオーディオ信号に関する表示、信号処理の内容を指定するための表示などがなされる。

記憶部１４は、ハードディスク、不揮発性メモリなどの記録媒体である。記憶部１４は、楽曲の内容を示す複数チャンネルのオーディオ信号などが記憶される領域を有する。この例において、複数チャンネルとは、ステレオ２ｃｈ（Ｌｃｈ、Ｒｃｈ）である。

姿勢検出部１５は、加速度センサ、角速度センサなどを有し、端末１の筐体の動きを検出し、運動信号を出力する。
インターフェイス１６は、外部装置と接続し、オーディオ信号など各種情報の入出力をするための端子を有する。端子の中には、例えば、ヘッドフォン、スピーカなどの放音手段を接続し、オーディオ信号を接続された放音手段に供給する端子が含まれる。
通信部１７は、制御部１１の制御に応じて、他の装置と無線、有線により通信を行う。以上が、端末１のハードウエア構成についての説明である。

[機能構成]
次に、端末１の制御部１１が制御プログラムを実行することによって実現される信号処理機能について説明する。なお、以下に説明する信号処理機能を実現する信号処理部１００における各構成の一部または全部については、ハードウエアによって実現してもよい。

図３は、本発明の実施形態における信号処理機能の構成を説明する機能ブロック図である。信号処理機能を実現する信号処理部１００は、取得部１１０、第１変換部１２０、音像位置算出部１３０、表示制御部１４０、領域設定部１５０、調整量設定部１６０、レベル変化部１７０、第２変換部１８０、および出力部１９０を有する。
取得部１１０は、記憶部１４に記憶されているオーディオ信号のうち、利用者によって指定された楽曲のオーディオ信号を取得して、第１変換部１２０に出力する。なお、取得部１１０は、外部装置からインターフェイス１６を介して入力されるオーディオ信号を取得するようにしてもよい。

第１変換部１２０は、取得部１１０から出力されたオーディオ信号について、Ｌｃｈ、Ｒｃｈの各々に対して、予め決められた時間長のフレームごとに、ＦＦＴ（Fast Fourier Transform）処理を施して周波数スペクトルに変換する。周波数スペクトルは、周波数値（ｆ１、ｆ２、・・・ｆｎ）と出力レベル（Ａ１、Ａ２、・・・、Ａｎ）との対応関係、すなわち、出力レベルの周波数依存性を示している。このように、オーディオ信号から抽出される上述のような周波数値毎の出力レベルは、周波数に依存する特徴量の一例である。

ここで、Ｌｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＬ１、ＡＬ２、・・・、ＡＬｎ）といい、Ｒｃｈのオーディオ信号から変換された周波数スペクトルの出力レベルについては、（ＡＲ１、ＡＲ２、・・・、ＡＲｎ）というものとする。
第１変換部１２０は、このようにして得られたフレーム毎の周波数スペクトルを音像位置算出部１３０およびレベル変化部１７０に出力する。

音像位置算出部１３０は、第１変換部１２０から出力された周波数スペクトルに基づいて、各チャンネル間の出力レベルの関係を示す関係値としての音像位置を、各周波数値に対応して算出する。音像位置算出部１３０は、各周波数値に対応して、各チャンネル間の出力レベルの比を用いて以下の式（１）により音像位置Ｐｉを算出する（ｉ＝１〜ｎ）。
Ｐｉ＝２／π×ａｒｃｔａｎ（ＡＲｉ／ＡＬｉ） ・・・（１）

この音像位置Ｐｉは、「０」に近いほどＬｃｈ側（利用者から見て左側）、「１」に近いほどＲｃｈ側（利用者から見て右側）に音像が位置していることを示している。また、音像位置Ｐｉが「０．５」であれば、中央に音像が位置していることを示している。
音像位置算出部１３０は、このようにして周波数値（ｆ１、ｆ２、・・・ｆｎ）と音像位置（Ｐ１、Ｐ２、・・・、Ｐｎ）との対応関係を算出して、各フレームに対応した音像算出結果を示す情報として表示制御部１４０およびレベル変化部１７０に出力する。なお、この音像位置の算出方法は、上記算出方法に限られず、各チャンネルの出力レベルの関係に応じて算出する方法であれば他の算出方法を用いてもよい。

表示制御部１４０は、音像位置算出部１３０における音像算出結果に基づく内容を、表示部１３の表示画面１３１に表示させる。表示画面１３１に表示される表示例について、図４を用いて説明する。

図４は、本発明の実施形態における表示画面１３１の表示例を説明する図である。図４（ａ）に示すように、表示制御部１４０は、表示部１３を制御して、表示画面１３１にウインドウｗ１、ｗ２、ｗ３を表示させる。表示制御部１４０は、ウインドウｗ１には、音像算出結果に基づく内容を表示させ、ウインドウｗ２には、各種指定、指示をするための操作ボタンを表示させ、ウインドウｗ３には、表示画面１３１に表示させている内容に関連する情報（楽曲名など）を表示させる。

ウインドウｗ１には、図４（ｂ）に示す関係の座標軸を有する座標系で音像算出結果をプロットした表示がなされる。ウインドウｗ１の上下方向の座標軸は周波数（上方向が高い周波数値）を示し、左右方向の座標軸には音像位置を示す。このようにしてウインドウｗ１に表示された音像算出結果の表示例が図４（ａ）に示されている。図４（ａ）に示すウインドウｗ１の表示内容は、特定のフレームにおける音像算出結果を示すものであるが、音像算出結果はフレーム毎に得られる結果であるから、時刻の進行に伴って変化していく。
図４（ａ）に示す表示例に対応する音は、概ね中央部分に音像が定位するとともに、高周波数帯域において右側に寄った位置にも音像が定位しているように、利用者によって知覚される。

なお、表示制御部１４０は、ウインドウｗ１に表示された音像算出結果を示す各点の表示態様を、出力レベルに応じて変化させるようにしてもよい。変化させる内容としては、明度、彩度、輝度、点の大きさなどである。この場合には、音像位置算出部１３０は、音像算出結果に、さらに出力レベルの加算値（ＡＬｉ＋ＡＲｉ）など、出力レベルの絶対値を示す情報が含まれるようにして、表示制御部１４０に出力するようにすればよい。

また、表示制御部１４０は、音像算出結果を点により示していたが、点に限られない。例えば、線、特定のマーク、ウインドウｗ１内を出力レベルに応じてグラデーション表示するなど、様々な態様での表示が可能である。
さらに、表示制御部１４０は、図４（ｂ）に示す座標軸を、図４（ａ）に示す音像算出結果とともに表示するようにしてもよい。

図３に戻って説明を続ける。領域設定部１５０は、操作部１２から出力される操作情報に応じて、表示画面１３１のウインドウｗ１に表示されている座標系によって示される領域の一部を指定領域として設定する。指定領域とは、出力レベルを変化させる処理の対象となる周波数値を抽出するための領域であり、周波数の範囲（以下、指定周波数範囲という）、音像位置の範囲（以下、指定音像範囲という）を定める領域である。領域設定部１５０は、設定した指定領域を示す指定領域情報を表示制御部１４０およびレベル変化部１７０に出力する。
領域設定部１５０は、このようにして出力した指定領域情報を表示制御部１４０に取得させて、表示画面１３１のウインドウｗ１に指定領域を表示させる。図４（ａ）に示す表示がなされている状態で、座標系における一部領域が指定領域として設定された場合の表示例について、図５を用いて説明する。

図５は、本発明の実施形態における指定領域が表示された表示画面１３１の表示例を説明する図である。図５（ａ）に示す例においては、指定領域ｓ１が設定された状態を示している。利用者がウインドウｗ２における操作ボタンのうち指定領域を出現させる操作ボタンを操作し、指定領域ｓ１として指定したい領域の左上の頂点ｓ１ａとなるべき位置と右下の頂点ｓ１ｂとなるべき位置とを指定する操作（その位置に接触するなどの操作）をすると、領域設定部１５０は、指定された領域を指定領域ｓ１として設定する。これにより、表示制御部１４０は、指定領域ｓ１を表示画面１３１に表示する。

なお、領域設定部１５０は、図５（ａ）に示すように１つの領域を指定領域（指定領域ｓ１）として設定する場合に限られず、図５（ｂ）に示すように、複数の領域を指定領域（指定領域ｓ１、ｓ２）として設定することもできる。なお、領域設定部１５０が座標系における一部の領域を指定領域として設定するために行われる利用者の操作は、一例であって、他の操作によって指定されるようにしてもよい。

図３に戻って説明を続ける。調整量設定部１６０は、操作部１２から出力される操作情報に応じて、指定領域における出力レベルの調整量を設定する。調整量設定部１６０は、設定対象とした指定領域と設定した調整量とを示す調整量設定情報をレベル変化部１７０に出力する。調整量は、出力レベルに対して乗算する値として規定され、この例においては、０％から２００％までの範囲で規定される。

例えば、調整量が１００％であれば、レベル変化部１７０における出力レベル調整が行われず、１００％未満であれば、出力レベルを減少させる調整、１００％より大きければ出力レベルを増加させる調整が行われることになる。なお、調整量は、％により規定されるものに限られず、例えば、ｄＢなどにより規定されてもよい。また、相対的な量として規定されるだけでなく、絶対的な量として規定されてもよい。また、ある特定の出力レベルに揃えるような規定であってもよい。

調整量設定部１６０は、利用者が、調整量を設定したい指定領域を特定する操作（ウインドウｗ１における指定領域の一部を接触するなどの操作）をして、ウインドウｗ２の操作ボタンにより調整量を指定することにより、指定領域における調整量を設定する。ここで、調整量設定部１６０は、指定領域を特定する操作がなされたかどうかを認識するために、指定領域の位置を認識する必要がある場合には、領域設定部１５０から出力される指定領域情報を取得すればよい。なお、調整量設定部１６０が調整量を設定するために行われる利用者の操作は、一例であって、他の操作によって指定されるようにしてもよい。

レベル変化部１７０は、音像算出結果と指定領域情報とを比較して、指定領域に含まれる音像算出結果に対応する周波数値を抽出する。具体的には、レベル変化部１７０は、音像算出結果を参照して、指定音像範囲に含まれる音像位置に対応する周波数値のうち、指定周波数範囲に含まれる周波数値を抽出する。図５（ａ）に示す例においては、音像算出結果のうち点ｄ１（ｆｘ、Ｐｘ）は、指定領域ｓ１に含まれるが、点ｄ２（ｆｙ、Ｐｙ）は、指定領域に含まれないため、レベル変化部１７０は、周波数値ｆｘについては抽出するが、周波数値ｆｙについては抽出しない。

そして、レベル変化部１７０は、第１変換部１２０から出力された周波数スペクトルのうち、抽出した周波数値に対応する出力レベル（以下、この周波数値に対応する出力レベルにより生じる音を「指定領域に含まれる音」という）を、調整量設定情報が示す調整量で増減させる。図５（ａ）に示す例において、指定領域ｓ１に設定された調整量がＺ％である場合には、レベル変化部１７０は、周波数スペクトルのうち、指定領域ｓ１に含まれる音の出力レベルを、各チャンネルともＺ／１００倍となるように変化させる。すなわち、第１変換部１２０から出力された周波数スペクトルのうち、点ｄ１に対応する値は、Ｌｃｈ（ｆｘ、ＡＬｘ）、Ｒｃｈ（ｆｘ、ＡＲｘ）であるが、レベル変化部１７０は、Ｌｃｈ（ｆｘ、ＡＬｘ×Ｚ／１００）、Ｒｃｈ（ｆｘ、ＡＲｘ×Ｚ／１００）に変化させる。Ｚ＝０であれば、後述するようにして出力される音からは、指定領域ｓ１に含まれる音が聴こえなくなることになる。
レベル変化部１７０は、各フレームに対応して、上述のように、指定領域に含まれる音の出力レベルを変化させた各チャンネルの周波数スペクトルを、第２変換部１８０に出力する。

第２変換部１８０は、レベル変化部１７０から出力される各チャンネルの周波数スペクトルに対してＩＦＦＴ（Inverse Fast Fourier Transform）処理を施して、各チャンネルのオーディオ信号に変換する。第２変換部１８０は、変換したオーディオ信号を出力部１９０に出力する。
出力部１９０は、第２変換部１８０から出力されたオーディオ信号を、インターフェイス１６に出力し、インターフェイス１６に接続されるスピーカなどの放音装置から放音させる。

このように、信号処理部１００は、取得した複数チャンネルのオーディオ信号を周波数スペクトルに変換し、各周波数に対応した音像位置を算出して、周波数および音像位置の座標軸をもつ座標系を用いて表示画面１３１に表示する。利用者によって指定された座標系における一部領域が指定領域として設定され、また出力レベルの調整量が設定されることにより、信号処理部１００は、周波数スペクトルのうち指定領域に含まれる音の出力レベルを調整し、オーディオ信号に変換して出力する。
これにより、利用者は、表示画面１３１に表示された音像算出結果を見ながら、直感的に一部領域を指定することができ、この領域を指定領域として領域設定部１５０に設定させ、指定領域に含まれる音を大きくしたり、小さくしたりすることができる。

例えば、オーディオ信号が示す音が複数の楽器を用いた演奏をステレオで録音したものである場合に、利用者は、特定の楽器の音像に対応する部分を指定して指定領域として設定させ、指定領域に対して調整量を指定して設定させることにより、その特定の楽器の音量を小さくした音をスピーカから出力させることもできる。このようにすると、利用者は、出力された音にあわせて、音量を小さくした特定の楽器を用いて演奏することで、カラオケのようにして楽しむこともできる。このとき、特定の楽器の音量を完全に消してしまうのではなく、聴こえる程度に特定の楽器の音を残しておくことで、その音を聴きながら楽器の練習をするということもできる。
これとは反対に、利用者は、指定領域に対する調整量の設定により、特定の楽器の音量を大きくした音をスピーカから出力させることもできる。このようにして、利用者は、好みの楽器の音量を大きくして聴いたり、特定の楽器の音を詳細に聴いたりすることができる。

また、利用者は、図５（ｂ）に示すようにして、複数の楽器の音像に対応する部分を指定することにより、複数の楽器を用いたカラオケを楽しんだり、複数の楽器の音を強調して聴いたりすることもできる。
なお、調整量の設定においては、一方の指定領域に含まれる音を小さくし、他方の指定領域に含まれる音を大きくすることもできる。例えば、利用者は、左端に音像が定位しているギターの音量を大きくし、そのギターの少し右側に音像が定位している別のギターの音量を小さくするように設定することにより、類似した音の一方の音量を小さくして、特定の楽器の演奏をより明瞭に聴き取ることもできる。

＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した実施形態において、調整量設定部１６０によって設定される調整量は、指定領域のどの位置においても同じ量として設定されていたが、指定領域内における位置に応じて異なる量となるように設定されてもよい。例えば、図６に示すように調整量が設定されればよい。

図６は、本発明の変形例１における指定領域に設定される調整量を説明する図である。図６（ａ）は、実施形態において設定される調整量を示す図である。図６（ｂ）は、変形例１において設定される調整量の一例を示す図である。
上述した実施形態においては、例えば、図６（ａ）に示すように、指定領域ｓ１の音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、どの位置においても同じ調整量Ｌ０として設定されている。一方、変形例１においては、例えば、図６（ｂ）に示すように、指定領域ｓ１の音像位置の座標軸方向（ａ−ａ方向）および周波数の座標軸方向（ｂ−ｂ方向）について、位置に応じて調整量が変化するように設定される。この例においては、指定領域ｓ１のうち中央部が周辺部に比べて調整量が小さくなるように設定された状態（凹型形状）を示している。

この場合には、レベル変化部１７０は、指定領域ｓ１に含まれる音の周波数値および音像位置に対応した調整量を、指定領域ｓ１に対応して抽出した周波数値に対応させて特定すればよい。そして、レベル変化部１７０は、指定領域ｓ１に含まれる音の各周波数値に対応する出力レベルを変化させるときには、それぞれの周波数値に対応して特定した調整量に応じて変化させればよい。このようにすれば、信号処理部１００は、指定領域に含まれる音について、その指定領域内における位置に応じて異なる調整量で音量を調整して出力することもできる。例えば、図６（ｂ）に示すように調整量が設定されている場合には、信号処理部１００は、指定領域ｓ１のうち周辺部に対応する音ほど大きな音量で出力することができる。なお、変化設定部１６０によって設定される調整量が、指定領域内における位置に応じて異なる量となるように設定されればよいから、図６（ｃ）に示すように、指定領域のうち中央部が周辺部に比べて調整量が大きくなるように設定された状態（凸型形状）であってもよく、様々な態様での設定が可能である。

[変形例２]
上述した実施形態において、領域設定部１５０は、複数の領域を指定領域として設定する場合に、これらの指定領域の一部が重なった領域を指定領域として設定してもよい。このような場合の説明について図７を用いて説明する。

図７は、本発明の変形例２における指定領域を説明する図である。この例においては、指定領域ｓ１と指定領域ｓ２とが重複する重複領域ｓｄ１２が存在するように、領域設定部１５０によって設定されている。レベル変化部１７０は、このような重複領域に含まれる音については、重複領域を構成する指定領域の各々に対して設定された調整量に応じて、重複領域に対応する調整量を決定し、その調整量に応じて出力レベルを変化させる。以下、重複領域に対応した調整量の決定方法について、一例を説明する。なお、この変形例２の説明においては、指定領域ｓ１、ｓ２が設定され、それぞれに対して設定された調整量は、調整量Ｌ１、Ｌ２とする。また、重複領域ｓｄ１２に対応する調整量は、調整量Ｌ１２という。

第１の例としては、調整量Ｌ１、Ｌ２を加算して得られる値（加算値、平均値など）を調整量Ｌ１２として決定する。ここで、指定領域ｓ１と指定領域ｓ２との面積比に応じて、調整量Ｌ１、Ｌ２に重み付けをして加算してもよい。例えば、指定領域ｓ１の面積が指定領域ｓ２の面積の２倍であれば、調整量Ｌ１の２倍と調整量Ｌ２とを加算するようにすればよい。また、指定領域ｓ１、ｓ２に含まれる音像算出結果の内容、すなわち、指定領域ｓ１に含まれる音と指定領域ｓ２に含まれる音との関係に応じて重み付けをして加算してもよい。例えば、指定領域ｓ１、ｓ２について、それぞれの指定領域に含まれる音について出力レベルの総和の違い、抽出される周波数値の個数の違いなどに応じて重み付けをすればよい。なお、加算して得られる値ではなく、差分により得られる値であってもよく、調整量Ｌ１、Ｌ２を用いて得られる値であればどのような方法により得られた値であってもよい。

第２の例としては、調整量Ｌ１、Ｌ２の大きい方、または小さい方のいずれかが調整量Ｌ１２として決定される。第３の例としては、変形例１で示したように、重複領域ｓｄ１２における位置に応じて調整量Ｌ１２が変化するように決められる。このとき、調整量Ｌ１２は、重複領域ｓｄ１２の指定領域ｓ１に近いほど調整量Ｌ１に近く、指定領域ｓ２に近いほど調整量Ｌ２に近くなるように変化させてもよい。このように調整量Ｌ１２の値を位置に応じて変化させる場合には、直線補間を用いた補間により変化する値が決められてもよいし、補間曲線（例えば、スプライン曲線など）を用いた補間により変化する値が決められてもよい。
上述した重複領域に対応して設定される調整量の決定方法の例は、一例であって、重複領域を構成する各指定領域に対応して設定された調整量に応じて決定される方法であれば、他の決定方法を用いたものであってもよい。また、上述の例においては、２つの指定領域が重複領域を構成している場合の例を示したが、３つ以上の指定領域により重複領域が構成されていてもよい。

[変形例３]
上述した実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に表示される音像算出結果を、各周波数値に対応する音像位置を点状に表示するようにしていたが、その他の表示態様で表示するようにしてもよい。変形例３における表示態様の例について図８を用いて説明する。

図８は、本発明の変形例３における表示画面１３１の表示例を説明する図である。図８（ａ）は、ウインドウｗ１の一部分を拡大して示した図である。図８（ａ）に示すように、表示制御部１４０は、メッシュ状に区切った領域（以下、区切られた各領域をメッシュ領域ｍ１という）をウインドウｗ１に表示させ、各メッシュ領域ｍ１に含まれる音像算出結果に応じてメッシュ領域の色の濃さを変化させる。例えば、表示制御部１４０は、メッシュ領域ｍ１が構成する範囲の音像位置に対応する周波数値のうち、メッシュ領域ｍ１が構成する範囲の周波数に含まれる周波数値の個数、すなわち、メッシュ領域ｍ１に含まれる音の数に応じてメッシュ領域ｍ１の色の濃さを変化させればよい。また、表示制御部１４０は、メッシュ領域ｍ１に含まれる音の出力レベルに応じてメッシュ領域ｍ１の色の濃さを変化させてもよい。

また、別の例として、図８（ｂ）に示すように、メッシュ領域に対応して予め決められた図形（この例においては、メッシュ領域の重心を中心とする円）を表示するようにしてもよい。この場合には、メッシュ領域に含まれる音の数に応じて円の直径を変化させればよい。
このようにしてメッシュ領域に区切って表示する場合には、領域設定部１５０は、１つのメッシュ領域を最小単位として指定領域を設定するようにしてもよい。

このようにすると、信号処理部１００と表示部１３とが別装置であるなど、装置間で表示させるための情報を送受信する場合において、送受信する情報量を低減することができる。また、表示制御部１４０は、画素数が少ない表示画面に音像算出結果を表示させることもできる。
なお、上述したメッシュ領域の表示態様は、フレーム毎の音像算出結果に応じて変化させるものとするが、時間的に連続する複数フレーム分の音像算出結果に応じて変化させるようにしてもよい。

[変形例４]
上述した実施形態において、領域設定部１５０に指定領域を設定させるために利用者が行う領域の指定は、周波数の軸方向と音像位置の軸方向とを別々に行えるようにしてもよい。このようにした場合には、指定する軸方向に応じて表示画面１３１のウインドウｗ１における表示態様を変更してもよい。周波数の軸方向、すなわち周波数値の範囲を予め指定して固定し、音像位置の範囲の指定を行うときの表示画面１３１の表示例について、図９を用いて説明する。

図９は、本発明の変形例４における指定領域を指定するときの表示画面１３１の表示例を説明する図である。図９（ａ）は、現在設定されている指定領域ｓ１を示す図である。この状態において、利用者は、ウインドウｗ２の操作ボタンを操作するなどして、周波数の軸方向を固定して音像位置の軸方向のみの指定が可能な構成にする指示を行うと、表示制御部１４０によってウインドウｗ１の表示態様が変更される。この例においては、ウインドウｗ１には、図９（ｂ）に示すように、周波数の軸方向は、指定領域ｓ１の指定周波数範囲のみが表示される態様に変更される。

このように表示されることにより、また、領域設定部１５０によって設定される指定領域のうち、指定周波数範囲から周波数の軸方向の変更ができないように制限されることにより、利用者は、音像位置の軸方向のみに注目して指定領域ｓ１の指定音像範囲を指定することができる。なお、予め指定周波数範囲が決められた指定領域を決定するためのテンプレートを複数種類、記憶部１４に記憶させるなどして設けておき、利用者はテンプレートのいずれかを選択して、表示制御部１４０による表示、および領域設定部１５０による設定の制限によって、指定領域を指定するときの指定周波数範囲を固定させるようにしてもよい。例えば、楽器の演奏音に応じた周波数範囲に対応した指定周波数範囲が決められたテンプレートを楽器の種類毎に設けておけば、利用者は楽器の種類を選択することにより、選択した楽器の音域に対応する指定周波数範囲を決定することができる。
また、図９（ｂ）に示す表示態様においては、指定周波数範囲の音像算出結果に制限するものであったが、さらに異なる表示態様としてもよい。

図１０は、本発明の変形例４における指定領域を指定するときの表示画面１３１の別の表示例を説明する図である。図１０（ａ）に示す例は、図９（ｂ）に示すウインドウｗ１に表示されている音像算出結果について、音像位置を一定範囲毎に分割し、各範囲の音像位置を示す音像算出結果については、周波数値にかかわらずまとめてヒストグラムとして表示された例である。このヒストグラムは、横軸は各範囲の音像位置を示し、縦軸は各範囲の音像位置に対応する周波数値の個数を示す。なお、縦軸は、各範囲の音像位置に対応する音の出力レベルの総和を示すものであってもよい。このように、指定周波数範囲が予め決定される場合には、利用者は周波数の座標軸を認識する必要がなくなるため、ヒストグラムの度数に相当する軸に変更してもよい。

また、図１０（ｂ）に示すように、バーコード状に表示されてもよい。図１０（ｂ）に示す表示態様は、図１０（ａ）に示す度数に相当する値を線の太さとして表したものである。このように、表示制御部１４０は、指定周波数範囲が固定された場合には、周波数の座標軸を用いない表示に変化させるようにしてもよい。なお、上記例においては、指定周波数範囲を固定した場合について説明したが、指定音像範囲を固定した場合においても適用できる。例えば、図９（ｂ）に示す表示態様に対応させた場合には、指定音像範囲に含まれる音像算出結果だけが表示される態様とすればよい。

[変形例５]
上述した実施形態において、表示画面１３１に表示されるウインドウｗ１は、１つのみであったが、複数のウインドウｗ１を切り替えて表示できるようにしてもよい。この場合における表示画面１３１の表示例について、図１１を用いて説明する。

図１１は、本発明の変形例５における表示画面１３１の表示例を説明する図である。図１１（ａ）に示すように、ウインドウｗ１の上部に、複数のウインドウｗ１のいずれを表示させるかを選択するためのタブｗｔ１、ｗｔ２、・・・が設けられている。この例においては、タブｗｔ１が選択されているときには、上述した実施形態と同様である。タブｗｔ２を選択すると、タブｗｔ２に対応したウインドウｗ１が表示される。

各タブに対応したウインドウｗ１は、上述した実施形態などの構成をタブごとに並列に信号処理する内容を表示するものであってもよいし、直列に信号処理する内容を表示するものであってもよい。また、選択されたタブに対応するウインドウｗ１の表示内容に従った信号処理が実行され、選択されていないタブに対応するウインドウｗ１の表示内容に従った信号処理は実行されないようにしてもよい。この場合、利用者は、選択するタブを切り替えて音の内容を確認することで、各タブにおけるウインドウｗ１の表示内容においてどのような音響効果が得られるかを切り替えて、容易に効果の比較をすることができる。並列に処理する場合には、信号処理部１００は、並列に処理された結果得られるオーディオ信号がミキシングされて出力されるように構成を有するようにすればよい。このとき、利用者の指示に応じてミックス比を制御できるようにしてもよい。なお、並列に処理されるオーディオ信号は、同じ楽曲のオーディオ信号が用いられていてもよいし、別の楽曲のオーディオ信号が用いられていてもよい。

一方、直列に処理とは、以下の処理をいう。まず、取得部１１０において取得されたオーディオ信号に対して、タブｗｔ１に対応するウインドウｗ１の表示内容に応じてレベル変化部１７０において信号処理が施される。信号処理が施された結果に対して、タブｗｔ２に対応するウインドウｗ１の表示内容に応じて信号処理を施す。このように、直列に処理とは、一つのタブのウインドウｗ１における表示内容に基づいて処理された結果を、別のタブのウインドウｗ１における表示内容に基づいてさらに処理することをいう。

このように直列に処理する場合には、タブｗｔ２のウインドウｗ１の表示態様を図１１（ｂ）に示すようにしてもよい。この例においては、図１１（ａ）に示すように指定領域ｓ１、ｓ２が設定され、この指定領域ｓ１、ｓ２に対して、この領域に含まれる音を除去するように調整量が設定されたものとする。この場合、図１１（ｂ）に示すように、タブｗｔ２に対応するウインドウｗ１には、指定領域ｓ１、ｓ２に対応する音像算出結果を除去した状態での表示がなされる。そして、この内容を基準として、さらに利用者による指定領域ｓ３を設定するための指定が行われる。

なお、上記の並列に処理および直列に処理については並存してもよい。例えば、タブｗｔ１、ｗｔ２は直列に処理される関係であり、タブｗｔ３は、タブｗｔ１、ｗｔ２と並列に処理される関係であってもよい。また、各タブに対応するウインドウｗ１は、表示画面１３１に並べて同時に表示されるようにしてもよい。

[変形例６]
上述した実施形態において、表示制御部１４０は、ウインドウｗ１に表示する指定領域に、その指定領域に対して設定された調整量（以下、この変形例において、設定調整量という）を表示するようにしてもよい。この表示の一例について、図１２を用いて説明する。

図１２は、本発明の変形例６における表示画面１３１の表示例を説明する図である。図１２（ａ）に示すように、表示制御部１４０は、指定領域ｓ１、ｓ２の領域内に設定調整量ｔ１、ｔ２を表示する。このとき、利用者が指定領域ｓ１、ｓ２の位置を移動させるなどして、図１０（ｂ）に示すように位置させると、表示制御部１４０は、設定調整量ｔ１を指定領域ｓ２と重ならない領域に移動させて表示する。また、表示制御部１４０は、新たに生じる重複領域ｓｄ１２の設定調整量ｔ３は、領域内に表示できないため領域外に表示する。

なお、指定領域内に、その指定領域の指定周波数範囲、指定音像範囲を示す情報が表示されるようにしてもよい。
また、利用者の操作によりタッチセンサ１２１への接触されている位置（以下、この変形例において、接触位置という）に応じて、設定調整量の表示位置を変化させてもよい。具体的には、表示制御部１４０は、接触位置から一定距離はなれた位置に、設定調整量を表示する。このようにすると、利用者が操作中において指で設定調整量が見えなくなってしまうことを防ぐことができる。

[変形例７]
上述した実施形態において、指定領域の形状は矩形であったが、矩形以外の形状であってもよい。指定領域の形状については、ウインドウｗ２に表示される操作ボタンを用いて利用者が決定すればよい。また、利用者が指定領域として設定したい領域をなぞるように操作することで様々な形状の領域を指定するようにしてもよい。

図１３は、本発明の変形例７において設定される指定領域を説明する図である。図１３に示す指定領域ｓ１の形状は、利用者がタッチセンサ１２１をなぞることにより領域が指定された場合の形状の一例である。指定領域が矩形以外の形状の場合には、指定周波数範囲および指定音像範囲が実施形態のように決めることはできないが、レベル変化部１７０において、指定領域ｓ１の形状を特定する座標情報を取得して周波数値ごとの指定音像範囲を特定することで、抽出すべき周波数値を決定することができる。
なお、領域設定部１５０は、利用者によって指定された領域の内側を指定領域として設定していたが、外側を指定領域として設定してもよい。

[変形例８]
上述した実施形態において、表示制御部１４０は、指定領域の範囲内を、その指定領域に対して設定された調整量に応じた態様で表示するようにしてもよい。表示制御部１４０は、指定領域の範囲内を、例えば、その指定領域に設定された調整量が、色の違い、濃さ、透過量、模様の変化などにより表されるように表示すればよい。また、表示制御部１４０は、指定領域内に表示されている音像算出結果について、その指定領域に対して設定された調整量に応じて各点の表示態様を変化させてもよい。

[変形例９]
上述した実施形態において、第１変換部１２０は、周波数に依存する特徴量として、周波数値毎の出力レベルを抽出し、音像位置算出部１３０は、各チャンネル間の出力レベルの関係を示す関係値を算出していた。特徴量および関係値は、他の内容であってもよい。例えば、特徴量は周波数値毎の位相とし、関係値は各チャンネル間の位相差とすればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて位相差の座標軸を用いたものとして、表示内容を制御すればよい。

[変形例１０]
上述した実施形態においては、取得部１１０は、ステレオ２ｃｈのオーディオ信号を取得していたが、５．１ｃｈなど、より多くのチャンネルのオーディオ信号を取得してもよい。この場合には、音像位置算出部１３０は、各周波数値に対応して、全てのチャンネルにおける出力レベルに基づいて、各チャンネル間の出力レベルの関係に応じた関係値を算出するための算出式を記憶しておく。この算出式は、例えば、特定の規格（ITU-R BS.775-1など）にしたがって配置されたスピーカから出力された場合の聴取位置からみた方向（例えば、特定の方向を基準とした水平面内の角度）で表される音像位置（関係値）を、各チャンネルの出力レベルの違いから算出するための式とすればよい。

そして、音像位置算出部１３０は、この算出式を用いて各周波数値に対応した関係値を算出し、算出結果を示す情報を出力すればよい。この場合には、表示制御部１４０は、ウインドウｗ１への表示に用いる座標系を、音像位置の座標軸に代えて上記の関係値の座標軸を用いたものとして、表示内容を制御すればよい。
なお、取得部１１０は、２ｃｈより多いチャンネルのオーディオ信号を取得した場合には、２ｃｈにミックスダウンして出力するようにしてもよいし、特定の２ｃｈを抽出して出力するようにしてもよい。

[変形例１１]
上述した実施形態においては、領域設定部１５０は、利用者のタッチセンサ１２１への操作によって指定された領域を、指定領域として設定していたが、別の態様により指定領域を設定してもよい。例えば、指定領域の範囲を規定する指定領域特定情報を予め記憶しておき、領域設定部１５０は、利用者からの指示などにより指定領域特定情報を取得して、指定領域を設定すればよい。

なお、この指定領域特定情報は、さらに、時刻の進行に伴い指定領域の範囲が変化するように規定されていてもよい。指定領域の範囲の変化とは、指定領域の形状の変化、指定領域の位置の変化（移動）などである。この場合には、領域設定部１５０は、時刻の進行に伴って変化する範囲を指定領域として設定すればよい。この変化の内容は、オーディオ信号の内容を解析して決定されるものであってもよい。例えば、オーディオ信号が楽曲であれば、楽曲のテンポをオーディオ信号の音量の時系列変化などから検出して、テンポに応じて移動態様または指定領域の形状が変化するように指定領域特定情報が規定されていてもよい。また、指定領域特定情報は、音像算出結果に応じて変化するように規定されていてもよい。例えば、指定領域特定情報は、音像位置が中心以外で一定密度以上の音像算出結果を示す点が集まっている範囲を指定領域として設定するように規定されていればよい。
すなわち、指定領域特定情報は、予め決められたアルゴリズムにしたがって規定されるものであればよく、発生させた乱数などを用いてランダムに指定領域の範囲を変化させるアルゴリズムであってもよい。

また、別の態様としては、領域設定部１５０は、姿勢検出部１５から出力される運動信号に応じて、指定領域を設定してもよい。領域設定部１５０は、例えば、すでに利用者の操作などにより設定されている指定領域がある場合に、利用者が端末１を傾けたり振ったりすることで、指定領域が移動するようにしてもよい。例えば、表示画面１３１の右側が地面に近づくように傾けられた場合には、領域設定部１５０は、設定する指定領域を右側に移動させていけばよい。

[変形例１２]
上述した実施形態においては、表示制御部１４０は、表示画面１３１のウインドウｗ１に、周波数の座標軸と音像位置の座標軸の２軸を有する座標系を用いて音像算出結果を表示していたが、さらに多くの軸を有する座標系を用いて表示してもよい。例えば、周波数値に対応する関係値が音像位置だけでなく、変形例９に示すように位相差も含まれている場合には、周波数の座標軸、音像位置の座標軸、位相差の座標軸の３軸を有する座標系を用いればよい。

３軸を有する座標系を用いて表示を行う場合には、表示制御部１４０は、ウインドウｗ１に、周波数の座標軸と音像位置の座標軸を有する座標系での表示、および周波数の座標軸と位相差の座標軸を有する座標系での表示など２つ表示により３軸を有する座標系での表示に代えてもよいし、擬似的に３軸の座標系を表現した画像を表示させるようにしてもよい。また、表示画面１３１が立体視ディスプレイなどである場合には、３軸の座標系を立体的に表現した画像を表示させてもよい。

３軸の座標系を表現した場合において、指定領域として設定すべき領域を指定するときには、一旦２軸の座標系に置き換えて表示された状態で、利用者が領域を指定するようにしてもよい。

[変形例１３]
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、端末１は、制御プログラムをネットワーク経由でダウンロードしてもよい。

１…端末、１１…制御部、１２…操作部、１３…表示部、１４…記憶部、１５…姿勢検出部、１６…インターフェイス、１７…通信部、１２１…タッチセンサ、１２２…操作ボタン、１３１…表示画面、１００…信号処理部、１１０…取得部、１２０…第１変換部、１３０…音像位置算出部、１４０…表示制御部、１５０…領域設定部、１６０…調整量設定部、１７０…レベル変化部、１８０…第２変換部、１９０…出力部

Claims (5)

1. 複数チャンネルのオーディオ信号を取得する取得手段と、
   前記取得した各チャンネルのオーディオ信号を、出力レベルの周波数依存性を示す周波数スペクトルに変換する第１変換手段と、
   前記取得したオーディオ信号から周波数に依存する特徴量を抽出し、各チャンネル間の当該特徴量の関係に応じた関係値を、各周波数値に対応して算出する算出手段と、
   前記周波数値の座標軸と、前記関係値の座標軸とを有する座標系を用いて、前記算出手段による算出結果を表示画面に表示させる表示制御手段と、
   前記座標系における一部領域を指定領域として設定する領域設定手段と、
   前記指定領域における前記出力レベルの調整量を設定する調整量設定手段と、
   前記指定領域に含まれる前記算出結果に対応する周波数値を抽出し、前記周波数スペクトルのうち前記抽出された周波数値に対応する出力レベルを、前記調整量に応じて変化させるレベル変化手段と、
   前記レベル変化手段によって出力レベルを変化させた周波数スペクトルを、各チャンネルのオーディオ信号に変換する第２変換手段と
   を具備することを特徴とする信号処理装置。
2. 前記領域設定手段は、複数の領域を前記指定領域として設定し、
   前記調整量設定手段は、前記複数の指定領域の各々に対して前記調整量を設定し、
   前記レベル変化手段は、前記複数の指定領域に重複した重複領域がある場合には、前記抽出した周波数値のうち、当該重複領域に含まれる周波数値に対応する出力レベルについては、当該重複領域を構成する指定領域の各々に対して設定された調整量によって決められる量に応じて変化させる
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記レベル変化手段は、前記重複領域に含まれる周波数値に対応する出力レベルについては、当該重複領域を構成する指定領域の各々に対して設定された調整量、および当該指定領域の各々に含まれる前記算出結果の内容によって決められる量に応じて変化させる
   ことを特徴とする請求項１または請求項２に記載の信号処理装置。
4. 前記レベル変化手段は、前記重複領域に含まれる周波数値に対応する出力レベルについては、当該重複領域を構成する指定領域の各々に対して設定された調整量、および当該指定領域の各々の大きさの関係によって決められる量に応じて変化させる
   ことを特徴とする請求項１または請求項２に記載の信号処理装置。
5. 前記調整量設定手段は、前記指定領域における位置に応じて異なる量になるように前記調整量を設定する
   ことを特徴とする請求項１乃至請求項４のいずれかに記載の信号処理装置。

Images