JP2003284196A - 音像定位信号処理装置および音像定位信号処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 自由視点映像に対するオーディオ信号の再生
において、角度を変化させて映像を移動させて再生した
場合にも移動する映像の方向に音像を定位させることが
できる音像定位信号処理装置および音像定位信号処理方
法を提供する。 【解決手段】 音像定位信号処理装置は、映像信号に基
づく映像の再生音像の角度情報となるユーザーの視点選
択情報を選択する視点選択部５と、選択された再生音像
の角度情報となるユーザーの視点選択情報に対応するオ
ーディオ信号のチャンネルに音像定位のための信号処理
をリアルタイムで施すチャンネルマッピング部６と、こ
の信号処理を施すためのメタデータを生成するメタデー
タ部９と、映像信号にオーディオ信号およびメタデータ
を重畳して送出用情報を生成するオーディオインターリ
ーブ部１１を備え、オーディオ信号にリアルタイムで信
号処理を施して映像信号に基づく映像に対応して音像定
位置を制御するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、角度情報
を有する映像信号に対応するオーディオ信号に仮想音源
定位処理を行う音像定位信号処理装置および音像定位信
号処理方法に関するものである。

【０００２】

【従来の技術】従来、全方位カメラと呼ばれる３６０度
の周囲の被写体を例えば８画角に分割して連続処理して
撮像するものがあった。この全方位カメラで撮像された
３６０度撮像映像は、特に視点を注視することなく３６
０度の周囲を撮像するため自由視点映像と呼ばれてい
た。この自由視点映像に対応する音は３６０度の周囲の
被写体の例えば８画角に分割した映像に対して固定して
ステレオ音場を再現できるようにマイクロホンを介して
収音されていた。

【０００３】

【発明が解決しようとする課題】このように、上述した
従来の自由視点映像に対するオーディオ信号の再生にお
いて、たとえ出力がステレオ音声出力信号であったとし
ても、このようなステレオ音声出力信号を再生した場合
に、通常音像は再生手段として用いる２個のスピーカの
間にのみ定位し、それ以外の方向には定位しない。

【０００４】従って、再生時にテレビジョン受像機等の
モニタ上に再生される映像を３６０度撮像映像のうち角
度を変化させて移動させて再生した場合には、音像が３
６０度の周囲の被写体の例えば８画角に分割した映像に
対して固定してしまい、音像がモニタに表示された移動
している画像とは一致せずに、通常音像は再生する２個
のスピーカの間にのみ定位し、それ以外の方向には定位
しないという不都合があった。なお、ゲーム機器におい
て、音源および画像をデータとしてメモリに記憶して、
メモリから読み出した画像に対する音源の位置を変化さ
せるものがあるが、映像信号やオーディオ信号などのよ
うに、リアルタイムでストリームで読み出した画像に対
してリアルタイムで音源の位置を変化させる技術が要求
されていた。

【０００５】そこで、本発明は、かかる点に鑑みてなさ
れたものであり、自由視点映像に対するオーディオ信号
の再生において、角度を変化させて映像を移動させて再
生した場合にも移動する映像の方向に音像を定位させる
ことができる音像定位信号処理装置および音像定位信号
処理方法を提供することを課題とする。

【０００６】

【課題を解決するための手段】本発明の音像定位信号処
理装置は、基準位置に対して角度情報を有する映像信号
に基づく映像に対応するように再生時における再生音像
を任意の位置に定位させるように制作時において複数の
音源から入力される各音源データを合成手段により合成
したオーディオ信号に信号処理を施す音像定位信号処理
装置において、上記映像信号に基づく映像の再生音像の
角度情報となるユーザーの視点選択情報を選択する選択
手段と、上記選択手段により選択された再生音像の角度
情報となるユーザーの視点選択情報に対応する上記オー
ディオ信号のチャンネルに音像定位のための信号処理を
リアルタイムで施す音像定位制御処理手段と、上記音像
定位制御処理手段により信号処理を施すための制御情報
を生成する制御情報生成手段と、上記映像信号に上記オ
ーディオ信号および上記制御情報を重畳して送出用情報
を生成する送出用情報生成手段とを備え、上記オーディ
オ信号にリアルタイムで信号処理を施して上記映像信号
に基づく映像に対応して音像定位位置を制御するように
したものである。

【０００７】また、本発明の音像定位信号処理装置は、
複数の音源から入力される各音源データを合成手段によ
り合成して制作時における制御情報により信号処理を施
したオーディオ信号について、基準位置に対して角度情
報を有する映像信号に基づく映像に対応するように再生
時において再生音像を任意の位置に定位させるように再
生用情報に信号処理を施す音像定位信号処理装置におい
て、上記再生用情報における映像信号に重畳された上記
オーディオ信号および上記制御情報から、上記映像信
号、上記オーディオ信号および上記制御情報を読み出す
再生用情報読み出し手段と、上記映像信号を再生する映
像信号再生手段と、上記映像信号に基づく映像の再生音
像の角度情報となるユーザーの視点選択情報を選択する
選択手段と、上記選択手段により選択された再生音像の
角度情報となるユーザーの視点選択情報に対応する上記
オーディオ信号のチャンネルに音像定位のための信号処
理をリアルタイムで施す音像定位制御処理手段とを備
え、上記オーディオ信号にリアルタイムで信号処理を施
して上記映像信号に基づく映像に対応して音像定位位置
を制御するようにしたものである。

【０００８】また、本発明の音像定位信号処理方法は、
基準位置に対して角度情報を有する映像信号に基づく映
像に対応するように再生時における再生音像を任意の位
置に定位させるように制作時において複数の音源から入
力される各音源データを合成手段により合成したオーデ
ィオ信号に信号処理を施す音像定位信号処理方法におい
て、上記映像信号に基づく映像の再生音像の角度情報と
なるユーザーの視点選択情報を選択する選択ステップ
と、上記選択ステップにより選択された再生音像の角度
情報となるユーザーの視点選択情報に対応する上記オー
ディオ信号のチャンネルに音像定位のための信号処理を
リアルタイムで施す音像定位制御処理ステップと、上記
音像定位制御処理ステップにより信号処理を施すための
制御情報を生成する制御情報生成ステップと、上記映像
信号に上記オーディオ信号および上記制御情報を重畳し
て送出用情報を生成する送出用情報生成ステップとを備
え、上記オーディオ信号にリアルタイムで信号処理を施
して上記映像信号に基づく映像に対応して音像定位位置
を制御するようにしたものである。

【０００９】また、本発明の音像定位信号処理方法は、
複数の音源から入力される各音源データを合成手段によ
り合成して制作時における制御情報により信号処理を施
したオーディオ信号について、基準位置に対して角度情
報を有する映像信号に基づく映像に対応するように再生
時において再生音像を任意の位置に定位させるように再
生用情報に信号処理を施す音像定位信号処理方法におい
て、上記再生用情報における映像信号に重畳された上記
オーディオ信号および上記制御情報から、上記映像信
号、上記オーディオ信号および上記制御情報を読み出す
再生用情報読み出しステップと、上記映像信号を再生す
る映像信号再生ステップと、上記映像信号に基づく映像
の再生音像の角度情報となるユーザーの視点選択情報を
選択する選択ステップと、上記選択ステップにより選択
された再生音像の角度情報となるユーザーの視点選択情
報に対応する上記オーディオ信号のチャンネルに音像定
位のための信号処理をリアルタイムで施す音像定位制御
処理ステップとを備え、上記オーディオ信号にリアルタ
イムで信号処理を施して上記映像信号に基づく映像に対
応して音像定位位置を制御するようにしたものである。

【００１０】従って本発明によれば、以下の作用をす
る。制作系において、音像定位制御処理手段は、選択手
段から映像の角度情報に対応した制御情報に基づいてオ
ーディオ信号のチャンネルに音像定位のための信号処理
をリアルタイムで施す。

【００１１】また、制御情報生成手段は、音像定位制御
処理手段で映像の角度情報に対応してオーディオ信号の
チャンネルに音像定位のための信号処理を施すための音
像定位処理に用いた制御情報を格納する。

【００１２】送出用情報生成手段は、映像信号にオーデ
ィオ信号および制御信号を用いて送出用のフォーマット
に基づいた送出用データを生成する。この送出用データ
は、再生系に転送される。

【００１３】これにより、制作系において、オーディオ
信号の任意のチャンネルに音像定位のための信号処理を
施すためのリアルタイムの音像定位処理に用いた制御情
報を生成して、自由視点映像の映像信号およびオーディ
オ信号と共に再生系に転送することにより、自由視点映
像の角度を変化させて映像を移動させて再生した場合に
移動する映像の方向にオーディオ信号の再生音像を定位
させることができる。

【００１４】また、再生系において、音像定位制御処理
手段は、選択手段から映像の角度情報に対応した制御情
報に基づいて制作系から転送されたオーディオ信号のチ
ャンネルに音像定位のための信号処理をリアルタイムで
施す。

【００１５】音像定位制御処理手段で映像の角度情報に
対応した制御情報に基づいてオーディオ信号のチャンネ
ルに音像定位のための信号処理を施された補正オーディ
オ信号は再生手段に出力される。再生手段は補正オーデ
ィオ信号を再生して映像の角度情報に対応した再生音像
を出力する。

【００１６】これにより、再生系において、オーディオ
信号の任意のチャンネルに音像定位のための信号処理を
施して補正オーディオ信号を出力するための音像定位処
理に用いた制御情報を用いて、自由視点映像の映像信号
に対するオーディオ信号をリアルタイムで音像定位処理
することにより、自由視点映像の角度を変化させて映像
を移動させて再生した場合に移動する映像の方向にオー
ディオ信号の再生音像を定位させることができる。

【００１７】

【発明の実施の形態】本実施の形態に適用される音像定
位信号処理装置は、いわゆる自由視点映像におけるオー
ディオ信号の音場の再生においてユーザーが視点を変更
するに従って音像定位位置が変化するようにするため
に、映像コンテンツを制作するときにサウンドクリエー
タが映像に合わせてオーディオ信号の再生音像を定位さ
せるための制御情報をオーサリング情報のメタデータと
して再生側に伝送するようにしたものである。

【００１８】本実施の形態に適用される音像定位信号処
理装置について説明する。図１は、自由視点映像・音声
制作再生システムの制作系の音像定位信号処理装置の構
成を示すブロック図である。図１に示す音像定位信号処
理装置は、自由視点映像の角度を変化させて映像を移動
させて再生した場合に移動する映像の方向にオーディオ
信号の再生音像を定位させるようにオーディオ信号を制
御するメタデータを再生側に伝送する点が従来と大きく
異なる点である。

【００１９】図１において、制作系では、自由視点カメ
ラのマイク素材１やその他の素材２が複数チャンネルの
オーディオ入力としてミキサ３に入力される。自由視点
カメラのマイク素材１は、自由視点映像に対応する音で
あり３６０度の周囲の被写体の例えば８画角に分割した
映像に対して固定してステレオ音場を再現できるように
マイクロホンを介して収音される。その他の素材２は、
ドライ素材と呼ばれるものであり、スポットマイク素
材、アフレコマイク素材またはサウンドエフェクト素材
などである。

【００２０】ミキサ３は、サウンドクリエータが、自由
視点カメラのマイク素材１やその他の素材２などの複数
チャンネルの音源からのオーディオ入力を、自由視点ビ
ューア４で映像データ１０の自由視点映像を３６０度に
わたって見ることにより映像の素材を見ながら各チャン
ネルに合成処理するように調整することができる音調整
卓である。例えばＮチャンネル（例えば２４チャンネ
ル）のオーディオ入力データをＭ（＜Ｎ）チャンネル
（例えば４〜１０チャンネル）のオーディオ出力データ
に合成して調整する。

【００２１】自由視点ビューア４では、視点選択部５に
おける視点を選ぶ操作キーの操作により自由視点映像の
角度情報が選択される。視点選択部５における視点を選
ぶ操作キーは、例えば操作キーの回転により角度情報の
選択の動作をして操作キーの押圧により決定の動作をす
ることができるものである。

【００２２】ミキサ３には機能ブロックとしてチャンネ
ルマッピング部６が設けられている。ミキサ３からのオ
ーディオ出力データはチャンネルマッピング部６に供給
される。チャンネルマッピング部６には視点選択部５か
ら自由視点映像の角度情報が供給されている。そこで、
チャンネルマッピング部６は、視点選択部５から自由視
点映像の角度情報に対応した制御情報に基づいてミキサ
３からのオーディオ出力データのチャンネルに音像定位
のための信号処理をリアルタイムで施す。チャンネルマ
ッピング部６は、例えば４〜１０チャンネルの合成され
た音源のオーディオデータを入力して、２チャンネル乃
至５．１チャンネル、６チャンネル、７チャンネルなど
のマルチオーディオデータを出力する。なお、チャンネ
ルマッピング部６の詳細については後述する。

【００２３】チャンネルマッピング部６で自由視点映像
の角度情報に対応した制御情報に基づいてオーディオデ
ータのチャンネルに音像定位のための信号処理を施され
た補正オーディオデータはオーディオモニタ７に出力さ
れる。オーディオモニタ７は補正オーディオデータを再
生して自由視点映像の角度情報に対応した再生音像を出
力する。なお、オーディオモニタ７は、左（Ｌ）、右
（Ｒ）のステレオ音響を再生するスピーカ、左（Ｌ）、
右（Ｒ）のステレオ音響を再生するヘッドホン、左
（Ｌ）、右（Ｒ）、サラウンド左（ＳＬ）、サラウンド
右（ＳＲ）の４チャンネルのステレオ音響を再生するス
ピーカまたは左（Ｌ）、右（Ｒ）、中央（Ｃ）、サラウ
ンド左（ＳＬ）、サラウンド右（ＳＲ）、サブウーハ
（ＳＷ）の５．１チャンネルのステレオ音響を再生する
スピーカを用いてもよい。

【００２４】また、チャンネルマッピング部６で自由視
点映像の角度情報に対応してオーディオデータのチャン
ネルに音像定位のための信号処理を施された補正オーデ
ィオデータの音像定位処理に用いた制御情報は、オーサ
リング情報のメタデータとしてメタデータ部９に供給さ
れる。

【００２５】ミキサ３からのオーディオ出力データは、
オーディオレコーダ８に供給され、オーディオレコーダ
８は、チャンネルマッピング部６からの例えば同期信号
に同期してオーディオデータを送出用のフォーマットに
ストリーム化する。

【００２６】オーディオインターリーブ部１１は、映像
データ１０にストリーム化されたオーディオデータおよ
びメタデータ部９からのメタデータをインターリーブ処
理して送出用のフォーマットに基づいた送出用データ１
２を生成する。この送出用データ１２は、例えば、イン
ターネット１３または記録媒体１４を介して後述する再
生系に転送される。

【００２７】これにより、制作系において、オーディオ
データの任意のチャンネルに音像定位のための信号処理
を施して補正オーディオデータを出力するためのリアル
タイムの音像定位処理に用いた制御情報を生成して、自
由視点映像の映像データおよびオーディオデータと共に
再生系に転送することにより、自由視点映像の角度を変
化させて映像を移動させて再生した場合に移動する映像
の方向にオーディオ信号の再生音像を定位させることが
できる。

【００２８】図２は、自由視点映像・音声制作再生シス
テムの再生系の音像定位信号処理装置の構成を示すブロ
ック図である。図２において、再生系では、上述した図
１に示した制作系から、例えば、インターネット１３ま
たは記録媒体１４を介して転送された送出用データ１２
が再生用データ２１として入力される。送出用のフォー
マットに基づいた再生用データ２１の中から映像デー
タ、オーディオデータおよびメタデータが読み出され
て、映像データはビデオプレーヤ２２に供給され、オー
ディオデータは図示しないオーディオプレーヤに設けら
れたチャンネルマッピング部２４に供給され、図示しな
いオーディオプレーヤに設けられたメタデータはメタデ
ータ部２５に供給される。

【００２９】ビデオプレーヤ２２では、視点選択部２３
における視点を選ぶ操作キーの操作により自由視点映像
の角度情報が選択される。ビデオプレーヤ２２で再生さ
れた自由視点映像は視点選択部２３により選択された角
度情報に基づいた映像が再生される。視点選択部２３に
おける視点を選ぶ操作キーは、例えば操作キーの回転に
より角度情報の選択の動作をして操作キーの押圧により
決定の動作をすることができるものである。

【００３０】チャンネルマッピング部２４には視点選択
部２３から自由視点映像の角度情報およびメタデータ部
２５から制御情報としてのメタデータが供給されてい
る。そこで、チャンネルマッピング部２４は、視点選択
部２３から自由視点映像の角度情報に対応した制御情報
としてのメタデータに基づいて制作系から転送されたオ
ーディオデータのチャンネルに音像定位のための信号処
理をリアルタイムで施す。チャンネルマッピング部２４
は、例えば４〜１０チャンネルの合成された音源のオー
ディオデータを入力して、２チャンネル乃至５．１チャ
ンネル、６チャンネル、７チャンネルなどのマルチオー
ディオデータを出力する。なお、チャンネルマッピング
部２４の詳細については後述する。

【００３１】チャンネルマッピング部２４で自由視点映
像の角度情報に対応した制御情報としてのメタデータに
基づいてオーディオデータのチャンネルに音像定位のた
めの信号処理を施された補正オーディオデータはオーデ
ィオモニタ２７に出力される。オーディオモニタ２７は
補正オーディオデータを再生して自由視点映像の角度情
報に対応した再生音像を出力する。なお、オーディオモ
ニタ２７は、左（Ｌ）、右（Ｒ）のステレオ音響を再生
するスピーカ、左（Ｌ）、右（Ｒ）のステレオ音響を再
生するヘッドホン、左（Ｌ）、右（Ｒ）、サラウンド左
（ＳＬ）、サラウンド右（ＳＲ）の４チャンネルのステ
レオ音響を再生するスピーカまたは左（Ｌ）、右
（Ｒ）、中央（Ｃ）、サラウンド左（ＳＬ）、サラウン
ド右（ＳＲ）、サブウーハ（ＳＷ）の５．１チャンネル
のステレオ音響を再生するスピーカを用いてもよい。

【００３２】これにより、再生系において、オーディオ
データの任意のチャンネルに音像定位のための信号処理
を施して補正オーディオデータを出力するための音像定
位処理に用いた制御情報を用いて、自由視点映像の映像
データに対するオーディオデータをリアルタイムで音像
定位処理することにより、自由視点映像の角度を変化さ
せて映像を移動させて再生した場合に移動する映像の方
向にオーディオ信号の再生音像を定位させることができ
る。

【００３３】以下に、チャンネルマッピング部の詳細に
ついて説明する。図３は、チャンネルマッピング部の構
成を示すブロック図である。図３において、チャンネル
マッピング部は、音像定位信号処理を施すオーディオ信
号のチャンネルの指定に応じた動作モードを設定する動
作モード設定部３１と、視点選択部５により選択された
ユーザーの視点選択情報に対応するフレーム画像を設定
するトラック設定部３２と、選択されたフレーム画像に
対応するオーディオ信号に信号処理を施すパラメータを
設定するパラメータ設定部３３とを有して構成される。

【００３４】動作モード設定部３１は、複数のチャンネ
ルのオーディオ信号のうちすべてのチャンネルに音像定
位信号処理を施す第１の動作モードの固定チャンネルモ
ード３１−１と、複数のチャンネルのオーディオ信号の
うち特定のチャンネルのみを指定して音像定位信号処理
を施して他のチャンネルは信号処理を施さない第２の動
作モードの非固定チャンネルモード３１−２とを有して
構成される。

【００３５】トラック設定部３２は、視点選択部５によ
り選択された再生音像の角度情報となるユーザーの視点
選択情報に対応するように、映像信号のフレーム処理を
行うフレーム処理部３２−１と、水平角度処理を行う水
平角度処理部３２−２と、ズーム処理を行うズーム処理
部３２−３と、垂直角度処理を行う垂直角度処理部３２
−３とを有して構成される。トラック設定部３２は、上
述した構成により動作モード設定部３１からの動作モー
ドＡＭおよび視点選択部５からの視点選択情報Ｖに応じ
てオーディオ信号に信号処理を施すための操作信号Ｃを
生成する。なお、これらの構成は、すべて用いてもよい
し、これに限らず、処理に応じて何れかを選択して用い
てもよい。

【００３６】パラメータ設定部３３は、トラック設定部
３２からの操作信号Ｃに基づいて、オーディオ信号に所
定のパラメータにより位相等化のイコライジング処理を
行うイコライジング処理部３３−１と、残響のリバーブ
処理を行うリバーブ処理部３３−２と、音量処理を行う
音量処理部３３−３と、音像の移動のパン処理を行うパ
ン処理部３３−４と、ＨＲＴＦ（頭部伝達関数：Ｈｅａ
ｄ ＲｅｌａｔｅｄＴｒａｎｓｆｅｒ Ｆｏｒｍ）によ
りユーザーの耳に到達する伝達関数を変更することによ
り音響特性処理を施すＨＲＴＦ処理部３３−５とを有し
て構成される。

【００３７】なお、これらの構成は、すべて用いてもよ
いし、これに限らず、処理に応じて何れかを選択して用
いてもよい。ここで、パラメータ設定部３３に供給され
る操作信号Ｃに応じて、パラメータ設定部３３の各処理
部に対する制御情報となるメタデータＭＤが生成され
る。メタデータＭＤの生成については後述する。

【００３８】ここで、ＨＲＴＦ処理部について説明す
る。例えば、リスナの周囲に置かれた５個の音源からリ
スナの両耳に至る５系統のステレオインパルス応答を使
用して、５組のステレオ音源データを得ることができ
る。例えば、リスナの左前方の音源からリスナの両耳ま
でのインパルス応答による伝達関数を入力信号に対して
畳み込む第１の音源と、リスナの左後方の音源からリス
ナの両耳までのインパルス応答による伝達関数を入力信
号に対して畳み込む第２の音源に対して信号処理を施す
場合を説明する。

【００３９】クリエイターが視点選択部５により、音像
位置を第１の音源から第２の音源に移動する移動情報を
入力したとき、チャンネルマッピング部６のトラック設
定部３２はこの移動情報を角度パラメータあるいは位置
パラメータに変換し、変換されたパラメータに応じた操
作信号Ｃをパラメータ設定部３３に供給する。

【００４０】この操作信号Ｃにより、パラメータ設定部
３３は、第１の音源と第２の音源から距離または角度の
比で各処理部のレベル値をクロスフェードするように処
理する。

【００４１】次に、ＨＲＴＦ処理部の詳細な構成および
動作について説明する。ミキサ３から出力されるオーデ
ィオ信号のディジタル信号列のうち左のディジタル信号
Ｌは、一対の左用畳み込み積分器およびメモリのうちの
畳み込み積分器に供給される。ここでは、畳み込み積分
器に付属するメモリには、リスナの現在頭部が向いてい
る方向の、頭部の規準方向に対する、仮想音源位置から
両耳に至る一定のサンプリング周波数および量子化ビッ
ト数で表されるデジタル記録された一組のインパルスレ
スポンスが呼び出されている。ディジタル信号列は、畳
み込み積分器において、このメモリより読み出されたイ
ンパルスレスポンスとリアルタイムで畳み込み積分され
る。また、一対の右クロストーク用畳み込み積分器およ
びメモリは右のディジタル信号Ｒのクロストーク成分を
供給する。

【００４２】上記と同様に右のディジタル信号Ｒは、一
対の右用畳み込み積分器およびメモリのうちの畳み込み
積分器に供給される。ここでは、畳み込み積分器に付属
するメモリには、リスナの現在頭部が向いている方向
の、頭部の規準方向に対する、仮想音源位置から両耳に
至る一定のサンプリング周波数および量子化ビット数で
表されるデジタル記録された一組のインパルスレスポン
スが記憶されている。ディジタル信号列は、畳み込み積
分器において、このメモリより読み出されたインパルス
レスポンスとリアルタイムで畳み込み積分される。ま
た、一対の左クロストーク用畳み込み積分器およびメモ
リは左のディジタル信号Ｌのクロストーク成分を供給す
る。

【００４３】また、一対の右クロストーク用畳み込み積
分器およびメモリ、一対の左クロストーク用畳み込み積
分器およびメモリにおいても上述と同様にインパルスレ
スポンスと畳み込み積分が行なわれる。このように、一
対の左用、一対の右クロストーク用、一対の右用、一対
の左クロストーク用畳み込み積分器およびメモリにおい
てインパルスレスポンスと畳み込み積分が行なわれたデ
ィジタル信号列は、加算器にそれぞれ供給される。加算
器で加算された２チャンネルのディジタル信号は適応処
理フィルタによりリスナの個人差による耳の形状の相
違、ノイズ、用いる音源固有の特性等を除くように補正
される。

【００４４】上例では、メモリにＨＲＴＦとしてのイン
パルスレスポンスが記憶されている例を示したが、畳み
込み積分器に付属するメモリに、規準方向に対して固定
された頭部の、仮想音源位置から両耳に至る一対のディ
ジタル記憶されたインパルスレスポンスを記憶させる。
ディジタル信号列はこのインパルスレスポンスとリアル
タイムで畳み込み積分される。他のメモリには、頭部の
規準方向に対する仮想音源位置から両耳に至る両耳間の
時間差、レベル差を表す制御信号を記憶させる。

【００４５】そして、この畳み込み積分された各チャン
ネルのディジタル信号の各々に対して、更に検出された
規準方向に対する頭部運動を、一定単位角度毎あるいは
予め定められた角度毎に、方向を含む大きさを表すディ
ジタルアドレス信号に変換し、このアドレス信号により
予め他のメモリに記憶された制御信号を読みだし、制御
装置において、リアルタイムで補正し、変更するように
して、その結果を加算器に供給するようにしても良い。

【００４６】また、このインパルスレスポンスとリアル
タイムで畳み込み積分されたディジタル信号列を加算器
に供給し、加算器からの２チャンネルのディジタル信号
に対して、更に検出された規準方向に対する頭部運動
を、一定単位角度毎あるいは予め定められた角度毎に、
方向を含む大きさを表すディジタルアドレス信号に変換
し、このアドレス信号により予め他のメモリに記憶され
た制御信号を読みだし、制御装置において、リアルタイ
ムで補正し、変更するようにしても良い。

【００４７】ここで、制御装置としては、可変遅延装置
と可変レベル制御器、あるいは多バンドに分割されたグ
ラフィックイコライザ等の周波数帯域毎のレベル制御器
との組み合わせで構成することができる。また、他のメ
モリに記憶されている情報は、リスナの頭部が向いてい
る方向の、頭部の規準方向に対する、仮想音源位置から
両耳に至る両耳間の時間差及びレベル差等を表すインパ
ルスレスポンスでも良い。この場合には、上述の制御装
置は、ＩＩＲ、あるいはＦＩＲの可変ディジタルフィル
ターで構成すれば良い。従って、制御装置を用いてＨＲ
ＴＦとしてのインパルスレスポンスの値を変化させるよ
うにすればよい。

【００４８】このようにして制御装置により、空間情報
が与えられ、適応処理フィルタによりリスナの個人差に
よる耳の形状の相違、ノイズ、用いる音源及びヘッドホ
ンの固有の特性を補正され、かつ頭部の動きに対して変
化の与えられる。

【００４９】このようにして視点選択部５においてリス
ナの規準方向に対する頭部運動を一定角度あるいは予め
定められた角度毎に検出し、アドレス制御回路において
方向を含む大きさを表すディジタルアドレス信号に変換
する。

【００５０】このアドレス信号により予めメモリに記録
されている頭部の基準方向に対する仮想音源位置から両
耳に至るディジタル記録されたインパルスレスポンス
が、また他のメモリからは両耳間の時間差および両耳間
のレベル差を表す制御信号あるいはインパレスレスポン
スを読み出す。畳み込み積分器または制御装置におい
て、このインパレスレスポンスまたは制御信号と音響信
号とをリアルタイムで補正し変更する。

【００５１】この畳み込み積分器およびメモリまたは制
御装置および加算器により、音場としての空間情報を持
った両耳への２チャンネルのディジタル信号に変換さ
れ、適応処理フィルタによりリスナの個人差による耳の
形状の相違、ノイズ、用いる音源の特性等が補正され、
電力増幅器で電力増幅された後、スピーカに供給され
る。これにより、あたかもその仮想音源位置に置かれた
スピーカから再生音が聞こえるような再生効果を実現す
ることができるものである。

【００５２】そして、この場合、リスナが自由視点ビュ
ーア４を用いて自由視点映像を動かすと、視点選択部５
により、その向きに従ったディジタル信号、またはアナ
ログ信号が得られ、これによりその信号は自由視点映像
に対するリスナの視点の向きに従った値となる。この値
がアドレス制御回路を通じてメモリにアドレス信号とし
て供給される。

【００５３】メモリからは、テーブルに対応したデータ
のうち、自由視点映像に対するリスナの視点の向きに対
応した規準方向に対する仮想音源位置から両耳に至るデ
ィジタル記録されたインパレスレスポンスまたは両耳間
の時間差及び両耳間のレベル差を表す制御信号が取りだ
され、このデータが畳み込み積分器または制御装置に供
給される。

【００５４】視点選択部５からの角度情報に基づいてメ
モリから自由視点映像に対するリスナの視点の向きに対
応した頭部の規準方向に対する仮想音源位置から両耳に
至るディジタル記録されたインパレスレスポンスまたは
両耳間の時間差及び両耳間のレベル差を表す制御信号が
取りだされ、このデータが畳み込み積分器または制御装
置に供給される。

【００５５】このようにして、スピーカに供給されるオ
ーディオ信号Ｌ，Ｒは、自由視点映像に対するリスナの
視点の向きに対応した規準方向に対する仮想音源位置か
ら両耳に至るディジタル記録されたインパレスレスポン
スまたは両耳間の時間差及び両耳間のレベル差を表す制
御信号との補正が行なわれれるので、自由視点映像に対
するリスナの視点の移動に対しても、移動した方向に複
数個のスピーカが仮想音源位置に置かれてこのスピーカ
で再生しているような音場感を得ることが出来る。

【００５６】更にメモリのテーブルにディジタル記録さ
れた両耳間の時間差及び両耳間のレベル差を表す制御信
号が取りだされ、このデータが畳み込み積分器およびメ
モリにより予め畳み込まれたディジタル信号に対して、
制御装置で補正するように、純電子的に供給されるの
で、リスナの頭の向きに対するオーディオ信号の特性の
変化に遅れを生じることがなく、不自然さを生じること
はない。

【００５７】さらに、ＨＲＴＦのデータは、次にように
して得ることができる。すなわち自由視点映像に対して
スピーカでオーディオ信号を再生したときに好ましい再
生音場となるよう、適当な室内に、必要なチャンネル数
のインパルス音源とダミーヘッドマイクロホンを定めら
れた位置に配置する。この場合のインパルスを測定する
音源としてはスピーカを用いてもよい。

【００５８】またダミーヘッドの各耳の収音位置に関し
ては、外耳道入り口から鼓膜位置までの間の何れの位置
でもよいが、用いる音源の固有の特性を打ち消すための
補正特性を求める位置と等しいことが要求される。

【００５９】また制御信号の測定は、各チャンネルのス
ピーカ位置よりインパルス音を放射し、一定角度毎にダ
ミーヘッドの各耳に設けられたマイクロホンで収音する
ことにより得られる。従ってある角度においては、１つ
のチャンネル毎に１組のインパルスレスポンスが得られ
ることになるから、仮に５チャンネルの信号源の場合
は、１つの角度毎に５組、すなわち１０種の制御信号が
得られることになる。従って、これらのレスポンスによ
り、左右両耳間の時間差及びレベル差を表す制御信号が
得られる。

【００６０】更に、上述においては、リスナの頭の水平
面内における向きについてのみ考慮したが垂直面内およ
び、これらと直交する面内における向きについても同様
に処理することも出来る。

【００６１】またメモリにおけるテーブルは１組とし、
アドレス制御回路においてそのテーブルに対するアドレ
スの指定を変更して複数組のテーブルがある場合と同様
に制御データを得ることも出来る。

【００６２】更に、テーブルのデータは、一般的な自由
視点映像に対するリスナの視点の向きの範囲に限っても
よく、また、角度θは、例えば、θ＝０°付近では０．
５°おきに設定しておき、｜θ≧４５°｜では３°おき
に設定するというように、向きによって角度θの間隔を
異ならせてもよい。上述したように、リスナが自由視点
映像に対するリスナの視点の回転の角度を識別できる角
度毎でよい。更に、ヘッドホンの代わりに、リスナ両耳
の近くに配置したスピーカでもよい。

【００６３】図４は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕ
ｓｅｒ Ｉｎｔｅｒｆａｃｅ）アプリケーション画面を
示す図である。図４は、図１に示した視点選択部５によ
る自由視点ビューア４の表示状態および図３に示したチ
ャンネルマッピング部の設定の状態を示すものである。
図４において、ＧＵＩアプリケーション画面４１上で
は、動作モード設定部４２が設けられていて、サウンド
クリエータが動作モード設定部４２のアイコンをクリッ
クすることにより、図３に示したように、複数のチャン
ネルのオーディオ信号のうちすべてのチャンネルに音像
定位信号処理を施す第１の動作モードの固定チャンネル
モード３１−１と、複数のチャンネルのオーディオ信号
のうち特定のチャンネルのみを指定して音像定位信号処
理を施して他のチャンネルは信号処理を施さない第２の
動作モードの非固定チャンネルモード３１−２とを選択
して設定することができる。

【００６４】また、ＧＵＩアプリケーション画面４１上
では、トラック設定部４３が設けられていて、サウンド
クリエータがトラック設定部４３のアイコンをクリック
することにより、視点選択部５により選択された再生音
像の角度情報となるユーザーの視点選択情報に対応する
ように、映像信号の時間情報に応じたフレームを移動し
てフレーム処理を行うフレーム処理部４３−１と、水平
角度処理を行う水平角度処理部４３−２と、ズーム処理
を行うズーム処理部４３−３と、垂直角度処理を行う垂
直角度処理部４３−３とを所定のフレーム画像の設定状
態に設定することができる。なお、ここでは、トラック
設定部４３が図１に示した視点選択部５に対応し、この
設定に応じてこのＧＵＩアプリケーション画面４１の下
層または上層にウインドウ表示される自由視点ビューア
４の表示状態が自由視点映像の３６０度にわたって変化
する。

【００６５】また、ＧＵＩアプリケーション画面４１上
では、パラメータ設定部４４が設けられていて、サウン
ドクリエータがパラメータ設定部４４のアイコンをクリ
ックすることにより、図３に示したトラック設定部３２
からの操作信号Ｃに基づいて、オーディオ信号に所定の
パラメータによりイコライジング処理を行うイコライジ
ング処理部４４−１と、リバーブ処理を行うリバーブ処
理部４４−２と、音量処理を行う音量処理部４４−３
と、パン処理を行うパン処理部４４−４と、ＨＲＴＦに
よりユーザーの耳に到達する伝達関数を変更することに
より音響特性処理を施すＨＲＴＦ処理部４４−５とをト
ラック設定部４３で設定されたフレーム画像に対するオ
ーディオ信号に対した信号処理状態に設定することがで
きる。このパラメータ設定部４４による設定に応じて補
正オーディオデータを得ることができる。

【００６６】以下に、メタデータの生成について詳細に
説明する。図５は、操作メタデータの生成を示す図であ
る。図５の構成は信号処理を施すオーディオ信号の各チ
ャンネル毎に設けられる。図５において、図３に示した
トラック設定部３２からの操作情報Ｃがパラメータ設定
部３３のイコライザ処理部３３−１、リバーブ処理部３
３−２、音量処理部３３−３、パン処理部３３−４、Ｈ
ＲＴＦ処理部３３−５に供給される。各処理部にはオー
ディオデータＡＩが連続して入力される。各処理部で操
作信号Ｃに基づいて信号処理を施されて補正オーディオ
データＡＯが出力される。

【００６７】この際のイコライザ処理部３３−１に対す
る例えば操作情報Ｃの角度情報に応じた高周波数帯域ま
たは低周波数帯域におけるイコライザ処理の低下のため
の操作メタデータ、リバーブ処理部３３−２に対する例
えば操作情報Ｃの角度情報に応じた高周波数帯域または
低周波数帯域におけるリバーブ処理の低下のための操作
メタデータ、パン処理部３３−４に対する例えば操作情
報Ｃの角度情報に応じた音の位置の移動のための操作メ
タデータ、ＨＲＴＦ処理部３３−５に対する例えば操作
情報Ｃの角度情報に応じた周波数伝達特性の向上または
低下のための操作メタデータを各々取り出して、各角度
情報に対応させて操作メタデータ部ＭＣに格納する。

【００６８】これにより、ユーザーの視野の角度情報に
応じたチャンネルマッピング部におけるオーディオ信号
に対する信号処理機能を変化させることができる操作メ
タデータを生成することができる。

【００６９】なお、これらの各処理部の構成は、すべて
用いてもよいし、これに限らず、処理に応じて何れかを
選択して用いてもよいが、この場合には、選択された処
理部の操作メタデータを各角度情報に対応させて操作メ
タデータ部ＭＣに格納する。

【００７０】図６は、時間メタデータの生成を示す図で
ある。図６の構成は信号処理を施すオーディオ信号の各
チャンネル毎に設けられる。図６において、図３に示し
たトラック設定部３２からの操作情報Ｃがパラメータ設
定部３３のここでは図示しないイコライザ処理部３３−
１、リバーブ処理部３３−２、音量処理部３３−３を経
た後に、図６においてパン処理部３３−４、ＨＲＴＦ処
理部３３−５に供給される。各処理部にはオーディオデ
ータＡＩが連続して入力される。各処理部で操作信号Ｃ
に基づいて信号処理を施されて補正オーディオデータＡ
Ｏが出力される。

【００７１】この際のここでは図示しないイコライザ処
理部３３−１に対する例えば操作情報Ｃの時間情報に応
じた高周波数帯域または低周波数帯域におけるイコライ
ザ処理の低下のための時間メタデータ、リバーブ処理部
３３−２に対する例えば操作情報Ｃの時間情報に応じた
高周波数帯域または低周波数帯域におけるリバーブ処理
の低下のための時間メタデータ、パン処理部３３−４に
対する例えば操作情報Ｃの時間情報に応じた音の位置の
移動のための時間メタデータ、ＨＲＴＦ処理部３３−５
に対する例えば操作情報Ｃの時間情報に応じた周波数伝
達特性の向上または低下のための時間メタデータを各々
取り出して、各時間情報に対応させて時間メタデータ部
ＭＴに格納する。

【００７２】これにより、時間軸の変化による時間情報
に応じたチャンネルマッピング部におけるオーディオ信
号に対する信号処理機能を変化させることができる時間
メタデータを生成することができる。

【００７３】なお、これらの各処理部の構成は、すべて
用いてもよいし、これに限らず、処理に応じて何れかを
選択して用いてもよいが、この場合には、選択された処
理部の時間メタデータを各時間情報に対応させて時間メ
タデータ部ＭＴに格納する。

【００７４】図７は、メタデータの記録フォーマットを
示す図であり、図７Ａは１フレームの先頭、図７Ｂは１
フレームの末尾、図７Ｃは各アルバムの先頭に記録する
ものである。まず、第１のメタデータの記録フォーマッ
トでは、図７Ａにおいて、映像データＶ１、Ｖ２、Ｖ
３、Ｖ４、Ｖ５にオーディオデータがインターリーブさ
れた１フレームの先頭にメタデータＭ１を記録する。従
って、再生系では、１フレームのデータを検出してバッ
ファに保持し、その先頭部分を読み出せば、メタデータ
Ｍ１を読み出すことができる。

【００７５】次に、第２のメタデータの記録フォーマッ
トでは、図７Ｂにおいて、映像データＶ１、Ｖ２、Ｖ
３、Ｖ４、Ｖ５にオーディオデータがインターリーブさ
れた１フレームの末尾にメタデータＭ２を記録する。従
って、再生系では、１フレームのデータを検出してバッ
ファに保持し、その末尾部分を読み出せば、メタデータ
Ｍ２を読み出すことができる。

【００７６】さらに、第３のメタデータの記録フォーマ
ットでは、図７Ｃにおいて、曲を示すアルバムの先頭に
メタデータＭ１１、Ｍ１２、Ｍ１３を記録する。従っ
て、再生系では、各アルバムのデータを検出してバッフ
ァに保持し、その先頭部分を読み出せば、メタデータＭ
１１、Ｍ１２、Ｍ１３を読み出すことができる。

【００７７】なお、メタデータの記録フォーマットは、
これに限らず、ディスク状記録媒体の管理情報を記憶す
るＴＯＣ（Ｔａｂｌｅ Ｏｆ Ｃｏｎｔｅｎｔｓ）部分
に記録してもよい。

【００７８】図８は、３６０度カメラ撮像映像を示す図
である。図８において、全方位カメラ８１は３６０度の
周囲の被写体を例えば８画角に分割して連続処理して撮
像する。全方位カメラ８１により撮像された３６０度カ
メラ撮像映像８２は、基準位置Ｏに対して前方中央方向
の角度情報θを有するステージ８３上の歌手８４および
演奏者８５の映像を示すエリアＥ１と、基準位置Ｏに対
して前方左方向の角度情報θを有する観客８６の映像を
示すエリアＥ２と、基準位置Ｏに対して左横方向の角度
情報θを有する観客８６の映像を示すエリアＥ３と、基
準位置Ｏに対して後方左方向の角度情報θを有する観客
８６の映像を示すエリアＥ４と、基準位置Ｏに対して後
方中央方向の角度情報θを有する観客８６の映像を示す
エリアＥ５と、基準位置Ｏに対して後方右方向の角度情
報θを有する観客８６の映像を示すエリアＥ６と、基準
位置Ｏに対して右横方向の角度情報θを有する観客８６
の映像を示すエリアＥ７と、基準位置Ｏに対して前方右
方向の角度情報θを有する観客８６の映像を示すエリア
Ｅ８とを有して構成される。

【００７９】図１に示した制作系のチャンネルマッピン
グ部６により視点選択部５による角度情報θに応じてオ
ーディオ信号に映像の移動と同期した音像定位の信号処
理を施すことにより、３６０度カメラ撮像映像８２のエ
リアＥ１〜エリアＥ８までの角度情報θによる反時計方
向の映像の移動に対応して滑らかに音像を反時計方向に
移動させることができる。

【００８０】これにより、エリアＥ１における基準位置
Ｏに対する前方中央方向の角度情報θを有するステージ
８３上の歌手８４および演奏者８５の映像に対して前方
中央方向のステージ８３上の歌手８４および演奏者８５
の音像が定位し、エリアＥ２における基準位置Ｏに対す
る前方左方向の角度情報θを有する観客８６の映像に対
して前方左方向の観客８６の音像が定位し、エリアＥ３
における基準位置Ｏに対する左横方向の観客８６の映像
に対して左横方向の観客８６の音像が定位し、エリアＥ
４における基準位置Ｏに対する後方左方向の角度情報θ
を有する観客８６の映像に対して後方左方向の観客８６
の音像が定位し、エリアＥ５における基準位置Ｏに対す
る後方中央方向の角度情報θを有する観客８６の映像に
対して後方中央方向の観客８６の音像が定位し、エリア
Ｅ６における基準位置Ｏに対する後方右方向の角度情報
θを有する観客８６の映像に対して後方右方向の観客８
６の音像が定位し、エリアＥ７における基準位置Ｏに対
する右横方向の角度情報θを有する観客８６の映像に対
して右横方向の観客８６の音像が定位し、エリアＥ８に
おける基準位置Ｏに対する前方右方向の角度情報θを有
する観客８６の映像に対して前方右方向の観客８６の音
像が連続して定位する。

【００８１】逆に、３６０度カメラ撮像映像８２のエリ
アＥ１〜エリアＥ２までの角度情報θによる時計方向の
映像の移動に対応して滑らかに音像を時計方向に移動さ
せることができる。

【００８２】これにより、エリアＥ１における基準位置
Ｏに対する前方中央方向の角度情報θを有するステージ
８３上の歌手８４および演奏者８５の映像に対して前方
中央方向のステージ８３上の歌手８４および演奏者８５
の音像が定位し、エリアＥ８における基準位置Ｏに対す
る前方右方向の角度情報θを有する観客８６の映像に対
して前方右方向の観客８６の音像が定位し、エリアＥ７
における基準位置Ｏに対する右横方向の角度情報θを有
する観客８６の映像に対して右横方向の観客８６の音像
が定位し、エリアＥ６における基準位置Ｏに対する後方
右方向の角度情報θを有する観客８６の映像に対して後
方右方向の観客８６の音像が定位し、エリアＥ５におけ
る基準位置Ｏに対する後方中央方向の角度情報θを有す
る観客８６の映像に対して後方中央方向の観客８６の音
像が定位し、エリアＥ４における基準位置Ｏに対する後
方左方向の角度情報θを有する観客８６の映像に対して
後方左方向の観客８６の音像が定位し、エリアＥ３にお
ける基準位置Ｏに対する左横方向の観客８６の映像に対
して左横方向の観客８６の音像が定位し、エリアＥ２に
おける基準位置Ｏに対する前方左方向の角度情報θを有
する観客８６の映像に対して前方左方向の観客８６の音
像が連続して定位する。

【００８３】また、このときの角度情報は、水平方向の
角度情報θに限らず、垂直方向の角度情報Δを指定する
ことができる。これにより、３６０度カメラ撮像映像８
２のエリアＥ１〜エリアＥ８の映像に対してチャンネル
マッピング部で音像の定位を３次元空間で処理すること
ができる。

【００８４】各信号処理の制御量は、３６０度カメラ撮
像映像８２を撮像するコンテンツでは、全方位カメラ８
１の基準位置Ｏに対して移動する角度情報θに応じて、
図３に示したパン処理部３３−４により音像の定位角度
が比例して動くように処理される。

【００８５】また、全方位カメラ８１の基準位置Ｏに対
して前方から後方または後方から前方に移動すると移動
距離に応じて、図３に示す音量処理部３３−３により音
像の音量が小さくまたは大きくなるように処理される。

【００８６】また、全方位カメラ８１の基準位置Ｏに対
して前方から後方または後方から前方に移動すると移動
距離に応じて、図３に示すイコライザ処理部３３−１に
より高周波数帯域のイコライザ処理を低下させて高周波
数帯域の音を下げるようにしまたは高周波数帯域のイコ
ライザ処理を向上させて高周波数帯域の音を上げるよう
に処理される。

【００８７】また、全方位カメラ８１の基準位置Ｏに対
して前方から後方または後方から前方に移動すると移動
距離に応じて、図３に示すリバーブ処理部３３−２によ
りリバーブ処理が深くかかるようにしまたはリバーブ処
理が浅くかかるように処理される。

【００８８】また、全方位カメラ８１の基準位置Ｏに対
して前方から後方または後方から前方にズーム処理によ
り移動すると移動距離に応じて、図３に示すＨＲＴＦ処
理部３３−５により音像が遠くなるように値が変更され
てまたは音像が近くなるように値が変更されるように処
理される。

【００８９】なお、全方位カメラに限らず、後述する円
周状カメラを用いてもよい。図９は、円周状カメラによ
る撮像を示す図である。図９において、被写体である歌
手９２に対して、基準位置Ｏに対して角度情報θに応じ
て、円周状カメラ９１−１、９１−２、９１−３、９１
−４、９１−５、９１−６、９１−７、９１−８を設け
て、角度情報θを有する円周状映像データを撮像する。
なお、円周状カメラに限らず、一部分の円弧状カメラを
用いてもよい。なお、これら場合にも、このときの角度
情報は、水平方向の角度情報θに限らず、垂直方向の角
度情報Δを指定することができる。これにより、円周状
または円弧状撮像映像の各エリアの映像に対してチャン
ネルマッピング部で音像の定位を３次元空間で処理する
ことができる。

【００９０】図１０は、時間軸上での動作モードの切り
換えを示す図である。図１０において、時間軸ｔに沿っ
て、モード１（１０１）、モード２（１０２）、モード
１（１０３）、・・・の切り換えを行う。ここで、モー
ド１（１０１）、モード１（１０３）は、図３に示した
チャンネルマッピング部の動作モード設定部３１により
設定される、複数のチャンネルのオーディオ信号のうち
すべてのチャンネルに音像定位信号処理を施す第１の動
作モードの固定チャンネルモード３１−１であり、モー
ド２（１０２）は、複数のチャンネルのオーディオ信号
のうち特定のチャンネルのみを指定して音像定位信号処
理を施して他のチャンネルは信号処理を施さない第２の
動作モードの非固定チャンネルモード３１−２である。

【００９１】これにより、時間軸上で第１の動作モード
の固定チャンネルモード３１−１と第２の動作モードの
非固定チャンネルモード３１−２とを切り換えることが
でき、自由視点映像のシーンの切り換え時などにおける
オーディオ信号に対する音像定位処理の態様を多様にす
ることができる。例えば、第１の動作モードの固定チャ
ンネルモード３１−１としては、図８に示した３６０度
カメラ撮像映像８２において、歌手８４および演奏者８
５のオーディオ信号のうちすべてのチャンネルに音像定
位信号処理を施し、第２の動作モードの非固定チャンネ
ルモード３１−２としては、図８に示した３６０度カメ
ラ撮像映像８２において、歌手８４のオーディオ信号の
チャンネルにのみ音像定位信号処理を施し、演奏者８５
のオーディオ信号のチャンネルには音像定位信号処理を
施さずに固定とするようにする。

【００９２】図１１は、ＨＲＴＦによる補正音像を示す
図である。図１１において、再生時にリスナ１１１は、
ビデオモニタ１１２に再生される自由視点映像の角度情
報に対応して、スピーカＬ、Ｒ、ＳＬ、ＳＲにより再生
される再生音像１１３を聴取する。ここで、ビデオモニ
タ１１２に再生される自由視点映像がズーム映像となっ
て例えばステージ上の歌手がリスナ１１１の右耳元に近
づいてささやくと、図３に示すＨＲＴＦ処理部３３−５
により音像がリスナ１１１の右耳に近くなるように値が
変更されるように処理されることにより、リスナ１１１
の右耳元に補正音像１１４が定位するように処理され
る。

【００９３】図１２は、ＨＲＴＦによる補正処理の構成
図である。図１２において、オーディオデータＡＩがパ
ン処理部１２１に供給され、パン処理部１２１によりパ
ン処理が施されて左右ステレオオーディオデータＲ、Ｌ
およびサラウンドオーディオデータＳＬ、ＳＲが出力さ
れる。この状態では、スイッチＳＷ１２３、ＳＷ１２４
の出力側はパン処理部１２１側に接続されている。

【００９４】ここで、ビデオモニタ１１２に再生される
自由視点映像がズーム映像となって例えばステージ上の
歌手がリスナ１１１の右耳元に近づいてささやくと、オ
ーディオデータＡＩがオンとなったスイッチＳＷ１１を
介してＨＲＴＦ処理部１２２に供給され、ＨＲＴＦ処理
部１２２により周波数伝達特性の処理が施されてスイッ
チＳＷ１２３、１２４に供給されて補正オーディオデー
タＡＯとして左右ステレオオーディオデータＲ、Ｌが出
力される。この状態では、スイッチＳＷ１２３、ＳＷ１
２４の出力側はＨＲＴＦ処理部側に接続されている。

【００９５】このように構成された自由視点映像・音声
制作再生システムの制作系および再生系の動作を説明す
る。図１３は、制作系の動作を示すフローチャートであ
る。図１３において、ステップＳ１で、入出力装置（Ｉ
Ｏデバイス）の初期化を行う。具体的には、初期値の代
入やオペレーティングシステム（ＯＳ）上の例えばＧＵ
Ｉアプリケーションの起動を行って制御プログラムの読
み込みなどを行う。

【００９６】ステップＳ２で、映像ファイルの指定を行
う。具体的には、図１に示す自由視点映像の映像データ
１０の中からコンテンツの制作を行う映像ファイルを指
定する。

【００９７】ステップＳ３で、動作モードの指定を行
う。具体的には、図４に示すＧＵＩアプリケーション画
面４１においてサウンドクリエータが動作モード設定部
４２のアイコンをクリックすることにより、図３に示し
たように、複数のチャンネルのオーディオ信号のうちす
べてのチャンネルに音像定位信号処理を施す第１の動作
モードの固定チャンネルモード３１−１または複数のチ
ャンネルのオーディオ信号のうち特定のチャンネルのみ
を指定して音像定位信号処理を施して他のチャンネルは
信号処理を施さない第２の動作モードの非固定チャンネ
ルモード３１−２を選択して設定する。

【００９８】ステップＳ４で、固定チャンネルまたは移
動チャンネルの割り当てを行う。具体的には、まず、Ｇ
ＵＩアプリケーション画面４１においてサウンドクリエ
ータがトラック設定部４３のアイコンをクリックするこ
とにより、視点選択部５により選択された再生音像の角
度情報となるユーザーの視点選択情報に対応するよう
に、映像信号の時間情報に応じたフレームを移動してフ
レーム処理を行うフレーム処理部４３−１と、水平角度
処理を行う水平角度処理部４３−２と、ズーム処理を行
うズーム処理部４３−３と、垂直角度処理を行う垂直角
度処理部４３−３とを選択されたフレーム画像の設定状
態に設定する。なお、ここでは、トラック設定部４３が
図１に示した視点選択部５に対応し、この設定に応じて
このＧＵＩアプリケーション画面４１の下層または上層
にウインドウ表示される自由視点ビューア４の自由視点
映像の３６０度にわたって変化する表示状態により、選
択されたフレーム画像の設定状態に設定する。

【００９９】次に、ＧＵＩアプリケーション画面４１で
サウンドクリエータがパラメータ設定部４４のアイコン
をクリックすることにより、図３に示したトラック設定
部３２からの操作信号Ｃに基づいて、オーディオ信号に
所定のパラメータによりイコライジング処理を行うイコ
ライジング処理部４４−１と、リバーブ処理を行うリバ
ーブ処理部４４−２と、音量処理を行う音量処理部４４
−３と、パン処理を行うパン処理部４４−４と、ＨＲＴ
Ｆによりユーザーの耳に到達する伝達関数を変更するこ
とにより音響特性処理を施すＨＲＴＦ処理部４４−５と
をトラック設定部４３で設定されたフレーム画像に対す
る各チャンネルのオーディオ信号に対した信号処理状態
に設定することができる。このパラメータ設定部４４に
よる設定に応じて移動チャンネルまたは固定チャンネル
とを設定する。

【０１００】ステップＳ５で、映像の再生をスタートす
る。具体的には、ＧＵＩアプリケーション画面４１の下
層または上層にウインドウ表示される自由視点ビューア
４の自由視点映像の３６０度にわたって変化して表示状
態にする映像信号による映像の再生をスタートする。こ
れと同時にオーディオ信号による音響の再生もスタート
する。

【０１０１】ステップＳ６で、時間メタデータの記録モ
ードキーであるタイムキー４５が押された時の時間メタ
データの記録モードであるか否かを判断する。具体的に
は、パラメータ設定部が、図５で示したイコライザ処理
部３３−１に対する例えば操作情報Ｃの角度情報に応じ
た高周波数帯域または低周波数帯域におけるイコライザ
処理の低下のための操作メタデータ、リバーブ処理部３
３−２に対する例えば操作情報Ｃの角度情報に応じた高
周波数帯域または低周波数帯域におけるリバーブ処理の
低下のための操作メタデータ、パン処理部３３−４に対
する例えば操作情報Ｃの角度情報に応じた音の位置の移
動のための操作メタデータ、ＨＲＴＦ処理部３３−５に
対する例えば操作情報Ｃの角度情報に応じた周波数伝達
特性の向上または低下のための操作メタデータによる信
号処理があるか、または、パラメータ設定部が、図６で
示したイコライザ処理部３３−１に対する例えば操作情
報Ｃの時間情報に応じた高周波数帯域または低周波数帯
域におけるイコライザ処理の低下のための時間メタデー
タ、リバーブ処理部３３−２に対する例えば操作情報Ｃ
の時間情報に応じた高周波数帯域または低周波数帯域に
おけるリバーブ処理の低下のための時間メタデータ、パ
ン処理部３３−４に対する例えば操作情報Ｃの時間情報
に応じた音の位置の移動のための時間メタデータ、また
はＨＲＴＦ処理部３３−５に対する例えば操作情報Ｃの
時間情報に応じた周波数伝達特性の向上または低下のた
めの時間メタデータによるものであるか否かを判断す
る。

【０１０２】ステップＳ６で時間メタデータの記録モー
ドでないときは、ステップＳ７へ進み、ステップＳで、
操作メタデータによるチャンネルマッピング信号処理部
の操作があるか否かを判断する。具体的には、図５で示
したイコライザ処理部３３−１に対する例えば操作情報
Ｃの角度情報に応じた高周波数帯域または低周波数帯域
におけるイコライザ処理の低下のための操作メタデー
タ、リバーブ処理部３３−２に対する例えば操作情報Ｃ
の角度情報に応じた高周波数帯域または低周波数帯域に
おけるリバーブ処理の低下のための操作メタデータ、パ
ン処理部３３−４に対する例えば操作情報Ｃの角度情報
に応じた音の位置の移動のための操作メタデータ、ＨＲ
ＴＦ処理部３３−５に対する例えば操作情報Ｃの角度情
報に応じた周波数伝達特性の向上または低下のための操
作メタデータによる信号処理あるか否かを判断する。

【０１０３】ステップＳ７で、操作メタデータによるチ
ャンネルマッピング信号処理部の操作があるときは、ス
テップＳ８へ進み、ステップＳ８で、視点情報と操作情
報をメタデータとして記録する。具体的には、図５で示
したイコライザ処理部３３−１に対する例えば操作情報
Ｃの角度情報に応じた高周波数帯域または低周波数帯域
におけるイコライザ処理の低下のための操作メタデー
タ、リバーブ処理部３３−２に対する例えば操作情報Ｃ
の角度情報に応じた高周波数帯域または低周波数帯域に
おけるリバーブ処理の低下のための操作メタデータ、パ
ン処理部３３−４に対する例えば操作情報Ｃの角度情報
に応じた音の位置の移動のための操作メタデータ、ＨＲ
ＴＦ処理部３３−５に対する例えば操作情報Ｃの角度情
報に応じた周波数伝達特性の向上または低下のための操
作メタデータを各々取り出して、各角度情報に対応させ
て操作メタデータ部ＭＣに格納する。

【０１０４】ステップＳ６で時間メタデータの記録モー
ドであるときは、ステップＳ１０へ進み、ステップＳ１
０で、時間メタデータによるチャンネルマッピング信号
処理部の操作があるか否かを判断する。具体的には、図
６で示したイコライザ処理部３３−１に対する例えば操
作情報Ｃの時間情報に応じた高周波数帯域または低周波
数帯域におけるイコライザ処理の低下のための時間メタ
データ、リバーブ処理部３３−２に対する例えば操作情
報Ｃの時間情報に応じた高周波数帯域または低周波数帯
域におけるリバーブ処理の低下のための時間メタデー
タ、パン処理部３３−４に対する例えば操作情報Ｃの時
間情報に応じた音の位置の移動のための時間メタデー
タ、ＨＲＴＦ処理部３３−５に対する例えば操作情報Ｃ
の時間情報に応じた周波数伝達特性の向上または低下の
ための時間メタデータを各々取り出して、各時間情報に
対応させて時間メタデータ部ＭＴに格納するものである
か否かを判断する。

【０１０５】ステップＳ１０で、時間メタデータによる
チャンネルマッピング信号処理部の操作があるときは、
ステップＳ１１へ進み、時間情報と操作情報をメタデー
タとして記録する。具体的には、図６で示したイコライ
ザ処理部３３−１に対する例えば操作情報Ｃの時間情報
に応じた高周波数帯域または低周波数帯域におけるイコ
ライザ処理の低下のための時間メタデータ、リバーブ処
理部３３−２に対する例えば操作情報Ｃの時間情報に応
じた高周波数帯域または低周波数帯域におけるリバーブ
処理の低下のための時間メタデータ、パン処理部３３−
４に対する例えば操作情報Ｃの時間情報に応じた音の位
置の移動のための時間メタデータ、ＨＲＴＦ処理部３３
−５に対する例えば操作情報Ｃの時間情報に応じた周波
数伝達特性の向上または低下のための時間メタデータを
各々取り出して、各時間情報に対応させて時間メタデー
タ部ＭＴに格納する。

【０１０６】ステップＳ９で、映像の再生をストップす
るか否かを判断する。ステップＳ９で、映像の再生をス
トップしないときは、ステップＳ６へ戻ってステップＳ
６の判断を繰り返す。ステップＳ９で、映像の再生をス
トップするときは、ステップＳ１２へ進んで、ステップ
Ｓ１２で、映像および音響の再生を止める。

【０１０７】図１４は、再生系の動作を示すフローチャ
ートである。図１４において、ステップＳ２１で、入出
力装置（ＩＯデバイス）の初期化を行う。具体的には、
初期値の代入やオペレーティングシステム（ＯＳ）上の
例えばＧＵＩアプリケーションの起動を行って制御プロ
グラムの読み込みなどを行う。

【０１０８】ステップＳ２２で、映像ファイルの指定を
行う。具体的には、図２に示すビデオプレーヤ２２の映
像データの中からコンテンツの再生を行う映像ファイル
を指定する。

【０１０９】ステップＳ２３で、映像の再生をスタート
する。具体的には、ビデオプレーヤ２２の再生動作によ
りビデオモニタ２６に表示される自由視点映像のうちの
視点選択部２３の選択による角度情報に対応する映像信
号による映像の再生をスタートする。これと同時にオー
ディオ信号による音響の再生もスタートする。

【０１１０】ステップＳ２４で、時間メタデータの再生
モードであるか否かを判断する。具体的には、パラメー
タ設定部が、図５で示したイコライザ処理部３３−１に
対する例えば操作情報Ｃの角度情報に応じた高周波数帯
域または低周波数帯域におけるイコライザ処理の低下の
ための操作メタデータ、リバーブ処理部３３−２に対す
る例えば操作情報Ｃの角度情報に応じた高周波数帯域ま
たは低周波数帯域におけるリバーブ処理の低下のための
操作メタデータ、パン処理部３３−４に対する例えば操
作情報Ｃの角度情報に応じた音の位置の移動のための操
作メタデータ、ＨＲＴＦ処理部３３−５に対する例えば
操作情報Ｃの角度情報に応じた周波数伝達特性の向上ま
たは低下のための操作メタデータによる信号処理がある
か、または、パラメータ設定部が、図６で示したイコラ
イザ処理部３３−１に対する例えば操作情報Ｃの時間情
報に応じた高周波数帯域または低周波数帯域におけるイ
コライザ処理の低下のための時間メタデータ、リバーブ
処理部３３−２に対する例えば操作情報Ｃの時間情報に
応じた高周波数帯域または低周波数帯域におけるリバー
ブ処理の低下のための時間メタデータ、パン処理部３３
−４に対する例えば操作情報Ｃの時間情報に応じた音の
位置の移動のための時間メタデータ、またはＨＲＴＦ処
理部３３−５に対する例えば操作情報Ｃの時間情報に応
じた周波数伝達特性の向上または低下のための時間メタ
データによるものであるか否かを判断する。

【０１１１】ステップＳ２４で、時間メタデータによる
再生モードでないときは、ステップＳ２５へ進み、ステ
ップＳ２５で、視点情報と一致したら操作情報を信号処
理部に送って変更する。具体的には、操作メタデータに
よる再生モードのとき、視点選択部２３の選択による角
度情報と対応するように、図５で示したイコライザ処理
部３３−１に対する例えば操作情報Ｃの角度情報に応じ
た高周波数帯域または低周波数帯域におけるイコライザ
処理の低下のための操作メタデータ、リバーブ処理部３
３−２に対する例えば操作情報Ｃの角度情報に応じた高
周波数帯域または低周波数帯域におけるリバーブ処理の
低下のための操作メタデータ、パン処理部３３−４に対
する例えば操作情報Ｃの角度情報に応じた音の位置の移
動のための操作メタデータ、ＨＲＴＦ処理部３３−５に
対する例えば操作情報Ｃの角度情報に応じた周波数伝達
特性の向上または低下のための操作メタデータによる信
号処理を施す。

【０１１２】ステップＳ２４で、時間メタデータによる
再生モードであるときは、ステップＳ２７へ進み、ステ
ップＳ２７で、時間になったら操作情報を信号処理部に
送って変更する。具体的には、時間メタデータによる再
生モードのとき、時間情報と対応するように、図６で示
したイコライザ処理部３３−１に対する例えば操作情報
Ｃの時間情報に応じた高周波数帯域または低周波数帯域
におけるイコライザ処理の低下のための時間メタデー
タ、リバーブ処理部３３−２に対する例えば操作情報Ｃ
の時間情報に応じた高周波数帯域または低周波数帯域に
おけるリバーブ処理の低下のための時間メタデータ、パ
ン処理部３３−４に対する例えば操作情報Ｃの時間情報
に応じた音の位置の移動のための時間メタデータ、ＨＲ
ＴＦ処理部３３−５に対する例えば操作情報Ｃの時間情
報に応じた周波数伝達特性の向上または低下のための時
間メタデータにより信号処理を施す。

【０１１３】ステップＳ２６で、映像の再生をストップ
するか否かを判断する。ステップＳ２６で、映像の再生
をストップしないときは、ステップＳ２４へ戻ってステ
ップＳ２４の判断を繰り返す。ステップＳ２６で、映像
の再生をストップするときは、ステップＳ２８へ進ん
で、ステップＳ２８２で、映像および音響の再生を止め
る。

【０１１４】図１５は、制作系のチャンネルマッピング
の働きを示す図であり、図１５Ａはリアルサウンドの場
合、図１５Ｂはバーチャルサウンドの場合、図１５Ｃは
リアルサウンドとバーチャルサウンドの組み合わせの場
合である。

【０１１５】図１５Ａにおいて、リアルサウンドの場合
には、操作情報Ｃにより、イコライザ処理部３３−１に
対する高周波数帯域または低周波数帯域におけるイコラ
イザ処理の低下、リバーブ処理部３３−２に対する高周
波数帯域または低周波数帯域におけるリバーブ処理の低
下、音量処理部３３−３に対する音量の低下、サラウン
ドパン処理部１５１に対するサラウンド音響の位置の移
動により信号処理を施す。これにより、例えば、４チャ
ンネルまたは５チャンネルなどのリアルサラウンドマル
チ出力を得ることができる。

【０１１６】図１５Ｂにおいて、バーチャルサウンドの
場合には、操作情報Ｃにより、イコライザ処理部３３−
１に対する高周波数帯域または低周波数帯域におけるイ
コライザ処理の低下、リバーブ処理部３３−２に対する
高周波数帯域または低周波数帯域におけるリバーブ処理
の低下、音量処理部３３−３に対する音量の低下、ＨＲ
ＴＦ処理部３３−５に対する周波数伝達特性の向上また
は低下により信号処理を施す。これにより、例えば、選
択設定されたオーディオ信号のチャンネルに対して任意
の位置に再生音像を定位させることができる。

【０１１７】図１５Ｃにおいて、リアルサウンドとバー
チャルサウンドの組み合わせの場合には、スイッチＳＷ
２１、ＳＷ２２、ＳＷ２３、ＳＷ２４の切り替えに応じ
て、操作情報Ｃにより、イコライザ処理部３３−１に対
する高周波数帯域または低周波数帯域におけるイコライ
ザ処理の低下、リバーブ処理部３３−２に対する高周波
数帯域または低周波数帯域におけるリバーブ処理の低
下、音量処理部３３−３に対する音量の低下、サラウン
ドパン処理部１５１に対するサラウンド音響の位置の移
動により信号処理を施すことにより、リアルサラウンド
の出力を得る場合と、操作情報Ｃにより、イコライザ処
理部３３−１に対する高周波数帯域または低周波数帯域
におけるイコライザ処理の低下、リバーブ処理部３３−
２に対する高周波数帯域または低周波数帯域におけるリ
バーブ処理の低下、音量処理部３３−３に対する音量の
低下、ＨＲＴＦ処理部３３−５に対する周波数伝達特性
の向上または低下により信号処理を施す。

【０１１８】これにより、バーチャルサラウンドの出力
を得る場合とを選択的に切り換えることができるので、
リアルサラウンドの再生をしているときに、ＳＷ２１、
ＳＷ２２、ＳＷ２３、ＳＷ２４の切り換えを行うことに
より、選択設定されたオーディオ信号のチャンネルに対
してのみ任意の位置に再生音像を定位させることができ
る。

【０１１９】このときにも、例えば、操作情報Ｃに基づ
いて、角度情報が４５度で音響を３ｄＢ下げる視点操作
メタデータ１５５を記録するようにし、また、操作情報
Ｃおよび時間情報１５４に基づいて、１分３０秒１５フ
レームでモード１からモード２に切り換える時間メタデ
ータを記録するようにしてもよい。

【０１２０】なお、図１５Ａおよび図１５Ｂの場合にも
同様に、操作メタデータまたは時間メタデータを記録す
るようにしてもよい。

【０１２１】図１６は、制作系と再生系のチャンネルマ
ッピングのバリエーションを示す図であり、図１６Ａは
インパルス応答畳み込み型の場合、図１６Ｂは５ｃｈ出
力対応のリバーブ処理の場合である。図１６Ａにおい
て、インパルス応答畳み込み型の場合には、イコライザ
処理部３３−１に対する高周波数帯域または低周波数帯
域におけるイコライザ処理の低下、音量処理部３３−３
に対する音量の低下、インパルス応答畳み込み型のサラ
ウンドパン処理部１６１に対するインパルス応答が畳み
込まれたサラウンド音響の位置の移動により信号処理を
施すことにより、インパルス応答畳み込み型のサラウン
ドパン処理部１６１の中にリバーブ処理部が含まれるた
め、リバーブ処理部を設ける必要が無くなる。これによ
り、補正されたサラウンドチャンネルを有する５チャン
ネル出力を得ることができる。

【０１２２】図１６Ｂにおいて、５ｃｈ出力対応のリバ
ーブ処理の場合には、イコライザ処理部３３−１に対す
る高周波数帯域または低周波数帯域におけるイコライザ
処理の低下、音量処理部３３−３に対する音量の低下、
サラウンドパン処理部１６１に対するインパルス応答が
畳み込まれたサラウンド音響の位置の移動に対して加算
器１６３〜１６７を用いて並列的にリバーブ処理部３３
−２に対する高周波数帯域または低周波数帯域における
リバーブ処理の低下により信号処理を施して加算するこ
とにより、各チャンネルについてリバーブ処理を行って
補正されたサラウンドチャンネルを有する５チャンネル
出力を得ることができる。

【０１２３】なお、上述した実施の形態に示した例に限
らず、本発明の特許請求の範囲であれば、適宜他の例を
用いることができることはいうまでもない。

【０１２４】

【発明の効果】この発明の音像定位信号処理装置は、基
準位置に対して角度情報を有する映像信号に基づく映像
に対応するように再生系における再生音像を任意の位置
に定位させるように制作系において複数の音源から入力
される各音源データを合成手段により合成したオーディ
オ信号に信号処理を施す音像定位信号処理装置におい
て、上記映像信号に基づく映像の再生音像の角度情報と
なるユーザーの視点選択情報を選択する選択手段と、上
記選択手段により選択された再生音像の角度情報となる
ユーザーの視点選択情報に対応する上記オーディオ信号
のチャンネルに音像定位のための信号処理をリアルタイ
ムで施す音像定位制御処理手段と、上記音像定位制御処
理手段により信号処理を施すための制御情報を生成する
制御情報生成手段と、上記映像信号に上記オーディオ信
号および上記制御情報を重畳して送出用情報を生成する
送出用情報生成手段とを備え、上記オーディオ信号にリ
アルタイムで信号処理を施して上記映像信号に基づく映
像に対応して音像定位位置を制御するようにしたので、
自由視点映像に対するオーディオ信号の再生において、
角度を変化させて映像を移動させて再生した場合にも移
動する映像の方向に音像を定位させるようにするための
制御を制作時に行うことができるという効果を奏する。

【０１２５】また、この発明の音像定位信号処理装置
は、上述において、上記音像定位制御処理手段は、複数
のチャンネルの上記オーディオ信号のうちすべてのチャ
ンネルに上記音像定位制御処理手段により信号処理を施
す第１の動作モードと、複数のチャンネルの上記オーデ
ィオ信号のうち特定のチャンネルのみを指定して上記音
像定位制御処理手段により信号処理を施して他のチャン
ネルは上記信号処理を施さない第２の動作モードとを設
定する動作モード設定手段を有するので、動作モードに
応じてチャンネル毎に音像定位を可能とすることができ
るという効果を奏する。

【０１２６】また、この発明の音像定位信号処理装置
は、上述において、上記音像定位制御処理手段は、上記
選択手段により選択された再生音像の角度情報となるユ
ーザーの視点選択情報に対応するように、上記映像信号
のフレーム処理、水平角度処理、ズーム処理および／ま
たは垂直角度処理により上記オーディオ信号に上記信号
処理を施すための操作信号を生成するトラック設定手段
を有するので、選択手段により選択された再生音像の角
度情報となるユーザーの視点選択情報に対応するよう
に、映像信号の画像の処理をして生成された操作信号に
よりオーディオ信号に信号処理を施すようにすることが
できるという効果を奏する。

【０１２７】また、この発明の音像定位信号処理装置
は、上述において、上記音像定位制御処理手段は、上記
トラック設定手段からの上記操作信号に基づいて、上記
オーディオ信号に所定のパラメータによりイコライジン
グ処理、リバーブ処理、音量処理、パン処理および／ま
たは伝達特性処理を施すパラメータ設定手段を有するの
で、パラメータに応じてオーディオ信号に信号処理を施
すようにして音像定位を変化させることができるという
効果を奏する。

【０１２８】また、この発明の音像定位信号処理装置
は、上述において、上記制御情報生成手段は、上記視点
選択情報に対応するパラメータにより上記制御情報を生
成するので、視点選択情報に対応する制御情報により音
像定位を変化させることができるという効果を奏する。

【０１２９】また、この発明の音像定位信号処理装置
は、上述において、上記制御情報生成手段は、時間軸情
報に対応するパラメータにより上記制御情報を生成する
時間情報に対応する制御情報により音像定位を変化させ
ることができるという効果を奏する。

【０１３０】また、この発明の音像定位信号処理装置
は、上述において、上記音像定位制御処理手段は、上記
動作モード設定手段により上記第１の動作モードと上記
第２の動作モードとを時間軸上で切り換えるので、時間
軸上で第１の動作モードの固定チャンネルモードと第２
の動作モードの非固定チャンネルモードとを切り換える
ことができ、自由視点映像のシーンの切り換え時などに
おけるオーディオ信号に対する音像定位処理の態様を多
様にすることができるという効果を奏する。

【０１３１】また、この発明の音像定位信号処理装置
は、上述において、上記音像定位制御処理手段は、複数
のチャンネルの上記オーディオ信号のうちバーチャルサ
ラウンドのチャンネルのみを指定して上記信号処理を施
して他のリアルサラウンドのチャンネルは上記信号処理
を施さないので、バーチャルサラウンドの出力を得る場
合とを選択的に切り換えることができるので、リアルサ
ラウンドの再生をしているときに、切り換えを行うこと
により、選択設定されたオーディオ信号のチャンネルに
対してのみ任意の位置に再生音像を定位させることがで
きるという効果を奏する。

【０１３２】また、この発明の音像定位信号処理装置
は、複数の音源から入力される各音源データを合成手段
により合成して制作系における制御情報により信号処理
を施したオーディオ信号について、基準位置に対して角
度情報を有する映像信号に基づく映像に対応するように
再生系において再生音像を任意の位置に定位させるよう
に再生用情報に信号処理を施す音像定位信号処理装置に
おいて、上記再生用情報における映像信号に重畳された
上記オーディオ信号および上記制御情報から、上記映像
信号、上記オーディオ信号および上記制御情報を読み出
す再生用情報読み出し手段と、上記映像信号を再生する
映像信号再生手段と、上記映像信号に基づく映像の再生
音像の角度情報となるユーザーの視点選択情報を選択す
る選択手段と、上記選択手段により選択された再生音像
の角度情報となるユーザーの視点選択情報に対応する上
記オーディオ信号のチャンネルに音像定位のための信号
処理をリアルタイムで施す音像定位制御処理手段とを備
え、上記オーディオ信号にリアルタイムで信号処理を施
して上記映像信号に基づく映像に対応して音像定位位置
を制御するようにしたので、自由視点映像に対するオー
ディオ信号の再生において、角度を変化させて映像を移
動させて再生した場合にも移動する映像の方向に音像を
定位させることができるという効果を奏する。

【０１３３】また、この発明の音像定位信号処理装置
は、上述において、上記音像定位制御処理手段は、上記
視点選択情報に対応して、上記オーディオ信号に所定の
パラメータにより少なくともサラウンドパン処理を施す
パラメータ設定手段を有するので、補正されたサラウン
ドチャンネルを有する出力を得ることができるという効
果を奏する。

【０１３４】また、この発明の音像定位信号処理方法
は、基準位置に対して角度情報を有する映像信号に基づ
く映像に対応するように再生系における再生音像を任意
の位置に定位させるように制作系において複数の音源か
ら入力される各音源データを合成手段により合成したオ
ーディオ信号に信号処理を施す音像定位信号処理方法に
おいて、上記映像信号に基づく映像の再生音像の角度情
報となるユーザーの視点選択情報を選択する選択ステッ
プと、上記選択ステップにより選択された再生音像の角
度情報となるユーザーの視点選択情報に対応する上記オ
ーディオ信号のチャンネルに音像定位のための信号処理
をリアルタイムで施す音像定位制御処理ステップと、上
記音像定位制御処理ステップにより信号処理を施すため
の制御情報を生成する制御情報生成ステップと、上記映
像信号に上記オーディオ信号および上記制御情報を重畳
して送出用情報を生成する送出用情報生成ステップとを
備え、上記オーディオ信号にリアルタイムで信号処理を
施して上記映像信号に基づく映像に対応して音像定位位
置を制御するようにしたので、自由視点映像に対するオ
ーディオ信号の再生において、角度を変化させて映像を
移動させて再生した場合にも移動する映像の方向に音像
を定位させるようにするための制御を制作時に行うこと
ができるという効果を奏する。

【０１３５】また、この発明の音像定位信号処理方法
は、複数の音源から入力される各音源データを合成手段
により合成して制作系における制御情報により信号処理
を施したオーディオ信号について、基準位置に対して角
度情報を有する映像信号に基づく映像に対応するように
再生系において再生音像を任意の位置に定位させるよう
に再生用情報に信号処理を施す音像定位信号処理方法に
おいて、上記再生用情報における映像信号に重畳された
上記オーディオ信号および上記制御情報から、上記映像
信号、上記オーディオ信号および上記制御情報を読み出
す再生用情報読み出しステップと、上記映像信号を再生
する映像信号再生ステップと、上記映像信号に基づく映
像の再生音像の角度情報となるユーザーの視点選択情報
を選択する選択ステップと、上記選択ステップにより選
択された再生音像の角度情報となるユーザーの視点選択
情報に対応する上記オーディオ信号のチャンネルに音像
定位のための信号処理をリアルタイムで施す音像定位制
御処理ステップとを備え、上記オーディオ信号にリアル
タイムで信号処理を施して上記映像信号に基づく映像に
対応して音像定位位置を制御するようにしたので、自由
視点映像に対するオーディオ信号の再生において、角度
を変化させて映像を移動させて再生した場合にも移動す
る映像の方向に音像を定位させることができるという効
果を奏する。

【図面の簡単な説明】

【図１】本実施の形態に適用される自由視点映像・音声
制作再生システムの制作系の音像定位信号処理装置の構
成を示すブロック図である。

【図２】本実施の形態に適用される自由視点映像・音声
制作再生システムの再生系の音像定位信号処理装置の構
成を示すブロック図である。

【図３】チャンネルマッピング部の構成を示すブロック
図である。

【図４】ＧＵＩアプリケーション画面を示す図である。

【図５】操作メタデータの生成を示す図である。

【図６】時間メタデータの生成を示す図である。

【図７】メタデータの記録フォーマットを示す図であ
り、図７Ａは１フレームの先頭、図７Ｂは１フレームの
末尾、図７Ｃは各アルバムの先頭に記録するものであ
る。

【図８】３６０度カメラ撮像映像を示す図である。

【図９】円周状カメラによる撮像を示す図である。

【図１０】時間軸上での動作モードの切り換えを示す図
である。

【図１１】ＨＲＴＦによる補正音像を示す図である。

【図１２】ＨＲＴＦによる補正処理の構成図である。

【図１３】制作系のフローチャートである。

【図１４】再生系のフローチャートである。

【図１５】制作系のチャンネルマッピングの働きを示す
図であり、図１５Ａはリアルサウンドの場合、図１５Ｂ
はバーチャルサウンドの場合、図１５Ｃはリアルサウン
ドとバーチャルサウンドの組み合わせの場合である。

【図１６】制作系と再生系のチャンネルマッピングのバ
リエーションを示す図であり、図１６Ａはインパルス応
答畳み込み型の場合、図１６Ｂは５ｃｈ出力対応のリバ
ーブ処理の場合である。

【符号の説明】

１……自由視点カメラのマイク素材、２……その他の素
材、３……ミキサ、４……自由視点ビューア、５……視
点選択部、６……チャンネルマッピング部、７……オー
ディオモニタ、８……オーディオレコーダ、９……メタ
データ、１０……映像データ、１１……オーディオイン
ターリーブ、１２……送出用データ、１３……ネットワ
ーク、１４……記録媒体、２１……再生用データ、２２
……ビデオプレーヤ、２３……視点選択部、２４……チ
ャンネルマッピング部、２５……メタデータ、２６……
ビデオモニタ、２７……オーディオモニタ、３１……動
作モード設定部、３２……トラック設定部、３３……パ
ラメータ設定部、３１−１……固定チャンネルモード、
３１−２……非固定チャンネルモード、３２−１……フ
レーム処理部、３２−２……水平角度処理部、３２−３
……ズーム処理部、３２−４……垂直角度処理部、３３
−１……イコライザ処理部、３３−２……リバーブ処理
部、３３−３……音響処理部、３３−４……パン処理
部、３３−５……ＨＲＴＦ処理部、４１……ＧＵＩアプ
リケーション画面、４２……動作モード設定部、４３…
…トラック設定部、４４……パラメータ設定部、Ｃ……
操作情報、ＭＣ……操作メタデータ、ＭＴ……時間メタ
データ、８１……全方位カメラ、８２……３６０度カメ
ラ映像、９１……円周状カメラ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１５年３月３１日（２００３．３．３
１）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【請求項１０】 複数の音源から入力される各音源デー
タを合成手段により合成して制作系における制御情報に
より信号処理を施したオーディオ信号について、基準位
置に対して角度情報を有する映像信号に基づく映像に対
応するように再生系において再生音像を任意の位置に定
位させるように再生用情報に信号処理を施す音像定位信
号処理装置において、 上記再生用情報における映像信号に重畳された上記オー
ディオ信号および上記制御情報から、上記映像信号、上
記オーディオ信号および上記制御情報を読み出す再生用
情報読み出し手段と、 上記映像信号を再生する映像信号再生手段と、 上記映像信号に基づく映像の再生音像の角度情報となる
ユーザーの視点選択情報を選択する選択手段と、 上記選択手段により選択された再生音像の角度情報とな
るユーザーの視点選択情報に対応する上記オーディオ信
号のチャンネルに音像定位のための信号処理をリアルタ
イムで施す音像定位制御処理手段と、 を備え、上記オーディオ信号にリアルタイムで信号処理
を施して上記映像信号に基づく映像に対応して音像定位
位置を制御するようにしたことを特徴とする音像定位信
号処理装置。

【請求項１１】 請求項１０記載の音像定位信号処理装
置において、 上記音像定位制御処理手段は、上記視点選択情報に対応
して、上記オーディオ信号に所定のパラメータにより少
なくともサラウンドパン処理を施すパラメータ設定手段
を有することを特徴とする音像定位信号処理装置。

【請求項１２】 基準位置に対して角度情報を有する映
像信号に基づく映像に対応するように再生系における再
生音像を任意の位置に定位させるように制作系において
複数の音源から入力される各音源データを合成手段によ
り合成したオーディオ信号に信号処理を施す音像定位信
号処理方法において、 上記映像信号に基づく映像の再生音像の角度情報となる
ユーザーの視点選択情報を選択する選択ステップと、 上記選択ステップにより選択された再生音像の角度情報
となるユーザーの視点選択情報に対応する上記オーディ
オ信号のチャンネルに音像定位のための信号処理をリア
ルタイムで施す音像定位制御処理ステップと、 上記音像定位制御処理ステップにより信号処理を施すた
めの制御情報を生成する制御情報生成ステップと、 上記映像信号に上記オーディオ信号および上記制御情報
を重畳して送出用情報を生成する送出用情報生成ステッ
プと、 を備え、上記オーディオ信号にリアルタイムで信号処理
を施して上記映像信号に基づく映像に対応して音像定位
位置を制御するようにしたことを特徴とする音像定位信
号処理方法。

【請求項１３】 複数の音源から入力される各音源デー
タを合成手段により合成して制作系における制御情報に
より信号処理を施したオーディオ信号について、基準位
置に対して角度情報を有する映像信号に基づく映像に対
応するように再生系において再生音像を任意の位置に定
位させるように再生用情報に信号処理を施す音像定位信
号処理方法において、 上記再生用情報における映像信号に重畳された上記オー
ディオ信号および上記制御情報から、上記映像信号、上
記オーディオ信号および上記制御情報を読み出す再生用
情報読み出しステップと、 上記映像信号を再生する映像信号再生ステップと、 上記映像信号に基づく映像の再生音像の角度情報となる
ユーザーの視点選択情報を選択する選択ステップと、 上記選択ステップにより選択された再生音像の角度情報
となるユーザーの視点選択情報に対応する上記オーディ
オ信号のチャンネルに音像定位のための信号処理をリア
ルタイムで施す音像定位制御処理ステップと、 を備え、上記オーディオ信号にリアルタイムで信号処理
を施して上記映像信号に基づく映像に対応して音像定位
位置を制御するようにしたことを特徴とする音像定位信
号処理方法。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００３６

【補正方法】変更

【補正内容】

【００３６】パラメータ設定部３３は、トラック設定部
３２からの操作信号Ｃに基づいて、オーディオ信号に所
定のパラメータにより位相等化のイコライジング処理を
行うイコライジング処理部３３−１と、残響のリバーブ
処理を行うリバーブ処理部３３−２と、音量処理を行う
音量処理部３３−３と、音像の移動のパン処理を行うパ
ン処理部３３−４と、ＨＲＴＦ（頭部伝達関数：Ｈｅａ
ｄ ＲｅｌａｔｅｄＴｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏ
ｎ）によりユーザーの耳に到達する伝達関数を変更する
ことにより音響特性処理を施すＨＲＴＦ処理部３３−５
とを有して構成される。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００５０

【補正方法】変更

【補正内容】

【００５０】このアドレス信号により予めメモリに記録
されている頭部の基準方向に対する仮想音源位置から両
耳に至るディジタル記録されたインパルスレスポンス
が、また他のメモリからは両耳間の時間差および両耳間
のレベル差を表す制御信号あるいはインパルスレスポン
スを読み出す。畳み込み積分器または制御装置におい
て、このインパルスレスポンスまたは制御信号と音響信
号とをリアルタイムで補正し変更する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００５３

【補正方法】変更

【補正内容】

【００５３】メモリからは、テーブルに対応したデータ
のうち、自由視点映像に対するリスナの視点の向きに対
応した規準方向に対する仮想音源位置から両耳に至るデ
ィジタル記録されたインパルスレスポンスまたは両耳間
の時間差及び両耳間のレベル差を表す制御信号が取りだ
され、このデータが畳み込み積分器または制御装置に供
給される。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００５４

【補正方法】変更

【補正内容】

【００５４】視点選択部５からの角度情報に基づいてメ
モリから自由視点映像に対するリスナの視点の向きに対
応した頭部の規準方向に対する仮想音源位置から両耳に
至るディジタル記録されたインパルスレスポンスまたは
両耳間の時間差及び両耳間のレベル差を表す制御信号が
取りだされ、このデータが畳み込み積分器または制御装
置に供給される。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００５５

【補正方法】変更

【補正内容】

【００５５】このようにして、スピーカに供給されるオ
ーディオ信号Ｌ，Ｒは、自由視点映像に対するリスナの
視点の向きに対応した規準方向に対する仮想音源位置か
ら両耳に至るディジタル記録されたインパルスレスポン
スまたは両耳間の時間差及び両耳間のレベル差を表す制
御信号との補正が行なわれるので、自由視点映像に対す
るリスナの視点の移動に対しても、移動した方向に複数
個のスピーカが仮想音源位置に置かれてこのスピーカで
再生しているような音場感を得ることが出来る。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００６５

【補正方法】変更

【補正内容】

【００６５】また、ＧＵＩアプリケーション画面４１上
では、パラメータ設定部４４が設けられていて、サウン
ドクリエータがパラメータ設定部４４のアイコンをクリ
ックすることにより、図３に示したトラック設定部３２
からの操作信号Ｃに基づいて、オーディオ信号に所定の
パラメータによりイコライジング処理を行うイコライジ
ング処理部４４−１と、リバーブ処理を行うリバーブ処
理部４４−２と、音量処理を行う音量処理部４４−３
と、パン処理を行うパン処理部４４−４と、ＨＲＴＦに
よりユーザーの耳に到達する伝達関数を変更することに
より音響特性処理を施すＨＲＴＦ処理部４４−５とをト
ラック設定部４３で設定されたフレーム画像に対するオ
ーディオ信号に対して信号処理状態に設定することがで
きる。このパラメータ設定部４４による設定に応じて補
正オーディオデータを得ることができる。

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】０１０２

【補正方法】変更

【補正内容】

【０１０２】ステップＳ６で時間メタデータの記録モー
ドでないときは、ステップＳ７へ進み、ステップＳ７
で、操作メタデータによるチャンネルマッピング信号処
理部の操作があるか否かを判断する。具体的には、図５
で示したイコライザ処理部３３−１に対する例えば操作
情報Ｃの角度情報に応じた高周波数帯域または低周波数
帯域におけるイコライザ処理の低下のための操作メタデ
ータ、リバーブ処理部３３−２に対する例えば操作情報
Ｃの角度情報に応じた高周波数帯域または低周波数帯域
におけるリバーブ処理の低下のための操作メタデータ、
パン処理部３３−４に対する例えば操作情報Ｃの角度情
報に応じた音の位置の移動のための操作メタデータ、Ｈ
ＲＴＦ処理部３３−５に対する例えば操作情報Ｃの角度
情報に応じた周波数伝達特性の向上または低下のための
操作メタデータによる信号処理があるか否かを判断す
る。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】０１２９

【補正方法】変更

【補正内容】

【０１２９】また、この発明の音像定位信号処理装置
は、上述において、上記制御情報生成手段は、時間軸情
報に対応するパラメータにより上記制御情報を生成する
ので、時間情報に対応する制御情報により音像定位を変
化させることができるという効果を奏する。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 基準位置に対して角度情報を有する映像
   信号に基づく映像に対応するように再生系における再生
   音像を任意の位置に定位させるように制作系において複
   数の音源から入力される各音源データを合成手段により
   合成したオーディオ信号に信号処理を施す音像定位信号
   処理装置において、 上記映像信号に基づく映像の再生音像の角度情報となる
   ユーザーの視点選択情報を選択する選択手段と、 上記選択手段により選択された再生音像の角度情報とな
   るユーザーの視点選択情報に対応する上記オーディオ信
   号のチャンネルに音像定位のための信号処理をリアルタ
   イムで施す音像定位制御処理手段と、 上記音像定位制御処理手段により信号処理を施すための
   制御情報を生成する制御情報生成手段と、 上記映像信号に上記オーディオ信号および上記制御情報
   を重畳して送出用情報を生成する送出用情報生成手段
   と、 を備え、上記オーディオ信号にリアルタイムで信号処理
   を施して上記映像信号に基づく映像に対応して音像定位
   位置を制御するようにしたことを特徴とする音像定位信
   号処理装置。
2. 【請求項２】 請求項１記載の音像定位信号処理装置に
   おいて、 上記音像定位制御処理手段は、複数のチャンネルの上記
   オーディオ信号のうちすべてのチャンネルに上記音像定
   位制御処理手段により信号処理を施す第１の動作モード
   と、複数のチャンネルの上記オーディオ信号のうち特定
   のチャンネルのみを指定して上記音像定位制御処理手段
   により信号処理を施して他のチャンネルは上記信号処理
   を施さない第２の動作モードとを設定する動作モード設
   定手段を有することを特徴とする音像定位信号処理装
   置。
3. 【請求項３】 請求項１記載の音像定位信号処理装置に
   おいて、 上記音像定位制御処理手段は、上記選択手段により選択
   された再生音像の角度情報となるユーザーの視点選択情
   報に対応するように、上記映像信号のフレーム処理、水
   平角度処理、ズーム処理および／または垂直角度処理に
   より上記オーディオ信号に上記信号処理を施すための操
   作信号を生成するトラック設定手段を有することを特徴
   とする音像定位信号処理装置。
4. 【請求項４】 請求項１記載の音像定位信号処理装置に
   おいて、 上記音像定位制御処理手段は、上記トラック設定手段か
   らの上記操作信号に基づいて、上記オーディオ信号に所
   定のパラメータによりイコライジング処理、リバーブ処
   理、音量処理、パン処理および／または伝達特性処理を
   施すパラメータ設定手段を有することを特徴とする音像
   定位信号処理装置。
5. 【請求項５】 請求項１記載の音像定位信号処理装置に
   おいて、 上記制御情報生成手段は、上記視点選択情報に対応する
   パラメータにより上記制御情報を生成することを特徴と
   する音像定位信号処理装置。
6. 【請求項６】 請求項１記載の音像定位信号処理装置に
   おいて、 上記制御情報生成手段は、時間軸情報に対応するパラメ
   ータにより上記制御情報を生成することを特徴とする音
   像定位信号処理装置。
7. 【請求項７】 請求項２記載の音像定位信号処理装置に
   おいて、 上記音像定位制御処理手段は、上記動作モード設定手段
   により上記第１の動作モードと上記第２の動作モードと
   を時間軸上で切り換えるようにすることを特徴とする音
   像定位信号処理装置。
8. 【請求項８】 請求項４記載の音像定位信号処理装置に
   おいて、 上記音像定位制御処理手段は、複数のチャンネルの上記
   オーディオ信号のうちバーチャルサラウンドのチャンネ
   ルのみを指定して上記信号処理を施して他のリアルサラ
   ウンドのチャンネルは上記信号処理を施さないことを特
   徴とする音像定位信号処理装置。
9. 【請求項９】 複数の音源から入力される各音源データ
   を合成手段により合成して制作系における制御情報によ
   り信号処理を施したオーディオ信号について、基準位置
   に対して角度情報を有する映像信号に基づく映像に対応
   するように再生系において再生音像を任意の位置に定位
   させるように再生用情報に信号処理を施す音像定位信号
   処理装置において、 上記再生用情報における映像信号に重畳された上記オー
   ディオ信号および上記制御情報から、上記映像信号、上
   記オーディオ信号および上記制御情報を読み出す再生用
   情報読み出し手段と、 上記映像信号を再生する映像信号再生手段と、 上記映像信号に基づく映像の再生音像の角度情報となる
   ユーザーの視点選択情報を選択する選択手段と、 上記選択手段により選択された再生音像の角度情報とな
   るユーザーの視点選択情報に対応する上記オーディオ信
   号のチャンネルに音像定位のための信号処理をリアルタ
   イムで施す音像定位制御処理手段と、 を備え、上記オーディオ信号にリアルタイムで信号処理
   を施して上記映像信号に基づく映像に対応して音像定位
   位置を制御するようにしたことを特徴とする音像定位信
   号処理装置。
10. 【請求項１０】 請求項９記載の音像定位信号処理装置
    において、 上記音像定位制御処理手段は、上記視点選択情報に対応
    して、上記オーディオ信号に所定のパラメータにより少
    なくともサラウンドパン処理を施すパラメータ設定手段
    を有することを特徴とする音像定位信号処理装置。
11. 【請求項１１】 基準位置に対して角度情報を有する映
    像信号に基づく映像に対応するように再生系における再
    生音像を任意の位置に定位させるように制作系において
    複数の音源から入力される各音源データを合成手段によ
    り合成したオーディオ信号に信号処理を施す音像定位信
    号処理方法において、 上記映像信号に基づく映像の再生音像の角度情報となる
    ユーザーの視点選択情報を選択する選択ステップと、 上記選択ステップにより選択された再生音像の角度情報
    となるユーザーの視点選択情報に対応する上記オーディ
    オ信号のチャンネルに音像定位のための信号処理をリア
    ルタイムで施す音像定位制御処理ステップと、 上記音像定位制御処理ステップにより信号処理を施すた
    めの制御情報を生成する制御情報生成ステップと、 上記映像信号に上記オーディオ信号および上記制御情報
    を重畳して送出用情報を生成する送出用情報生成ステッ
    プと、 を備え、上記オーディオ信号にリアルタイムで信号処理
    を施して上記映像信号に基づく映像に対応して音像定位
    位置を制御するようにしたことを特徴とする音像定位信
    号処理方法。
12. 【請求項１２】 複数の音源から入力される各音源デー
    タを合成手段により合成して制作系における制御情報に
    より信号処理を施したオーディオ信号について、基準位
    置に対して角度情報を有する映像信号に基づく映像に対
    応するように再生系において再生音像を任意の位置に定
    位させるように再生用情報に信号処理を施す音像定位信
    号処理方法において、 上記再生用情報における映像信号に重畳された上記オー
    ディオ信号および上記制御情報から、上記映像信号、上
    記オーディオ信号および上記制御情報を読み出す再生用
    情報読み出しステップと、 上記映像信号を再生する映像信号再生ステップと、 上記映像信号に基づく映像の再生音像の角度情報となる
    ユーザーの視点選択情報を選択する選択ステップと、 上記選択ステップにより選択された再生音像の角度情報
    となるユーザーの視点選択情報に対応する上記オーディ
    オ信号のチャンネルに音像定位のための信号処理をリア
    ルタイムで施す音像定位制御処理ステップと、 を備え、上記オーディオ信号にリアルタイムで信号処理
    を施して上記映像信号に基づく映像に対応して音像定位
    位置を制御するようにしたことを特徴とする音像定位信
    号処理方法。