WO2006093145A1

WO2006093145A1 - 音声出力装置、音声出力方法、情報記録媒体、ならびに、プログラム

Info

Publication number: WO2006093145A1
Application number: PCT/JP2006/303746
Authority: WO
Inventors: Hiroyuki Nakayama
Original assignee: Konami Digital Entertainment Co., Ltd.
Priority date: 2005-03-04
Filing date: 2006-02-28
Publication date: 2006-09-08
Also published as: US20090023498A1; KR100903500B1; JP2006239211A; TW200701824A; EP1854516A1; EP1854516A4; JP3863165B2; CN101132838A; CN101132838B; TWI305705B; KR20070104625A

Abstract

　２つの発音体の音声の差異を明確にして臨場感を高めるため、音声出力装置（２０１）の記憶部（２０２）は、仮想空間内を移動する２つの発音体の音声情報および音量係数を記憶し、距離計算部（２０３）は、注目点と発音体のそれぞれとの距離を計算し、変化率計算部（２０４）は、発音体が発する音声の音量が、それぞれの距離だけ離れることによって変化する変化率を計算し、増幅率計算部（２０５）は、音量係数のうち大きい方に対してその変化率よりも大きい増幅率を計算し、音量係数のうち小さい方に対してその変化率よりも小さい増幅率を計算し、混合出力部（２０６）は、発音体のそれぞれに対応付けられる音声情報を当該発音体に対して計算された増幅率で増幅して加算した音声を出力する。

Description

明細書

音声出力装置、音声出力方法、情報記録媒体、ならびに、プログラム技術分野

[0001] 本発明は、仮想空間を移動する 2つの発音体の音声の差異を明確にして臨場感を高めるように出力するのに好適な音声出力装置、音声出力方法、ならびに、これらをコンピュータにて実現するプログラムを記録したコンピュータ読取可能な情報記録媒体、および、当該プログラムに関する。

背景技術

[0002] 従来から、 2次元平面や 3次元空間などの仮想空間内にバイク、自動車、飛行機など各種の乗物や地面を走ったりジャンプしたり、空を飛んだり、水の中を泳いだりするキャラクター（以下、まとめて「オブジェクト」という。）を、プレイヤーがコントローラを用いて操作することによって当該仮想空間内を移動させたり、所定のアルゴリズムに応じてオブジェ外を自動的に当該仮想空間内を移動させたりして、競争を行う技術が提案されている。

[0003] また、この際に、オブジェクトが発すると想定される音声を生成して、よりリアルな環境を提供する技術が提案されている。このように、仮想空間内で音声を発すると想定されるオブジェクトを発音体とも呼ぶ。このような技術については、たとえば以下の文献に開示がされている。

特許文献 1：特許第 3455739号公報

[0004] [特許文献 1]には、競馬ゲームのレースにおいて、視点位置力も近い順に馬の足に優先順位をつけ、優先順位の低!、足から発せられる足音の音声はグループとしてひとまとめにして、合成出力に用いる発音数を抑制する技術が開示されて、る。

[0005] このように、仮想空間内を移動するオブジェクトが発する音声を合成出力する技術は、ユーザに仮想空間の様子を知覚させる観点で重要である。

発明の開示

発明が解決しょうとする課題

[0006] このように仮想空間を提供する複数のオブジェクトが音声を発する場合に、これらのオブジェクトが発する音声の差異を極立たせて、ユーザに、オブジェクトの対比を明確に知覚させたい場合がある。したがって、このような要望に対応するための技術が求められている。

本発明は、上記のような課題を解決するためになされたもので、 2つの発音体の音声の差異を明確にして臨場感を高めるように出力するのに好適な音声出力装置、音声出力方法、ならびに、これらをコンピュータにて実現するプログラムを記録したコンピュータ読取可能な情報記録媒体、および、当該プログラムを提供することを目的とする。

課題を解決するための手段

[0007] 以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する

[0008] 本発明の第 1の観点に係る音声出力装置は、記憶部、距離計算部、変化率計算部、増幅率計算部、混合出力部を備え、以下のように構成する。

[0009] すなわち、記憶部は、仮想空間内を移動する 2つの発音体のそれぞれに対応付けられる音声情報および音量係数を記憶する。

[0010] 典型的には、音声情報は PCM (Pulse Coded Modulation)形式や MP3 (MPeg audi o layer 3)形式などのファイルとして CD— ROM (Compact Disk Read Only Memory) ゃノ、ードディスクなどの記憶媒体に記憶される。また、音量係数は、当該音声情報の「迫力」の度合に関連する係数で、発音体による音声出力のエネルギー量や、音声情報の平均音量などに対応付けられるものである。

[0011] 一方、距離計算部は、当該仮想空間内における所定の注目点と当該 2つの発音体のそれぞれとの距離を計算する。

[0012] ここで、所定の注目点は、典型的には、仮想空間内を 3次元グラフィックス表示する場合の視点位置に相当するものである。発音体が発する音声の大きさは、距離が離れれば離れるほど小さくなるから、この距離による影響を考慮するために、注目点と発音体との距離を計算するのである。なお、「距離」としては、通常の距離 (位置べタトルの差の大きさ）のほか、自乗距離 (位置ベクトルの差の大きさの自乗）やマンハッタン距離 (位置ベクトルの差の各要素の絶対値の総和）を採用しても良い。 [0013] さらに、変化率計算部は、当該 2つの発音体のそれぞれが発する音声の音量が、当該発音体について計算された距離だけ離れることによって変化する変化率を計算する。

[0014] 上記のように、発音体とこれが発する音を聞く注目点の距離が離れれば離れるほど、聞こえる音の大きさは小さくなるため、この小さくなる度合を示す変化率を求めるものである。発音体の音声情報に基づく波動の振幅にこの変化率を単純に乗ずれば、通常の仮想空間内における発音体が発する音のシミュレーションができることになる

[0015] そして、増幅率計算部は、当該 2つの音量係数のうち大きい方に対応付けられる発音体に対して、その変化率よりも大きい増幅率を計算し、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対して、その変化率よりも小さい増幅率を計算する。

[0016] 上記のように、単純に音声情報の振幅に変化率を乗じれば、仮想空間内における発音体が発する音のシミュレーションを行うことができるのである力 2つの発音体が発する音の差異を極立たせ、コントラストを明確にするために、音量係数が大きい方は、求められた変化率よりもさらに大きな増幅率を採用し、音量係数が小さい方は、求められた変化率よりもさらに小さな増幅率を採用するのである。計算の手法は種々考えられ、その好適実施形態については後述する。

[0017] 一方、混合出力部は、当該 2つの発音体のそれぞれに対応付けられる音声情報を当該発音体に対して計算された増幅率で増幅して加算した音声を出力する。

[0018] すなわち、 2つの発音体のそれぞれについて、それぞれの音声情報をそれぞれについて求められた増幅率で増幅して、その波形を加算することにより、注目点で聞こえる音声の波形を生成する。

[0019] 本発明によれば、 2つの発音体が発する音声の差異を、これらに割り当てられた音量係数に基づいて、より極立たせてコントラストを明確にすることができ、本音声出力装置のユーザは、 2つの発音体の特徴を、一層はっきりと把握することができるようになる。

[0020] また、本発明の音声出力装置において、混合出力部は、当該仮想空間内における当該所定の注目点の位置と当該 2つの発音体の位置とが、所定の条件を満たす場合は、当該 2つの発音体のそれぞれに対応付けられる音声情報を前記計算された変化率で増幅して加算した音声を出力し、当該所定の条件を満たさない場合は、当該 2つの発音体のそれぞれに対応付けられる音声情報を当該発音体に対して計算された増幅率で増幅して加算した音声を出力するように構成することができる。

[0021] たとえば、ステレオ音声出力や 5.1チャンネル音声出力で発音体の音が発生している方向を示すような場合には、注目点力見た 2つの発音体が仮想空間内で配置されている方向が離れている場合には、上記のような差異の明確ィ匕が不要な場合もある。そこで、そのような場合には、単純に 2つの音声情報に変化率を乗じてから加算するのである。

[0022] 2つの発音体の位置と注目点の位置の関係とは、たとえば、第 1の発音体注目点第 2の発音体がなす角が一定の角度より小さいか否力、あるいは、第 1の発音体と第 2の発音体との距離が一定の長さより小さいか否か、等、種々の条件を採用することがでさる。

[0023] 本発明によれば、 2つの発音体の位置関係によって音声の差異を極立たせる必要が少ない場合には、コントラストを強調する効果を与えずに音声出力をして、自然な印象をユーザに与えるような音声出力装置を提供することができる。

[0024] また、本発明に係る音声出力装置において、増幅率計算部は、当該 2つの音量係数のうち大き、方の小さ!/、方に対する比により、当該 2つの音量係数のうち大き、方に対応付けられる発音体に対する増幅率を、当該変化率に当該比を乗じたものとし、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対する増幅率を、当該変化率に当該比の逆数を乗じたものとするように構成することができる。

[0025] たとえば、一方の音声体の音量係数を pi、変化率を cl、増幅率を A1他方の音声体の音量係数を p2、変化率を c2、増幅率を A2とし、 pi > p2 > 0とした場合、

Al = cl X (pl/p2) > cl ;

A2 = c2 X (p2/pl) < c2

とするのである。

[0026] 本発明は、上記発明の好適実施形態に係るもので、音量係数を用いることによって容易に増幅率の計算を行うことができるようになる。

[0027] また、本発明に係る音声出力装置において、増幅率計算部は、当該 2つの音量係数のうち大きい方の小さい方に対する比の所定の羃乗により、当該 2つの音量係数のうち大きい方に対応付けられる発音体に対する増幅率を、当該変化率に当該比の所定の羃乗を乗じたものとし、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対する増幅率を、当該変化率に当該比の所定の羃乗の逆数を乗じたものとするように構成することができる。

[0028] 上記の例と同様に考え、所定の羃乗を R乗 (ただし R≥ 1)とすると、

Al = cl X (pl/p2)^R > cl ;

A2 = c2 X (p2/pl)^R < c2

とするのである。

[0029] 本発明は、上記発明の好適実施形態に係るもので、音量係数を用いることによって容易に増幅率の計算を行うことができるようになる。

[0030] また、本発明に係る音声出力装置において、混合出力部は、当該音声情報の加算に飽和加算を用いるように構成することができる。

[0031] 特に、増幅率や変化率に基づいて音声情報を増幅する計算では、飽和乗算もしくは通常の乗算を採用し、加算の差異に飽和加算を用いるのである。

[0032] 本発明では、飽和加算を用いることにより、音量が極めて大きくなつた場合の「音割れ」現象をシミュレートすることができるので、コントラストを強調して音声出力する場合に、ユーザにより迫力のある音声を提供することができるようになる。

[0033] 本発明のその他の観点に係る音声出力方法は、記憶部を用い、距離計算工程、変化率計算工程、増幅率計算工程、混合出力工程を備え、以下のように構成する。

[0034] すなわち、記憶部には、仮想空間内を移動する 2つの発音体のそれぞれに対応付けられる音声情報および音量係数が記憶される。

[0035] 一方、距離計算工程では、当該仮想空間内における所定の注目点と当該 2つの発音体のそれぞれとの距離を計算する。

[0036] さらに、変化率計算工程では、当該 2つの発音体のそれぞれが発する音声の音量力当該発音体について計算された距離だけ離れることによって変化する変化率を計算する。

[0037] そして、増幅率計算工程では、当該 2つの音量係数のうち大きい方に対応付けられる発音体に対して、その変化率よりも大きい増幅率を計算し、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対して、その変化率よりも小さい増幅率を計算する。

[0038] 一方、混合出力工程では、当該 2つの発音体のそれぞれに対応付けられる音声情報を当該発音体に対して計算された増幅率で増幅して加算した音声を出力する。

[0039] 本発明のその他の観点に係るプログラムは、コンピュータを上記音声出力装置として機能させ、または、コンピュータに上記音声出力方法を実行させるように構成する。また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。

上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布 '販売することができる。また、上記情報記憶媒体は、コンビユータとは独立して配布 ·販売することができる。

発明の効果

[0040] 本発明によれば、 2つの発音体の音声の差異を明確にして臨場感を高めるように出力するのに好適な音声出力装置、音声出力方法、ならびに、これらをコンピュータにて実現するプログラムを記録したコンピュータ読取可能な情報記録媒体、および、当該プログラムを提供することができる。

図面の簡単な説明

[0041] [図 1]本発明の実施形態の 1つに係る音声出力装置が実現される典型的な情報処理装置の概要構成を示す説明図である。

[図 2]本発明の実施形態の一つに係る音声出力装置の概要構成を示す模式図である。

[図 3]当該音声出力装置にて実行される音声出力処理の制御の流れを示すフローチヤートである。

[図 4]仮想空間内に配置される注目点および 2つの発音体の位置関係を示す説明図である。

符号の説明

100 情報処理装置

101 CPU

102 ROM

103 RAM

104 インターフェイス

105 コントローラ

106 外部メモリ

107 画像処理部

108 DVD— ROMドライブ

109 NIC

110 音声処理部

201 音声出力装置

202 じ' 1思 p^:[5

203 距離計算部

204 変化率計算部

205 増幅率計算部

206 混合出力部

401 仮想空間

405 注目点

411 発音体

412 発音体

発明を実施するための最良の形態

以下に本発明の実施形態を説明する。以下では、理解を容易にするため、三次元グラフィックス表示と音声出力がされるゲーム装置に本発明が適用される実施形態を説明するが、各種のコンピュータ、 PDA (Personal Data Assistants)、携帯電話などの情報処理装置においても同様に本発明を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

実施例 1

[0044] 図 1は、本発明の音声出力装置が実現される典型的な情報処理装置の概要構成を示す説明図である。以下、本図を参照して説明する。

[0045] 情報処理装置 100は、 CPU (Central Processing Unit) 101と、 ROM 102と、 RA M (Random Access Memory) 103と、インターフェイス 104と、コントローラ 105と、外咅メモリ 106と、画像処理部 107と、 DVD-ROM (Digital Versatile Disc ROM)ドライブ 108と、 NIC (Network Interface Card) 109と、音声処理部 110と、を備える。ゲーム用のプログラムおよびデータを記憶した DVD— ROMを DVD— ROMドライブ 108に装着して、情報処理装置 100の電源を投入することにより、当該プログラムが実行され、本実施形態の表示装置が実現される。

[0046] CPU 101は、情報処理装置 100全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、 CPU 101は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対して ALU (Arithmetic Logic Unit) (図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベタトル演算などを高速に行えるように、 CPU 101自身が構成されているものや、コプロセッサを備えて実現するものがある。

[0047] ROM 102には、電源投入直後に実行される IPL (Initial Program Loader)が記録され、これが実行されることにより、 DVD— ROMに記録されたプログラムを RAM 1 03に読み出して CPU 101による実行が開始される。また、 ROM 102には、情報処理装置 100全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。

[0048] RAM 103は、データやプログラムを一時的に記憶するためのもので、 DVD—R OM力も読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、 CPU 101は、 RAM 103に変数領域を設け、当該変数に格納された値に対して直接 ALUを作用させて演算を行ったり、 RAM 103 に格納された値をー且レジスタに格納してからレジスタに対して演算を行、、演算結果をメモリに書き戻す、などの処理を行う。

[0049] インターフェイス 104を介して接続されたコントローラ 105は、ユーザがレーシングゲームなどのゲーム実行の際に行う操作入力を受け付ける。

[0050] インターフェイス 104を介して着脱自在に接続された外部メモリ 106には、レーシングゲーム等のプレイ状況 (過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、チャット通信のログ (記録)のデータなどが書き換え可能に記憶される。ユーザは、コントローラ 105を介して指示入力を行うことにより、これらのデータを適宜外部メモリ 106に記録することができる。

[0051] DVD— ROMドライブ 108に装着される DVD— ROMには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。 CPU 1

01の制御によって、 DVD— ROMドライブ 108は、これに装着された DVD— ROM に対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらは R AM 103等に一時的に記憶される。

[0052] 画像処理部 107は、 DVD— ROMから読み出されたデータを CPU 101や画像処理部 107が備える画像演算プロセッサ（図示せず）によってカ卩ェ処理した後、これを画像処理部 107が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部 10 7に接続されるモニタ（図示せず)へ出力される。これにより、各種の画像表示が可能となる。

画像演算プロセッサは、 2次元の画像の重ね合わせ演算や αブレンディング等の透過演算、各種の飽和演算を高速に実行できる。

[0053] また、仮想 3次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、 Ζバッファ法によりレンダリングして、所定の視点位置から仮想 3次元空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。

さらに、 CPU 101と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を 2次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画することが可能である。

[0054] NIC 109は、情報処理装置 100をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、 LAN (Local Area Network)を構成する際に用いられる 10BASE—TZ100BASE—T規格にしたがうものや、電話回線を用いてインタ一ネットに接続するためのアナログモデム、 ISDN (Integrated Services Digital Netwo rk)モデム、 ADSL (Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらと CPU 101との仲立ちを行うインターフェース（図示せず）により構成される。

[0055] 音声処理部 110は、 DVD— ROM力も読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず)から出力させる。また、 CPU 101 の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。

音声処理部 110では、 DVD— ROMに記録された音声データが MIDIデータである場合には、これが有する音源データを参照して、 MIDIデータを PCMデータに変換する。また、 ADPCM形式や Ogg Vorbis形式等の圧縮済音声データである場合には、これを展開して PCMデータに変換する。 PCMデータは、そのサンプリング周波数に応じたタイミングで DZA (Digital/Analog)変換を行って、スピーカに出力することにより、音声出力が可能となる。

[0056] このほか、情報処理装置 100は、ハードディスク等の大容量外部記憶装置を用いて、 ROM 102、 RAM 103、外部メモリ 106、 DVD— ROMドライブ 108に装着される DVD— ROM等と同じ機能を果たすように構成してもよヽ。

[0057] 図 2は、本発明の実施形態の一つに係る音声出力装置の概要構成を示す模式図である。当該音声出力装置は、上記の情報処理装置 100上に実現される。以下、本図を参照して説明する。

[0058] 音声出力装置 201は、記憶部 202、距離計算部 203、変化率計算部 204、増幅率計算部 205、混合出力部 206を備える。

[0059] まず、記憶部 202は、仮想空間内を移動する 2つの発音体のそれぞれに対応付けられる音声情報および音量係数を記憶する。

[0060] 本実施形態では、音声情報は PCM形式や MP3形式などのファイルである。また、音量係数は、当該音声情報の「迫力」の度合に関連する係数で、発音体による音声出力のエネルギー量や、音声情報の平均音量などに対応付けられるものである。

[0061] 音量係数として音声情報の平均音量を採用する場合には、あらかじめ音量係数を求めて記憶部 202に記憶することとしても良いし、音声情報を必要に応じて走査すること〖こよって、リアルタイムに音量係数を求めることとし、その結果を記憶部 202に記憶することとしても良い。

[0062] したがって、 RAM 103、 DVD— ROMドライブ 108に装着される DVD— ROMや CD-ROM,ハードディスク等の大容量外部記憶装置が、記憶部 202として機能することとなる。

[0063] さて、一方の発音体の音量係数を pi、他方の発音体の音量係数を p2とし、 pi > p2 > 0であるちのとする。

[0064] 経過時間 tにおける振幅により、一方の発音体の音声情報を al(t)と表現し、他方の発音体の音声情報を、 a2(t)と表現することとする。

[0065] 音量係数は、上記のように、任意に定めることができる。当該音声情報が、それぞれ時間長 T, T'で繰り返し再生されるものとすると、音量係数を平均音量とした場合には、

pl = (1/T) J ^T |al(t)|² dt ;

0

p2 = (Ι/Τ') J ^τ' |a2(t)|² dt

0

力それぞれ成立することとなる。

[0066] また、音量係数を平均振幅とした場合には、

|ρΐΓ = (1/Τ) ί ^T |al(t)|² dt ;

0

|p2|² = (Ι/Τ') J τ' |a2(t)|² dt

0

により、それぞれ計算で求めることができる。ここで、当該積分は、 PCM波形等から容易に計算することができる。 [0067] このほか、 RAM 103には、仮想空間内における 2つの発音体や注目点（仮想空間を観察する視点)の位置や速度などの各種の状態パラメータを記憶する領域があり、ユーザの指示入力や所定のアルゴリズムに基づいて、適宜仮想空間内を移動する。

[0068] さて、このような音声情報と音声係数等が記憶部 202に記憶されている状態から、音声出力装置 201において音声出力処理が開始される。図 3は、当該音声出力装置にて実行される音声出力処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。

[0069] まず、注目点および 2つの発音体の位置等の各種の状態パラメータを初期化する（ステップ S301)。当該初期化は、ゲームのプレイ開始前の初期化に相当するもので、各初期値は、あら力じめ DVD— ROMや外部メモリ 106等に記憶されている値としても良いし、乱数により定めることとしても良い。

[0070] そして、 RAM 103内に用意された増幅率 A1、A2を記憶する領域に、 0をセットする（ステップ S 302)。

[0071] さらに、混合出力部 206は、情報処理装置 100の音声処理部 110に、「RAM 10 3内に記憶される増幅率 Al、 A2を参照して音声情報 al(t)を A1に記憶される値で増幅し、音声情報 a2(t)を A2に記憶される値で増幅して、ミキシングして音声出力する」ように指示を出す (ステップ S303)。音声処理部 110による音声の増幅、ミキシング（混合）、出力は、以降の処理と並行して行われる。

[0072] したがって、 CPU 101は、 RAM 103や音声処理部 110と共働して、混合出力部 206として機能する。

[0073] なお、 al(t)を A1倍に増幅し、 a2(t)を A2倍に増幅するための乗算や、これらの結果を混合する加算は、適宜飽和演算を用いても良い。飽和演算を用いると、マイクの近くで大音量が発生した場合の音割れのような効果を得ることができる。

[0074] さて、音声の混合出力が並行して開始された後は、現在の注目点および 2つの発音体の位置等の各種の状態パラメータから、所定の微小時間後のこれらの状態パラメータを計算して (ステップ S304)、 RAM 103に記憶されるこれらの状態パラメータを計算された新たな値で更新する (ステップ S305)。状態所定の微小時間としては、たとえば、モニタ画面の垂直同期割り込みの間隔などを採用すると、表示の差異の画像のブレやちらつきを抑えることができる。

[0075] また、状態パラメータの計算は、仮想空間内に設定された物理法則等にしたがうものとし、プレイヤーがコントローラ 105を用いて与える指示入力や、 CPU 101が所定のアルゴリズムに基づ、て生成する指示入力に基づ、て更新されるものとする。たとえば、レーシングゲームや競馬ゲームにおけるプレイヤーキャラクターや非プレイヤ一キャラクターの動作を定める手法と同様の手法を採用することができる。

[0076] 図 4は、このようにして更新された時刻 tにおいて、仮想空間内に配置される注目点および 2つの発音体の位置関係を示す説明図である。以下、本図を参照して説明する。

[0077] 本図に示すように、仮想空間 401において、注目点 405の位置ベクトルを s(t)とし、音量係数 piに対応付けられる発音体 411の位置ベクトルを rl(t)とし、音量係数 p2に対応付けられる発音体 412の位置ベクトルを r2(t)とする。

[0078] このように、注目点 405、発音体 411、発音体 412が配置された場合、注目点 405 と発音体 411の自乗距離は、

|rl(t)-s(t)|² = (rl(t)-s(t))-(rl(t)-s(t))

ユークリッド距離は、

|rl(t)-s(t)|

と、それぞれ表現できる。

[0079] 同様に、注目点 405と発音体 411の自乗距離は、

Ir2(t)-s(t)|² = (r2(t)-s(t))-(r2(t)-s(t))

と、ユークリッド距離は、

と、それぞれ表現できる。ただし、 u'vは、ベクトル uとベクトル Vの内積を意味する。

[0080] また、マンハッタン距離は、ユークリッド座標系を採用した場合、ベクトル rl(t)- s(t)等の x,y,zのそれぞれの軸方向の要素の絶対値の総和として求めることができる。

[0081] さて、上記のように更新された後、距離計算部 203は、当該仮想空間 401内における所定の注目点 405と当該発音体 411、発音体 412のそれぞれとの距離を計算する (ステップ S 306)。

[0082] 「距離」として、自乗距離、ユークリッド距離、マンハッタン距離のヽずれかを採用するものとすれば、注目点 405と発音体 411の距離 dl、および、注目点 405と発音体 4 12の距離 d2は、上記のようなベクトル計算によって求めることができる。したがって、 CPU 101が RAM 103等と共働して、距離計算部 203として機能する。これらの距離 dl、 d2も RAM 103内に一時的に記憶される。

[0083] ついで、変化率計算部 204は、当該発音体 411、発音体 412のそれぞれが発する音声の音量が、それぞれ注目点 405から距離 dl、 d2だけ離れることによって変化する変化率 cl、 c2を計算する (ステップ S307)。

[0084] この変化率 cl、 c2を求める関数 ¾ ( とおくと、

cl =細；

c2 = Kd2)

と書くことができる。関数 ·)は、典型的には単調減少関数であり、近くであればあるほど (距離力、さければ小さ、ほど)大きく、遠くであればあるほど (距離が大きければ大きいほど)小さくなる。

[0085] たとえば、 Κ, Jを正の定数として、以下のような関数を採用することができる。

(1) Ks) = K-J X s (0≤s≤K/J) ;

= 0 (K/J≤s)

(2) Ks) = K/s ;

(3) Ks) = K/(s X s) ;

(4) Ks) = KX exp(-J X s)

[0086] 上記のように、発音体 411や発音体 412とこれらが発する音を聞く注目点 405の距離が離れれば離れるほど、聞こえる音の大きさは小さくなるため、この小さくなる度合を示す変化率を求めるものである。発音体の音声情報に基づく波動の振幅にこの変化率を単純に乗ずれば、通常の仮想空間 401内における発音体が発する音のシミュレーシヨンができることになる。

[0087] なお、本実施形態では、距離の計算と合わせて、注目点 405から発音体 411および発音体 412を見込む角 Θもしくは cos Θを、さらに計算する (ステップ S308)。すなわち、

cos θ = (rl(t)-s(t)) · (r2(t)-s(t))/(|rl(t)-s(t)| X |r2(t)-s(t)|)；

Θ = arccos((rl(t)— s(t)) ' (r2(t)— s(t))/(|rl(t)— s(t)| X |r2(t)— s(t)|》

によって、 Θもしくは cos Θを計算する。注目点 405に到達する発音体 411起源の音声と発音体 412起源の音声とが、どれぐらい異なる方向からやってくるか、を知ることができる。この計算では、上記の距離の計算と共通する値を使用するので、適宜共通する計算をまとめて行うのが効率的である。

[0088] ついで、 CPU 101は、計算された角 Θが所定の角度 φより小さいか否かを判定する (ステップ S309)。所定の角度 φとしては、ある程度大きい角度が望ましいが、たとえば 90度 (= π /2)とすると、 Θや cos eを直接計算しなくとも、内積 (rl(t)- s(t)Hr2(t )-s(t))の正負によって判断ができるため、計算量を抑えることができて便利である。

[0089] 角 Θが所定の角度より小さいか否かは、 cos Θが対応する所定の値より大きいか否力によっても判断ができる。したがって、後者の判断を用いれば、計算コストが大き Vヽ arccos ( の計算を行わな!/、ですむ。

[0090] さて、判断の結果、角 Θが所定の角度 φより小さいと判断された場合 (ステップ S30 9 ; Yes)、増幅率計算部 205は、当該 2つの音量係数のうち大きい方 piに対応付けられる発音体 411に対する変化率 clよりも大きい増幅率 A1と、当該 2つの音量係数のうち小さい方 p2に対応付けられる発音体 412に対する変化率 c2よりも小さい増幅率 A2と、を計算して、計算結果を RAM 103内の上記の領域に記憶して更新する（ステップ S310)。

[0091] すなわち、 pi > p2であるときに、 Al > clを満たす A1と、 A2 < c2を満たす A2とを、それぞれ何らかの手法で計算するのである。

[0092] 上記のように、単純に音声情報の振幅に変化率を乗じれば、仮想空間 401内における発音体が発する音のシミュレーションを行うことができるのである力発音体 411 、発音体 412が発する音の差異を極立たせ、コントラストを明確にするために、音量係数が大きい方は、求められた変化率よりもさらに大きな増幅率を採用し、音量係数力、さい方は、求められた変化率よりもさらに小さな増幅率を採用するのである。計算の手法は種々考えられる力たとえば、以下のような手法が考えられる。 [0093] (1) piと p2の比 pl/p2 > 1とその逆数 p2/pl < 1を用いて

Al = cl X (pl/p2) > cl ;

A2 = c2 X (p2/pl) < c2

とする。

[0094] (2) 上記（1)のほ力さらに所定の 1以上の正整数 Rを用いて

Al = cl X (pl/p2)^R > cl ;

A2 = c2 X (p2/pl)^R < c2

とする。

[0095] (3) 1より大き!/、正定数 Pと 1より小さ!/、正定数 Qを用いて、

Al = cl X P > cl ;

A2 = c2 X Qく c2

とする。

[0096] 前述したように、混合出力部 206は、当該発音体 411、発音体 412のそれぞれに対応付けられる音声情報 al(t), a2(5)を計算された増幅率 Al, A2で増幅して加算した音声を出力するので、発音体 411、発音体 412が発する音声の差異を、これらに割り当てられた音量係数 pi, p2に基づいて、より極立たせてコントラストを明確にすることができ、ユーザは、発音体 411、発音体 412の特徴を、一層はっきりと把握することがでさるよう〖こなる。

[0097] Al, A2の計算と RAM 103への更新が終わったら、ステップ S312に進む。

[0098] 一方、角 Θが所定の角度 φ以上であると判断された場合 (ステップ S309 ;No)、増幅率 A1として変化率 clを、増幅率 A2として変化率 c2をそれぞれ採用するように、 RA M 103内を更新して（ステップ S311)、ステップ S312に進む。これは、発音体 411 と発音体 412が十分に離れており、両者のコントラストを明確にする必要がない場合に相当する。たとえば、ステレオ音声出力や 5.1チャンネル音声出力で発音体の音が発生している方向を示すような場合には、注目点 405から見た発音体 411、発音体 412が仮想空間 401内で配置されている方向が離れている場合には、このような差異の明確化が不要な場合もある。

[0099] なお、 cos 0や 0の計算ならびに Θと φの比較を一切省略して、常にステップ S310 の処理が行われることとしても良!、。

[0100] また、見込む角 Θを用いるのではなぐ仮想空間 401内における発音体 411と発音体 412の距離 |rl(t)-r2(t)|が所定の閾値よりも小さいか否かによって判断することとしても良い。

[0101] なお、音声処理部 110のハードウェアの態様によっては、ミキシング対象の音声情報 al(t), a2(t)を設定した上で、所望の時刻で変化させるべき増幅率 Al, A2を直接指示することとしている場合もある。このような場合には、 RAM 103に記憶して更新する処理にかえて、音声処理部 110のハードウェアに増幅率 Al, A2を指定する指示を出すこととすれば良い。

[0102] さて、このようにして、 RAM 103内に記憶される増幅率 Al, A2が更新された後は、これらの発音体 411、発音体 412を含む仮想空間 401を注目点 405から見た三次元グラフィックス画像を生成して (ステップ S312)、垂直同期割り込みが生じるまで待機し (ステップ S313)、垂直同期割り込みが生じたら生成されたグラフィックス画像をフレームメモリに転送して（ステップ S314)、ステップ S304に戻る。

[0103] このように、本実施形態によれば、 2つの発音体が発する音声の差異を、これらに割り当てられた音量係数に基づいて、より極立たせてコントラストを明確にすることができ、本音声出力装置のユーザは、 2つの発音体の特徴を、一層はっきりと把握することがでさるよう〖こなる。

実施例 2

[0104] 以下で説明する実施形態は、 3つ以上の発音体がある場合 (で、かつ、すべてについてコントラストを明確ィ匕したい場合）に対応するものである。すなわち、発音体が n個あり、その音量係数が pi, p2, _P3, · ··, pnであり、

pi > p3 >… > pn > p2

t 、う関係がある場合を考える。

[0105] まず、音量係数力 ¾1, p2, p3, · ··, pnである発音体のそれぞれに対する変化率は、上記実施例と同様に求めることができ、

cl, c2, c3, · ··, cn

となるちのとする。 [0106] 次に、音量係数力 ¾1, p2であるものの増幅率 Al, A2は上記実施形態と同様に求める。

[0107] あとは、音量係数が p3, · ··, pnである発音体のそれぞれに対する増幅率 A3, · ··, A nをどのように定める力、ということとなる。

[0108] このような場合に、たとえば、音量係数が pi (3≤ n)である発音体について、以下のような種々の関係を満たすように、増幅率 Ai (3≤ n)を定める、という手法がありうる。

(1) Al/cl： Ai/ci = Ai/ci： A2/c2 ;すなわち、 Ai = ci X (Al XA2/(cl X c2))^{1 2}

(2) Al/cl： Ai/ci = pi： pi ;すなわち、 Ai = ci X pi X Al/(cl X pl)

(3) A2/c2： Ai/ci = p2： pi;すなわち、 Ai = ci X pi X A2/(c2 X p2)

(4) (Al/cl - Ai/ci):(Ai/ci - A2/c2) = (pi - pi):(pi - p2) ;すなわち、内分を行うのである。

[0109] このような手法を採用することにより、 3つ以上の発音体がある場合にも、これらに割り当てられた音量係数に基づいて、より極立たせてコントラストを明確にすることができる。

[0110] なお、本願については、日本国特許出願特願 2005— 060312号を基礎とする優先権を主張するものとし、当該基礎出願の内容を、すべて、本願の内容として取り込むものとする。

産業上の利用可能性

[0111] 以上説明したように、本発明によれば、 2つの発音体の音声の差異を明確にして臨場感を高めるように出力するのに好適な音声出力装置、音声出力方法、ならびに、これらをコンピュータにて実現するプログラムを記録したコンピュータ読取可能な情報記録媒体、および、当該プログラムを提供することができ、ゲーム装置において各種の競争ゲーム等を実現する場合のほか、教育目的等で各種の仮想体験を提供するバーチャルリアリティ技術に適用することができる。

Claims

請求の範囲

[1] 仮想空間内を移動する 2つの発音体のそれぞれに対応付けられる音声情報および音量係数を記憶する記憶部（202)、

当該仮想空間内における所定の注目点と当該 2つの発音体のそれぞれとの距離を計算する距離計算部 (203)、

当該 2つの発音体のそれぞれが発する音声の音量が、当該発音体について計算された距離だけ離れることによって変化する変化率を計算する変化率計算部（204)、当該 2つの音量係数のうち大きい方に対応付けられる発音体に対して、その変化率よりも大きい増幅率を計算し、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対して、その変化率よりも小さい増幅率を計算する増幅率計算部 (205) 当該 2つの発音体のそれぞれに対応付けられる音声情報を前記当該発音体に対して計算された増幅率で増幅して加算した音声を出力する混合出力部 (206) を備えることを特徴とする音声出力装置 (201)。

[2] 請求項 1に記載の音声出力装置（201)であって、

前記混合出力部（206)は、当該仮想空間内における当該所定の注目点の位置と当該 2つの発音体の位置とが、所定の条件を満たす場合は、当該 2つの発音体のそれぞれに対応付けられる音声情報を前記計算された変化率で増幅して加算した音声を出力し、当該所定の条件を満たさない場合は、当該 2つの発音体のそれぞれに対応付けられる音声情報を当該発音体に対して計算された増幅率で増幅して加算した音声を出力する

ことを特徴とする物。

[3] 請求項 1に記載の音声出力装置（201)であって、

前記増幅率計算部（205)は、当該 2つの音量係数のうち大きい方の小さい方に対する比により、当該 2つの音量係数のうち大きい方に対応付けられる発音体に対する増幅率を、当該変化率に当該比を乗じたものとし、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対する増幅率を、当該変化率に当該比の逆数を乗じたものとすることを特徴とする物。

[4] 請求項 1に記載の音声出力装置（201)であって、

前記増幅率計算部（205)は、当該 2つの音量係数のうち大きい方の小さい方に対する比の所定の羃乗により、当該 2つの音量係数のうち大きい方に対応付けられる発音体に対する増幅率を、当該変化率に当該比の所定の羃乗を乗じたものとし、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対する増幅率を、当該変化率に当該比の所定の羃乗の逆数を乗じたものとする

ことを特徴とする物。

[5] 請求項 1に記載の音声出力装置（201)であって、

前記混合出力部（206)は、当該音声情報の加算に飽和加算を用いる

ことを特徴とする物。

[6] 仮想空間内を移動する 2つの発音体のそれぞれに対応付けられる音声情報および音量係数が記憶される記憶部を用いる音声出力方法であって、

当該仮想空間内における所定の注目点と当該 2つの発音体のそれぞれとの距離を計算する距離計算工程、

当該 2つの発音体のそれぞれが発する音声の音量が、当該発音体について計算された距離だけ離れることによって変化する変化率を計算する変化率計算工程、当該 2つの音量係数のうち大きい方に対応付けられる発音体に対して、その変化率よりも大きい増幅率を計算し、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対して、その変化率よりも小さい増幅率を計算する増幅率計算工程、当該 2つの発音体のそれぞれに対応付けられる音声情報を当該発音体に対して計算された増幅率で増幅して加算した音声を出力する混合出力工程

を備えることを特徴とする方法。

[7] コンピュータを、

仮想空間内を移動する 2つの発音体のそれぞれに対応付けられる音声情報および音量係数を記憶する記憶部（202)、

当該仮想空間内における所定の注目点と当該 2つの発音体のそれぞれとの距離を計算する距離計算部 (203)、当該 2つの発音体のそれぞれが発する音声の音量が、当該発音体について計算された距離だけ離れることによって変化する変化率を計算する変化率計算部（204)、当該 2つの音量係数のうち大きい方に対応付けられる発音体に対して、その変化率よりも大きい増幅率を計算し、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対して、その変化率よりも小さい増幅率を計算する増幅率計算部 (205) 当該 2つの発音体のそれぞれに対応付けられる音声情報を当該発音体に対して計算された増幅率で増幅して加算した音声を出力する混合出力部 (206)

として機能させることを特徴とするプログラムを記録したコンピュータ読取可能な情報記録媒体。

[8] コンピュータを、

当該 2つの発音体のそれぞれが発する音声の音量が、当該発音体について計算された距離だけ離れることによって変化する変化率を計算する変化率計算部（204)、当該 2つの音量係数のうち大きい方に対応付けられる発音体に対して、その変化率よりも大きい増幅率を計算し、当該 2つの音量係数のうち小さい方に対応付けられる発音体に対して、その変化率よりも小さい増幅率を計算する増幅率計算部 (205) 当該 2つの発音体のそれぞれに対応付けられる音声情報を当該発音体に対して計算された増幅率で増幅して加算した音声を出力する混合出力部 (206)

として機能させることを特徴とするプログラム。