JP4471086B2 - オーディオ再生装置、オーディオデータ配信サーバ、オーディオデータ配信システム、その方法及びプログラム - Google Patents

Description

本発明は、無線又は有線を介してオーディオ信号を配信するオーディオ配信システム、オーディオ配信装置、オーディオ受信装置に関し、特に複数チャネルのオーディオ信号を伝送路の状態に応じてチャネル数を切り替えて配信を行なうオーディオ配信システム、オーディオ配信装置、オーディオ受信装置に関する。

オーディオを配信する方法として、ラジオのような無線やインターネットのような有線による方法が知られている。ここで、ラジオでは、電波が弱い場合、モノラル成分のみを受信して再生することにより、音質劣化を抑える技術が知られている。また、インターネット配信では、ステレオデータとモノラルデータ、又は、５．１チャネルデータと２チャンネルデータを伝送路の状態に応じて切り替えることにより、伝送路の輻輳を回避したり、パケット損失による音質劣化を抑える技術が知られている。

上記のようなステレオデータとモノラルデータを伝送路の状態に応じて切り替えて配信する場合、切替により主観音声品質が劣化する場合がある。この理由は、ステレオからモノラルに突然切り替わることにより、左右に広がっていた音像が突然真ん中に移動することによって、聞き手に違和感を生じさせるからである。同様に、５．１チャネルデータと２チャネルデータを突然切り替えることも聞き手に違和感を生じさせる。

聞き手に違和感や主観音声品質の劣化を感じさせること無く、オーディオデータのチャネル数を変更することが可能な技術が求められている。チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することができる技術が望まれている。

関連する技術として昭６１−８４９３３号公報にＡＭステレオ復調装置が開示されている。このＡＭステレオ復調装置は、基準信号発生手段と、リミッタ手段と、同期検波手段と、切り替え手段とを含む。基準信号発生手段は、ＡＭステレオ信号中の互いに位相が直行する１対のキャリア成分に夫々位相同期した１対の基準信号を発生する。リミッタ手段は、ＡＭステレオ信号の振幅変動成分を除去した信号を発生する。同期検波手段は、ＡＭステレオ信号と１対の基準信号とを夫々乗算してステレオ復調信号を得る。切り替え手段は、１対の基準信号の非発生時に、同期検出手段の乗算入力の１つを１対の基準信号の代わりにリミッタ手段の出力に切り替える。更に、受信電界強度が低下して１対の基準信号が非発生となる以前に、電界強度に応じて１対の基準信号の位相を制御する位相制御手段を有する。

他の関連する技術として、特開平８−１９１４９８号公報に音場拡大装置が開示されている。この音場拡大装置は、モノラル音場拡大手段と、ステレオ音場拡大手段と、合成手段と、切替手段とを有する。モノラル音場拡大手段は、モノラルオーディオ信号の音場拡大を行う。ステレオ音場拡大手段は、ステレオオーディオ信号の音場拡大を行う。合成手段は、上記モノラル音場拡大手段とステレオ音場拡大手段の出力を合成して出力する。切替手段は、上記モノラル音場拡大手段の出力と上記ステレオ音場拡大手段の出力と上記合成手段の出力のうちいずれか一つを選択的に切り替える。上記切替手段は、入力された信号がモノラルからステレオに切り替わるときには、上記モノラル音場拡大手段の出力から上記合成手段の出力に切り替えた後上記ステレオ音場拡大手段へと順次切り替える。入力された信号がステレオからモノラルに切り替わるときには、上記ステレオ音場拡大手段の出力から上記合成手段の出力に切り替えた後上記モノラル音場拡大手段の出力へと順次切り替える。

更に他の関連する技術として特開２０００−１５２３９６号公報に音声チャネル数変換方法及び装置が開示されている。この音声チャネル数変換方法は、少なくとも視聴者の前方に左右２チャンネルと後方に１チャンネルを有する多チャンネルステレオの音声信号（以下、原音声信号という）を、２チャンネルステレオ信号（以下、変換音声信号）に変換する音声チャンネル数変換方法である。原音声信号の左チャンネルの音声信号Ｌに、当該音声信号Ｌの位相と逆相の原音声信号の後方チャンネルの音声信号Ｓを加算して、変換音声信号の左チャンネルの音声信号Ｌｓｍとするステップと、原音声信号の右チャンネルの音声信号Ｒに、当該音声信号Ｒの位相と逆相の原音声信号の後方チャンネルの音声信号Ｓを加算して、変換音声信号の右チャンネルの音声信号Ｒｓｍとするステップとを備える。

昭６１−８４９３３号公報 特開平８−１９１４９８号公報 特開２０００−１５２３９６号公報

従って、本発明の目的は、聞き手に違和感や主観音声品質の劣化を感じさせること無く、オーディオデータのチャネル数を変更することが可能なチャンネル数可変オーディオ配信システム、オーディオ配信装置、オーディオ受信装置を提供することにある。

また、本発明の他の目的は、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することができるチャンネル数可変オーディオ配信システム、オーディオ配信装置、オーディオ受信装置を提供することにある。

以下に、発明を実施するための最良の形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための最良の形態との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号・符号を、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。

従って、上記課題を解決するために、本発明のオーディオ再生装置（１０／１０ａ／１０ｂ／１０ｃ）は、データ復号部（２４、２５／８４、８５）と、混合部（２７／８７）とを具備する。データ復号部（２４、２５／８４、８５）は、オーディオデータを復号し、オーディオ信号を出力する。ただし、オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第１チャネル数よりも小さい第２チャネル数を有する第２オーディオデータのいずれか一方を含む。オーディオ信号は、第１オーディオデータを復号した第１オーディオ信号及び第２オーディオデータを復号した第２オーディオ信号のうちのオーディオデータに対応したものを含む。混合部（２７／８７）は、オーディオ信号が第１オーディオ信号及び第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、一方の信号もしくは他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号をオーディオ信号として出力する。
本発明により、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することができ、聞き手に違和感や主観音声品質の劣化を感じさせること無く、オーディオデータのチャネル数を変更することが可能となる。ここで、例えば、第１オーディオデータは、２チャネル（ステレオ）や５．１チャネルのデータであり、対応する第２オーディオデータは、モノラルや２チャネル（ステレオ）のデータである。一方の信号と他方の信号との比率を連続的に変化させる場合、一定の割合で変化させなくても良く、例えば、最初と最後を緩やかに変化させ、途中を比較的急に変化させるようにすることも可能である。

上記のオーディオ再生装置において、混合部（２７／８７）は、オーディオ信号が第１オーディオ信号及び第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、第１オーディオ信号から第２チャネル数の擬似第２オーディオ信号を生成する。そして、第１オーディオ信号と擬似第２オーディオ信号との比率を連続的に変化させた混合信号として出力する。

上記のオーディオ再生装置において、混合部（２７／８７）は、遅延部（２６／８６）と、平滑部（２７／８７）とを備える。遅延部（２６／８６）は、第１オーディオ信号及び第２オーディオ信号を所定の時間だけ遅延させて、遅延第１オーディオ信号及び遅延第２オーディオ信号を出力する。平滑部（２７／８７）は、オーディオ信号が第１オーディオ信号及び第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、所定の時間の間、擬似第２オーディオ信号を生成し、第１オーディオ信号と擬似第２オーディオ信号との比率を連続的に変化させた混合信号として出力する。

上記のオーディオ再生装置において、オーディオデータにおける第１オーディオデータ及び第２オーディオデータのいずれか一方から他方への切替を検出する検出部（２１）を更に具備する。検出部（２１）は、混合部（２７／８７）へ切替のタイミングを通知する。混合部（２７／８７）は、切替のタイミングに会わせて、混合信号を出力する。

上記のオーディオ再生装置において、混合部（２７／８７）は、第１オーディオ信号及び第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、一方の信号と他方の信号との比率を連続的に変化させる時間の長さをオーディオ信号の性質に応じて変化させる。

上記のオーディオ再生装置において、オーディオ信号の性質は、オーディオ信号の各チャネルの信号同士の相関である。

従って、上記課題を解決するために、本発明のオーディオデータ配信サーバ（２０／２０ａ／２０ｂ／２０ｃ／２０ｄ）は、データ送信部（１３／１３ａ／１３ｂ／１３ｃ／１３ｄ／５３）と、情報受信部（１１）と、制御部（１２）とを具備する。データ送信部（１３／１３ａ／１３ｂ／１３ｃ／１３ｄ／５３）は、ネットワーク（３）を介してオーディオデータを配信先（２０／２０ａ／２０ｂ／２０ｃ）へ送信する。ただし、オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第１チャネル数よりも小さい第２チャネル数を有する第２オーディオデータのいずれか一方を含む。情報受信部（１１）は、ネットワーク（３）を介した配信先（２０／２０ａ／２０ｂ／２０ｃ）への送信の状態に関するデータを含む返信データを配信先（２０／２０ａ／２０ｂ／２０ｃ）から受信する。制御部（１２）は、返信データに基づいて、第１オーディオデータ及び第２オーディオデータのいずれか一方をオーディオデータとして選択し、選択されたオーディオデータをデータ送信部（１３／１３ａ／１３ｂ／１３ｃ／１３ｄ／５３）に送信させる。

上記のオーディオデータ配信サーバにおいて、第１オーディオデータを格納する第１オーディオデータベース（１４／５４）と、第２オーディオデータを格納する第２オーディオデータベース（１５／５５）とを更に具備する。

上記のオーディオデータ配信サーバにおいて、オーディオデータを受信するデータ受信部（１６）を更に具備する。データ送信部（１３ｄ）は、オーディオデータを復号してオーディオ信号を取得する切替部（１７）を備える。ここで、オーディオ信号は、第１オーディオデータを復号した第１オーディオ信号及び第２オーディオデータを復号した第２オーディオ信号のうちのオーディオデータに対応したものを含む。切替部（１７）は、オーディオ信号が第１オーディオ信号及び第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、一方の信号もしくは他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号をオーディオ信号とし、オーディオ信号を符号化して出力する。

従って、上記課題を解決するために、本発明のオーディオデータ配信システムは、サーバ（１０／１０ａ／１０ｂ／１０ｃ）と、オーディオ再生装置（２０／２０ａ／２０ｂ／２０ｃ）とを具備する。サーバ（１０／１０ａ／１０ｂ／１０ｃ）は、ネットワーク（３）を介してオーディオデータを配信する。ここで、オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第１チャネル数よりも小さい第２チャネル数を有する第２オーディオデータのいずれか一方を含む。オーディオ再生装置（２０／２０ａ／２０ｂ／２０ｃ）は、ネットワーク（３）を介してオーディオデータを受信する上記のいずれか一項に記載されている。

上記のオーディオデータ配信システムにおいて、オーディオ再生装置（２０／２０ａ／２０ｂ／２０ｃ）は、オーディオデータの受信に基づいて、ネットワーク（３）の通信状態を示す返信データをサーバ（１０／１０ａ／１０ｂ／１０ｃ）へ送信する。サーバ（１０／１０ａ／１０ｂ／１０ｃ）は、上記のいずれか一項に記載のオーディオデータ配信サーバ（１０／１０ａ／１０ｂ／１０ｃ）である。

従って、上記課題を解決するために、本発明のオーディオ再生方法は、オーディオデータを復号して、オーディオ信号を出力するステップ（Ｓ２５）と、オーディオ信号が第１オーディオ信号及び第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、一方の信号もしくは他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号をオーディオ信号として出力するステップ（Ｓ２７）と、オーディオ信号を再生するステップ（Ｓ２８）とを具備する。ここで、オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第１チャネル数よりも小さい第２チャネル数を有する第２オーディオデータのいずれか一方を含む。オーディオ信号は、第１オーディオデータを復号した第１オーディオ信号及び第２オーディオデータを復号した第２オーディオ信号のうちのオーディオデータに対応したものを含む。

上記のオーディオ再生方法において、混合信号を出力するステップは、第１オーディオ信号から第２チャネル数の擬似第２オーディオ信号を生成するステップと、第１オーディオ信号と擬似第２オーディオ信号との比率を連続的に変化させた混合信号として出力するステップとを備える。

上記のオーディオ再生方法において、擬似第２オーディオ信号を生成するステップは、第１オーディオ信号及び第２オーディオ信号を所定の時間だけ遅延させて、遅延第１オーディオ信号及び遅延第２オーディオ信号を出力するステップと、所定の時間の間、擬似第２オーディオ信号を生成するステップとを備える。

上記のオーディオ再生方法において、オーディオデータにおける第１オーディオデータ及び第２オーディオデータのいずれか一方から他方への切替を検出するステップを更に具備する。混合信号を出力するステップは、切替のタイミングに会わせて混合信号を出力する。

従って、上記課題を解決するために、本発明のオーディオデータ配信方法は、ネットワークを介してオーディオデータを配信先へ送信するステップ（Ｓ１〜２／Ｓ３４〜３５）と、ネットワークを介した配信先への送信の状態に関するデータを含む返信データを配信先から受信する（Ｓ６〜７／Ｓ３９〜４０）ステップと、返信データに基づいて、第１オーディオデータ及び第２オーディオデータのいずれか一方をオーディオデータとして選択するステップ（Ｓ８〜９／Ｓ４１〜４２）とを具備する。ここで、オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第１チャネル数よりも小さい第２チャネル数を有する第２オーディオデータのいずれか一方を含む。オーディオデータを配信先へ送信するステップは、選択されたオーディオデータを送信する。

上記のオーディオデータ配信方法において、第１オーディオデータを第１オーディオデータベースから取得するステップと、第２オーディオデータを格納する第２オーディオデータベースから取得するステップとを更に具備する。

上記のオーディオデータ配信方法において、オーディオデータを外部からネットワークを介して受信するステップ（Ｓ３１〜３２）を更に具備する。オーディオデータを配信先へ送信するステップ（Ｓ３４〜３５）は、オーディオデータを復号してオーディオ信号を取得するステップ（Ｓ５２）と、オーディオ信号が第１オーディオ信号及び第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、一方の信号もしくは他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号をオーディオ信号として出力するステップ（Ｓ５３）と、オーディオ信号及び混合信号を符号化するステップ（Ｓ５４）とを備える。ここで、オーディオ信号は、第１オーディオデータを復号した第１オーディオ信号及び第２オーディオデータを復号した第２オーディオ信号のうちのオーディオデータに対応したものを含む。

従って、上記課題を解決するために、本発明のオーディオデータ送受信方法は、ネットワークを介してオーディオデータを配信先へ送信するステップと、ネットワークを介してオーディオデータを受信して、請求項１乃至６のいずれか一項に記載のオーディオ再生方法を実行するステップとを具備する。ここで、オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第１チャネル数よりも小さい第２チャネル数を有する第２オーディオデータのいずれか一方を含む。

上記のオーディオデータ送受信方法において、オーディオデータの受信に基づいて、ネットワークの通信状態を示す返信データを、配信先から送信するステップと、返信データに基づいて、第１オーディオデータ及び第２オーディオデータのいずれか一方をオーディオデータとしてオーディオ再生装置へ配信するステップとを更に具備する。

従って、上記課題を解決するために、本発明のオーディオ再生方法をコンピュータに実行させるためのプログラムは、オーディオデータを復号して、オーディオ信号を出力するステップ（Ｓ２５）と、オーディオ信号が第１オーディオ信号及び第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、一方の信号もしくは他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号をオーディオ信号として出力するステップ（Ｓ２７）と、オーディオ信号を再生するステップ（Ｓ２８）とを具備する。ここで、オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第１チャネル数よりも小さい第２チャネル数を有する第２オーディオデータのいずれか一方を含む。オーディオ信号は、第１オーディオデータを復号した第１オーディオ信号及び第２オーディオデータを復号した第２オーディオ信号のうちのオーディオデータに対応したものを含む。

上記のプログラムにおいて、混合信号を出力するステップは、第１オーディオ信号から第２チャネル数の擬似第２オーディオ信号を生成するステップと、第１オーディオ信号と擬似第２オーディオ信号との比率を連続的に変化させた混合信号として出力するステップとを備える。

上記のプログラムにおいて、擬似第２オーディオ信号を生成するステップは、第１オーディオ信号及び第２オーディオ信号を所定の時間だけ遅延させて、遅延第１オーディオ信号及び遅延第２オーディオ信号を出力するステップと、所定の時間の間、擬似第２オーディオ信号を生成するステップとを備える。

上記のプログラムにおいて、オーディオデータにおける第１オーディオデータ及び第２オーディオデータのいずれか一方から他方への切替を検出するステップを更に具備する。混合信号を出力するステップは、切替のタイミングに会わせて混合信号を出力する。

従って、上記課題を解決するために、本発明のオーディオデータ配信方法をコンピュータに実行させるためのプログラムは、ネットワークを介してオーディオデータを配信先へ送信するステップ（Ｓ１〜２／Ｓ３４〜３５）と、ネットワークを介した配信先への送信の状態に関するデータを含む返信データを配信先から受信する（Ｓ６〜７／Ｓ３９〜４０）ステップと、返信データに基づいて、第１オーディオデータ及び第２オーディオデータのいずれか一方をオーディオデータとして選択するステップ（Ｓ８〜９／Ｓ４１〜４２）とを具備する。ここで、オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第１チャネル数よりも小さい第２チャネル数を有する第２オーディオデータのいずれか一方を含む。オーディオデータを配信先へ送信するステップは、選択されたオーディオデータを送信する。

上記のプログラムにおいて、第１オーディオデータを第１オーディオデータベースから取得するステップと、第２オーディオデータを格納する第２オーディオデータベースから取得するステップとを更に具備する。

上記のプログラムにおいて、オーディオデータを外部からネットワークを介して受信するステップ（Ｓ３１〜３２）を更に具備する。オーディオデータを配信先へ送信するステップ（Ｓ３４〜３５）は、オーディオデータを復号してオーディオ信号を取得するステップ（Ｓ５２）と、オーディオ信号が第１オーディオ信号及び第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、一方の信号もしくは他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号をオーディオ信号として出力するステップ（Ｓ５３）と、オーディオ信号及び混合信号を符号化するステップ（Ｓ５４）とを備える。ここで、オーディオ信号は、第１オーディオデータを復号した第１オーディオ信号及び第２オーディオデータを復号した第２オーディオ信号のうちのオーディオデータに対応したものを含む。

本発明により、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することができる。そして、聞き手に違和感や主観音声品質の劣化を感じさせること無く、オーディオデータのチャネル数を変更することが可能となる。

以下、本発明のチャンネル数可変オーディオ配信システム、オーディオ配信装置、オーディオ受信装置の実施の形態に関して、添付図面を参照して説明する。
ここでは、インターネット網でオーディオデータを配信する方法であるＩＥＴＦ（Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ） ＲＦＣ１８８９で規定されたリアルタイム通信プロトコルＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いた例を説明する。その際、ＲＦＣ１８８９で規定されているＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）パケットを用いてパケット損失率やラウンドトリップ時間（ＲＴＴ）等の伝送路に関する情報を得ることもできる。ただし、本発明はその通信プロトコルに限定されるものではなく、データ配信に用いられる他の通信プロトコルを用いることも可能である。

（第１の実施の形態）
図１は、本発明のオーディオ配信システムの第１の実施の形態を示す構成図である。オーディオ配信システム１は、伝送路３を介して双方向通信可能に接続されたサーバ１０とクライアント端末２０とを具備する。

オーディオ配信装置としてのサーバ１０は、ワークステーションに例示される情報処理装置である。伝送路３の状態に応じてオーディオデータをステレオ又はモノラルに切り替え、クライアント端末２０へ配信する。伝送路３の状態は、データの配信時に使用可能な回線容量や回線の輻輳の状態に例示される。

オーディオ受信装置としてのクライアント端末２０は、パーソナルコンピュータやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や携帯電話のような情報端末、ラジオのような受信機能付きのオーディオ機器に例示される。サーバ１０から配信されたオーディオデータを受信して、オーディオデータに対応して、それをステレオ又はモノラルで再生する。

伝送路３は、無線や有線による通信において使用される回線（伝送路）であり、インターネットのような公衆回線に例示される。

サーバ１０は、情報受信部１１、送信制御部１２、データ送信部１３を備える。

データ送信部１３は、ＩＥＴＦ ＲＦＣ１８８９で規定されたリアルタイム通信プロトコルＲＴＰを用いて、オーディオデータの配信を行う。すなわち、オーディオデータ及び送信時刻等を格納したＲＴＣＰ Ｓｅｎｄｅｒ Ｒｅｐｏｒｔ（ＳＲ）パケットをクライアント端末２０に送信する。ここで、オーディオデータには、ＲＴＰヘッダとしてパケットの送信順番を示す連続した番号であるシーケンス番号やオーディオを再生する時刻を示すタイムスタンプ等が付与されている。オーディオデータとしてステレオデータ及びモノラルデータのどちらを送信すべきかについては、送信制御部１２により制御される。
データ送信部１３は、ステレオデータを格納するステレオデータベース１４とモノラルデータを格納するモノラルデータベース１５とを含む。

情報受信部１１は、クライアント端末２０から送信されてくるＲＲパケット（後述）を受信する。そして、ＲＲパケット受信時刻、及びＲＲパケットに格納されているパケット損失率、ジッタ、ＳＲパケット送信時刻、ＤＬＳＲ（以上、後述）を送信制御部１２に出力する。

送信制御部１２は、ＲＲパケット受信時刻、ＳＲパケット送信時刻、及びＤＬＳＲを用いてＲＴＴを計算する。さらに、パケット損失率、ＲＴＴ、及びジッタのすべて、あるいは一部を用いて伝送路の輻輳を推定する。そして、ステレオデータ及びモノラルデータのどちらを送信すべきか判定し、判定結果に基づいてデータ送信部１３を制御する。

クライアント端末２０は、データ受信部２１、情報取得部２２、情報送信部２３、ステレオ復号部２５、モノラル復号部２４、遅延部２６、平滑切替部２７、再生部２８を備える

データ受信部２１は、サーバ１０からデータパケット又はＳＲパケットを受信する。そして、データパケット受信時刻、ＳＲパケット受信時刻、ＲＴＰヘッダに付与されたシーケンス番号とタイムスタンプ、ＳＲパケットに格納されているＳＲパケット送信時刻を情報取得部２２に出力する。オーディオデータについては、ステレオデータを受信した場合、そのデータをステレオ復号部２５に出力する。モノラルデータを受信した場合、そのデータをモノラル復号部２４に入力する。

ステレオ復号部２５は、ステレオデータを復号してステレオ信号（Ｌ信号及びＲ信号）を遅延部２６に出力する。モノラル復号部２４は、モノラルデータを復号してモノラル信号を遅延部２６に出力する。

遅延部２６は、入力された信号（入力信号）をＴ秒間分バッファリング（一時的に蓄積）した後、所定の出力信号を出力する。ここで、その出力信号がステレオ信号（Ｌ信号及びＲ信号）の場合、ステレオ信号に加えて、入力信号のステレオとモノラルとが切り替わってからの経過時間ｔを平滑切替部２７に出力する。出力信号がモノラル信号の場合は、モノラル信号を再生部２８に出力する。

平滑切替部２７は、遅延部２６からのステレオ信号（Ｌ信号及びＲ信号）と経過時間ｔとに基づいて、ステレオとモノラルがスムーズに切り替わるように変換（平滑化）されたステレオ信号（Ｌｓｍ信号及びＲｓｍ信号）を出力する。

再生部２８は、オーディオ信号を再生する音声の再生装置であり、スピーカに例示される。ステレオがモノラルに切り替わった場合、スムーズな切り替えが行われた平滑切替部２７からのステレオ信号（Ｌｓｍ信号及びＲｓｍ信号）を再生し、その後、連続的に遅延部２６からのモノラル信号を再生する。モノラルがステレオに切り替わった場合、モノラル信号からスムーズな切り替えが行われた平滑切替部２７からのステレオ信号（Ｌｍｓ信号及びＲｍｓ信号）に切り替えて再生する。

情報取得部２２は、シーケンス番号の欠損を調べることによりパケット損失率を計算する。データパケット受信時刻とタイムスタンプを用いてパケット到着遅延の揺らぎ（ジッタ）を計算する。そして、パケット損失率、ジッタ、ＳＲパケット送信時刻、及びＳＲパケットを受信してからＲＲパケットを送信するまでの時間（ＤＬＳＲ）を情報伝送部２３に出力する。

情報送信部２３は、パケット損失率、ジッタ、ＳＲパケット送信時刻、及びＤＬＳＲをＲＴＣＰ Ｒｅｃｅｉｖｅｒ Ｒｅｐｏｒｔ（ＲＲ）パケットに格納し、ＲＲパケットをサーバ１０に送信する。

次に、平滑切替部２７を詳細に説明する。図２は、平滑切替部２７の構成を示すブロック図である。平滑切替部２７は、ゲイン計算部３１、加算部３２、３６、３７、乗算部３３、３４、３５を備える。

オーディオ信号がステレオからモノラルへ切り替わる場合について説明する。
ステレオからモノラルに切り替わってからｔ秒後のステレオ信号の左チャネルの信号（Ｌ信号）と右チャネルの信号（Ｒ信号）をそれぞれＬ（ｔ）、Ｒ（ｔ）とする。加算部３２は、ステレオ信号であるＬ信号とＲ信号とに基づいて、それらのモノラル信号Ｍ（ｔ）を次式で計算し、乗算部３５へ出力する。
Ｍ（ｔ）＝｛Ｌ（ｔ）＋Ｒ（ｔ）｝／２ （１）

ｔ≦Ｔの場合、各構成は以下のように動作する。
ゲイン計算部３１は、経過時間ｔに基づいて、乗算部３３、３４の係数Ａ＝｛（Ｔ−ｔ）／Ｔ｝、及び、乗算部３５の係数Ｂ＝（ｔ／Ｔ）を計算し、乗算部３３、３４、及び、乗算部３５へ出力する。
乗算部３３は、ステレオ信号であるＬ信号と係数Ａとに基づいて、その乗算の結果｛（Ｔ−ｔ）／Ｔ｝×Ｌ（ｔ）を加算部３６に出力する。
乗算部３４は、ステレオ信号であるＲ信号と係数Ａとに基づいて、その乗算の結果｛（Ｔ−ｔ）／Ｔ｝×Ｒ（ｔ）を加算部３７に出力する。
乗算部３５は、モノラル信号Ｍ（ｔ）と係数Ｂとに基づいて、その乗算の結果（ｔ／Ｔ）×Ｍ（ｔ）を加算部３６及び加算部３７に出力する。

加算部３６は、乗算部３３の出力と乗算部３５の出力とに基づいて、以下の式で平滑化後のＬ信号であるＬｓｍ（ｔ）を計算し、再生部２８へ出力する。
Ｌｓｍ（ｔ）＝｛（Ｔ−ｔ）／Ｔ｝×Ｌ（ｔ）＋（ｔ／Ｔ）×Ｍ（ｔ） （２）
加算部３７は、乗算部３４の出力と乗算部３５の出力とに基づいて、以下の式で平滑化後のＲ信号であるＲｓｍ（ｔ）を計算し、再生部２８へ出力する。
Ｒｓｍ（ｔ）＝｛（Ｔ−ｔ）／Ｔ｝×Ｒ（ｔ）＋（ｔ／Ｔ）×Ｍ（ｔ） （３）

そして、再生部２８は、ｔ＝Ｔで、平滑切替部２７の出力であるステレオ信号（Ｌｓｍ信号及びＲｓｍ信号）から遅延部２６の出力であるモノラル信号に連続的に切り換えて、オーディオ信号を再生する。

ｔ＞Ｔの場合、ゲイン計算部３１は、経過時間ｔに基づいて、乗算部３３、３４、３５に与える係数をそれぞれ１、１、０とする。それにより、Ｌ信号とＲ信号をそのまま再生部２８に出力する。

上述のような式（２）〜（３）による変換により、ステレオ信号からモノラル信号へ移行する際、経過時間ｔに応じてＬ（ｔ）及びＲ（ｔ）とＭ（ｔ）とが平滑化されたＬｓｍ（ｔ）及びＲｓｍ（ｔ）を得ることができる。すなわち、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することが可能となる。

オーディオ信号がモノラルからステレオへ切り替わる場合について説明する。
ここで、モノラルからステレオに切り替わってからｔ秒後のステレオ信号の左チャネルの信号（Ｌ信号）と右チャネルの信号（Ｒ信号）をそれぞれＬ（ｔ）、Ｒ（ｔ）とする。加算部３２は、ステレオ信号であるＬ信号とＲ信号とに基づいて、それらのモノラル信号Ｍ（ｔ）を次式で計算し、乗算部３５へ出力する。
Ｍ（ｔ）＝｛Ｌ（ｔ）＋Ｒ（ｔ）｝／２ （１）

ゲイン計算部３１は、経過時間ｔに基づいて、乗算部３３、３４の係数Ａ＝（ｔ／Ｔ）、及び、乗算部３５の係数Ｂ＝｛（Ｔ−ｔ）／Ｔ｝を計算し、乗算部３３、３４、及び、乗算部３５へ出力する。
乗算部３３は、ステレオ信号であるＬ信号と係数Ａとに基づいて、その乗算の結果（ｔ／Ｔ）×Ｌ（ｔ）を加算部３６に出力する。
乗算部３４は、ステレオ信号であるＲ信号と係数Ａとに基づいて、その乗算の結果（ｔ／Ｔ）×Ｒ（ｔ）を加算部３７に出力する。
乗算部３５は、モノラル信号Ｍ（ｔ）と係数Ｂとに基づいて、その乗算の結果｛（Ｔ−ｔ）／Ｔ｝×Ｍ（ｔ）を加算部３６及び加算部３７に出力する。

加算部３６は、乗算部３３の出力と乗算部３５の出力とに基づいて、以下の式で平滑化後のＬ信号であるＬｍｓ（ｔ）を計算し、再生部２８へ出力する。
Ｌｍｓ（ｔ）＝（ｔ／Ｔ）×Ｌ（ｔ）＋｛（Ｔ−ｔ）／Ｔ｝×Ｍ（ｔ） （４）
加算部３７は、乗算部３４の出力と乗算部３５の出力とに基づいて、以下の式で平滑化後のＲ信号であるＲｍｓ（ｔ）を計算し、再生部２８へ出力する。
Ｒｍｓ（ｔ）＝（ｔ／Ｔ）×Ｒ（ｔ）＋｛（Ｔ−ｔ）／Ｔ｝×Ｍ（ｔ） （５）

再生部２８は、ｔ＝０で、遅延部２６の出力であるモノラル信号から平滑切替部２７の出力であるステレオ信号（Ｌｍｓ信号及びＲｍｓ信号）に連続的に切り換えて、オーディオ信号を再生する。ｔ＝Ｔ以降は、通常のステレオ信号を再生する。

上述のような式（４）〜（５）による変換により、モノラル信号からステレオ信号へ移行する際、経過時間ｔに応じてＬ（ｔ）及びＲ（ｔ）とＭ（ｔ）とが平滑化されたＬｍｓ（ｔ）及びＲｍｓ（ｔ）を得ることができる。すなわち、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することが可能となる。

なお、Ｔはチャネル数が完全に切り替わるまでの時間になるが、オーディオ信号の性質等に応じて適応的に変化させることも可能である。例えば、次式で示すＬ（ｔ）とＲ（ｔ）の相互相関値Ｓ（ｔ）において、Ｓ（ｔ）が最大となるｔ＝Ｔｓを求める。Ｔｓの絶対値が小さい場合は、音像の位置が真ん中に近いことを意味するため、平滑化時間Ｔを小さくする。
Ｓ（ｔ）＝ΣＬ（ｔ）×Ｒ（ｔ＋τ）
ただし、Σは、τ＝−Ｔ／２〜Ｔ／２の範囲で加算。

平滑切替部２７については、（２）〜（５）式に（１）式を代入して計算した（２’）〜（５’）を算出可能な構成によっても実現可能である。
Ｌｓｍ（ｔ）＝｛（２Ｔ−ｔ）／２Ｔ｝×Ｌ（ｔ）＋（ｔ／２Ｔ）×Ｒ（ｔ） （２’）
Ｒｓｍ（ｔ）＝（ｔ／２Ｔ）×Ｌ（ｔ）＋｛（２Ｔ−ｔ）／２Ｔ｝×Ｒ（ｔ） （３’）
Ｌｍｓ（ｔ）＝（Ｔ＋ｔ／２Ｔ）×Ｌ（ｔ）＋｛（Ｔ−ｔ）／２Ｔ｝×Ｒ（ｔ） （４’）
Ｒｍｓ（ｔ）＝（Ｔ−ｔ／２Ｔ）×Ｌ（ｔ）＋｛（Ｔ＋ｔ）／２Ｔ｝×Ｒ（ｔ） （５’）

次に、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作について説明する。図３は、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作を示すフロー図である。ここでは、伝送路３としてのインターネット網でする方法として、リアルタイム通信プロトコルＲＴＰを用いてオーディオデータを配信する例を用いて説明する。

まず、伝送路の状態に応じてステレオとモノラルを切り替えて送信する動作について説明する。
サーバ１０側におけるデータ送信部１３は、データベース（１４又は１５）から取得したオーディオデータ及び送信時刻等を格納し、ＲＴＰヘッダを付与されたＲＴＣＰ ＳＲパケット（送信データ）を生成する（ステップＳ１）。ＲＴＰヘッダは、パケットの送信順番を示す連続した番号であるシーケンス番号やオーディオを再生する時刻を示すタイムスタンプ等を含む。オーディオデータとしては、送信制御部１２の指令に基づいて、ステレオデータ及びモノラルデータのいずれかを選択する。そして、そのＳＲパケット（送信データ）をクライアント端末２０に伝送路３を介して送信する（ステップＳ２）。

クライアント２０側におけるデータ受信部２１は、データパケット又はＳＲパケットを受信する。そして、データパケット受信時刻、ＳＲパケット受信時刻、ＲＴＰヘッダに付与されたシーケンス番号とタイムスタンプ、ＳＲパケットに格納されているＳＲパケット送信時刻を情報取得部２２に出力する（ステップＳ３）。オーディオデータについては、データ再生用の処理が施される。ステップＳ４，Ｓ５と並行して行われる（ステップＳ１１）が、詳細は後述する。情報取得部２２は、シーケンス番号の欠損を調べることによりパケット損失率を計算し、データパケット受信時刻とタイムスタンプを用いてパケット到着遅延の揺らぎ（ジッタ）を計算する（ステップＳ４）。そして、パケット損失率、ジッタ、ＳＲパケット送信時刻、及びＳＲパケットを受信してからＲＲパケットを送信するまでの時間（ＤＬＳＲ）を情報伝送部２３に出力する（ステップＳ５）。情報伝送部２３は、パケット損失率、ジッタ、ＳＲパケット送信時刻、及びＤＬＳＲを格納したＲＴＣＰ Ｒｅｃｅｉｖｅｒ Ｒｅｐｏｒｔ（ＲＲ）パケット（返信データ）を生成する（ステップＳ５）。そして、ＲＲパケット（返信データ）をサーバ１０に送信する（ステップＳ６）。

サーバ１０側における情報受信部１１は、ＲＲパケットを受信する。そして、ＲＲパケット受信時刻、及びＲＲパケットに格納されているパケット損失率、ジッタ、ＳＲパケット送信時刻、ＤＬＳＲを送信制御部１２に出力する（ステップＳ７）。送信制御部１２は、ＲＲパケット受信時、ＳＲパケット送信時刻、及びＤＬＳＲを用いてＲＴＴを計算する（ステップＳ８）。さらに、パケット損失率、ＲＴＴ、及びジッタのすべて、あるいは一部を用いて伝送路の輻輳を推定し、ステレオデータかモノラルデータどちらを送信すべきか判定する。そして、判定結果をデータ送信部１３に出力する（ステップＳ９）。オーディオデータの送信が完了していない場合（ステップＳ１０：Ｎｏ）、ステップＳ１へ戻る。完了している場合（ステップＳ１０：Ｙｅｓ）プロセスを終了する。

パケット損失率、ＲＴＴ、及びジッタの計算方法の詳細は、ＲＦＣ１８８９を参照できる。また、これらの値を用いて伝送路の輻輳状態を推定する方法には様々なものがあり、それらを利用することも可能であるが、ここでは発明の中心でないため、詳細については省略する。

次に、クライアント端末２０におけるオーディオデータの再生の処理（ステップＳ１１）について説明する。図４は、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作におけるオーディオデータの再生の処理を示すフロー図である。

データ受信部２１は、サーバ１０からデータパケット又はＳＲパケットを受信する。そして、それらのデータからオーディオデータを抽出する（ステップＳ２１）。続いて、抽出されたオーディオデータが、ステレオデータかモノラルデータかを判断する（ステップＳ２２）。モノラルデータを受信した場合、そのデータをモノラル復号部２４に入力する。ステレオデータを受信した場合、そのデータをステレオ復号部２５に出力する。

モノラル復号部２４は、入力されたモノラルデータを復号してモノラル信号を遅延部２６に出力する（ステップＳ２３）。遅延部２６は、入力されたモノラル信号をＴ秒間分バッファリングした後、再生部２８に出力する（ステップＳ２４）。

ステレオ復号部２５は、入力されたステレオデータを復号してステレオ信号（Ｌ信号及びＲ信号）を遅延部２６に出力する（ステップＳ２５）。遅延部２６は、入力されたステレオ信号をＴ秒間分バッファリングする。その後、ステレオ信号、及び、遅延部２６への入力がステレオとモノラルが切り替わってからの経過時間ｔを平滑切替部２７に出力する（ステップＳ２６）。平滑切替部２７は、遅延部２６からのステレオ信号（Ｌ信号及びＲ信号）と経過時間ｔとに基づいて、ステレオとモノラルがスムーズに切り替わるように変換されたステレオ信号（Ｌｓｍ信号及びＲｓｍ信号、上述）を出力する（ステップＳ２７）。

再生部２８は、ステレオ信号からモノラル信号に変更される場合、平滑切替部２７からのスムーズにステレオとモノラルの切替が行なわれたステレオ信号（Ｌｓｍ信号及びＲｓｍ信号）を再生し、その後連続的に遅延部２６からのモノラル信号を再生する。一方、モノラル信号からステレオ信号に変更される場合、遅延部２６からのモノラル信号を再生後、連続的に平滑切替部２７からのスムーズにステレオとモノラルの切替が行なわれたステレオ信号（Ｌｓｍ信号及びＲｓｍ信号）を再生する（ステップＳ２８）。

本発明により、クライアント端末２０のユーザ（聞き手）に違和感や主観音声品質の劣化を感じさせること無く、オーディオデータのチャネル数を変更することが可能となる。そして、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することができる。

（第２の実施の形態）
図５は、本発明のオーディオ配信システムの第２の実施の形態を示す構成図である。オーディオ配信システム１ｂは、伝送路３を介して双方向通信可能に接続されたサーバ１０ｂとクライアント端末２０ｂとを具備する。

オーディオ配信装置としてのサーバ１０は、配信するオーディオデータがステレオデータから５．１チャンネルデータ、モノラルデータから２チャンネルデータになっている点で、第１の実施の形態と異なる。それに伴い、データ送信部５３において、配信するオーディオデータとして２チャンネルデータベース５４に格納された２チャンネルデータ、及び、５．１チャンネルデータベース５５に格納された５．１チャンネルデータを備えている。他の構成については、第１の実施の形態と同じであるのでその説明を省略する。

オーディオ受信装置としてのクライアント端末２０は、受信及び再生するオーディオデータがステレオデータから５．１チャンネルデータ、モノラルデータから２チャンネルデータになっている点で、第１の実施の形態と異なる。それに伴い、５．１チャンネル対応の５．１チャネル復号部８５及び平滑切替部８７、２チャネル対応の２チャネル復号部８４、両チャネル対応の遅延部８６及び再生部８８を備えている。他の構成については、第１の実施の形態と同じであるのでその説明を省略する。

伝送路３については、第１の実施の形態と同じであるのでその説明を省略する。

次に、平滑切替部８７を詳細に説明する。図６は、平滑切替部８７の構成を示すブロック図である。平滑切替部８７は、ゲイン計算部６１、加算部６２〜６９、乗算部７２〜７９を備える。

オーディオ信号が５．１チャネルから２チャネルへ切り替わる場合について説明する。
５．１チャネルから２チャネルに切り替わってからｔ秒後の５．１チャネルにおける正面、左前、左後、右前、及び右後に対する信号をそれぞれＣ（ｔ）、Ｌｆ（ｔ）、Ｌｒ（ｔ）、Ｒｆ（ｔ）、Ｒｒ（ｔ）とする。

加算部６７は、Ｒｆ（ｔ）、Ｒｒ（ｔ）とに基づいて、２チャネル信号Ｒ（ｔ）を次式で計算し、乗算部７７及び加算部６９へ出力する。
Ｒ（ｔ）＝｛Ｒｆ（ｔ）＋Ｒｒ（ｔ）｝／２ （７）
加算部６８は、Ｌｆ（ｔ）、Ｌｒ（ｔ）とに基づいて、２チャネル信号Ｌ（ｔ）を次式で計算し、乗算部７８及び加算部６９へ出力する。
Ｌ（ｔ）＝｛Ｌｆ（ｔ）＋Ｌｒ（ｔ）｝／２ （８）
加算部６９は、Ｒ（ｔ）、Ｌ（ｔ）とに基づいて、平滑化に用いる信号ＬＲ（ｔ）を次式で計算し、乗算部７９へ出力する。
ＬＲ（ｔ）＝｛Ｌ（ｔ）＋Ｒ（ｔ）｝／２
＝｛Ｌｆ（ｔ）＋Ｌｒ（ｔ）＋Ｒｆ（ｔ）＋Ｒｒ（ｔ）｝／４ （９）

ｔ≦Ｔの場合、各構成は以下のよう動作する。
ゲイン計算部６１は、経過時間ｔに基づいて、乗算部７２〜７６の係数Ａ＝｛（Ｔ−ｔ）／Ｔ｝、及び、乗算部７７〜７９の係数Ｂ＝（ｔ／Ｔ）を計算し、乗算部７２〜７６、及び、乗算部７７〜７９へ出力する。
乗算部７２〜７６は、Ｃ（ｔ）、Ｌｆ（ｔ）、Ｌｒ（ｔ）、Ｒｆ（ｔ）、Ｒｒ（ｔ）と係数Ａとに基づいて、その乗算の結果｛（Ｔ−ｔ）／Ｔ｝×各信号、をそれぞれ加算部６２〜６６に出力する。
乗算部７７〜７９は、Ｌ１（ｔ）、Ｒ１（ｔ）、ＬＲ（ｔ）と係数Ｂとに基づいて、その乗算の結果（ｔ／Ｔ）×各信号、をそれぞれ加算部６３、６４、加算部６５、６６、加算部６２に出力する。

加算部６２は、乗算部７２の出力と乗算部７９の出力とに基づいて、以下の式で平滑化後のＣ（ｔ）であるＣ_５２（ｔ）を計算し、再生部２８へ出力する。
Ｃ_５２（ｔ）＝｛（Ｔ−ｔ）／Ｔ｝×Ｃ（ｔ）＋（ｔ／Ｔ）×ＬＲ（ｔ） （１０）
加算部６３は、乗算部７３の出力と乗算部７８の出力とに基づいて、以下の式で平滑化後のＬｆ（ｔ）であるＬｆ_５２（ｔ）を計算し、再生部２８へ出力する。
Ｌｆ_５２（ｔ）＝｛（Ｔ−ｔ）／Ｔ｝×Ｌｆ（ｔ）＋（ｔ／Ｔ）×Ｌ（ｔ） （１１）
加算部６４は、乗算部７４の出力と乗算部７８の出力とに基づいて、以下の式で平滑化後のＬｒ（ｔ）であるＬｒ_５２（ｔ）を計算し、再生部２８へ出力する。
Ｌｒ_５２（ｔ）＝｛（Ｔ−ｔ）／Ｔ｝×Ｌｒ（ｔ）＋（ｔ／Ｔ）×Ｌ（ｔ） （１２）
加算部６５は、乗算部７５の出力と乗算部７７の出力とに基づいて、以下の式で平滑化後のＲｆ（ｔ）であるＲｆ_５２（ｔ）を計算し、再生部２８へ出力する。
Ｒｆ_５２（ｔ）＝｛（Ｔ−ｔ）／Ｔ｝×Ｒｆ（ｔ）＋（ｔ／Ｔ）×Ｒ（ｔ） （１３）
加算部６６は、乗算部７６の出力と乗算部７７の出力とに基づいて、以下の式で平滑化後のＲｒ（ｔ）であるＲｒ_５２（ｔ）を計算し、再生部２８へ出力する。
Ｒｒ_５２（ｔ）＝｛（Ｔ−ｔ）／Ｔ｝×Ｒｒ（ｔ）＋（ｔ／Ｔ）×Ｒ（ｔ） （１４）

そして、再生部２８は、ｔ＝Ｔで、平滑切替部２７の出力である５．１チャネル信号（Ｃ_５２信号、Ｌｆ_５２信号、Ｌｒ_５２信号、Ｒｆ_５２信号、Ｒｒ_５２信号）から遅延部２６の出力である２チャネル信号（Ｌ信号、Ｒ信号）に連続的に切り換えて、オーディオ信号を再生する。

２チャネルデータ（Ｌ（ｔ）信号、Ｒ（ｔ）信号）を受信した場合、再生部８８としての正面、左前、左後、右前、及び右後に対する各スピーカは、それぞれ｛Ｌ（ｔ）＋Ｒ（ｔ）｝／２、Ｌ（ｔ）、Ｌ（ｔ）、Ｒ（ｔ）、Ｒ（ｔ）を再生する。低域信号である０．１チャネルの信号は、指向性がなく、チャネル数の切替による影響ないことから、平滑化を行なわない。

上述のような式（１０）〜（１４）による変換により、５．１チャネル信号から２チャネル信号へ移行する際、経過時間ｔに応じてＣ（ｔ）とＬＲ（ｔ）、Ｌｆ（ｔ）及びＬｒ（ｔ）とＬ（ｔ）、Ｒｆ（ｔ）及びＲｒ（ｔ）とＲ（ｔ）、がそれぞれ平滑化されたＣ_５２（ｔ）、Ｌｆ_５２（ｔ）、Ｌｒ_５２（ｔ）、Ｒｆ_５２（ｔ）及びＲｒ_５２（ｔ）を得ることができる。すなわち、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することが可能となる。

ｔ＞Ｔの場合、ゲイン計算部６１は、経過時間ｔに基づいて、乗算部７２〜７６、７７〜７９に与える係数をそれぞれ１、０とする。それにより、Ｃ（ｔ）、Ｌｆ（ｔ）、Ｌｒ（ｔ）、Ｒｆ（ｔ）、Ｒｒ（ｔ）をそのまま再生部２８に出力する。

オーディオ信号が２チャネルから５．１チャネルへ切り替わる場合について説明する。
２チャネルから５．１チャネルに切り替わってからｔ秒後の５．１チャネルにおける正面、左前、左後、右前、及び右後に対する信号をそれぞれＣ（ｔ）、Ｌｆ（ｔ）、Ｌｒ（ｔ）、Ｒｆ（ｔ）、Ｒｒ（ｔ）とする。

加算部６７は、Ｒｆ（ｔ）、Ｒｒ（ｔ）とに基づいて、２チャネル信号Ｒ（ｔ）を次式で計算し、乗算部７７及び加算部６９へ出力する。
Ｒ（ｔ）＝｛Ｒｆ（ｔ）＋Ｒｒ（ｔ）｝／２ （７）
加算部６８は、Ｌｆ（ｔ）、Ｌｒ（ｔ）とに基づいて、２チャネル信号Ｌ（ｔ）を次式で計算し、乗算部７８及び加算部６９へ出力する。
Ｌ（ｔ）＝｛Ｌｆ（ｔ）＋Ｌｒ（ｔ）｝／２ （８）
加算部６９は、Ｒ（ｔ）、Ｌ（ｔ）とに基づいて、平滑化に用いる信号ＬＲ（ｔ）を次式で計算し、乗算部７９へ出力する。
ＬＲ（ｔ）＝｛Ｌ（ｔ）＋Ｒ（ｔ）｝／２
＝｛Ｌｆ（ｔ）＋Ｌｒ（ｔ）＋Ｒｆ（ｔ）＋Ｒｒ（ｔ）｝／４ （９）

ゲイン計算部６１は、経過時間ｔに基づいて、乗算部７２〜７６の係数Ａ＝（ｔ／Ｔ）、及び、乗算部７７〜７９の係数Ｂ＝｛（Ｔ−ｔ）／Ｔ｝を計算し、乗算部７２〜７６、及び、乗算部７７〜７９へ出力する。
乗算部７２〜７６は、Ｃ（ｔ）、Ｌｆ（ｔ）、Ｌｒ（ｔ）、Ｒｆ（ｔ）、Ｒｒ（ｔ）と係数Ａとに基づいて、その乗算の結果（ｔ／Ｔ）×各信号、を加算部６２〜６６に出力する。
乗算部７７〜７９は、Ｌ１（ｔ）、Ｒ１（ｔ）、ＬＲ（ｔ）と係数Ｂとに基づいて、その乗算の結果｛（Ｔ−ｔ）／Ｔ｝×各信号、を加算部６３、６４、加算部６５、６６、加算部６２に出力する。

加算部６２は、乗算部７２の出力と乗算部７９の出力とに基づいて、以下の式で平滑化後のＣ（ｔ）であるＣ_２５（ｔ）を計算し、再生部２８へ出力する。
Ｃ_２５（ｔ）＝（ｔ／Ｔ）×Ｃ（ｔ）＋｛（Ｔ−ｔ）／Ｔ｝×ＬＲ（ｔ） （１５）
加算部６３は、乗算部７３の出力と乗算部７８の出力とに基づいて、以下の式で平滑化後のＬｆ（ｔ）であるＬｆ_２５（ｔ）を計算し、再生部２８へ出力する。
Ｌｆ_２５（ｔ）＝（ｔ／Ｔ）×Ｌｆ（ｔ）＋｛（Ｔ−ｔ）／Ｔ｝×Ｌ（ｔ） （１６）
加算部６４は、乗算部７４の出力と乗算部７８の出力とに基づいて、以下の式で平滑化後のＬｒ（ｔ）であるＬｒ_２５（ｔ）を計算し、再生部２８へ出力する。
Ｌｒ_２５（ｔ）＝（ｔ／Ｔ）×Ｌｒ（ｔ）＋｛（Ｔ−ｔ）／Ｔ｝×Ｌ（ｔ） （１７）
加算部６５は、乗算部７５の出力と乗算部７７の出力とに基づいて、以下の式で平滑化後のＲｆ（ｔ）であるＬｆ_２５（ｔ）を計算し、再生部２８へ出力する。
Ｒｆ_２５（ｔ）＝（ｔ／Ｔ）×Ｒｆ（ｔ）＋｛（Ｔ−ｔ）／Ｔ｝×Ｒ（ｔ） （１８）
加算部６６は、乗算部７６の出力と乗算部７７の出力とに基づいて、以下の式で平滑化後のＲｒ（ｔ）であるＬｒ_２５（ｔ）を計算し、再生部２８へ出力する。
Ｒｒ_２５（ｔ）＝（ｔ／Ｔ）×Ｒｒ（ｔ）＋｛（Ｔ−ｔ）／Ｔ｝×Ｒ（ｔ） （１９）

再生部２８は、ｔ＝０で、遅延部２６の出力である２チャネル信号（Ｌ信号、Ｒ信号）から平滑切替部２７の出力である５．１チャネル信号（Ｃ_５２信号、Ｌｆ_５２信号、Ｌｒ_５２信号、Ｒｆ_５２信号、Ｒｒ_５２信号）に連続的に切り換えて、オーディオ信号を再生する。ｔ＝Ｔ以降、本来の５．１チャネル信号（Ｃ（ｔ）、Ｌｆ（ｔ）、Ｌｒ（ｔ）、Ｒｆ（ｔ）、Ｒｒ（ｔ））を再生する。

上述のような式（１５）〜（１９）による変換により、２チャネル信号から５．１チャネル信号へ移行する際、経過時間ｔに応じてＣ（ｔ）とＬＲ（ｔ）、Ｌｆ（ｔ）及びＬｒ（ｔ）とＬ（ｔ）、Ｒｆ（ｔ）及びＲｒ（ｔ）とＲ（ｔ）、がそれぞれ平滑化されたＣ_２５（ｔ）、Ｌｆ_２５（ｔ）、Ｌｒ_２５（ｔ）、Ｒｆ_２５（ｔ）及びＲｒ_２５（ｔ）を得ることができる。すなわち、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することが可能となる。

次に、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作については、上述の各式（７）〜（１９）を用いているほかは、第１の実施の形態と同様であるので、その説明を省略する。

本発明により、クライアント端末２０のユーザ（聞き手）に違和感や主観音声品質の劣化を感じさせること無く、オーディオデータのチャネル数を変更することが可能となる。そして、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することができる。

（第３の実施の形態）
図７は、本発明のオーディオ配信システムの第３の実施の形態を示す構成図である。オーディオ配信システム１は、伝送路３を介して双方向通信可能に接続されたサーバ１０ａとクライアント端末２０ａとを具備する。

図７に示す本実施の形態におけるオーディオ配信システムは、図１における遅延部２６を用いない点で第1の実施の形態と異なる。ステレオ信号からモノラル信号を生成するのに第１の実施の形態では、ステレオからモノラルに切り替える場合に、遅延部２６によりステレオ信号をＴ秒間バッファリングしている。しかし、ステレオからモノラルに切り替わるＴ秒前に送信側から切替の通知があれば、バッファリングする必要がない。図７において、データ送信部１３ａは、Ｔ秒後にステレオからモノラルに切り替える場合、その切替の発生を示す切替データをクライアントに通知する。この方法として、例えば、データ送信部１３ａは、切替のＴ秒前のオーディオデータに切替データを加えてクライアント端末２０ａに送信する、又は、切替のＴ秒前までに別パケットで切替時刻をクライアント端末２０ａに送信する。データ受信部２１ａは、受信した切替データを平滑切替部２７に入力する。平滑切替部２７は、切替データに含まれる時刻ｔとステレオ復号部２５からのＬ信号及びＲ信号とに基づいて、第１の実施の形態と同様に、平滑化されたステレオ信号を生成する。

オーディオ配信システムの他の機能及び構成は、第１の実施の形態と同じであるのでその説明を省略する。

次に、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作において、伝送路の状態に応じてステレオとモノラルを切り替えて送信する動作については、送信データにステレオからモノラルへの切替の発生を示す切替データを含んでいるほかは、第１の実施の形態（図３）と同様であるのでその説明を省略する。

次に、クライアント端末２０におけるオーディオデータの再生の処理（ステップＳ１１）については、遅延処理Ｓ２４及びＳ２６を行わず、平滑化処理Ｓ２７で切替データを時刻ｔとして用いる他は第１の実施の形態（図４）と同様であるのでその説明を省略する。

本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。加えて、遅延部２６を省略できるので、クライアント端末の構成を簡略化することが可能となる。

更に、本実施の形態は、５．１チャネルと２チャネルとの切替においても同様に用いることができる。その場合、切替データで示される時刻ｔは、５．１チャネルと２チャネルとの切替の時刻である。

（第４の実施の形態）
図８は、本発明のオーディオ配信システムの第４の実施の形態を示す構成図である。オーディオ配信システム１は、伝送路３を介して双方向通信可能に接続されたサーバ１０ａとクライアント端末２０ｃとを具備する。

図８に示す本実施の形態におけるオーディオ配信システムは、データ送信部１３ｃを用いる点で他の実施の形態と異なる。図９は、データ送信部１３ｃの構成を示すブロック図である。上記各実施の形態のデータ送信部１３、５３、１３ａでは、予め用意しておいたデータを送信している。しかし、本実施の形態では、図９に示すように、データ送信部１３ｃは、マイク４０（Ｌ信号用マイク４１及びＲ信号用マイク４２）からリアルタイムにオーディオデータ（ここでは、ステレオデータ）を取得して送信する。図８のデータ送信部１３ｃにおいて、マイク４１、４２から得たそれぞれＬ信号とＲ信号は、ステレオ符号化部４５に入力され、送信可能なステレオデータとなる。それとともに、これらの信号は、加算器４３で加算され、乗算器４４で１／２が乗算されて得られて、モノラル信号となる。そのモノラル信号は、モノラル符号化部４６に入力され、送信可能なモノラルデータとなる。そして、第１の実施の形態と同様に、送信制御部１２の決定に基いて、データ送信部１３ｃは、ステレオとモノラルのデータを切り替えて送信する。

なお、マイク４０からのオーディオデータは、第１の実施の形態のようなデータベースに保管した後、出力するようにしても良い。その場合、オーディオデータの再利用が可能となる。

オーディオ配信システムの他の機能及び構成は、第１の実施の形態と同じであるのでその説明を省略する。

次に、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作において、伝送路の状態に応じてステレオとモノラルを切り替えて送信する動作については、送信されるデータがリアルタイムなオーディオデータであるほかは、第１の実施の形態（図３）と同様であるのでその説明を省略する。

次に、クライアント端末２０におけるオーディオデータの再生の処理（ステップＳ１１）については、第１の実施の形態（図４）と同様であるのでその説明を省略する。

本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。加えて、本実施の形態は、マイク４０として５．１チャネル用のものを用いることで、第２の実施の形態にそのまま利用でき、第２の実施の形態と同様の効果を得ることも可能である。更に、本実施の形態は、切替データを送信データに含ませることで、第３の実施の形態にそのまま利用でき、第３の実施の形態と同様の効果を得ることも可能である。

（第５の実施の形態）
図１０は、本発明のオーディオ配信システムの第５の実施の形態を示す構成図である。オーディオ配信システム１ｄは、伝送路３を介して双方向通信可能に接続されたサーバ１０ｄとクライアント端末２０ｄとを具備する。

図１０に示す本実施の形態におけるオーディオ配信システムは、サーバ１０ｄがゲートウェイとして動作する。本発明において、データ送信部１３、５３、１３ａでは、予め用意しておいたデータを送信している。しかし、図１０に示すように、本実施の形態では、別のサーバ９０から受信したオーディオデータをクライアント端末２０ｄに送信する点で他の実施の形態と異なる。

サーバ９０は、ワークステーションに例示される情報処理装置である。伝送路３ｄを介してオーディオデータ（例示：ステレオデータ、モノラルデータ）をサーバ１０ｄへ送信する。

サーバ１０ｄは、ワークステーションに例示される情報処理装置である。サーバ９０が送信したオーディオデータについて、クライアント端末２０ｄがスムーズにオーディオデータを受信できるように、必要に応じて通信プロトコルを変換する。そして、そのオーディオデータをクライアント端末２０ｄへ配信する。その際、伝送路３の状態に応じてオーディオデータをステレオ又はモノラルに切り替える。伝送路３の状態は、配信時に使用可能な回線容量に例示される。

クライアント端末２０は、パーソナルコンピュータやＰＤＡや携帯電話のような情報端末、ラジオのような受信機能付きのオーディオ機器に例示される。サーバ１０から配信されたオーディオデータを受信して、オーディオデータに対応して、それをステレオ又はモノラルで再生する。

伝送路３及び伝送路３ｄは、無線や有線による通信において使用される回線（伝送路）であり、インターネットのような公衆回線に例示される。

サーバ９０は、データ送信部９３を備える。
データ送信部９３は、スステレオデータベース９４とモノラルデータベース９５とを含み、所定の通信プロトコルに基づいて、各データベースの内から選択されたオーディオデータをサーバ１０ｄへ配信する。ステレオデータベース９４はステレオデータを格納し、モノラルデータベース９５はモノラルデータを格納する。

サーバ１０ｄは、データ受信部１６、情報受信部１１、送信制御部１２、データ送信部１３ｄを備える。

データ受信部１６は、サーバ９０からオーディデータを受信する。そして、そのオーディオデータをデータ送信部１３ｄへ出力する。

データ送信部１３ｄは、データ受信部１６からのオーディオデータがステレオデータの場合、一時的にステレオデータベース１４に格納する。モノラルデータの場合、一時的にモノラルデータベース１５に格納する。そして、そのオーディオデータの通信プロトコルをリアルタイム通信プロトコルＲＴＰに変換して、オーディオデータの配信を行う。すなわち、オーディオデータ及び送信時刻等を格納したＲＴＣＰ ＳＲパケットをクライアント端末２０ｄに送信する。ここで、オーディオデータには、ＲＴＰヘッダとしてパケットの送信順番を示す連続した番号であるシーケンス番号やオーディオを再生する時刻を示すタイムスタンプ等が付与されている。オーディオデータとしてステレオデータ及びモノラルデータのどちらを送信すべきかについては、送信制御部１２により制御される。

送信されるオーディオデータとしてステレオデータとモノラルデータとを切り替える際、データ送信部１３ｄは、平滑切替部１７において第１の実施の形態で示される違和感の発生しない方法でオーディオデータを切り替える。すなわち、サーバ９０から送信されるオーディオデータがステレオデータ及びモノラルデータの両方の場合、平滑切替部１７は、両データを復号して得られるステレオ信号（Ｌ（ｔ）、Ｒ（ｔ））及びモノラル信号（Ｍ（ｔ））に基づいて、式（２）〜（５）を計算する。サーバ９０から送信されるオーディオデータがステレオデータのみの場合、平滑切替部１７は、ステレオデータを復号して得られるステレオ信号（Ｌ（ｔ）、Ｒ（ｔ））に基づいて、式（１）〜（５）を計算する。そして、得られた信号を符号化して出力する。

情報受信部１１及び送信制御部１２については、第１の実施の形態と同様であるので、その説明を省略する。

クライアント端末２０は、遅延部２６及び平滑切替部２７を用いないほかは、第１の実施の形態と同様であるので、その説明を省略する。

次に、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作について説明する。図１１は、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作を示すフロー図である。

まず、伝送路の状態に応じてステレオとモノラルを切り替えて送信する動作について説明する。
サーバ９０におけるデータ送信部９３は、データベース（９４、９５）から取得したオーディオデータ（例示：ステレオデータ、モノラルデータ）を用いて、所定の通信プロトコルに対応する送信データを生成する（ステップＳ３１）。そして、その送信データをサーバ１０ｄへ伝送路３ｄを介して送信する（ステップＳ３２）。

サーバ１０ｄにおけるデータ受信部１６は、サーバ９０からの送信データを受信する。そして、そのデータがステレオデータを含む場合、データ送信部１３ｄのステレオデータベース１４へ出力する。そのデータがモノラルデータを含む場合、データ送信部１３ｄのモノラルデータベース１５へ出力する（ステップＳ３３）。データ送信部１３ｄは、送信制御部１２の指令に基づいて、ステレオデータ及びモノラルデータのいずれかを選択し、対応するデータベース（１４、１５）からオーディオデータを取得する。そして、そのオーディオデータ及び送信時刻等を含み、ＲＴＰヘッダを付与されたＲＴＣＰ ＳＲパケット（送信データ）を生成する（ステップＳ３４）。その際、ステレオデータとモノラルデータとを切り替える場合には、平滑切替部１７において、各データを平滑化する。ＲＴＰヘッダは、パケットの送信順番を示す連続した番号であるシーケンス番号やオーディオを再生する時刻を示すタイムスタンプ等を含む。オーディオデータとしては、そして、そのＳＲパケット（送信データ）をクライアント端末２０に伝送路３を介して送信する（ステップＳ３５）。

クライアント２０ｄにおけるデータ受信部２１ａは、データパケット又はＳＲパケットを受信する。そして、データパケット受信時刻、ＳＲパケット受信時刻、ＲＴＰヘッダに付与されたシーケンス番号とタイムスタンプ、ＳＲパケットに格納されているＳＲパケット送信時刻を情報取得部２２に出力する（ステップＳ３６）。オーディオデータについては、ステップＳ３７，Ｓ３８と並行して、データ再生用の処理が施される（ステップＳ４４）。情報取得部２２は、シーケンス番号の欠損を調べることによりパケット損失率を計算し、データパケット受信時刻とタイムスタンプを用いてパケット到着遅延の揺らぎ（ジッタ）を計算する（ステップＳ３７）。そして、パケット損失率、ジッタ、ＳＲパケット送信時刻、及びＳＲパケットを受信してからＲＲパケットを送信するまでの時間（ＤＬＳＲ）を情報伝送部２３に出力する。情報伝送部２３は、パケット損失率、ジッタ、ＳＲパケット送信時刻、及びＤＬＳＲを格納したＲＴＣＰ ＲＲパケット（返信データ）を生成する（ステップＳ３８）。そして、ＲＲパケット（返信データ）をサーバ１０に送信する（ステップＳ３９）。

サーバ１０側における情報受信部１１は、ＲＲパケットを受信する。そして、ＲＲパケット受信時刻、及びＲＲパケットに格納されているパケット損失率、ジッタ、ＳＲパケット送信時刻、ＤＬＳＲを送信制御部１２に出力する（ステップＳ４０）。送信制御部１２は、ＲＲパケット受信時、ＳＲパケット送信時刻、及びＤＬＳＲを用いてＲＴＴを計算する（ステップＳ４１）。さらに、パケット損失率、ＲＴＴ、及びジッタのすべて、あるいは一部を用いて伝送路の輻輳を推定し、ステレオデータかモノラルデータどちらを送信すべきか判定する。そして、判定結果をデータ送信部１３に出力する（ステップＳ４２）。オーディオデータの送信が完了していない場合（ステップＳ４３：Ｎｏ）、ステップＳ３４へ戻る。完了している場合（ステップＳ４３：Ｙｅｓ）プロセスを終了する。

パケット損失率、ＲＴＴ、及びジッタの計算方法の詳細は、ＲＦＣ１８８９を参照できる。また、これらの値を用いて伝送路の輻輳状態を推定する方法には様々なものがあり、それらを利用することも可能である。

次に、サーバ１０ｄにおけるオーディオデータの平滑化の処理（ステップＳ３４）について説明する。図１２は、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作におけるオーディオデータの平滑化の処理を示すフロー図である。

送信制御部１２における、ステレオデータかモノラルデータどちらを送信すべきか判定結果（ステップＳ４２）に基づいて、オーディオデータの種類を変更する必要があるか否かを判定する（ステップＳ５１）。オーディオデータの種類を変更する必要がない場合、ステップＳ５５へ進む。オーディオデータの種類を変更する必要がある場合、平滑切替部１７において、オーディオデータを復号する処理を行う（ステップＳ５２）。復号したオーディオ信号について、第１の実施の形態に記載の方法で、平滑化を行う（すてぷＳ５３）。すなわち、オーディオデータとしてステレオデータとモノラルデータとを有している場合、それらを復号したステレオ信号（Ｌ（ｔ）、Ｒ（ｔ））及びモノラル信号（Ｍ（ｔ））に基づいて、式（２）〜（５）を計算する。ステレオデータのみを有している場合、それを復号して得られるステレオ信号（Ｌ（ｔ）、Ｒ（ｔ））に基づいて、式（１）〜（５）を計算する。その後、得られた平滑化された信号を符号化して、送信用のオーディオデータを生成する（ステップＳ５４）。そして、そのオーディオデータ及び送信時刻等を含み、ＲＴＰヘッダを付与されたＲＴＣＰ ＳＲパケット（送信データ）を生成する（ステップＳ５５）

本発明により、クライアント端末２０ｄのユーザ（聞き手）に違和感や主観音声品質の劣化を感じさせること無く、オーディオデータのチャネル数を変更することが可能となる。そして、チャネル数の異なるオーディオデータを音像の移動が滑らかになるように切り替えて再生することができる。
加えて、サーバがデータを切り替える際の平滑化を一括して行っているので、クライアント端末に遅延部や平滑切替部を有している必要が無くなる。

図１は、本発明のオーディオ配信システムの第１の実施の形態を示す構成図である。 図２は、平滑切替部２７の構成を示すブロック図である。 図３は、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作を示すフロー図である。 図４は、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作におけるオーディオデータの再生の処理を示すフロー図である。 図５は、本発明のオーディオ配信システムの第２の実施の形態を示す構成図である。 図６は、平滑切替部８７の構成を示すブロック図である。 図７は、本発明のオーディオ配信システムの第３の実施の形態を示す構成図である。 図８は、本発明のオーディオ配信システムの第４の実施の形態を示す構成図である。 図９は、データ送信部１３ｃの構成を示すブロック図である。 図１０は、本発明のオーディオ配信システムの第５の実施の形態を示す構成図である。 図１１は、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作を示すフロー図である。 図１２は、本発明のチャンネル数可変オーディオ配信システムの実施の形態の動作におけるオーディオデータの平滑化の処理を示すフロー図である。

符号の説明

１ａ、１ｂ、１ｃ、１ｄ オーディオ配信システム
３、３ｄ 伝送路
１０ａ、１０ｂ、１０ｃ、１０ｄ、９０ サーバ
１１ 情報受信部
１２ 送信制御部
１３、１３ａ、１３ｃ、５３、９３ データ送信部
１４、５４、９４ ステレオデータベース
１５、５５、９５ モノラルデータベース
１６ データ受信部
１７ 平滑切替部
２０ａ、２０ｂ、２０ｃ、２０ｄ クライアント端末
２１、２１ａ データ受信部
２２ 情報取得部
２３ 情報送信部
２４、８４ モノラル復号部
２５、８５ ステレオ復号部
２６、８６ 遅延部
２７、８７ 平滑切替部
２８、８８ 再生部
３１、６１ ゲイン計算部
３２、３６、３７、４３、６２〜６９ 加算部
３３、３４、３５、４４、７２〜７９ 乗算部
４０ マイク
４１ Ｌマイク
４２ Ｒマイク
４５ ステレオ符号化部
４６ モノラル符号化部

Claims (22)

1. オーディオデータを復号し、オーディオ信号を出力するデータ復号部と、
   前記オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第２チャネル数を有する第２オーディオデータのいずれか一方を含み、
   前記オーディオ信号は、前記第１オーディオデータを復号した第１オーディオ信号及び前記第２オーディオデータを復号した第２オーディオ信号のうちの前記オーディオデータに対応したものを含み、
   前記オーディオ信号が前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号もしくは前記他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号を前記オーディオ信号として出力する混合部と
   を具備し、
   前記混合部は、前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号と前記他方の信号との比率を連続的に変化させる時間の長さを前記オーディオ信号の性質に応じて変化させ、
   前記オーディオ信号の性質は、前記オーディオ信号の各チャネルの信号同士の相関である
   オーディオ再生装置。
2. 請求項１に記載のオーディオ再生装置において、
   前記混合部は、前記オーディオ信号が前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記第１オーディオ信号から前記第２チャネル数の擬似第２オーディオ信号を生成し、前記第１オーディオ信号と前記擬似第２オーディオ信号との比率を連続的に変化させた前記混合信号として出力する
   オーディオ再生装置。
3. 請求項２に記載のオーディオ再生装置において、
   前記混合部は、前記第１オーディオ信号及び前記第２オーディオ信号を所定の時間だけ遅延させて、遅延第１オーディオ信号及び遅延第２オーディオ信号を出力する遅延部と、
   前記オーディオ信号が前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記所定の時間の間、前記擬似第２オーディオ信号を生成し、前記第１オーディオ信号と前記擬似第２オーディオ信号との比率を連続的に変化させた前記混合信号として出力する平滑部と
   を備える
   オーディオ再生装置。
4. 請求項１又は２に記載のオーディオ再生装置において、
   前記オーディオデータにおける前記第１オーディオデータ及び前記第２オーディオデータのいずれか一方から他方への切替を検出する検出部を更に具備し、
   前記検出部は、前記混合部へ前記切替のタイミングを通知し、
   前記混合部は、前記切替のタイミングに会わせて、前記混合信号を出力する
   オーディオ再生装置。
5. ネットワークを介してオーディオデータを配信先へ送信するデータ送信部と、
   前記オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第２チャネル数を有する第２オーディオデータのいずれか一方を含み、
   前記ネットワークを介した前記配信先への送信の状態に関するデータを含む返信データを前記配信先から前記オーディオデータの送信途中に受信する情報受信部と、
   前記返信データに基づいて、前記オーディオデータの送信途中で、前記第１オーディオデータ及び前記第２オーディオデータのいずれか一方を前記オーディオデータとして選択し、選択された前記オーディオデータを前記データ送信部に送信させる制御部と、
   前記オーディオデータを受信するデータ受信部と
   を具備し、
   前記データ送信部は、前記オーディオデータを復号してオーディオ信号を取得する切替部を備え、
   前記オーディオ信号は、前記第１オーディオデータを復号した第１オーディオ信号及び前記第２オーディオデータを復号した第２オーディオ信号のうちの前記オーディオデータに対応したものを含み、
   前記切替部は、前記オーディオ信号が前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号もしくは前記他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号を前記オーディオ信号とし、前記オーディオ信号を符号化して出力する混合部を含み、
   前記混合部は、前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号と前記他方の信号との比率を連続的に変化させる時間の長さを前記オーディオ信号の性質に応じて変化させ、
   前記オーディオ信号の性質は、前記オーディオ信号の各チャネルの信号同士の相関である
   オーディオデータ配信サーバ。
6. 請求項５に記載のオーディオデータ配信サーバにおいて、
   前記第１オーディオデータを格納する第１オーディオデータベースと、
   前記第２オーディオデータを格納する第２オーディオデータベースと
   を更に具備する
   オーディオデータ配信サーバ。
7. ネットワークを介してオーディオデータを配信するサーバと、
   前記オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第２チャネル数を有する第２オーディオデータのいずれか一方を含み、
   前記ネットワークを介して前記オーディオデータを受信する請求項１乃至４のいずれか一項に記載のオーディオ再生装置と
   を具備する
   オーディオデータ配信システム。
8. 請求項７に記載のオーディオデータ配信システムにおいて、
   オーディオ再生装置は、前記オーディオデータの受信に基づいて、前記ネットワークの通信状態を示す返信データを前記サーバへ送信し、
   前記サーバは、請求項５又は６に記載のオーディオデータ配信サーバである
   オーディオデータ配信システム。
9. オーディオ再生装置が、オーディオデータを復号して、オーディオ信号を出力するステップと、
   ここで、前記オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第２チャネル数を有する第２オーディオデータのいずれか一方を含み、
   前記オーディオ信号は、前記第１オーディオデータを復号した第１オーディオ信号及び前記第２オーディオデータを復号した第２オーディオ信号のうちの前記オーディオデータに対応したものを含み、
   前記オーディオ再生装置が、前記オーディオ信号が前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号もしくは前記他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号を前記オーディオ信号として出力するステップと、
   前記オーディオ再生装置が、前記オーディオ信号を再生するステップと
   を具備し、
   前記混合信号を前記オーディオ信号として出力するステップは、
   前記オーディオ再生装置が、前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号と前記他方の信号との比率を連続的に変化させる時間の長さを前記オーディオ信号の性質に応じて変化させるステップを備え、
   前記オーディオ信号の性質は、前記オーディオ信号の各チャネルの信号同士の相関である
   オーディオ再生方法。
10. 請求項９に記載のオーディオ再生方法において、
    前記混合信号を出力するステップは、
    前記オーディオ再生装置が、前記第１オーディオ信号から前記第２チャネル数の擬似第２オーディオ信号を生成するステップと、
    前記オーディオ再生装置が、前記第１オーディオ信号と前記擬似第２オーディオ信号との比率を連続的に変化させた前記混合信号として出力するステップと
    を備える
    オーディオ再生方法。
11. 請求項１０に記載のオーディオ再生方法において、
    前記擬似第２オーディオ信号を生成するステップは、
    前記オーディオ再生装置が、前記第１オーディオ信号及び前記第２オーディオ信号を所定の時間だけ遅延させて、遅延第１オーディオ信号及び遅延第２オーディオ信号を出力するステップと、
    前記オーディオ再生装置が、前記所定の時間の間、前記擬似第２オーディオ信号を生成するステップと
    を備える
    オーディオ再生方法。
12. 請求項９又は１０に記載のオーディオ再生方法において、
    前記オーディオ再生装置が、前記オーディオデータにおける前記第１オーディオデータ及び前記第２オーディオデータのいずれか一方から他方への切替を検出するステップを更に具備し、
    前記混合信号を出力するステップは、
    前記オーディオ再生装置が、前記切替のタイミングに会わせて前記混合信号を出力する
    オーディオ再生方法。
13. オーディオデータ配信サーバが、ネットワークを介してオーディオデータを配信先へ送信するステップと、
    前記オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第２チャネル数を有する第２オーディオデータのいずれか一方を含み、
    前記オーディオデータ配信サーバが、前記ネットワークを介した前記配信先への送信の状態に関するデータを含む返信データを前記配信先から前記オーディオデータの送信途中に受信するステップと、
    前記オーディオデータ配信サーバが、前記返信データに基づいて、前記オーディオデータの送信途中で、前記第１オーディオデータ及び前記第２オーディオデータのいずれか一方を前記オーディオデータとして選択するステップと、
    前記オーディオデータ配信サーバが、前記オーディオデータをネットワークを介して受信するステップと
    を具備し、
    前記オーディオデータを配信先へ送信するステップは、前記オーディオデータ配信サーバが、選択された前記オーディオデータを送信し、
    前記オーディオデータを前記配信先へ送信するステップは、
    前記オーディオデータ配信サーバが、前記オーディオデータを復号してオーディオ信号を取得するステップと、
    前記オーディオ信号は、前記第１オーディオデータを復号した第１オーディオ信号及び前記第２オーディオデータを復号した第２オーディオ信号のうちの前記オーディオデータに対応したものを含み、
    前記オーディオデータ配信サーバが、前記オーディオ信号が前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号もしくは前記他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号を前記オーディオ信号として出力するステップと、
    前記オーディオデータ配信サーバが、前記オーディオ信号を符号化するステップと
    を備え、
    前記オーディオデータ配信サーバが、前記混合信号を前記オーディオ信号として出力するステップは、前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号と前記他方の信号との比率を連続的に変化させる時間の長さを前記オーディオ信号の性質に応じて変化させるステップを備え、
    前記オーディオ信号の性質は、前記オーディオ信号の各チャネルの信号同士の相関である
    オーディオデータ配信方法。
14. 請求項１３に記載のオーディオデータ配信方法において、
    前記オーディオデータ配信サーバが、前記第１オーディオデータを第１オーディオデータベースから取得するステップと、
    前記オーディオデータ配信サーバが、前記第２オーディオデータを格納する第２オーディオデータベースから取得するステップと
    を更に具備する
    オーディオデータ配信方法。
15. オーディオデータ配信サーバが、ネットワークを介してオーディオデータを配信先へ送信するステップと、
    前記オーディオデータは、第１チャネル数を有する第１オーディオデータ及び第２チャネル数を有する第２オーディオデータのいずれか一方を含み、
    オーディオ再生装置が、前記ネットワークを介して前記オーディオデータを受信して、請求項９乃至１２のいずれか一項に記載のオーディオ再生方法を実行するステップと
    を具備する
    オーディオデータ送受信方法。
16. 請求項１５に記載のオーディオデータ送受信方法において、
    前記オーディオ再生装置が、前記オーディオデータの受信に基づいて、前記ネットワークの通信状態を示す返信データを、前記配信先から送信するステップと、
    前記オーディオデータ配信サーバが、前記返信データに基づいて、前記第１オーディオデータ及び前記第２オーディオデータのいずれか一方を前記オーディオデータとして前記オーディオ再生装置へ配信するステップと
    を更に具備する
    オーディオデータ送受信方法。
17. オーディオデータを復号して、オーディオ信号を出力するステップと、
    ここで、前記オーディオデータは、第１チャネル数を有する第１オーディオデータ及び前記第１チャネル数よりも小さい第２チャネル数を有する第２オーディオデータのいずれか一方を含み、
    前記オーディオ信号は、前記第１オーディオデータを復号した第１オーディオ信号及び前記第２オーディオデータを復号した第２オーディオ信号のうちの前記オーディオデータに対応したものを含み、
    前記オーディオ信号が前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号もしくは前記他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号を前記オーディオ信号として出力するステップと、
    前記オーディオ信号を再生するステップと
    を具備し、
    前記混合信号を前記オーディオ信号として出力するステップは、前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号と前記他方の信号との比率を連続的に変化させる時間の長さを前記オーディオ信号の性質に応じて変化させるステップを備え、
    前記オーディオ信号の性質は、前記オーディオ信号の各チャネルの信号同士の相関である
    オーディオ再生方法をコンピュータに実行させるためのプログラム。
18. 請求項１７に記載のプログラムにおいて、
    前記混合信号を出力するステップは、前記第１オーディオ信号から前記第２チャネル数の擬似第２オーディオ信号を生成するステップと、
    前記第１オーディオ信号と前記擬似第２オーディオ信号との比率を連続的に変化させた前記混合信号として出力するステップと
    を備えるプログラム。
19. 請求項１８に記載のプログラムにおいて、
    前記擬似第２オーディオ信号を生成するステップは、
    前記第１オーディオ信号及び前記第２オーディオ信号を所定の時間だけ遅延させて、遅延第１オーディオ信号及び遅延第２オーディオ信号を出力するステップと、
    前記所定の時間の間、前記擬似第２オーディオ信号を生成するステップと
    を備える
    プログラム。
20. 請求項１７又は１８に記載のプログラムにおいて、
    前記オーディオデータにおける前記第１オーディオデータ及び前記第２オーディオデータのいずれか一方から他方への切替を検出するステップを更に具備し、
    前記混合信号を出力するステップは、前記切替のタイミングに会わせて前記混合信号を出力する
    プログラム。
21. ネットワークを介してオーディオデータを配信先へ送信するステップと、
    前記オーディオデータは、第１チャネル数を有する第１オーディオデータ及び前記第２チャネル数を有する第２オーディオデータのいずれか一方を含み、
    前記ネットワークを介した前記配信先への送信の状態に関するデータを含む返信データを前記配信先から前記オーディオデータの送信途中に受信するステップと、
    前記返信データに基づいて、前記オーディオデータの送信途中で、前記第１オーディオデータ及び前記第２オーディオデータのいずれか一方を前記オーディオデータとして選択するステップと、
    前記オーディオデータをネットワークを介して受信するステップと
    を具備し、
    前記オーディオデータを配信先へ送信するステップは、選択された前記オーディオデータを送信し、
    前記オーディオデータを前記配信先へ送信するステップは、
    前記オーディオデータを復号してオーディオ信号を取得するステップと、
    前記オーディオ信号は、前記第１オーディオデータを復号した第１オーディオ信号及び前記第２オーディオデータを復号した第２オーディオ信号のうちの前記オーディオデータに対応したものを含み、
    前記オーディオ信号が前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号もしくは前記他方の信号における各チャネルの信号について比率を連続的に変化させながら混合した混合信号を前記オーディオ信号として出力するステップと
    を備え、
    前記混合信号を前記オーディオ信号として出力するステップは、前記第１オーディオ信号及び前記第２オーディオ信号のいずれか一方の信号から他方の信号へ切り替わるとき、前記一方の信号と前記他方の信号との比率を連続的に変化させる時間の長さを前記オーディオ信号の性質に応じて変化させるステップを備え、
    前記オーディオ信号の性質は、前記オーディオ信号の各チャネルの信号同士の相関である
    オーディオデータ配信方法をコンピュータに実行させるためのプログラム。
22. 請求項２１に記載のプログラムにおいて、
    前記第１オーディオデータを第１オーディオデータベースから取得するステップと、
    前記第２オーディオデータを格納する第２オーディオデータベースから取得するステップと
    を更に具備する
    プログラム。

Images