JP6145790B2 - 符号化・復号化システム、復号化装置、符号化装置、及び符号化・復号化方法 - Google Patents

Description

本発明は、音響信号や音声信号を効率的に符号化・復号化する符号化・復号化システムに関するものである。

デジタル化した音声信号あるいは音響信号（以下、音信号とも記載する。）を低ビットレートで符号化及び復号化する方式が知られている。例えば、ＨＥ−ＡＡＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）方式（非特許文献１参照。）やＡＭＲ−ＷＢ（Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ−Ｒａｔｅ Ｗｉｄｅｂａｎｄ）方式（非特許文献２参照。）などが代表的である。また、近年では、音声信号及び音響信号をさらに高効率に符号化可能なＭＰＥＧ−ＵＳＡＣ（Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）方式（非特許文献３、以下ＵＳＡＣと記載する。）も知られている。

ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ Ｐａｐｅｒ "Ａ ｃｌｏｓｅｒ ｌｏｏｋ ｉｎｔｏ ＭＰＥＧ−４ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ ＡＡＣ" ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＡＵＤＩＯ， ＳＰＥＥＣＨ， ＡＮＤ ＬＡＮＧＵＡＧＥ ＰＲＯＣＥＳＳＩＮＧ， ＶＯＬ． １５， ＮＯ． ４， ＭＡＹ ２００７ "Ｗｉｄｅｂａｎｄ Ｓｐｅｅｃｈ Ｃｏｄｉｎｇ Ａｄｖａｎｃｅｓ ｉｎ ＶＭＲ−ＷＢ Ｓｔａｎｄａｒｄ" ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ Ｐａｐｅｒ ７７１３ "Ａ Ｎｏｖｅｌ Ｓｃｈｅｍｅ ｆｏｒ Ｌｏｗ Ｂｉｔｒａｔｅ Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ − ＭＰＥＧ ＲＭ０" ＳＴＤ−Ｂ３１ ＴＳ２６．１９１

放送波やインターネット網など、不安定な伝送路において、上記のような方式により音信号を符号化した信号である符号化信号を伝送する場合、伝送路で伝送誤りが発生し、復号化側において符号化信号を構成するフレームが欠損することがある。このような場合、復号化側では、フレームを正常に受信できるようになっても、すぐに復号化を行うことが困難な場合がある。

本発明は、フレームの欠損が起こった際に復号化処理をできるだけ速やかに再開することが可能な符号化・復号化システムを提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る符号化・復号化システムは、音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化システムであって、前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定部と、前記特性判定部が前記音信号が音声信号であると判定した場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定部が前記音信号が音響信号であると判定した場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化部と、前記符号化信号を伝送する伝送部と、前記伝送部が伝送した前記符号化信号を受信する受信部と、前記受信部が受信した前記符号化信号を復号化する復号化部と、前記受信部が前記符号化信号を受信しているときに前記符号化信号のデータの欠損を検出して前記特性判定部に通知するパケット欠損検出部とを備え、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号のうち符号化されていない未処理信号が所定の構成で符号化されるように前記符号化部を制御し、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、前記復号化部によって独立して復号可能なフレームであることを特徴とする。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明に係る符号化・復号化システムは、フレームの欠損が起こった際に復号化処理をできるだけ速やかに再開し、フレーム欠損時の音の欠落を最小限に抑えることができる。

図１は、ＵＳＡＣ方式におけるフレームのデータ構成を示す模式図である。 図２は、パケットロス発生時の復号化処理を模式的に示す図である。 図３は、本実施の形態に係る符号化・復号化システムの構成を示すブロック図である。 図４は、本実施の形態に係るパケットデータを示す模式図である。 図５は、実施の形態１に係るパケット欠損検出部の具体的な構成を示すブロック図である。 図６は、実施の形態１に係る符号化・復号化システムの制御フローを示す図である。 図７は、実施の形態１に係るパケット欠損検出部の判断情報の算出方法のフローチャートである。 図８は、実施の形態１に係る符号化部の符号化処理のフローチャートである。 図９は、実施の形態１に係る符号化部の符号化処理を説明するための模式図である。 図１０は、パケット欠損発生時の符号化・復号化システムの復号化処理を模式的に示す図である。 図１１は、実施の形態２に係るパケット欠損検出部の具体的な構成を示すブロック図である。 図１２は、実施の形態２に係る符号化・復号化システムの制御フローを示す図である。 図１３は、実施の形態２に係るパケット欠損検出部の判断情報の算出方法のフローチャートである。 図１４は、実施の形態２に係る符号化部の符号化処理のフローチャートである。 図１５は、実施の形態２に係る符号化部の符号化処理を説明するための模式図である。

（本発明の基礎となった知見）
デジタル化した音声信号あるいは音響信号を低ビットレートで符号化・復号化・伝送する方式は、例えば、ＨＥ−ＡＡＣ方式（非特許文献１参照）やＡＭＲ−ＷＢ方式（非特許文献２参照）などが代表的である。

ＨＥ−ＡＡＣ方式では、デジタル化した音響信号を所定のサンプル数（ＨＥ−ＡＡＣ方式では２０４８サンプル、以下フレームと呼ぶ）毎に時間・周波数変換を施した後に、聴覚心理モデルによって符号化する信号成分が決定される。決定された符号化する信号成分は、量子化が行われ、量子化後の信号は、所定のビット数になるようにＨｕｆｆｍａｎ符号化などの手法で情報圧縮される。

ＡＣＥＬＰなどに代表されるＣＥＬＰ方式では、音声信号について、ＨＥ−ＡＡＣ方式と同様にフレーム毎に処理を行うが、時間・周波数変換は行われない。ＡＭＲ−ＷＢ方式やＡＣＥＬＰ方式では、各フレームの線形予測係数を算出し、当該係数に基づいた線形予測フィルタ、及びその残差信号についてベクトル量子化などを適用することによって情報圧縮が行われる。

このようにして情報圧縮された情報をビットストリームと呼ぶ。ビットストリームは、放送波や、インターネット網などのさまざまな伝送経路を経由して伝送される。受信装置側では、伝送されてきたビットストリームがそれぞれの符号化方式にしたがって復号化される。

ところで、上記のＨＥ−ＡＡＣ方式は、音響信号を効率的に符号化するのに適し、ＡＭＲ−ＷＢ方式は音声信号を効率的に符号化するのに適した方式である。

ＨＥ−ＡＡＣ方式は、主に音響信号を高効率に符号化することを前提にした符号化方式である。このため、ＨＥ−ＡＡＣ方式では、音響信号とは特性の異なる音声信号を低ビットレートで高音質に符号化することが困難である。ＨＥ−ＡＡＣ方式によって音声信号を符号化することも可能であるが、非常に音質が劣化してしまう。

一方、ＡＭＲ−ＷＢ方式やＡＣＥＬＰ方式は、主に音声信号を効率的に符号化することを前提としている。このため、ＡＭＲ−ＷＢ方式やＡＣＥＬＰ方式によって音響信号を符号化する際には音質の劣化が顕著である。つまり、それぞれの方式は、符号化対象の信号に対して一長一短である。

そこで、音声信号及び音響信号の両方の信号を高効率に符号化可能な符号化方式が近年開発された。その一つがＭＰＥＧ−ＵＳＡＣである。

ＵＳＡＣでは、符号化効率を向上させるためにさまざまな工夫が行われている。音声信号と音響信号、あるいはそれらの混合信号を高効率に符号化するために、ＵＳＡＣでは、フレーム毎に時間・周波数変換に基づいた音響信号符号化処理と、線形予測係数に基づいた音声信号符号化処理とを切り替える。すなわち、ＵＳＡＣでは、入力される音信号の音響特性に応じた符号化を行う。また、符号化効率を追求するために、既存の符号化方式で用いられているＨｕｆｆｍａｎ符号化による情報圧縮処理に代えて、算術符号が用いられているのもＵＳＡＣの特徴である。

以上説明したように、音信号の符号化においては、さまざまな符号化方式が存在するが、これらを放送波や通信回線で伝送する際には、各符号化方式あるいは各放送サービス・通信サービス毎に特有の課題が存在する。

放送波やインターネット網（ＩＰ網）では、伝送経路が不安定なこともあり、伝送誤りやパケットロスなどが生じることが多い。よって、例えば、地上波のデジタルテレビ放送（ＩＳＤＢ−Ｔ方式）の運用規格であるＡＲＩＢ ＳＴＤ−Ｂ３１（規格名：地上デジタルテレビジョン放送の伝送方式、非特許文献４）では、デジタルテレビ放送における伝送誤り訂正方法などが規定されている。また、ＡＭＲ−ＷＢ方式では、当該方式を３Ｇ携帯電話で運用する際に発生する伝送誤りについて、その誤り検出および誤り訂正手法である３ＧＰＰ規格（ＴＳ２６．１９１、非特許文献５）が規定されている。

このように、音声あるいは音響信号を放送あるいは通信で送受信するサービスを行う際には、ビットレートやチャンネル数、符号化ツールなどの各種符号化パラメータ以外に、伝送誤りの検出や誤り訂正に関しても細かく規定して、サービス品質を担保する必要がある。

ＩＳＤＢ−Ｔでは、音信号の符号化方式としてＨＥ−ＡＡＣ方式が用いられ、伝送路で生じた伝送誤りは、放送波を受信してＴＳパケットを取り出す段階で検出・訂正される。具体的には、ＴＳパケットに含まれるＡＡＣのビットストリームを取り出してＡＡＣ復号化を行い、音声信号を復号化する。しかしながら、上記ＩＳＤＢ−Ｔでは、伝送路でのデータ欠損やデータ異常などにより正常にＴＳパケットが受信できず、結果としてＡＡＣのビットストリームが欠損する場合がある。ビットストリームが欠損した場合は、当然ながら符号化された信号を復号化できず、音信号を得ることができない。

しかしながら、その後、ＴＳパケットが正常に受信できるようになった場合、復帰直後のＴＳパケットから取り出した正常なＡＡＣビットストリームを復号化装置に送ることで、即座に復号化が可能である。しかも、ＨＥ−ＡＡＣ方式に内包されている周波数時間変換処理の性質により、復号化音がフェードインするため復帰直後の音は、比較的整った音になる。

また、３Ｇ世代の携帯電話などで応用が期待されているＡＭＲ−ＷＢ方式では、伝送路でのエラー検出や伝送誤り訂正に関する手順は、非特許文献５に記載されている。概要としては、フレーム欠損時に、フレーム欠損以前に正常に受信できていたフレームデータは、復号化装置のメモリに一時的に保持される。フレーム欠損が発生した際は、過去のフレームデータの符号化パラメータを所定の演算を施して再利用することで、擬似的に復号化信号を生成する。

このような手法が取れるのは、ＡＭＲ−ＷＢ方式が主に音声信号を符号化することを想定しているからである。音声信号の符号化パラメータのうち、音声信号の大まかなスペクトル外形を決定する、音声符号化の品質に大きく影響を与える線形予測係数は、短期的には変化しにくい（変化しても変化量は小さい）。したがって、短期的なフレームデータ欠損に際しては線形予測係数を再利用することも可能であるから、上記の擬似的に復号化信号を生成する手法をとることが可能である。

ところで、ＨＥ−ＡＡＣ方式ではスペクトル情報を符号化・圧縮するのにＨｕｆｆｍａｎ符号を用いており、ＨＥ−ＡＡＣ方式のコア符号化方式であるＡＡＣ方式ではフレーム間にまたがって符号化パラメータを取得することなく、広帯域なＨＥ−ＡＡＣ復号化はできなくても狭帯域なＡＡＣ部分に関しては常にどのフレームも独立して復号化することが可能である。また、ＡＭＲ−ＷＢ方式でもＨｕｆｆｍａｎ符号及びベクトル量子化手法を用いているが、これらもまたフレーム間にまたがって影響を与える符号化パラメータが基本的にはない。このため、ＡＭＲ−ＷＢ方式においても、常に、どのフレームも独立して復号することが可能である。

ここで、ＵＳＡＣ方式では、ＨＥ−ＡＡＣ方式やＡＭＲ−ＷＢ方式とは異なり、符号化効率を向上させるために各種符号化パラメータの圧縮に、フレーム間にまたがって演算を行う算術符号処理が導入されている。したがって、独立して復号可能なフレームは限られる。

図１は、ＵＳＡＣ方式における、フレームのデータ構造を表す模式図である。

図１に示されるように、ＵＳＡＣ方式では、各フレーム（ＵＳＡＣＦｒａｍｅ（））の先頭部分に、当該フレームが独立復号化か否か、すなわち当該フレームのデータのみに基づいて復号化が可能か否かを示すフラグ（ＦｌａｇＩｎｄｅｐｅｎｄｅｎｃｙ）が存在する。このフラグはフレームに内包される詳細符号化データ（図１では、ＦＤ＿Ｃｈａｎｎｅｌ＿Ｅｌｅｍｅｎｔ（））を読み出す際に使用される情報である。ＦＤ＿Ｃｈａｎｎｅｌ＿Ｅｌｅｍｅｎｔ（）は、上記フラグが独立して復号可能であることを示す場合にのみ算術符号部（図１ではＡｒｉｔｈ＿Ｃｏｄｅ（））の情報が取得できる構成になっている。

このように、ＵＳＡＣ方式では、独立して復号可能なフレームが限られる。したがって、フレームの欠損（パケットロス）がなくなってフレームデータが正常に受信できるようになっても、すぐに復号化を開始することが困難である。

図２は、パケットロス発生時の復号化処理を模式的に示す図である。

図２は伝送される符号化信号を模式的に示したものであり、１つの長方形は１つのフレームを表す。Ｉ−Ｆｒａｍｅと表記されたフレーム２０１及び２０４は、独立して復号可能なフレームである。

図２の（ａ）に示されるように、タイミングｔ１において伝送誤りが発生した場合、すなわちパケットロス２００が発生した場合、伝送誤りが解消するタイミングｔ２までのフレームは、復号化側においては受信できない。

すなわち、復号化側が受信するフレームは、図２の（ｂ）のような構成となる。ここで、フレーム２０２及び２０３は、独立して復号不可能なフレームであるため、復号化側は、タイミングｔ２においてパケットロスが解消しているにもかかわらず、次に独立して復号可能なフレーム２０４を受信するタイミングｔ３までの間は、復号化を開始できない。

以上、説明したように、ＵＳＡＣ方式のように、符号化された信号に独立して復号可能なフレームと独立して復号不可能なフレームとが含まれる符号化方式では、パケットロスがなくなってフレームが正常に受信できるようになっても、すぐに復号化を開始することが困難である。

上記の課題を解決するために、本発明の一態様に係る符号化・復号化システムは、音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化システムであって、前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定部と、前記特性判定部が前記音信号が音声信号であると判定した場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定部が前記音信号が音響信号であると判定した場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化部と、前記符号化信号を伝送する伝送部と、前記伝送部が伝送した前記符号化信号を受信する受信部と、前記受信部が受信した前記符号化信号を復号化する復号化部と、前記受信部が前記符号化信号を受信しているときに前記符号化信号のデータの欠損を検出して前記特性判定部に通知するパケット欠損検出部とを備え、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号のうち符号化されていない未処理信号が所定の構成で符号化されるように前記符号化部を制御し、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、前記復号化部によって独立して復号可能なフレームであることを特徴とする。

これにより、データの欠損が発生した場合に、符号化部は音信号を独立して復号可能な符号化信号に符号化するため、復号化部が符号化信号を復号化できない時間が最小化され、データ欠損時の音の欠落を最小限に抑えることが可能になる。

また、例えば、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音声信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御してもよい。

つまり、データの欠損が発生した場合に、符号化部は音声信号符号化処理に処理を固定し、音信号を独立して復号可能な符号化信号に符号化する。このため、簡易な制御により、データ欠損時の音の欠落を最小限に抑えることが可能になる。

また、例えば、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音響信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御してもよい。

つまり、データの欠損が発生した場合に、符号化部は音響信号符号化処理に処理を固定し、音信号を独立して復号可能な符号化信号に符号化する。このため、簡易な制御により、データ欠損時の音の欠落を最小限に抑えることが可能になる。

また、例えば、前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号が音声信号であると判定した場合には、前記音声信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御し、前記音信号が音響信号であると判定した場合には、前記音響信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御してもよい。

つまり、データの欠損が発生した場合に、符号化部は符号化処理の切り替えを維持し、なおかつ音信号を独立して復号可能な符号化信号に符号化する。これにより、符号化効率を維持したまま、データ欠損時の音の欠落を最小限に抑えることが可能になる。

また、例えば、例えば、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、ＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）方式によって符号化されたフレームであってもよい。

また、例えば、例えば、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、コンテクスト情報が初期化されたフレームであってもよい。

また、例えば、前記パケット欠損検出部は、前記符号化信号が前記伝送部によって伝送されてから前記受信部に受信されるまでの時間を表すネットワーク遅延量を測定し、所定の時間内における前記ネットワーク遅延量から平均ネットワーク遅延量を算出し、前記平均ネットワーク遅延量が所定の閾値よりも高い場合に、前記データの欠損を前記特性判定部に通知してもよい。

つまり、データの欠損は、ネットワーク遅延量によって検出可能である。

また、例えば、前記パケット欠損検出部は、前記受信部が受信した前記符号化信号に含まれるデータ番号に基づき前記データの欠損を検出し、所定の時間内における前記データの欠損の発生率が所定の閾値よりも高い場合に、前記データの欠損を前記特性判定部に通知してもよい。

つまり、データの欠損は、データ欠損の発生率によって検出可能である。

また、例えば、前記パケット欠損検出部が前記データの欠損の通知をしてから、前記符号化信号のうち前記未処理信号が前記所定の構成で符号化されることによって生成された信号を前記受信部が受信するまでの期間であるパケット欠損期間において、前記復号化部は、前記パケット欠損期間に前記受信部が受信した前記符号化信号のうち独立して復号可能な部分を復号化してもよい。

このように、復号化部が独立して復号可能な部分を復号することにより、音質は劣化するが、音の完全な欠落を防止することができる。つまり、このような処理によってもパケット欠損時の音の欠落を最小限に抑えることが可能になる。

また、本発明の一態様に係る復号化装置は、上記いずれかの態様の符号化・復号化システムに用いられる復号化装置であって、前記受信部と、前記復号化部と、前記パケット欠損検出部とを備える。

また、本発明の一態様に係る符号化装置は、上記いずれかの態様の符号化・復号化システムに用いられる符号化装置であって、前記特性判定部と、前記符号化部と、前記伝送部と、前記パケット欠損検出部とを備える。

また、本発明の一態様に係る符号化・復号化方法は、音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化方法であって、前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定ステップと、前記特性判定ステップにおいて前記音信号が音声信号であると判定された場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定ステップにおいて前記音信号が音響信号であると判定された場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化ステップと、前記符号化信号を伝送する伝送ステップと、前記伝送ステップにおいて伝送された前記符号化信号を受信する受信ステップと、前記受信ステップにおいて受信された前記符号化信号を復号化する復号化ステップと、前記受信ステップにおいて前記符号化信号が受信されているときの前記符号化信号のデータの欠損を検出するパケット欠損検出ステップと、前記データの欠損の通知を受けたとき、前記音信号のうち符号化されていない未処理信号が所定の構成で符号化されるように制御する制御ステップとを含み、前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、前記復号化ステップにおいて独立して復号可能なフレームである。

以下、本発明の実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、処理のステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、以下の実施の形態では、ＵＳＡＣ方式を用いた符号化・復号化システムの構成を例にして説明するが、本発明は、ＵＳＡＣ方式を用いた符号化・復号化システムに限定されない。本発明は、フレーム処理を行う音声信号及び音響信号の符号化・復号化システムにおいて、独立して復号可能なフレームと、独立して復号不可能なフレームとが存在する符号化方式を用いる場合に適用可能である。

（実施の形態１）
以下、本発明の実施の形態１について説明する。

まず、符号化・復号化システムの構成と簡単な動作について説明する。

図３は、実施の形態１に係る符号化・復号化システムの構成を示すブロック図である。

図３に示されるように、符号化・復号化システム３００は、特性判定部３０１と、符号化部３０２と、重畳部３０３と、伝送部３０４と、復号化部３０５と、受信部３０７と、パケット欠損検出部３０８とを備える。

特性判定部３０１は、符号化・復号化システム３００に入力される音信号について、所定のサンプル数毎（フレーム毎）に、音声信号であるか音響信号であるかを判定する。具体的には、特性判定部３０１は、当該フレームの音響特性に基づいて当該符号化単位が音声信号であるか音響信号であるかを判定する。

より具体的には、まず、特性判定部３０１は、当該フレームの３ｋＨｚよりも大きい帯域のスペクトル強度と、当該フレームの３ｋＨｚ以下の帯域のスペクトル強度とを算出する。３ｋＨｚ以下のスペクトル強度がそれ以外の帯域のスペクトル強度よりも大きい場合、特性判定部３０１は、当該フレームが音声信号主体の信号である、すなわち音声信号であると判定し、判定結果を符号化部３０２に通知する。同様に、３ｋＨｚ以下のスペクトル強度がそれ以外の帯域のスペクトル強度よりも小さい場合、特性判定部３０１は、当該フレームが音響信号主体の信号である、すなわち音響信号であると判定し、判定結果を符号化部３０２に通知し、符号化部３０２を制御する。

また、特性判定部３０１は、後述するパケット欠損検出部３０８からパケットの欠損の通知を受けた場合に、音信号の各フレームが独立して復号可能なフレームに符号化されるように符号化部３０２を制御する。本制御の詳細については後述する。

符号化部３０２は、特性判定部３０１が、フレームが音声主体であると判定した場合、当該フレームについて音声信号符号化処理を行う。ＵＳＡＣ方式では、音声信号符号化処理としてＬＰＤ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｄｏｍａｉｎ）符号化処理が用いられる。符号化部３０２は、特性判定部３０１が、フレームが音響信号主体であると判断した場合、当該フレームについて音響信号符号化処理を行う。ＵＳＡＣ方式では、音響信号符号化処理としてＦＤ（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ）符号化処理が用いられる。

符号化部３０２の上記の動作は、通常のＵＳＡＣ符号化処理（以下、通常符号化モードとも記載する。）である。しかしながら、上述のように特性判定部３０１が後述するパケット欠損検出部３０８からパケットの欠損の通知を受けた場合、符号化部３０２は、音信号の各フレームを独立して復号可能なフレームに符号化する特殊なＵＳＡＣ符号化処理（以下、特殊符号化モードとも記載する。）を行う。特殊符号化モードにおける符号化方法の詳細は、後述する。

重畳部３０３は、符号化部３０２で符号化されたフレームを合成し、ビットストリーム（符号化信号）を生成する。なお、本実施の形態では、符号化・復号化システム３００は、重畳部３０３を別途設けた構成となっているが、重畳部３０３の機能は、符号化部３０２の機能の一部として実現されてもよい。

伝送部３０４は、重畳部３０３で生成されたビットストリームを伝送経路に応じた形式で伝送する。伝送経路は、例えば、移動体通信網（３Ｇ携帯）や固定インターネット網などのＩＰ網である。

受信部３０７は、伝送部３０４から送信され、伝送路を経由したビットストリームを受信する。なお、伝送経路によっては、ビットストリーム以外の情報、例えば、伝送路を細かく制御するためのネットワーク制御情報が伝送部３０４及び受信部３０７間で送受信される場合がある。ネットワーク制御情報は、例えば、伝送されるビットストリームのビットレート、チャンネル数、または符号化方式（本実施の形態では、ＵＳＡＣの初期設定情報（ＵＳＡＣＣｏｎｆｉｇ（）など））などの符号化パラメータや、伝送誤り率や伝送遅延量などの伝送路の状態を示す情報などである。

復号化部３０５は、受信部３０７が受信したビットストリームを復号化する。

本実施の形態では、伝送経路は、インターネットプロトコル（ＩＰ）で構成されるＩＰ網である。ＩＰ網では、基本的にＩＰパケットの形式でビットストリームが伝送される。ＩＰ網におけるフレームの欠損は、ＩＰパケットが欠損する場合と、ＩＰパケットに伝送誤りがある場合の二通りが想定される。

ＩＰパケットに伝送誤りがある場合、基本的には、ＩＰ網が具備するデータ補正機能を用いて伝送誤りは補正される。ＩＰパケットが欠損する場合、基本的には、ＩＰ網が具備するパケット再送信機能によりパケットの欠損が補正される。

以下、パケット再送信機能について説明する。

ＩＰ網でのＩＰパケットの欠損は、ＩＰパケットを構成する各パケットデータに付加されているパケット番号を常時監視することで検出可能である。

図４は、パケットデータを示す模式図である。

パケット番号は、周期性のある番号であり、１つのパケットデータに１つのパケット番号が付され、連続するパケットデータには連続するパケット番号が付される。すなわち、連続するパケットデータには、０、１、２、・・・と順番にパケット番号が付される。図４に示されるように、パケットデータ４０１にはバケット番号０が付され、これに続くパケットデータ４０２には、パケット番号１が付される。

パケット番号が最大番号（例えば２５５）に達した場合、パケット番号は、０に戻ることとなる。つまり、図４に示されるパケットデータ４０３に続くパケットデータのパケット番号は０となる。

受信部３０７は、パケットデータを１つ受信する毎にパケット番号を検出し、一時的に受信部３０７内で保持する。受信部３０７は、次のパケットデータの受信後に、検出したパケット番号と、その前に受信し一時的に保持されたパケット番号とを比較する。そして、受信部３０７は、上記比較の結果、パケット番号の差分が１、または所定の最大番号（例えば２５５）である場合、パケット欠損がないと判断する。パケット番号の差分が１、または所定の最大番号でない場合、受信部３０７は、パケット欠損があると判断し、伝送部３０４側に欠損したパケット番号のパケットの再送要求を行う。

上述のように、基本的にはＩＰパケットが欠損し、またはＩＰパケットに伝送誤りがあってもＩＰ網の機能によってパケットは補正される。しかしながら、例えば、長期間通信状況が悪いような場合においては、ＩＰ網の機能によりパケットが完全に補正されない場合がある。

そこで、符号化・復号化システム３００は、パケット欠損検出部３０８を備え、パケット欠損検出部３０８は、ＩＰ網でのパケット欠損を検出する。パケット欠損検出部３０８は、符号化・復号化システム３００の特徴的な構成要素である。

パケット欠損検出部３０８は、受信部３０７が検出したＩＰパケット再送回数、及びＩＰパケット補正回数（パケット欠損情報）を逐次保持し、符号化モード（上述の通常符号化モード及び特殊符号化モード）を切り替えるための判断情報を算出する。判断情報は、受信部３０７と伝送部３０４との間で送受信されるネットワーク制御情報の一部として伝送部３０４側へ送られる。

伝送部３０４は、受信した判断情報を特性判定部３０１へと送信し、特性判定部３０１は、判断情報に基づいて、符号化部３０２が通常符号化モードで符号化を行うか、特殊符号化モードで符号化を行うかの制御を行う。

以下、符号化・復号化システム３００の詳細な動作について説明する。

まず、パケット欠損検出部３０８の判断情報の算出方法について、パケット欠損検出部３０８の具体的な構成と共に説明する。

図５は、パケット欠損検出部３０８の具体的な構成を表すブロック図である。

図６は、実施の形態１に係る符号化・復号化システムの制御フローを示す図である。

図７は、パケット欠損検出部３０８の判断情報の算出方法のフローチャートである。

図５に示されるように、パケット欠損検出部３０８は、パケット欠損発生率算出部５０２と、ネットワーク状況保持部５０３と、パケット欠損判断部５０４とから構成される。

ネットワーク状況保持部５０３は、受信部３０７がネットワークを通じて受信し、検出したパケット欠損情報５０１（ＩＰパケット再送回数、及びＩＰパケット補正回数）を逐次保持する（図６及び図７のＳ１０１）。具体的には、ネットワーク状況保持部５０３は、サービス毎に予め設定された保持期間内（たとえば１秒など）に発生したＩＰパケット再送回数、ＩＰパケット補正回数及びパケット総数（パケット保持情報）を保持する（図６及び図７のＳ１０２）。続いて、ネットワーク状況保持部５０３は、保持期間毎に上記パケット保持情報をパケット欠損発生率算出部５０２に送信する。

パケット欠損発生率算出部５０２は、当該保持期間毎に、パケット保持情報に基づいて下記式（１）で表されるパケット欠損率を算出する（図６及び図７のＳ１０３）。

（ＩＰパケット再送回数＋ＩＰパケット補正回数）／総パケット数＊２・・式（１）

パケット欠損判断部５０４は、式（１）で表されるパケット欠損率が所定の閾値以上の場合に、判断情報を特殊符号化モードに設定し、当該判断情報を伝送部３０４側（特性判定部３０１）に送信する。パケット欠損率が所定の閾値未満である場合は、判断情報を通常符号化モードに設定し、当該判断情報を特性判定部３０１に送信する（図６及び図７のＳ１０４）。なお、所定の閾値は、ＵＳＡＣ方式を用いるアプリケーションによって異なるが、例えば、３Ｇ方式の移動体通信技術においてＵＳＡＣ方式を用いて伝送する場合、所定の閾値は、２０％である。ただし、この所定の閾値は、あくまで一例であって、これに限られるものではない。

次に、符号化部３０２の符号化処理について詳細に説明する。

図８は、符号化部３０２の符号化処理のフローチャートである。

図９は、符号化部３０２の符号化処理を説明するための模式図である。

符号化部３０２が音信号を取得し（図８のＳ２０１）、音信号を符号化する場合、特性判定部３０１がパケット欠損の通知を受けない場合（図８のＳ２０２でＮｏ）、符号化部３０２は、通常符号化モードによる符号化を行う。具体的には、符号化部３０２は、特性判定部３０１が、音信号が音声信号であると判定した場合（図８のＳ２０３でＹｅｓ）、音信号についてＬＰＤ符号化処理を行う（図８のＳ２０４）。

本実施の形態では、ＬＰＤ符号化処理は、ＴＣＸ（Ｔｒａｎｓｆｏｒｍ Ｃｏｄｅｄ Ｅｘｃｉｔａｔｉｏｎ）方式と、ＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）方式である。ＬＰＤ符号化処理を行う場合、符号化部３０２は、図１のＴＣＸ＿Ｃｏｄｅ（）または、ＡＣＥＬＰ＿Ｃｏｄｅ（）からなるフレームに音信号を符号化する。

ＴＣＸ方式とは、５０Ｈｚから７０００Ｈｚの帯域幅を持つ広帯域音声信号の符号化に用いられる符号化方式である。

ＡＣＥＬＰ方式とは、ＣＥＬＰ（Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）方式のうち、コードブックが代数的な形式で格納された符号化方式であり、人間の声などの周期的な信号を効率的に符号化できる符号化方式である。

したがって、ＬＰＤ符号化処理では、符号化後のフレームには、以下の３種類のフレームが存在する。

１つは、図９の（ａ）に示されるフレーム６０１のように１フレームが全てＴＣＸ方式によって符号化されたフレームである。もう１つは、図９の（ａ）に示されるフレーム６０２のように１フレーム内にＴＣＸ方式で符号化された部分と、ＡＣＥＬＰ方式で符号化された部分が存在するフレームである。そして、図９の（ａ）に示されるフレーム６０３のように１フレーム全てＡＣＥＬＰ方式によって符号化されたフレームである。

上記フレームのうち、ＴＣＸ方式を用いて符号化されたフレームには、独立して復号可能なフレームと独立復号不可能なフレームがあり、ＦｌａｇＩｎｄｅｐｅｎｄｅｎｃｙ情報が“復号可”となるフレームには、ＴＣＸ方式を用いて符号化されたフレームが含まれる場合がある。１フレームが全てＡＣＥＬＰ方式によって符号化されたフレーム６０３は、独立して復号可能なフレームである。

一方、符号化部３０２は、特性判定部３０１が音信号が音響信号であると判定した場合（図８のＳ２０３でＮｏ）、音信号についてＦＤ符号化処理を行う（図８のＳ２０５）。

実施の形態１では、ＦＤ符号化処理は、例えば、ＡＡＣ方式のスペクトル量子化処理をＨｕｆｆｍａｎ符号ではなく算術符号を用いて符号化効率を向上させた符号化処理である。

この場合、符号化部３０２は、図１のＦＤ Ｃｈａｎｎｅｌ Ｅｌｅｍｅｎｔ（）（Ａｒｉｔｈ＿Ｃｏｄｅ（））からなるフレームに音信号を符号化する。

ここで、図９の（ｂ）に示されるように、フレーム７０１は、独立して復号可能なフレーム（Ｉ−Ｆｒａｍｅ）であるが、フレーム７０２は、フレーム７０１のコンテクスト情報を用いて算術符号を復号化するフレームである。このため、フレーム７０２は、フレーム７０１が復号されない限り復号できない。同様に、フレーム７０３は、フレーム７０２のコンテクスト情報を用いて復号化されるフレームであるため、フレーム７０２が復号されない限り復号できない。すなわち、フレーム７０２及び７０３は、独立して復号不可能なフレームである。

ここでフレーム７０１を符号化してから所定の期間経過後は、コンテクスト情報は初期化される。すなわち、フレーム７０４は、独立して復号可能なフレームとして符号化されたフレームである。続く、フレーム７０５は、フレーム７０４が復号されない限り復号できず、フレーム７０６は、フレーム７０５が復号されない限り復号できない。以降、同様である。

なお、上記所定の期間は、符号化に用いられるアプリケーション等によって異なる期間であり、任意に設定される期間である。

特性判定部３０１がパケット欠損の通知を受けた場合（図８のＳ２０２でＹｅｓ）、符号化部３０２は、音信号のうち符号化されていない未処理信号を所定の構成で符号化する。すなわち、符号化部３０２は、特殊符号化モードによる符号化を行う。実施の形態１では、具体的には、符号化部３０２は、図９の（ｃ）に示されるように、音声信号符号化処理のうちＡＣＥＬＰ方式のみを用いて符号化する、固定符号化モードで符号化を行なう（図８のＳ２０６)。

なお、特性判定部３０１がパケット欠損の通知を受け、符号化部３０２が固定符号化モードで符号化を行っている間、特性判定部３０１は、判断情報の経時的変化を観測しておき、パケット欠損状況が安定的に解消されるまで、符号化部３０２が固定符号化モードで符号化を行うように制御する。

そして、特性判定部３０１は、パケット欠損状況が安定的に解消された後、符号化部３０２が通常符号化モードで符号化を行うように制御する。例えば１０秒以上通常符号化モードに設定された判断情報を連続して受信した場合に、特性判定部３０１は、パケット欠損状況が安定的に解消されたと判断する。この時間はあくまで一例であって、これに限定されるものではない。この時間は、通信網の伝送特性（遅延、パケット欠損率、通信速度など）によって変わる時間である。

符号化部３０２が固定符号化モードで符号化している間は、実質的に全てのフレームが独立して復号可能なフレーム（Ｉ−Ｆｒａｍｅ）となる。ここで、仮に図１で示されるフレーム内のＦｌａｇＩｎｄｅｐｅｎｄｅｎｃｙが“独立復号不可”を表していても、ＡＣＥＬＰ方式のみで符号化されたフレームは、復号化部３０５側で強制的にＡＣＥＬＰ復号化処理を行うことができる。すなわち、符号化・復号化システム３００によれば、パケット欠損復帰直後のフレームが復号化不可を表していても、そのフレームにＡＣＥＬＰ方式で符号化されたデータが含まれていれば一部だけでも復号化が可能となる。

図１０は、パケット欠損発生時の符号化・復号化システム３００の復号化処理を模式的に示す図である。図１０は、伝送される符号化信号を模式的に示したものであり、１つの長方形は１つのフレームを表す。図１０では、符号化部３０２がＦＤ符号化処理を行っている場合にパケット欠損８００が発生した場合を模式的に表しており、符号化部３０２及び復号化部３０５において同一の文字が付されたフレームは同一のフレームである。図中で（Ｉ−Ｆｒａｍｅ）と記載されたフレームは、独立して復号可能なフレームを表す。

図１０の（ａ）に示されるように、本発明を適用しない符号化・復号化システムでは、パケット欠損８００が発生した場合、復号化部３０５は、次に独立して復号可能なフレームを受信するタイミングｔ１まで復号を再開することができない。

これに対し、図１０の（ｂ）に示されるように、符号化・復号化システム３００では、パケット欠損８００が発生した場合、パケット欠損検出部３０８は、特性判定部３０１にパケット欠損の通知８０１（判断情報の通知）を行う。そして、特性判定部３０１が通知８０１を受けた後、符号化部３０２は、固定符号化モードで符号化を行なう。

したがって、符号化信号のうち、符号化部３０２がタイミングｔ３以降に符号化した符号化信号（未処理信号が所定の構成で符号化されることによって生成された信号）に含まれる全てのフレームは、それぞれ、復号化部３０５によって独立して復号可能なフレームとなる。つまり、復号化部３０５は、上記タイミングｔ１よりも前のタイミングｔ２において復号を開始することができる。

以上、説明したように実施の形態１の符号化・復号化システム３００によれば、パケット欠損発生から復帰した際の復号化できない時間が最小化され、パケット欠損時の音の欠落を最小限に抑えることが可能になる。

なお、上記ステップＳ２０６では、符号化部３０２は、図９の（ｄ）に示されるように音信号をコンテクスト情報が初期化されたフレームのみからなる符号化信号に音響信号符号化処理によって符号化する、可変符号化モードで符号化を行ってもよい。

上述のように、コンテクスト情報が初期化されたフレームは、前のフレームの情報を用いることなく単独で復号されることが可能である。したがって、ＡＣＥＬＰ方式に固定して符号化を行う固定符号化モードの場合と同様に、ステップＳ２０６において上記のような可変符号化モードで符号化を行っても、パケット欠損発生から復帰した際の復号化できない時間は最小化される。すなわち、復号化部３０５は、パケット欠損復帰直後のフレームから復号化を行うことが可能となり、パケット欠損時の音の欠落を最小限に抑えることが可能になる。

なお、図１０の（ｂ）に示されるパケット欠損期間８０２において、復号化部３０５は、パケット欠損期間８０２に受信部が受信した符号化信号のうち独立して復号可能な部分を復号化してもよい。パケット欠損期間８０２とは、パケット欠損検出部３０８がパケットの欠損の通知をしてから（タイミングｔ３）、独立して復号可能なフレームを用いて符号化された符号化信号（所定の構成で符号化されることによって生成された信号）を受信部３０７が受信するまで（タイミングｔ２）の期間である。

図１０の（ｂ）では、パケット欠損期間８０２において受信部３０７が受信するフレームは、ＦＤ符号化処理によって符号化された独立して復号不可能なフレームであるため、復号化部３０５が復号することはできない。しかしながら、パケット欠損期間８０２において受信部３０７が受信するフレームが、図９の（ａ）に示されるフレーム６０２のようなフレームである場合、復号化部３０５は、以下の方法によって独立して復号可能な部分を復号化することができる。

フレーム６０２は、１フレーム内にＴＣＸ方式で符号化された部分と、ＡＣＥＬＰ方式で符号化された部分が存在するフレームである。ＴＣＸ方式及びＡＣＥＬＰ方式では音声信号を効率よく符号化するために線形予測係数（ＬＰＣ係数）を用いており、どちらの方式であっても必ず線形予測係数を含むものである。線形予測係数は、音声信号をスペクトル包絡に変換することができる係数で、スペクトル包絡がある程度再現できれば、完全ではないにしろ音声信号が復号できる。ＡＣＥＬＰを含むこのようなフレームでは、少なくとも一つ以上の線形予測係数が同一フレームに含まれており、また、音声信号の特性上、数十ｍｓｅｃ程度のフレーム時間の間には線形予測係数は大きくは変化しない確率が高い。

そこで、復号化部３０５が、符号化信号のうちＡＣＥＬＰ方式で符号化された部分を強制的に復号化し、それ以外のＴＣＸ方式で符号化された部分には、ＡＣＥＬＰ方式の復号化の過程で取得した線形予測係数を再活用して、擬似的に復号化を実現することが可能である。その場合、ＴＣＸ及びＡＣＥＬＰが符号化信号のとおりに完全に復号化できる場合に比べて音質は多少劣化するが、線形予測係数が音声信号の特徴づけに大きく寄与しているため、音声信号の特徴的部分は、表現可能である。

以上のように、パケット欠損期間８０２において復号化部３０５が独立して復号可能な部分を復号することにより、音質は劣化するが、音の完全な欠落を防止することができる。つまり、パケット欠損時の音の欠落を最小限に抑えることが可能になる。

（実施の形態２）
以下、本発明の実施の形態２について説明する。

実施の形態１では、パケット欠損検出部３０８がＩＰパケット再送回数、及びＩＰパケット補正回数に基づいてパケットデータの欠損を検出する（判断情報を送信する）例について説明したが、パケットデータの欠損の検出方法はこれに限定されない。実施の形態２では、パケット欠損検出部３０８がネットワーク遅延量に基づいてパケットデータの欠損を検出する例について説明する。

また、実施の形態１では、特性判定部３０１がパケット欠損の通知を受けた場合、符号化部３０２は、パケット欠損が安定的に解消されるまで音声信号符号化処理、または音響信号符号化処理の一方によって符号化を行った。これに対し、実施の形態２では、特性判定部３０１がパケット欠損の通知を受けた場合に、符号化部３０２は、ＵＳＡＣ方式の特徴である音声信号符号化処理と、音響信号符号化処理との切り替えを維持して符号化を行うことが特徴である。

まず、実施の形態２に係る符号化・復号化システムの構成と簡単な動作について説明する。実施の形態２に係る符号化・復号化システムの全体のシステム構成は、図３に示されるものと同様であり、パケット欠損検出部３０８の構成が主に異なる。なお、以下の実施の形態２において、実施の形態１と実質的に同一の構成については説明を省略する。

図１１は、実施の形態２に係るパケット欠損検出部の具体的な構成を示すブロック図である。

図１２は、実施の形態２に係る符号化・復号化システムの制御フローを示す図である。

図１３は、実施の形態２に係るパケット欠損検出部の判断情報の算出方法のフローチャートである。

実施の形態２に係るパケット欠損検出部３０８は、パケット欠損判断部５０４と、ネットワーク遅延量算出部５０５と、遅延計測カウンター５０６とを備える。

実施の形態２に係るパケット欠損検出部３０８は、伝送部３０４と受信部３０７との間のネットワーク遅延量を常時監視する。

具体的には、図１１に示すように、ネットワーク遅延量算出部５０５は、受信部３０７を介してテストパケットを伝送部３０４側に所定時間毎に（定期的に）送信し、これに対するレスポンスを受信する（図１２及び図１３のＳ３０１）。上記の所定時間は、例えば、５秒毎である。テストパケットは、例えば、ＩＰ網で通信相手先が稼働しているのかを判定するために通常用いられるｐｉｎｇ命令である。

ネットワーク遅延量算出部５０５は、テストパケットを送信し、通信相手先（この場合、伝送部側）からのレスポンスを受信することでネットワーク遅延量を計測することができる。具体的には、ネットワーク遅延量算出部５０５は、テストパケットを送信した時刻を保持し、通信相手先からのレスポンスを受信した時刻と上記保持した時刻との差分をネットワーク遅延量として保持する（図１２及び図１３のＳ３０２）。なお、テストパケットの一例としてｐｉｎｇ命令を例に説明しているが、テストパケットは、これに限られるものではなく、ネットワーク遅延量を計測可能であれば別の形態であってもよい。

このようにして算出したネットワーク遅延量を元に、ネットワーク遅延量算出部５０５は、所定時間単位（例えば１分毎）におけるネットワーク遅延量の平均値を計算し、当該平均値を平均ネットワーク遅延量とする（図１２及び図１３のＳ３０３）。

ネットワーク遅延量算出部５０５は、ネットワーク遅延量が平均ネットワーク遅延量よりも大きくなった場合には、遅延計測カウンター５０６のカウント値をインクリメントする。ネットワーク遅延量算出部５０５は、ネットワーク遅延量が平均ネットワーク遅延量よりも小さくなった場合には、遅延計測カウンター５０６のカウント値をデクリメントする。このように、ネットワーク遅延量算出部５０５は、所定時間単位毎に遅延計測カウンター５０６のカウント値をインクリメントまたはデクリメントする。

パケット欠損判断部５０４は、遅延計測カウンター５０６のカウント値が所定の閾値（例えば０）よりも大きくなる場合、判断情報を特殊符号化モードに設定し、当該判断情報を伝送部３０４側（特性判定部３０１）に送信する（図１２及び図１３のＳ３０４）。遅延計測カウンター５０６のカウント値が大きくなる場合、ネットワークの遅延量が増大傾向、つまりパケット欠損が発生する可能性が高いと判断できるからである。

遅延計測カウンター５０６のカウント値が所定の閾値よりも小さくなる場合、つまり、ネットワーク遅延量が減少傾向にある場合、パケット欠損判断部５０４は、判断情報を通常符号化モードに設定し、当該判断情報を伝送部３０４側に送信する（図１２及び図１３のＳ３０４）。なお、遅延計測カウンター５０６の閾値は、符号化・復号化に適用されるアプリケーションやネットワークの特性などによって任意に設定されてもよい。

次に、実施の形態２に係る符号化部３０２の符号化処理について詳細に説明する。

図１４は、符号化部３０２の符号化処理のフローチャートである。

図１５は、符号化部３０２の符号化処理を説明するための模式図である。

符号化部３０２が音信号を取得し（図１４のＳ４０１）、音信号を符号化する場合、特性判定部３０１がパケット欠損の通知を受けない場合（図１４のＳ４０２でＮｏ）は、符号化部３０２は、通常符号化モードによる符号化を行う。具体的には、符号化部３０２は、特性判定部３０１が、音信号が音声信号であると判定した場合（図１４のＳ４０３でＹｅｓ）、音信号についてＬＰＤ符号化処理を行う（図１４のＳ４０４）。一方、符号化部３０２は、特性判定部３０１が、音信号が音響信号であると判定した場合（図１４のＳ４０３でＮｏ）、音信号についてＦＤ符号化処理を行う（図１４のＳ４０５）。これら、通常符号化モードにおける符号化部３０２の符号化処理は、実施の形態１で説明した通常符号化モードにおける符号化処理と同様である。

特性判定部３０１がパケット欠損の通知を受けた場合（図１４のＳ４０２でＹｅｓ）、符号化部３０２は、特殊符号化モードによる符号化を行う。実施の形態２では、符号化部３０２は、特殊符号化モードにおいても音声信号符号化処理と、音響信号符号化処理との切替を維持し、音信号を独立して復号可能なフレームからなる符号化信号に符号化する。

具体的には、符号化部３０２は、特性判定部３０１が音信号が音声信号であると判定した場合（図１４のＳ４０６でＹｅｓ）、音声信号符号化処理のうちＡＣＥＬＰ方式のみを用いて符号化を行なう（図１４のＳ４０７)。符号化部３０２は、特性判定部３０１が音信号が音響信号であると判定した場合（図１４のＳ４０６でＮｏ）、音信号をコンテクスト情報が初期化されたフレームのみからなる符号化信号に音響信号符号化処理によって符号化する（図１４のＳ４０８)。

この結果、実施の形態２の特殊符号化モードで符号化された符号化信号は、特性判定部３０１の判定に応じて図１５に示されるようなフレームからなる符号化信号となる。つまり、符号化信号は、実質的に全てのフレームが独立復号可能フレーム（Ｉ−Ｆｒａｍｅ）となる。

なお、パケット欠損の通知を受けた後、パケット欠損が安定的に解消された場合については、実施の形態１と同様に、特性判定部３０１は、パケット欠損検出部３０８の通知に基づいて符号化部３０２が通常符号化モードで符号化を行うように制御する。

以上、説明したように実施の形態２に係る符号化・復号化システムによっても、パケット欠損発生から復帰した際の復号化できない時間が最小化され、パケット欠損時の音の欠落を最小限に抑えることが可能になる。

実施の形態１に係る符号化・復号化システム３００では、パケット欠損の通知を受けた場合、特性判定部３０１は音信号が音声信号であるか音響信号であるかの判定を行わない。このため、実施の形態１に係る符号化・復号化システム３００は、パケット欠損の通知を受けた場合の符号化部３０２の制御が簡易であるという特徴がある。これに対し、実施の形態２に係る符号化・復号化システムは、上記判定を行うため、パケット欠損の通知を受けた場合においても符号化効率が良いことが特徴である。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されない。

本発明に係る符号化・復号化システムは、符号化装置と、復号化装置との組み合わせで実現されることも可能である。例えば、符号化・復号化システムは、特性判定部３０１、符号化部３０２（重畳部３０３）、伝送部３０４、及びパケット欠損検出部３０８を備える符号化装置と、復号化部３０５、及び受信部３０７を備える復号化装置とで実現されてもよい。

また、例えば、符号化・復号化システムは、特性判定部３０１、符号化部３０２（重畳部３０３）、及び伝送部３０４を備える符号化装置と、復号化部３０５、受信部３０７、及びパケット欠損検出部３０８を備える復号化装置とで実現されてもよい。この場合、パケット欠損検出部３０８は、実施の形態２で説明したネットワーク遅延量を用いてパケットの欠損を検出することができる。

また、例えば、符号化・復号化システムは、特性判定部３０１、符号化部３０２（重畳部３０３）、及び伝送部３０４を備える符号化装置と、復号化部３０５、及び受信部３０７を備える復号化装置と、パケット欠損検出部３０８を備えるネットワーク管理装置とで実現されてももちろんよい。

なお、本実施の形態では、音声信号符号化処理においてＡＣＥＬＰ方式を用いる例について説明したが、本発明は、これに限定されるものではない。例えば、音声信号符号化処理においてＶＳＥＬＰ（Ｖｅｃｔｏｒ Ｓｕｍ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）方式等、符号化原理がＣＥＬＰ方式であり、各フレームが独立復号可能な構成である方式であればどのＣＥＬＰ方式を用いてもよい。

また、以下のような場合も本発明に含まれる。

（１）上記の符号化・復号化システムは、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、符号化・復号化システムは、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の符号化・復号化システムを構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の符号化・復号化システムを構成する構成要素の一部または全部は、符号化・復号化システムに脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

なお、本発明は、これらの実施の形態またはその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態またはその変形例に施したもの、あるいは異なる実施の形態またはその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、音声信号及び音響信号を高品質・低ビットレートで符号化することができ、伝送が途切れた場合のサービス品質劣化を最小限にとどめることができる符号化・復号化システムとして有用である。具体的には、本発明に係る符号化・復号化システムは、移動体通信などの不安定な通信網上で音声・音響ストリーミングサービスを行う場合や、臨場感遠隔会議の場合、あるいは移動体端末向け放送サービスの場合に適用することができる。

２００ パケットロス
２０１、２０２、２０３、２０４、６０１〜６０３、７０１〜７０６ フレーム
３００ 符号化・復号化システム
３０１ 特性判定部
３０２ 符号化部
３０３ 重畳部
３０４ 伝送部
３０５ 復号化部
３０７ 受信部
３０８ パケット欠損検出部
４０１、４０２、４０３ パケットデータ
５０１ パケット欠損情報
５０２ パケット欠損発生率算出部
５０３ ネットワーク状況保持部
５０４ パケット欠損判断部
５０５ ネットワーク遅延量算出部
５０６ 遅延計測カウンター
８００ パケット欠損
８０１ 通知
８０２ パケット欠損期間

Claims (12)

1. 音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化システムであって、
   前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定部と、
   前記特性判定部が前記音信号が音声信号であると判定した場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定部が前記音信号が音響信号であると判定した場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化部と、
   前記符号化信号を伝送する伝送部と、
   前記伝送部が伝送した前記符号化信号を受信する受信部と、
   前記受信部が受信した前記符号化信号を復号化する復号化部と、
   前記受信部が前記符号化信号を受信しているときに前記符号化信号のデータの欠損を検出して前記特性判定部に通知するパケット欠損検出部とを備え、
   前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号のうち符号化されていない未処理信号が音声信号であるか音響信号であるかにかかわらず、前記音声信号符号化処理及び前記音響信号符号化処理のいずれか一方の符号化処理によって所定の構成で符号化されるように前記符号化部を制御し、
   前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、前記復号化部によって独立して復号可能なフレームである
   符号化・復号化システム。
2. 前記データの欠損の通知を受けたとき、前記特性判定部は、前記音声信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御する
   請求項１に記載の符号化・復号化システム。
3. 前記データの欠損の通知を受けたとき、前記特性判定部は、前記音響信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御する
   請求項１に記載の符号化・復号化システム。
4. 音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化システムであって、
   前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定部と、
   前記特性判定部が前記音信号が音声信号であると判定した場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定部が前記音信号が音響信号であると判定した場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化部と、
   前記符号化信号を伝送する伝送部と、
   前記伝送部が伝送した前記符号化信号を受信する受信部と、
   前記受信部が受信した前記符号化信号を復号化する復号化部と、
   前記受信部が前記符号化信号を受信しているときに前記符号化信号のデータの欠損を検出して前記特性判定部に通知するパケット欠損検出部とを備え、
   前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号のうち符号化されていない未処理信号が前記音声信号符号化処理によって所定の構成で符号化されるように前記符号化部を制御し、
   前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、ＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）方式によって符号化されたフレームである
   符号化・復号化システム。
5. 音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化システムであって、
   前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定部と、
   前記特性判定部が前記音信号が音声信号であると判定した場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定部が前記音信号が音響信号であると判定した場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化部と、
   前記符号化信号を伝送する伝送部と、
   前記伝送部が伝送した前記符号化信号を受信する受信部と、
   前記受信部が受信した前記符号化信号を復号化する復号化部と、
   前記受信部が前記符号化信号を受信しているときに前記符号化信号のデータの欠損を検出して前記特性判定部に通知するパケット欠損検出部とを備え、
   前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号のうち符号化されていない未処理信号が前記音響信号符号化処理によって所定の構成で符号化されるように前記符号化部を制御し、
   前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、コンテクスト情報が初期化されたフレームである
   符号化・復号化システム。
6. 音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化システムであって、
   前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定部と、
   前記特性判定部が前記音信号が音声信号であると判定した場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定部が前記音信号が音響信号であると判定した場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化部と、
   前記符号化信号を伝送する伝送部と、
   前記伝送部が伝送した前記符号化信号を受信する受信部と、
   前記受信部が受信した前記符号化信号を復号化する復号化部と、
   前記受信部が前記符号化信号を受信しているときに前記符号化信号のデータの欠損を検出して前記特性判定部に通知するパケット欠損検出部とを備え、
   前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号のうち符号化されていない未処理信号が所定の構成で符号化されるように前記符号化部を制御し、
   前記パケット欠損検出部は、
   前記符号化信号が前記伝送部によって伝送されてから前記受信部に受信されるまでの時間を表すネットワーク遅延量を測定し、
   所定の時間内における前記ネットワーク遅延量から平均ネットワーク遅延量を算出し、
   前記平均ネットワーク遅延量が所定の閾値よりも高い場合に、前記データの欠損を前記特性判定部に通知する
   符号化・復号化システム。
7. 音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化システムであって、
   前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定部と、
   前記特性判定部が前記音信号が音声信号であると判定した場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定部が前記音信号が音響信号であると判定した場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化部と、
   前記符号化信号を伝送する伝送部と、
   前記伝送部が伝送した前記符号化信号を受信する受信部と、
   前記受信部が受信した前記符号化信号を復号化する復号化部と、
   前記受信部が前記符号化信号を受信しているときに前記符号化信号のデータの欠損を検出して前記特性判定部に通知するパケット欠損検出部とを備え、
   前記データの欠損の通知を受けたとき、前記特性判定部は、前記音信号のうち符号化されていない未処理信号が所定の構成で符号化されるように前記符号化部を制御し、
   前記パケット欠損検出部は、前記受信部が受信した前記符号化信号に含まれるデータ番号に基づき前記データの欠損を検出し、所定の時間内における前記データの欠損の発生率が所定の閾値よりも高い場合に、前記データの欠損を前記特性判定部に通知する
   符号化・復号化システム。
8. 前記データの欠損の通知を受けたとき、前記特性判定部は、
   前記音信号が音声信号であると判定した場合には、前記音声信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御し、
   前記音信号が音響信号であると判定した場合には、前記音響信号符号化処理によって前記未処理信号が前記所定の構成で符号化されるように前記符号化部を制御する
   請求項６または７に記載の符号化・復号化システム。
9. 前記パケット欠損検出部が前記データの欠損の通知をしてから、前記符号化信号のうち前記未処理信号が前記所定の構成で符号化されることによって生成された信号を前記受信部が受信するまでの期間であるパケット欠損期間において、
   前記復号化部は、前記パケット欠損期間に前記受信部が受信した前記符号化信号のうち独立して復号可能な部分を復号化する
   請求項１〜８のいずれか１項に記載の符号化・復号化システム。
10. 請求項１〜９のいずれか１項に記載の符号化・復号化システムに用いられる復号化装置であって、
    前記受信部と、
    前記復号化部と、
    前記パケット欠損検出部とを備える
    復号化装置。
11. 請求項１〜６のいずれか１項に記載の符号化・復号化システムに用いられる符号化装置であって、
    前記特性判定部と、
    前記符号化部と、
    前記伝送部と、
    前記パケット欠損検出部とを備える
    符号化装置。
12. 音信号を符号化信号に符号化し、前記符号化信号を復号化する符号化・復号化方法であって、
    前記音信号の音響特性に基づいて前記音信号が音声信号であるか音響信号であるかを判定する特性判定ステップと、
    前記特性判定ステップにおいて前記音信号が音声信号であると判定された場合に、前記音信号を音声信号符号化処理によって符号化し、前記特性判定ステップにおいて前記音信号が音響信号であると判定された場合に前記音信号を音響信号符号化処理によって符号化して前記符号化信号を生成する符号化ステップと、
    前記符号化信号を伝送する伝送ステップと、
    前記伝送ステップにおいて伝送された前記符号化信号を受信する受信ステップと、
    前記受信ステップにおいて受信された前記符号化信号を復号化する復号化ステップと、
    前記受信ステップにおいて前記符号化信号が受信されているときの前記符号化信号のデータの欠損を検出するパケット欠損検出ステップと、
    前記データの欠損の通知を受けたとき、前記音信号のうち符号化されていない未処理信号が音声信号であるか音響信号であるかにかかわらず、前記音声信号符号化処理及び前記音響信号符号化処理のいずれか一方の符号化処理によって所定の構成で符号化されるように制御する制御ステップとを含み、
    前記符号化信号のうち、前記未処理信号が前記所定の構成で符号化されることによって生成された信号に含まれる全てのフレームは、それぞれ、前記復号化ステップにおいて独立して復号可能なフレームである
    符号化・復号化方法。

Images