JP4108863B2 - マルチメディア情報通信システム - Google Patents
マルチメディア情報通信システム Download PDFInfo
- Publication number
- JP4108863B2 JP4108863B2 JP09296899A JP9296899A JP4108863B2 JP 4108863 B2 JP4108863 B2 JP 4108863B2 JP 09296899 A JP09296899 A JP 09296899A JP 9296899 A JP9296899 A JP 9296899A JP 4108863 B2 JP4108863 B2 JP 4108863B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- terminal device
- packet
- public network
- transmitted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ＬＡＮ（Local Area Network）を介して端末装置間でマルチメディア情報通信を行うシステムに係わり、特に音声通信サービス機能の充実を図ったマルチメディア情報通信システムに関する。
【０００２】
【従来の技術】
従来の構内ネットワークシステムは、例えば電話機等の音声通信端末をＰＢＸ（Private Branch Exchange）又はボタン電話主装置に内線端末として収容し、これらの内線端末と公衆網等の外部通信網との間および内線端末相互間をＰＢＸ又はボタン電話主装置により交換接続して通話を可能にしたり、パーソナル・コンピュータ等のデータ端末をＬＡＮ（Local Area Network）に接続し、このＬＡＮを介してパーソナル・コンピュータ間で電子メールやデータの伝送を行うように構成されている。また、ＰＢＸ又はボタン電話主装置を用いた音声通信系と、ＬＡＮを用いたデータ通信系とをゲートウエイを用いることで連携させるシステムも提唱されている。
【０００３】
ところが、このような従来の構内ネットワークシステムでは、音声通信系とデータ通信系とで別々の通信インフラを敷設する必要がある。また、音声通信系はＰＢＸ等による集中制御型であるためシステムダウンを生じやすく、これを回避するためにはＰＢＸを二重化する必要がある。このため、システムの構成が大がかりなものになるとともに、ユーザの投資負担が大きくなるという問題点を有していた。
【０００４】
そこで本発明者は、特願平９−１６１７２２号において、ＬＡＮを中核としてこのＬＡＮにパーソナル・コンピュータからなる複数の端末装置を収容すると共に、ＬＡＮをルータ等のネットワーク間接続装置を介して公衆網等の外部ネットワークに接続し、端末装置及びネットワーク間接続装置においてプロトコル変換及びデータのフォーマット変換等を行うことにより、端末装置相互間及び端末装置と外部ネットワークとの間でマルチメディア情報通信を可能にするシステムを提唱している。
【０００５】
【発明が解決しようとする課題】
ところが、この種のシステムにおいて、話者の送話音声信号及び外部ネットワークから到来した受話音声信号はパケット化されてＬＡＮ上を伝送するため、ＬＡＮ上のトラフィック等によりパケット到着タイミングの遅延やパケットロスが発生する。したがって、通話録音サービスや通話中の音声を第三者が聴取するサービスを実施しようとすると、送話音声パケットと受話音声パケットとの間にランダムな時間ずれが生じ、この結果正常な通話録音又は通話聴取を行うことが困難だった。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、ローカルエリア・ネットワーク上で音声パケットの遅延が発生しても、再現性の高い通話録音又は通話聴取を行えるようにしたマルチメディア情報通信システムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するためにこの発明は、パケットを伝送するローカルエリア・ネットワークと、このローカルエリア・ネットワークと公衆網との間を接続して、公衆網から到来した音声信号を音声パケットに変換してローカルエリア・ネットワークに送信すると共にローカルエリア・ネットワークから受信した音声パケットを音声信号に変換して公衆網へ送出する機能を備えたネットワーク間接続装置と、音声入力手段により入力された音声信号を音声パケットに変換して上記ローカルエリア・ネットワークへ送信すると共にローカルエリア・ネットワークから受信した音声パケットを音声信号に変換して音声出力手段から出力する機能を備えた複数の端末装置と、上記ローカルエリア・ネットワークに接続されたサーバ装置とを具備したマルチメディア情報通信システムにあって、音声通信管理手段を新たに備えている。そして、この音声通信管理手段により以下のような処理を行うように構成したものである。すなわち、上記端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、上記音声通信中の端末装置において当該端末装置が送信した送話音声パケットと当該端末装置が受信する受話音声パケットとを時間的に相互に対応付けて合成し、この合成された音声パケットを上記サーバ装置に向けローカルエリア・ネットワークへ送信し、サーバ装置において上記ローカルエリア・ネットワークを介して受信した合成音声パケットを送信元の端末装置の識別情報と共に記憶するように構成したものである。
【００１２】
また、上記音声通信管理手段において送話音声パケットと受話音声パケットとを時間的に対応付ける処理は、送話音声パケット及び受話音声パケットにタイムスタンプ情報を付加してこのタイムスタンプ情報をもとに行うものと、送話音声パケット及び受話音声パケットに当該パケットの送信順位を表すインデックス情報を付加してこのインデックス情報をもとに行うものとが考えられる。
このうちタイムスタンプ情報をもとに行うものでは、送話音声パケットと受話音声パケットとの時間的な対応付けを常に正確に行うことができる。これに対しインデックス情報をもとに行うものでは、タイムスタンプ情報に比べヘッダの情報量を少なくできる利点がある。
【００１３】
またこの発明は、音声通信管理手段において、再生要求に応じて、サーバ装置に記憶された送話音声パケット及び受話音声パケットを選択的に読み出して聴取先の端末装置又は公衆網へ送出する再生機能をさらに備えることも特徴とする。
このような機能を持たせることで、例えば任意の端末装置から再生要求を送出することにより、サーバ装置に記憶された送受話音声パケットを選択的に再生させて聴取することができる。
【００１４】
さらにこの発明は、端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、この音声通信を行っている端末装置以外の端末装置からの聴取要求に応じ、上記音声通信を行っている端末装置において当該端末装置が送信した送話音声パケットと当該端末装置が受信する受話音声パケットとを時間的に相互に対応付けて合成し、この合成された音声パケットを上記要求元の端末装置へ送信して音声出力させる機能を、音声通信管理手段にさらに備えることも特徴としている。
【００１５】
またさらにこの発明は、音声通信管理手段において、端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、この音声通信を行っている端末装置以外の端末装置からの聴取要求に応じ、上記音声通信中の端末装置が送信する送話音声パケットを上記聴取要求元の端末装置へも送信させると共に、上記音声通信中の端末装置が受信する受話音声パケットを上記聴取要求元の端末装置でも受信させ、当該聴取要求元の端末装置において上記送話音声パケットと受話音声パケットとを時間的に相互に対応付けて合成して音声出力する機能を備えたことも特徴としている。
【００１６】
これらのように構成することで、任意の端末装置の送話音声パケットと受話音声パケットとが、その時間差が解消された状態で聴取を希望する他の端末装置に転送され音声出力される。または、任意の端末装置の送話音声パケットと受話音声パケットとが、聴取を希望する他の端末装置にそれぞれ転送されたのち、その時間差が解消されて音声出力される。このため、任意の端末装置により行われている音声通信の内容を、第三者が他の端末装置において高品質に聴取することが可能となる。
【００１７】
【発明の実施の形態】
図１は、この発明に係わるマルチメディア情報通信システムの一実施形態を示す概略構成図である。
【００１８】
このシステムは、中核通信ネットワークを構成するＬＡＮ４を有する。このＬＡＮ４は、例えば１００Ｍbps あるいは１Ｇbps の伝送容量を持つイーサネット（Ethernet）により構成される。ＬＡＮ４には内線端末として位置付けられる複数の端末装置５Ａ，５Ｂが接続されている。
【００１９】
また上記ＬＡＮ４には、公衆網−ＬＡＮ接続装置３が接続されている。公衆網−ＬＡＮ接続装置３は、公衆網１とＬＡＮ４との間を接続するもので、ＬＡＮ４と公衆網１との間における通信プロトコル及び信号フォーマットの変換機能を備えている。
【００２０】
さらにＬＡＮ４には、サーバ装置９が接続されている。サーバ装置９は、端末装置５Ａ，５Ｂに対するＩＰアドレスの割り当て機能と、端末装置５Ａ，５Ｂに対する呼制御機能とを有し、さらに各端末装置５Ａ，５Ｂに割り当てたアドレスの管理機能を有している。
【００２１】
このアドレス管理機能は例えば、各端末装置５Ａ，５Ｂに予め割り当ててある端末識別情報としての電話番号及び固定ネットワークアドレスとしてのＭＡＣ（Media Access Control）アドレスと、端末装置５Ａ，５Ｂにその立ち上がり時に割り当てる可変ネットワークアドレスとしてのＩＰ（Internet Protocol ）アドレスの管理を行う。上記端末装置５Ａ，５Ｂに対するＩＰアドレスの割り当ては、現在広く用いられているＤＨＣＰ（Dynamic Host Configuration Protocol）を用いて行う。
【００２２】
またサーバ装置９は、端末装置５Ａ，５Ｂが音声通信を行っているときに、必要に応じてその送話音声パケット及び受話音声パケットを記憶する通話録音機能も有している。
【００２３】
ところで、公衆網−ＬＡＮ接続装置３は例えばルータからなり、この発明に係わる機能として次のような機能を有している。図２はその機能構成を示すブロック図である。すなわち、公衆網−ＬＡＮ接続装置３は、公衆網インタフェース（Ｉ／Ｆ）部３１と、ＬＡＮインタフェース（Ｉ／Ｆ）部３２と、上記公衆網１とＬＡＮ４との間の接続制御を行う接続制御部３３と、音声パケット処理部３４と、パケット加算部３５と、上記接続制御部３３の接続制御に必要なルーティング情報等を格納したデータ管理部３６とを備えている。
【００２４】
このうち音声パケット処理部３４は、公衆網１から受信した音声信号をＬＡＮ４で取り扱い可能な音声パケットに変換してＬＡＮ４へ送出すると共に、ＬＡＮ４から受信した音声パケットを公衆網１で取り扱い可能な音声信号に変換して公衆網１へ送信する機能を有する。
【００２５】
パケット加算部３５は、通話録音のために音声パケットを加算合成するもので、端末装置５Ａ，５Ｂの送話音声パケットと、当該端末装置５Ａ，５Ｂ宛の受話音声パケットとを、時間的に対応付けて加算する。この時間的な対応付けは、各音声パケットのヘッダに挿入されている通信開始後のパケット送信順位を表すインデックス情報をもとに行われる。
【００２６】
一方、各端末装置５Ａ，５Ｂはいずれもパーソナル・コンピュータにより構成され、この発明に係わる機能として次のような機能を有している。図３はその機能構成を示すブロック図である。すなわち、各端末装置５Ａ，５Ｂはいずれも、公衆網インタフェース（Ｉ／Ｆ）部５１と、音声入出力インタフェース（Ｉ／Ｆ）部５２と、ＬＡＮ４に対する接続制御を行う接続制御部５３と、音声パケット処理部５４と、パケット加算部５５と、上記接続制御に必要な管理データを格納したデータ管理部５６とを備えている。
【００２７】
このうち音声入出力Ｉ／Ｆ部５２には、マイクロホン等の音声入力装置６Ａ，６Ｂ及びスピーカ等の音声出力装置７Ａ，７Ｂが接続されている。音声入出力Ｉ／Ｆ部５２は、音声入力装置６Ａ，６Ｂにより入力された送話音声信号をディジタル化して音声パケット処理部５４に入力すると共に、音声パケット処理部５４から出力されたディジタル音声信号をアナログ信号に変換して音声出力装置７Ａ，７Ｂから拡声出力する。
【００２８】
音声パケット処理部５４は、上記音声入出力Ｉ／Ｆ部５２から入力された送話音声信号をＬＡＮ４で取り扱い可能な音声パケットに変換してＬＡＮ４へ送出すると共に、ＬＡＮ４から受信した受話音声パケットをディジタル音声信号に変換して上記音声入出力Ｉ／Ｆ部５２に供給する。
【００２９】
パケット加算部５５は、前記公衆網−ＬＡＮ接続装置３のパケット加算部３５と同様に通話録音のために音声パケットを加算合成するもので、自己の端末装置が送信する送話音声パケットと、自装置宛の受話音声パケットとを、時間的に対応付けて加算する。この時間的な対応付けは、各音声パケットのヘッダに挿入されている通信開始後のパケット送信順位を表すインデックス情報をもとに行われる。
【００３０】
次に、以上のように構成されたシステムによる音声通信動作を説明する。
先ず、基本的な通信接続処理について説明する。
ＬＡＮ４に接続された各端末装置５Ａ，５Ｂには、端末識別情報として例えば内線番号が付与され、これらの内線番号はサーバ装置９及び公衆網−ＬＡＮ接続装置３の記憶装置８ｃ，８ｄに記憶されている。またサーバ装置９及び公衆網−ＬＡＮ接続装置３には、公衆網１からの着信時に着信先を決定するためのルーティング情報が記憶されている。
【００３１】
例えば、外部端末装置２の電話番号が図１に示すように「０４２−５８５−１２３４」に、またＬＡＮ４に接続された各端末装置５Ａ，５Ｂの内線番号がそれぞれ「３０００」、「３００１」にそれぞれ設定され、さらに公衆網−ＬＡＮ接続装置３が接続された公衆回線に付与された電話番号が「０４２−５８５−３０００」、「０４２−５８５−３００１」であった場合、公衆網−ＬＡＮ接続装置３及びサーバ装置９の記憶装置８ｄ，８ｃには、公衆網１からの着信に対しその着信先を検索するための情報として、図４に示すようなルーティング情報が設定される。
【００３２】
この状態で、例えば公衆網１に接続された端末装置２が、ＬＡＮ４に接続された端末装置５Ａと音声通信を行うために、端末装置２において「０４２−５８５−３０００」をダイヤルしたとする。そうすると、公衆網１から公衆網−ＬＡＮ接続装置３に対し着信信号が送られる。この着信信号を受信した公衆網−ＬＡＮ接続装置３は、図４に示すルーティング情報を参照することで、公衆網１から通知された着番号「０４２−５８５−３０００」に対応する着信先の内線番号「３０００」を検索する。そして公衆網−ＬＡＮ接続装置３は、この内線番号「３０００」に対応する端末装置５Ａに対してＬＡＮ４を介して接続要求信号を送信する。
【００３３】
この接続要求信号を受信した端末装置５Ａでは、鳴音が発生されるか又は着信表示が行われ、これによりユーザに対し着信の発生が報知される。そして、この着信報知に対しユーザが応答操作を行うと、端末装置５Ａは接続応答信号を要求元の公衆網−ＬＡＮ接続装置３へ送信し、この接続応答信号を受信した公衆網−ＬＡＮ接続装置３は公衆網１に対して応答信号を送信する。かくして、発信元の端末装置２と着信先の端末装置５Ａとの間には通信路が形成され、以後両端末装置２，５Ａ間では音声通信が可能となる。
【００３４】
すなわち、端末装置２から送信された音声信号は公衆網１を介して公衆網−ＬＡＮ接続装置３へ送信される。公衆網−ＬＡＮ接続装置３では、受信した音声信号が音声パケットに変換され、この音声パケットはＬＡＮ４を介して端末装置５Ａへ伝送される。この音声パケットを受信した端末装置５Ａでは、受信音声パケットから音声データが抽出され、この音声データがアナログ音声信号に変換されたのち音声出力装置７Ａに供給されて拡声出力される。
【００３５】
これに対し、音声入力装置６Ａにより入力された送話音声信号は、端末装置５Ａにより音声パケットに変換されたのち、ＬＡＮ４を介して公衆網−ＬＡＮ接続装置３に伝送される。公衆網−ＬＡＮ接続装置３では、ＬＡＮ４から受信した音声パケットが音声信号に変換され、この音声信号は公衆網１を介して端末装置２に伝送される。
【００３６】
一方、ＬＡＮ４に接続された端末装置５Ａから公衆網１に接続された端末装置２に対し発信する場合には、端末装置５Ａにおいて端末装置２に付与された電話番号「０４２−５８５−１２３４」をダイヤル入力する。そうすると、端末装置５Ａから上記ダイヤル入力された電話番号を含む接続要求信号がＬＡＮ４へ送信され、公衆網−ＬＡＮ接続装置３に伝送される。この接続要求信号を受信した公衆網−ＬＡＮ接続装置３では、受信した電話番号が内線番号であるか否かが判定され、内線番号でない場合には公衆網１へ電話番号を送信する。公衆網１は、受信した電話番号「０４２−５８５−１２３４」をもとに着信先の端末装置２へ着信を行い、この着信に対し端末装置２が応答すると公衆網−ＬＡＮ接続装置３と端末装置２との間の通信路を確立する。かくして、発信元の端末装置５Ａと着信先の外部端末装置２との間に通信路が確立され、以後両端末装置５Ａ，２間で音声通信が可能となる。
【００３７】
また、端末装置５Ａと端末装置５Ｂとの間で音声通信を行う場合には、端末装置５Ａにおいて端末装置５Ｂに付与された内線番号「３００１」を入力する。そうすると、端末装置５Ａは内線番号「３００１」を含んだ接続要求信号を、ＬＡＮ４を介して公衆網−ＬＡＮ接続装置３へ送信する。接続要求信号を受けた公衆網−ＬＡＮ接続装置３は、当該要求信号から着信先電話番号である内線番号「３００１」を取得すると、内線「３００１」に対応した端末装置５Ｂへ接続要求信号を送信する。そして、この接続要求信号を受信した端末装置５Ｂが応答して接続応答信号を返送すると、端末装置５Ａと端末装置５Ｂとの間にはＬＡＮ４を介して通信路が確立され、以後両端末装置５Ａ，５Ｂ間で音声通信が可能となる。
【００３８】
なお、以上の動作説明では、ＬＡＮ４上の接続制御を公衆網−ＬＡＮ接続装置３において行った場合について述べたが、サーバ装置９で行うようにしてもよい。この場合端末装置５Ａ，５Ｂ及び公衆網−ＬＡＮ接続装置３は、接続要求信号を前記サーバ装置９に対して送信し、サーバ装置９が接続先の検定を行って通信路を確立する。
【００３９】
次に、通話録音処理の動作について説明する。
（１）通話中の端末装置自身が通話録音を行う場合
いま仮に公衆網１に接続された端末装置２とＬＡＮ４に接続された端末装置５Ａとが音声通信を行っているものとする。この場合、端末装置２から送信された音声信号は、図５に示すように公衆網１を介して公衆網−ＬＡＮ接続装置３へ伝送される。公衆網１から音声信号を受信した公衆網−ＬＡＮ接続装置３は、この音声信号を音声パケットＰｂ１，Ｐｂ２，…に順次変換してＬＡＮ４へ送信する。なお、これらの音声パケットＰｂ１，Ｐｂ２，…のヘッダには、通信開始時点からのパケット送信順位を表す識別番号が挿入される。上記各音声パケットＰｂ１，Ｐｂ２，…は、ＬＡＮ４を介して端末装置５Ａに伝送され、この端末装置５Ａにおいて音声信号に変換されたのち音声出力装置７Ａから受話音声として拡声出力される。
【００４０】
これに対し端末装置５Ａは、音声入力装置６Ａにより入力された送話音声信号を音声パケットＰａ１，Ｐａ２，…に順次変換したのちＬＡＮ４へ送信する。このとき上記各音声パケットＰａ１，Ｐａ２，…のヘッダには、前記公衆網−ＬＡＮ接続装置３と同様に、通信開始時点からのパケット送信順位を表す識別番号が挿入される。上記送話音声パケットＰａ１，Ｐａ２，…は公衆網−ＬＡＮ接続装置３で受信され、ここで音声信号に変換されたのち公衆網１を介して通話相手の端末装置２に伝送される。
【００４１】
ところで、このとき端末装置５Ａでは、ＬＡＮ４から受信した受話音声パケットＰｂ１，Ｐｂ２，…の音声データと、音声入力装置６Ａにより入力された送話音声パケットＰａ１，Ｐａ２，…の音声データとが、そのパケットに付されている送信順位を表す識別情報をもとに時間的な対応付けがなされて順次加算される。そして、この加算合成された各音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…は記憶装置８Ａに記録される。
【００４２】
例えば図５に示すように、公衆網−ＬＡＮ接続装置３から端末装置５Ａへは受話音声パケットＰｂ１，Ｐｂ２，…が伝送され、端末装置５ＡからＬＡＮ４へは送話音声パケットＰａ１，Ｐａ２，…が送信されたとすると、受話音声パケットＰｂ１と送話音声パケットＰａ１とはパケット送信順位を表す番号「１」が同一のため、相互に加算されて記憶装置８Ａに記憶される。また、受話音声パケットＰｂ２と送話音声パケットＰａ２はそのパケット送信順位を表す番号「２」が同一のため、相互に加算されて記憶装置８Ａに記憶される。以後同様に、受話音声パケット及び送話音声パケットは、パケット送信順位が同一のもの同士がそれぞれ加算されて記憶装置８Ｄに順次記憶される。
【００４３】
（２）サーバ装置９を用いて通話録音を行う場合
いま例えば、図６に示すように公衆網１の端末装置２とＬＡＮ４に接続された端末装置５Ａとの間で通話が行われているものとする。そして、この状態で端末装置５Ａのユーザが通話録音要求を送信したとする。そうすると、この通話録音要求は、サーバ装置９及び公衆網−ＬＡＮ接続装置３に通知される。
【００４４】
この場合、公衆網１から受信した音声信号は、公衆網−ＬＡＮ接続装置３において音声パケットＰｂ１，Ｐｂ２，…に順次変換され、しかるのちＬＡＮ４を介して通信相手の端末装置５Ａに伝送される。また上記各音声パケットＰｂ１，Ｐｂ２，…は、上記通話録音要求に応じ、ＬＡＮ４を介してサーバ装置９へも伝送される。このとき、上記音声パケットＰｂ１，Ｐｂ２，…のヘッダには、公衆網−ＬＡＮ接続装置３において通信開始時点からのパケット送信順位を表す識別番号が挿入される。
【００４５】
これに対し、端末装置５Ａの音声入力装置６Ａにより入力された送話音声信号は、端末装置５Ａにおいて送話音声パケットＰａ１，Ｐａ２，…に順次変換されたのち、ＬＡＮ４を介して公衆網−ＬＡＮ接続装置３へ伝送される。また、それと共に上記送話音声パケットＰａ１，Ｐａ２，…は、ＬＡＮ４を介してサーバ装置９装置にも伝送される。このとき、上記各音声パケットＰａ１，Ｐａ２，…のヘッダには、前記公衆網−ＬＡＮ接続装置３と同様に、通信開始時点からのパケット送信順位を表す識別番号が挿入される。
【００４６】
サーバ装置９は、上記通話録音要求を受けると、公衆網−ＬＡＮ接続装置３から受信した受話音声パケットＰｂ１，Ｐｂ２，…と、端末装置５Ａから受信した送話音声パケットＰａ１，Ｐａ２，…の各ヘッダより、パケット送信順位を表す識別番号を抽出する。そして、この識別番号が同一の音声パケット同士をそれぞれ加算合成して記憶装置８Ｃに記憶する。
【００４７】
例えば、受話音声パケットＰｂ１と送話音声パケットＰａ１とを加算し、また受話音声パケットＰｂ２と送話音声パケットＰａ２とを加算し、これらを記憶装置８Ｃにそれぞれ記憶する。以後同様に、受話音声パケットＰｂ３及び送話音声パケットＰａ３以降の各パケットについても、送信順位を表す識別番号が一致するもの同士をそれぞれ加算して記憶装置８Ｃに記憶する。
【００４８】
また、このとき上記加算合成された音声パケットデータＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…には、上記送話音声パケットＰａ１，Ｐａ２，…の送信元の端末装置５Ａの識別情報、及び受話音声パケットＰｂ１，Ｐｂ２，…の送信元の端末装置２の識別情報がそれぞれ付加されて記憶される。
【００４９】
次に、第三者が通話を聴取する場合の処理について述べる。
（３）聴取対象の音声パケットを通話中の端末装置自身が合成して第三者の端末装置へ伝送する場合
いま例えば、図７に示すように公衆網１に接続された端末装置２とＬＡＮ４に接続された端末装置５Ａとが通話を行っている最中に、端末装置５Ｂが端末装置５Ａに対し通話の聴取を要求したとする。
【００５０】
そうすると端末装置２から送信された音声信号は、公衆網−ＬＡＮ接続装置３において音声パケットＰｂ１，Ｐｂ２，…に順次変換されてＬＡＮ４へ送信される。これに対し、通話相手の端末装置５Ａにおいて、音声入力装置６Ａにより入力された送話音声信号は端末装置５Ａで音声パケットＰａ１，Ｐａ２，…に順次変換された後、端末装置２へ向けＬＡＮ４へ送信される。
【００５１】
また、このとき端末装置５Ａでは、自身の送話音声パケットＰａ１，Ｐａ２，…とＬＡＮ４から受信した受話音声パケットＰｂ１，Ｐｂ２，…とが、そのヘッダに挿入されているパケット送信順位を表す識別情報に基づいて時間的な対応が付けられたのち相互に加算される。そして、この加算合成された音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…は、通話を聴取する端末装置５Ｂに向け送信される。
【００５２】
通話を聴取する端末装置５Ｂは、上記端末装置５Ａから伝送された合成音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…を受信すると、この合成音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…を音声信号に変換したのち音声出力装置７Ｂから拡声出力させる。
【００５３】
（４）聴取対象の音声パケットを、聴取する端末装置が合成する場合
いま例えば、図８に示すように公衆網１に接続された端末装置２とＬＡＮ４に接続された端末装置５Ａとが通話を行っている最中に、端末装置５Ｂが通話の聴取要求を送信したとする。そうするとこの通話聴取要求は、ＬＡＮ４を介して端末装置５Ａ及び公衆網−ＬＡＮ接続装置３にそれぞれ通知される。
【００５４】
この場合、公衆網１に接続された端末２から送信された音声信号は、公衆網−ＬＡＮ接続装置３で音声パケットＰｂ１，Ｐｂ２，…に順次変換されたのち、ＬＡＮ４を介して通話相手の端末装置５Ａと、通話を聴取する端末装置５Ｂへそれぞれ送信される。一方、通話相手の端末装置５Ａは、音声入力装置６Ａにより入力された送話音声信号を音声パケットＰａ１，Ｐａ２，…に順次変換したのち、ＬＡＮ４を介して公衆網−ＬＡＮ接続装置３と、通話を聴取する端末装置５Ｂへそれぞれ送信する。
【００５５】
さて、通話を聴取する端末装置５Ｂは、上記公衆網−ＬＡＮ接続装置３から受信した音声パケットＰｂ１，Ｐｂ２，…と、端末装置５Ａから受信した音声パケットＰａ１，Ｐａ２，…とを、そのヘッダに挿入されているパケット送信順位を表す識別情報に基づいて時間的な対応を付けた後相互に加算する。そして、この加算合成した音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…を音声出力装置７Ｂから拡声出力する。
【００５６】
以上述べたようにこの実施形態では、端末装置５Ａ，５Ｂ、公衆網−ＬＡＮ接続装置及びサーバ装置９にパケット加算部３５，５５を設け、このパケット加算部３５，５５により、端末装置５Ａ，５Ｂが通話を行っているときにその送話音声パケットＰａ１，Ｐａ２，…と受話音声パケットＰｂ１，Ｐｂ２，…とを、そのヘッダに挿入されているパケット送信順位を表す識別情報に基づいて時間的な対応を付けて相互に加算合成し、記憶装置８Ａ，８Ｂ，８Ｃ，８Ｄに記憶するようにしている。また、通話の聴取を要求した端末装置において、上記加算合成された音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…を生成或いは伝送して音声出力するようにしている。
【００５７】
従ってこの実施形態によれば、ＬＡＮ４上で音声パケットの伝送遅延が発生し、これにより送話音声パケットと受話音声パケットとの間に時間差が生じても、この時間差が吸収された状態で上記音声パケットを記憶することができる。このため、記録音声を送受話間のタイミングが一致した状態で、常に正確に再生することができる。また、同様の理由により送受話音声を送受間のタイミングが一致した状態で、常に正確に聴取することができる。
【００５８】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では送受話音声パケットの加算合成及びその記憶を、通話中の端末装置５Ａ自身、或いはサーバ装置９で行うようにしたが、その他の端末装置５Ｂや公衆網−ＬＡＮ接続装置３で行うようにしてもよい。
【００５９】
また、送話音声パケットと受話音声パケットとの時間的な対応付けを、前記実施形態では各パケットのヘッダにパケット送信順位を表す識別番号を挿入し、この識別番号をもとに一致するもの同士を加算するようにした。しかし、それに限ることなく、例えば各パケットのヘッダに、送信時刻或いは先行パケットの送信時刻に対する時間差を表すをタイムスタンプ情報を挿入して送信し、このタイムスタンプ情報をもとに送信時刻が一致するもの同士を加算するようにしてもよい。このようにすることで、時間的な対応付けをさらに正確に行うことができる。
【００６０】
さらに、前記実施形態では送話音声パケットと受話音声パケットとを時間的に対応付けて加算するようにしたが、送話音声パケットと受話音声パケットとを時間的に対応付けた状態でそのまま記憶するようにしてもよい。
【００６１】
その他、システムの種類や構成、端末装置、公衆網−ＬＡＮ接続装置及びサーバ装置の構成、音声パケットを時間的に対応付ける手段等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００６２】
【発明の効果】
以上詳述したようにこの発明では、音声通信管理手段を新たに備え、この音声通信管理手段により、端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、上記音声通信中の端末装置において当該端末装置が送信した送話音声パケットと当該端末装置が受信する受話音声パケットとを時間的に相互に対応付けて合成し、この合成された音声パケットを上記サーバ装置に向けローカルエリア・ネットワークへ送信し、サーバ装置において上記ローカルエリア・ネットワークを介して受信した合成音声パケットを送信元の端末装置の識別情報と共に記憶するように構成している。
【００６３】
従ってこの発明によれば、ローカルエリア・ネットワーク上で音声パケットの遅延が発生しても、再現性の高い通話録音又は通話聴取を行うことができるマルチメディア情報通信システムを提供することができる。
【図面の簡単な説明】
【図１】 この発明に係わるマルチメディア情報通信システムの一実施形態を示す概略構成図。
【図２】 図１に示したシステムにおける公衆網−ＬＡＮ接続装置の機能構成を示すブロック図。
【図３】 図１に示したシステムにおけるパーソナル・コンピュータの機能構成を示すブロック図である。
【図４】 公衆網からの着信に対するルーティング情報の一例を示す図。
【図５】 図１に示したシステムにおける通話録音動作の第１の例を説明するための図。
【図６】 図１に示したシステムにおける通話録音動作の第２の例を説明するための図。
【図７】 図１に示したシステムにおける通話聴取動作の第１の例を説明するための図。
【図８】 図１に示したシステムにおける通話聴取動作の第２の例を説明するための図。
【符号の説明】
１…公衆網
２…公衆網に接続された端末装置
３…公衆網−ＬＡＮ接続装置
４…ＬＡＮ
５Ａ，５Ｂ…パーソナル・コンピュータ
６Ａ，６Ｂ…音声入力装置
７Ａ，７Ｂ…音声出力装置
８Ａ，８Ｂ，８Ｃ，８Ｄ…記憶装置
９…サーバ装置
３１…公衆網インタフェース部（公衆網Ｉ／Ｆ部）
３２，５１…ＬＡＮインタフェース部（ＬＡＮＩ／Ｆ部）
３３，５３…接続制御部
３４，５４…音声パケット処理部
３５，５５…パケット加算部
３６，５６…データ管理部
５２…音声入出力インタフェース部（音声入出力Ｉ／Ｆ部）
【発明の属する技術分野】
この発明は、ＬＡＮ（Local Area Network）を介して端末装置間でマルチメディア情報通信を行うシステムに係わり、特に音声通信サービス機能の充実を図ったマルチメディア情報通信システムに関する。
【０００２】
【従来の技術】
従来の構内ネットワークシステムは、例えば電話機等の音声通信端末をＰＢＸ（Private Branch Exchange）又はボタン電話主装置に内線端末として収容し、これらの内線端末と公衆網等の外部通信網との間および内線端末相互間をＰＢＸ又はボタン電話主装置により交換接続して通話を可能にしたり、パーソナル・コンピュータ等のデータ端末をＬＡＮ（Local Area Network）に接続し、このＬＡＮを介してパーソナル・コンピュータ間で電子メールやデータの伝送を行うように構成されている。また、ＰＢＸ又はボタン電話主装置を用いた音声通信系と、ＬＡＮを用いたデータ通信系とをゲートウエイを用いることで連携させるシステムも提唱されている。
【０００３】
ところが、このような従来の構内ネットワークシステムでは、音声通信系とデータ通信系とで別々の通信インフラを敷設する必要がある。また、音声通信系はＰＢＸ等による集中制御型であるためシステムダウンを生じやすく、これを回避するためにはＰＢＸを二重化する必要がある。このため、システムの構成が大がかりなものになるとともに、ユーザの投資負担が大きくなるという問題点を有していた。
【０００４】
そこで本発明者は、特願平９−１６１７２２号において、ＬＡＮを中核としてこのＬＡＮにパーソナル・コンピュータからなる複数の端末装置を収容すると共に、ＬＡＮをルータ等のネットワーク間接続装置を介して公衆網等の外部ネットワークに接続し、端末装置及びネットワーク間接続装置においてプロトコル変換及びデータのフォーマット変換等を行うことにより、端末装置相互間及び端末装置と外部ネットワークとの間でマルチメディア情報通信を可能にするシステムを提唱している。
【０００５】
【発明が解決しようとする課題】
ところが、この種のシステムにおいて、話者の送話音声信号及び外部ネットワークから到来した受話音声信号はパケット化されてＬＡＮ上を伝送するため、ＬＡＮ上のトラフィック等によりパケット到着タイミングの遅延やパケットロスが発生する。したがって、通話録音サービスや通話中の音声を第三者が聴取するサービスを実施しようとすると、送話音声パケットと受話音声パケットとの間にランダムな時間ずれが生じ、この結果正常な通話録音又は通話聴取を行うことが困難だった。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、ローカルエリア・ネットワーク上で音声パケットの遅延が発生しても、再現性の高い通話録音又は通話聴取を行えるようにしたマルチメディア情報通信システムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するためにこの発明は、パケットを伝送するローカルエリア・ネットワークと、このローカルエリア・ネットワークと公衆網との間を接続して、公衆網から到来した音声信号を音声パケットに変換してローカルエリア・ネットワークに送信すると共にローカルエリア・ネットワークから受信した音声パケットを音声信号に変換して公衆網へ送出する機能を備えたネットワーク間接続装置と、音声入力手段により入力された音声信号を音声パケットに変換して上記ローカルエリア・ネットワークへ送信すると共にローカルエリア・ネットワークから受信した音声パケットを音声信号に変換して音声出力手段から出力する機能を備えた複数の端末装置と、上記ローカルエリア・ネットワークに接続されたサーバ装置とを具備したマルチメディア情報通信システムにあって、音声通信管理手段を新たに備えている。そして、この音声通信管理手段により以下のような処理を行うように構成したものである。すなわち、上記端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、上記音声通信中の端末装置において当該端末装置が送信した送話音声パケットと当該端末装置が受信する受話音声パケットとを時間的に相互に対応付けて合成し、この合成された音声パケットを上記サーバ装置に向けローカルエリア・ネットワークへ送信し、サーバ装置において上記ローカルエリア・ネットワークを介して受信した合成音声パケットを送信元の端末装置の識別情報と共に記憶するように構成したものである。
【００１２】
また、上記音声通信管理手段において送話音声パケットと受話音声パケットとを時間的に対応付ける処理は、送話音声パケット及び受話音声パケットにタイムスタンプ情報を付加してこのタイムスタンプ情報をもとに行うものと、送話音声パケット及び受話音声パケットに当該パケットの送信順位を表すインデックス情報を付加してこのインデックス情報をもとに行うものとが考えられる。
このうちタイムスタンプ情報をもとに行うものでは、送話音声パケットと受話音声パケットとの時間的な対応付けを常に正確に行うことができる。これに対しインデックス情報をもとに行うものでは、タイムスタンプ情報に比べヘッダの情報量を少なくできる利点がある。
【００１３】
またこの発明は、音声通信管理手段において、再生要求に応じて、サーバ装置に記憶された送話音声パケット及び受話音声パケットを選択的に読み出して聴取先の端末装置又は公衆網へ送出する再生機能をさらに備えることも特徴とする。
このような機能を持たせることで、例えば任意の端末装置から再生要求を送出することにより、サーバ装置に記憶された送受話音声パケットを選択的に再生させて聴取することができる。
【００１４】
さらにこの発明は、端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、この音声通信を行っている端末装置以外の端末装置からの聴取要求に応じ、上記音声通信を行っている端末装置において当該端末装置が送信した送話音声パケットと当該端末装置が受信する受話音声パケットとを時間的に相互に対応付けて合成し、この合成された音声パケットを上記要求元の端末装置へ送信して音声出力させる機能を、音声通信管理手段にさらに備えることも特徴としている。
【００１５】
またさらにこの発明は、音声通信管理手段において、端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、この音声通信を行っている端末装置以外の端末装置からの聴取要求に応じ、上記音声通信中の端末装置が送信する送話音声パケットを上記聴取要求元の端末装置へも送信させると共に、上記音声通信中の端末装置が受信する受話音声パケットを上記聴取要求元の端末装置でも受信させ、当該聴取要求元の端末装置において上記送話音声パケットと受話音声パケットとを時間的に相互に対応付けて合成して音声出力する機能を備えたことも特徴としている。
【００１６】
これらのように構成することで、任意の端末装置の送話音声パケットと受話音声パケットとが、その時間差が解消された状態で聴取を希望する他の端末装置に転送され音声出力される。または、任意の端末装置の送話音声パケットと受話音声パケットとが、聴取を希望する他の端末装置にそれぞれ転送されたのち、その時間差が解消されて音声出力される。このため、任意の端末装置により行われている音声通信の内容を、第三者が他の端末装置において高品質に聴取することが可能となる。
【００１７】
【発明の実施の形態】
図１は、この発明に係わるマルチメディア情報通信システムの一実施形態を示す概略構成図である。
【００１８】
このシステムは、中核通信ネットワークを構成するＬＡＮ４を有する。このＬＡＮ４は、例えば１００Ｍbps あるいは１Ｇbps の伝送容量を持つイーサネット（Ethernet）により構成される。ＬＡＮ４には内線端末として位置付けられる複数の端末装置５Ａ，５Ｂが接続されている。
【００１９】
また上記ＬＡＮ４には、公衆網−ＬＡＮ接続装置３が接続されている。公衆網−ＬＡＮ接続装置３は、公衆網１とＬＡＮ４との間を接続するもので、ＬＡＮ４と公衆網１との間における通信プロトコル及び信号フォーマットの変換機能を備えている。
【００２０】
さらにＬＡＮ４には、サーバ装置９が接続されている。サーバ装置９は、端末装置５Ａ，５Ｂに対するＩＰアドレスの割り当て機能と、端末装置５Ａ，５Ｂに対する呼制御機能とを有し、さらに各端末装置５Ａ，５Ｂに割り当てたアドレスの管理機能を有している。
【００２１】
このアドレス管理機能は例えば、各端末装置５Ａ，５Ｂに予め割り当ててある端末識別情報としての電話番号及び固定ネットワークアドレスとしてのＭＡＣ（Media Access Control）アドレスと、端末装置５Ａ，５Ｂにその立ち上がり時に割り当てる可変ネットワークアドレスとしてのＩＰ（Internet Protocol ）アドレスの管理を行う。上記端末装置５Ａ，５Ｂに対するＩＰアドレスの割り当ては、現在広く用いられているＤＨＣＰ（Dynamic Host Configuration Protocol）を用いて行う。
【００２２】
またサーバ装置９は、端末装置５Ａ，５Ｂが音声通信を行っているときに、必要に応じてその送話音声パケット及び受話音声パケットを記憶する通話録音機能も有している。
【００２３】
ところで、公衆網−ＬＡＮ接続装置３は例えばルータからなり、この発明に係わる機能として次のような機能を有している。図２はその機能構成を示すブロック図である。すなわち、公衆網−ＬＡＮ接続装置３は、公衆網インタフェース（Ｉ／Ｆ）部３１と、ＬＡＮインタフェース（Ｉ／Ｆ）部３２と、上記公衆網１とＬＡＮ４との間の接続制御を行う接続制御部３３と、音声パケット処理部３４と、パケット加算部３５と、上記接続制御部３３の接続制御に必要なルーティング情報等を格納したデータ管理部３６とを備えている。
【００２４】
このうち音声パケット処理部３４は、公衆網１から受信した音声信号をＬＡＮ４で取り扱い可能な音声パケットに変換してＬＡＮ４へ送出すると共に、ＬＡＮ４から受信した音声パケットを公衆網１で取り扱い可能な音声信号に変換して公衆網１へ送信する機能を有する。
【００２５】
パケット加算部３５は、通話録音のために音声パケットを加算合成するもので、端末装置５Ａ，５Ｂの送話音声パケットと、当該端末装置５Ａ，５Ｂ宛の受話音声パケットとを、時間的に対応付けて加算する。この時間的な対応付けは、各音声パケットのヘッダに挿入されている通信開始後のパケット送信順位を表すインデックス情報をもとに行われる。
【００２６】
一方、各端末装置５Ａ，５Ｂはいずれもパーソナル・コンピュータにより構成され、この発明に係わる機能として次のような機能を有している。図３はその機能構成を示すブロック図である。すなわち、各端末装置５Ａ，５Ｂはいずれも、公衆網インタフェース（Ｉ／Ｆ）部５１と、音声入出力インタフェース（Ｉ／Ｆ）部５２と、ＬＡＮ４に対する接続制御を行う接続制御部５３と、音声パケット処理部５４と、パケット加算部５５と、上記接続制御に必要な管理データを格納したデータ管理部５６とを備えている。
【００２７】
このうち音声入出力Ｉ／Ｆ部５２には、マイクロホン等の音声入力装置６Ａ，６Ｂ及びスピーカ等の音声出力装置７Ａ，７Ｂが接続されている。音声入出力Ｉ／Ｆ部５２は、音声入力装置６Ａ，６Ｂにより入力された送話音声信号をディジタル化して音声パケット処理部５４に入力すると共に、音声パケット処理部５４から出力されたディジタル音声信号をアナログ信号に変換して音声出力装置７Ａ，７Ｂから拡声出力する。
【００２８】
音声パケット処理部５４は、上記音声入出力Ｉ／Ｆ部５２から入力された送話音声信号をＬＡＮ４で取り扱い可能な音声パケットに変換してＬＡＮ４へ送出すると共に、ＬＡＮ４から受信した受話音声パケットをディジタル音声信号に変換して上記音声入出力Ｉ／Ｆ部５２に供給する。
【００２９】
パケット加算部５５は、前記公衆網−ＬＡＮ接続装置３のパケット加算部３５と同様に通話録音のために音声パケットを加算合成するもので、自己の端末装置が送信する送話音声パケットと、自装置宛の受話音声パケットとを、時間的に対応付けて加算する。この時間的な対応付けは、各音声パケットのヘッダに挿入されている通信開始後のパケット送信順位を表すインデックス情報をもとに行われる。
【００３０】
次に、以上のように構成されたシステムによる音声通信動作を説明する。
先ず、基本的な通信接続処理について説明する。
ＬＡＮ４に接続された各端末装置５Ａ，５Ｂには、端末識別情報として例えば内線番号が付与され、これらの内線番号はサーバ装置９及び公衆網−ＬＡＮ接続装置３の記憶装置８ｃ，８ｄに記憶されている。またサーバ装置９及び公衆網−ＬＡＮ接続装置３には、公衆網１からの着信時に着信先を決定するためのルーティング情報が記憶されている。
【００３１】
例えば、外部端末装置２の電話番号が図１に示すように「０４２−５８５−１２３４」に、またＬＡＮ４に接続された各端末装置５Ａ，５Ｂの内線番号がそれぞれ「３０００」、「３００１」にそれぞれ設定され、さらに公衆網−ＬＡＮ接続装置３が接続された公衆回線に付与された電話番号が「０４２−５８５−３０００」、「０４２−５８５−３００１」であった場合、公衆網−ＬＡＮ接続装置３及びサーバ装置９の記憶装置８ｄ，８ｃには、公衆網１からの着信に対しその着信先を検索するための情報として、図４に示すようなルーティング情報が設定される。
【００３２】
この状態で、例えば公衆網１に接続された端末装置２が、ＬＡＮ４に接続された端末装置５Ａと音声通信を行うために、端末装置２において「０４２−５８５−３０００」をダイヤルしたとする。そうすると、公衆網１から公衆網−ＬＡＮ接続装置３に対し着信信号が送られる。この着信信号を受信した公衆網−ＬＡＮ接続装置３は、図４に示すルーティング情報を参照することで、公衆網１から通知された着番号「０４２−５８５−３０００」に対応する着信先の内線番号「３０００」を検索する。そして公衆網−ＬＡＮ接続装置３は、この内線番号「３０００」に対応する端末装置５Ａに対してＬＡＮ４を介して接続要求信号を送信する。
【００３３】
この接続要求信号を受信した端末装置５Ａでは、鳴音が発生されるか又は着信表示が行われ、これによりユーザに対し着信の発生が報知される。そして、この着信報知に対しユーザが応答操作を行うと、端末装置５Ａは接続応答信号を要求元の公衆網−ＬＡＮ接続装置３へ送信し、この接続応答信号を受信した公衆網−ＬＡＮ接続装置３は公衆網１に対して応答信号を送信する。かくして、発信元の端末装置２と着信先の端末装置５Ａとの間には通信路が形成され、以後両端末装置２，５Ａ間では音声通信が可能となる。
【００３４】
すなわち、端末装置２から送信された音声信号は公衆網１を介して公衆網−ＬＡＮ接続装置３へ送信される。公衆網−ＬＡＮ接続装置３では、受信した音声信号が音声パケットに変換され、この音声パケットはＬＡＮ４を介して端末装置５Ａへ伝送される。この音声パケットを受信した端末装置５Ａでは、受信音声パケットから音声データが抽出され、この音声データがアナログ音声信号に変換されたのち音声出力装置７Ａに供給されて拡声出力される。
【００３５】
これに対し、音声入力装置６Ａにより入力された送話音声信号は、端末装置５Ａにより音声パケットに変換されたのち、ＬＡＮ４を介して公衆網−ＬＡＮ接続装置３に伝送される。公衆網−ＬＡＮ接続装置３では、ＬＡＮ４から受信した音声パケットが音声信号に変換され、この音声信号は公衆網１を介して端末装置２に伝送される。
【００３６】
一方、ＬＡＮ４に接続された端末装置５Ａから公衆網１に接続された端末装置２に対し発信する場合には、端末装置５Ａにおいて端末装置２に付与された電話番号「０４２−５８５−１２３４」をダイヤル入力する。そうすると、端末装置５Ａから上記ダイヤル入力された電話番号を含む接続要求信号がＬＡＮ４へ送信され、公衆網−ＬＡＮ接続装置３に伝送される。この接続要求信号を受信した公衆網−ＬＡＮ接続装置３では、受信した電話番号が内線番号であるか否かが判定され、内線番号でない場合には公衆網１へ電話番号を送信する。公衆網１は、受信した電話番号「０４２−５８５−１２３４」をもとに着信先の端末装置２へ着信を行い、この着信に対し端末装置２が応答すると公衆網−ＬＡＮ接続装置３と端末装置２との間の通信路を確立する。かくして、発信元の端末装置５Ａと着信先の外部端末装置２との間に通信路が確立され、以後両端末装置５Ａ，２間で音声通信が可能となる。
【００３７】
また、端末装置５Ａと端末装置５Ｂとの間で音声通信を行う場合には、端末装置５Ａにおいて端末装置５Ｂに付与された内線番号「３００１」を入力する。そうすると、端末装置５Ａは内線番号「３００１」を含んだ接続要求信号を、ＬＡＮ４を介して公衆網−ＬＡＮ接続装置３へ送信する。接続要求信号を受けた公衆網−ＬＡＮ接続装置３は、当該要求信号から着信先電話番号である内線番号「３００１」を取得すると、内線「３００１」に対応した端末装置５Ｂへ接続要求信号を送信する。そして、この接続要求信号を受信した端末装置５Ｂが応答して接続応答信号を返送すると、端末装置５Ａと端末装置５Ｂとの間にはＬＡＮ４を介して通信路が確立され、以後両端末装置５Ａ，５Ｂ間で音声通信が可能となる。
【００３８】
なお、以上の動作説明では、ＬＡＮ４上の接続制御を公衆網−ＬＡＮ接続装置３において行った場合について述べたが、サーバ装置９で行うようにしてもよい。この場合端末装置５Ａ，５Ｂ及び公衆網−ＬＡＮ接続装置３は、接続要求信号を前記サーバ装置９に対して送信し、サーバ装置９が接続先の検定を行って通信路を確立する。
【００３９】
次に、通話録音処理の動作について説明する。
（１）通話中の端末装置自身が通話録音を行う場合
いま仮に公衆網１に接続された端末装置２とＬＡＮ４に接続された端末装置５Ａとが音声通信を行っているものとする。この場合、端末装置２から送信された音声信号は、図５に示すように公衆網１を介して公衆網−ＬＡＮ接続装置３へ伝送される。公衆網１から音声信号を受信した公衆網−ＬＡＮ接続装置３は、この音声信号を音声パケットＰｂ１，Ｐｂ２，…に順次変換してＬＡＮ４へ送信する。なお、これらの音声パケットＰｂ１，Ｐｂ２，…のヘッダには、通信開始時点からのパケット送信順位を表す識別番号が挿入される。上記各音声パケットＰｂ１，Ｐｂ２，…は、ＬＡＮ４を介して端末装置５Ａに伝送され、この端末装置５Ａにおいて音声信号に変換されたのち音声出力装置７Ａから受話音声として拡声出力される。
【００４０】
これに対し端末装置５Ａは、音声入力装置６Ａにより入力された送話音声信号を音声パケットＰａ１，Ｐａ２，…に順次変換したのちＬＡＮ４へ送信する。このとき上記各音声パケットＰａ１，Ｐａ２，…のヘッダには、前記公衆網−ＬＡＮ接続装置３と同様に、通信開始時点からのパケット送信順位を表す識別番号が挿入される。上記送話音声パケットＰａ１，Ｐａ２，…は公衆網−ＬＡＮ接続装置３で受信され、ここで音声信号に変換されたのち公衆網１を介して通話相手の端末装置２に伝送される。
【００４１】
ところで、このとき端末装置５Ａでは、ＬＡＮ４から受信した受話音声パケットＰｂ１，Ｐｂ２，…の音声データと、音声入力装置６Ａにより入力された送話音声パケットＰａ１，Ｐａ２，…の音声データとが、そのパケットに付されている送信順位を表す識別情報をもとに時間的な対応付けがなされて順次加算される。そして、この加算合成された各音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…は記憶装置８Ａに記録される。
【００４２】
例えば図５に示すように、公衆網−ＬＡＮ接続装置３から端末装置５Ａへは受話音声パケットＰｂ１，Ｐｂ２，…が伝送され、端末装置５ＡからＬＡＮ４へは送話音声パケットＰａ１，Ｐａ２，…が送信されたとすると、受話音声パケットＰｂ１と送話音声パケットＰａ１とはパケット送信順位を表す番号「１」が同一のため、相互に加算されて記憶装置８Ａに記憶される。また、受話音声パケットＰｂ２と送話音声パケットＰａ２はそのパケット送信順位を表す番号「２」が同一のため、相互に加算されて記憶装置８Ａに記憶される。以後同様に、受話音声パケット及び送話音声パケットは、パケット送信順位が同一のもの同士がそれぞれ加算されて記憶装置８Ｄに順次記憶される。
【００４３】
（２）サーバ装置９を用いて通話録音を行う場合
いま例えば、図６に示すように公衆網１の端末装置２とＬＡＮ４に接続された端末装置５Ａとの間で通話が行われているものとする。そして、この状態で端末装置５Ａのユーザが通話録音要求を送信したとする。そうすると、この通話録音要求は、サーバ装置９及び公衆網−ＬＡＮ接続装置３に通知される。
【００４４】
この場合、公衆網１から受信した音声信号は、公衆網−ＬＡＮ接続装置３において音声パケットＰｂ１，Ｐｂ２，…に順次変換され、しかるのちＬＡＮ４を介して通信相手の端末装置５Ａに伝送される。また上記各音声パケットＰｂ１，Ｐｂ２，…は、上記通話録音要求に応じ、ＬＡＮ４を介してサーバ装置９へも伝送される。このとき、上記音声パケットＰｂ１，Ｐｂ２，…のヘッダには、公衆網−ＬＡＮ接続装置３において通信開始時点からのパケット送信順位を表す識別番号が挿入される。
【００４５】
これに対し、端末装置５Ａの音声入力装置６Ａにより入力された送話音声信号は、端末装置５Ａにおいて送話音声パケットＰａ１，Ｐａ２，…に順次変換されたのち、ＬＡＮ４を介して公衆網−ＬＡＮ接続装置３へ伝送される。また、それと共に上記送話音声パケットＰａ１，Ｐａ２，…は、ＬＡＮ４を介してサーバ装置９装置にも伝送される。このとき、上記各音声パケットＰａ１，Ｐａ２，…のヘッダには、前記公衆網−ＬＡＮ接続装置３と同様に、通信開始時点からのパケット送信順位を表す識別番号が挿入される。
【００４６】
サーバ装置９は、上記通話録音要求を受けると、公衆網−ＬＡＮ接続装置３から受信した受話音声パケットＰｂ１，Ｐｂ２，…と、端末装置５Ａから受信した送話音声パケットＰａ１，Ｐａ２，…の各ヘッダより、パケット送信順位を表す識別番号を抽出する。そして、この識別番号が同一の音声パケット同士をそれぞれ加算合成して記憶装置８Ｃに記憶する。
【００４７】
例えば、受話音声パケットＰｂ１と送話音声パケットＰａ１とを加算し、また受話音声パケットＰｂ２と送話音声パケットＰａ２とを加算し、これらを記憶装置８Ｃにそれぞれ記憶する。以後同様に、受話音声パケットＰｂ３及び送話音声パケットＰａ３以降の各パケットについても、送信順位を表す識別番号が一致するもの同士をそれぞれ加算して記憶装置８Ｃに記憶する。
【００４８】
また、このとき上記加算合成された音声パケットデータＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…には、上記送話音声パケットＰａ１，Ｐａ２，…の送信元の端末装置５Ａの識別情報、及び受話音声パケットＰｂ１，Ｐｂ２，…の送信元の端末装置２の識別情報がそれぞれ付加されて記憶される。
【００４９】
次に、第三者が通話を聴取する場合の処理について述べる。
（３）聴取対象の音声パケットを通話中の端末装置自身が合成して第三者の端末装置へ伝送する場合
いま例えば、図７に示すように公衆網１に接続された端末装置２とＬＡＮ４に接続された端末装置５Ａとが通話を行っている最中に、端末装置５Ｂが端末装置５Ａに対し通話の聴取を要求したとする。
【００５０】
そうすると端末装置２から送信された音声信号は、公衆網−ＬＡＮ接続装置３において音声パケットＰｂ１，Ｐｂ２，…に順次変換されてＬＡＮ４へ送信される。これに対し、通話相手の端末装置５Ａにおいて、音声入力装置６Ａにより入力された送話音声信号は端末装置５Ａで音声パケットＰａ１，Ｐａ２，…に順次変換された後、端末装置２へ向けＬＡＮ４へ送信される。
【００５１】
また、このとき端末装置５Ａでは、自身の送話音声パケットＰａ１，Ｐａ２，…とＬＡＮ４から受信した受話音声パケットＰｂ１，Ｐｂ２，…とが、そのヘッダに挿入されているパケット送信順位を表す識別情報に基づいて時間的な対応が付けられたのち相互に加算される。そして、この加算合成された音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…は、通話を聴取する端末装置５Ｂに向け送信される。
【００５２】
通話を聴取する端末装置５Ｂは、上記端末装置５Ａから伝送された合成音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…を受信すると、この合成音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…を音声信号に変換したのち音声出力装置７Ｂから拡声出力させる。
【００５３】
（４）聴取対象の音声パケットを、聴取する端末装置が合成する場合
いま例えば、図８に示すように公衆網１に接続された端末装置２とＬＡＮ４に接続された端末装置５Ａとが通話を行っている最中に、端末装置５Ｂが通話の聴取要求を送信したとする。そうするとこの通話聴取要求は、ＬＡＮ４を介して端末装置５Ａ及び公衆網−ＬＡＮ接続装置３にそれぞれ通知される。
【００５４】
この場合、公衆網１に接続された端末２から送信された音声信号は、公衆網−ＬＡＮ接続装置３で音声パケットＰｂ１，Ｐｂ２，…に順次変換されたのち、ＬＡＮ４を介して通話相手の端末装置５Ａと、通話を聴取する端末装置５Ｂへそれぞれ送信される。一方、通話相手の端末装置５Ａは、音声入力装置６Ａにより入力された送話音声信号を音声パケットＰａ１，Ｐａ２，…に順次変換したのち、ＬＡＮ４を介して公衆網−ＬＡＮ接続装置３と、通話を聴取する端末装置５Ｂへそれぞれ送信する。
【００５５】
さて、通話を聴取する端末装置５Ｂは、上記公衆網−ＬＡＮ接続装置３から受信した音声パケットＰｂ１，Ｐｂ２，…と、端末装置５Ａから受信した音声パケットＰａ１，Ｐａ２，…とを、そのヘッダに挿入されているパケット送信順位を表す識別情報に基づいて時間的な対応を付けた後相互に加算する。そして、この加算合成した音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…を音声出力装置７Ｂから拡声出力する。
【００５６】
以上述べたようにこの実施形態では、端末装置５Ａ，５Ｂ、公衆網−ＬＡＮ接続装置及びサーバ装置９にパケット加算部３５，５５を設け、このパケット加算部３５，５５により、端末装置５Ａ，５Ｂが通話を行っているときにその送話音声パケットＰａ１，Ｐａ２，…と受話音声パケットＰｂ１，Ｐｂ２，…とを、そのヘッダに挿入されているパケット送信順位を表す識別情報に基づいて時間的な対応を付けて相互に加算合成し、記憶装置８Ａ，８Ｂ，８Ｃ，８Ｄに記憶するようにしている。また、通話の聴取を要求した端末装置において、上記加算合成された音声パケットＰａ１＋Ｐｂ１，Ｐａ２＋Ｐｂ２，…を生成或いは伝送して音声出力するようにしている。
【００５７】
従ってこの実施形態によれば、ＬＡＮ４上で音声パケットの伝送遅延が発生し、これにより送話音声パケットと受話音声パケットとの間に時間差が生じても、この時間差が吸収された状態で上記音声パケットを記憶することができる。このため、記録音声を送受話間のタイミングが一致した状態で、常に正確に再生することができる。また、同様の理由により送受話音声を送受間のタイミングが一致した状態で、常に正確に聴取することができる。
【００５８】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では送受話音声パケットの加算合成及びその記憶を、通話中の端末装置５Ａ自身、或いはサーバ装置９で行うようにしたが、その他の端末装置５Ｂや公衆網−ＬＡＮ接続装置３で行うようにしてもよい。
【００５９】
また、送話音声パケットと受話音声パケットとの時間的な対応付けを、前記実施形態では各パケットのヘッダにパケット送信順位を表す識別番号を挿入し、この識別番号をもとに一致するもの同士を加算するようにした。しかし、それに限ることなく、例えば各パケットのヘッダに、送信時刻或いは先行パケットの送信時刻に対する時間差を表すをタイムスタンプ情報を挿入して送信し、このタイムスタンプ情報をもとに送信時刻が一致するもの同士を加算するようにしてもよい。このようにすることで、時間的な対応付けをさらに正確に行うことができる。
【００６０】
さらに、前記実施形態では送話音声パケットと受話音声パケットとを時間的に対応付けて加算するようにしたが、送話音声パケットと受話音声パケットとを時間的に対応付けた状態でそのまま記憶するようにしてもよい。
【００６１】
その他、システムの種類や構成、端末装置、公衆網−ＬＡＮ接続装置及びサーバ装置の構成、音声パケットを時間的に対応付ける手段等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００６２】
【発明の効果】
以上詳述したようにこの発明では、音声通信管理手段を新たに備え、この音声通信管理手段により、端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、上記音声通信中の端末装置において当該端末装置が送信した送話音声パケットと当該端末装置が受信する受話音声パケットとを時間的に相互に対応付けて合成し、この合成された音声パケットを上記サーバ装置に向けローカルエリア・ネットワークへ送信し、サーバ装置において上記ローカルエリア・ネットワークを介して受信した合成音声パケットを送信元の端末装置の識別情報と共に記憶するように構成している。
【００６３】
従ってこの発明によれば、ローカルエリア・ネットワーク上で音声パケットの遅延が発生しても、再現性の高い通話録音又は通話聴取を行うことができるマルチメディア情報通信システムを提供することができる。
【図面の簡単な説明】
【図１】 この発明に係わるマルチメディア情報通信システムの一実施形態を示す概略構成図。
【図２】 図１に示したシステムにおける公衆網−ＬＡＮ接続装置の機能構成を示すブロック図。
【図３】 図１に示したシステムにおけるパーソナル・コンピュータの機能構成を示すブロック図である。
【図４】 公衆網からの着信に対するルーティング情報の一例を示す図。
【図５】 図１に示したシステムにおける通話録音動作の第１の例を説明するための図。
【図６】 図１に示したシステムにおける通話録音動作の第２の例を説明するための図。
【図７】 図１に示したシステムにおける通話聴取動作の第１の例を説明するための図。
【図８】 図１に示したシステムにおける通話聴取動作の第２の例を説明するための図。
【符号の説明】
１…公衆網
２…公衆網に接続された端末装置
３…公衆網−ＬＡＮ接続装置
４…ＬＡＮ
５Ａ，５Ｂ…パーソナル・コンピュータ
６Ａ，６Ｂ…音声入力装置
７Ａ，７Ｂ…音声出力装置
８Ａ，８Ｂ，８Ｃ，８Ｄ…記憶装置
９…サーバ装置
３１…公衆網インタフェース部（公衆網Ｉ／Ｆ部）
３２，５１…ＬＡＮインタフェース部（ＬＡＮＩ／Ｆ部）
３３，５３…接続制御部
３４，５４…音声パケット処理部
３５，５５…パケット加算部
３６，５６…データ管理部
５２…音声入出力インタフェース部（音声入出力Ｉ／Ｆ部）
Claims (6)
- パケットを伝送するローカルエリア・ネットワークと、
このローカルエリア・ネットワークと公衆網との間を接続し、公衆網から到来した音声信号を音声パケットに変換してローカルエリア・ネットワークに送信すると共にローカルエリア・ネットワークから受信した音声パケットを音声信号に変換して公衆網へ送出する機能を備えたネットワーク間接続装置と、
音声入力手段により入力された音声信号を音声パケットに変換して前記ローカルエリア・ネットワークへ送信すると共にローカルエリア・ネットワークから受信した音声パケットを音声信号に変換して音声出力手段から出力する機能を備えた複数の端末装置と、
前記ローカルエリア・ネットワークに接続されたサーバ装置と
を具備したマルチメディア情報通信システムであって、
前記端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、上記音声通信中の端末装置において当該端末装置が送信した送話音声パケットと当該端末装置宛の受話音声パケットとを時間的に相互に対応付けて合成し、この合成された音声パケットを前記サーバ装置に向けローカルエリア・ネットワークへ送信し、サーバ装置において前記ローカルエリア・ネットワークを介して受信した合成音声パケットを送信元の端末装置の識別情報と共に記憶する音声通信管理手段を備えたことを特徴とするマルチメディア情報通信システム。 - 前記音声通信管理手段は、送話音声パケット及び受話音声パケットにタイムスタンプ情報が付加されている場合に、このタイムスタンプ情報に基づいて送話音声パケットと受話音声パケットとを時間的に対応付ける処理を行うことを特徴とする請求項１記載のマルチメディア情報通信システム。
- 前記音声通信管理手段は、送話音声パケット及び受話音声パケットに当該パケットの送信順位を表すインデックス情報が付加されている場合に、このインデックス情報に基づいて送話音声パケットと受話音声パケットとを時間的に対応付ける処理を行うことを特徴とする請求項１記載のマルチメディア情報通信システム。
- 前記音声通信管理手段は、再生要求に応じて、前記サーバ装置に記憶された送話音声パケット及び受話音声パケットを選択的に読み出して聴取先の端末装置又は公衆網へ送出する再生機能を、さらに備えることを特徴とする請求項１記載のマルチメディア情報通信システム。
- 前記音声通信管理手段は、前記端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、この音声通信を行っている端末装置以外の端末装置からの聴取要求に応じ、前記音声通信を行っている端末装置において当該端末装置が送信した送話音声パケットと当該端末装置が受信する受話音声パケットとを時間的に相互に対応付けて合成し、この合成された音声パケットを前記要求元の端末装置へ送信して音声出力させる機能を、さらに備えたことを特徴とする請求項１記載のマルチメディア情報通信システム。
- 前記音声通信管理手段は、端末装置相互間及び端末装置と公衆網との間の少なくとも一方で音声通信が行われている状態で、この音声通信を行っている端末装置以外の端末装置からの聴取要求に応じ、前記音声通信中の端末装置が送信する送話音声パケットを前記聴取要求元の端末装置へも送信させると共に、前記音声通信中の端末装置が受信する受話音声パケットを前記聴取要求元の端末装置でも受信させ、当該聴取要求元の端末装置において前記送話音声パケットと受話音声パケットとを時間的に相互に対応付けて合成して音声出力する機能を、さらに備えたことを特徴とする請求項１記載のマルチメディア情報通信システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09296899A JP4108863B2 (ja) | 1999-03-31 | 1999-03-31 | マルチメディア情報通信システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09296899A JP4108863B2 (ja) | 1999-03-31 | 1999-03-31 | マルチメディア情報通信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000286899A JP2000286899A (ja) | 2000-10-13 |
| JP4108863B2 true JP4108863B2 (ja) | 2008-06-25 |
Family
ID=14069225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09296899A Expired - Fee Related JP4108863B2 (ja) | 1999-03-31 | 1999-03-31 | マルチメディア情報通信システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4108863B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8110645B2 (en) | 2003-07-18 | 2012-02-07 | Konishi Co., Ltd. | Curable resin composition |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3555568B2 (ja) | 2000-09-04 | 2004-08-18 | 日本電気株式会社 | Ｉｐ電話録音システム |
| US20060215822A1 (en) * | 2001-12-27 | 2006-09-28 | Sachiko Takeshita | Exchange system and communication recording method |
| JP2003339035A (ja) * | 2002-05-20 | 2003-11-28 | Megafusion Corp | 多地点通信システム |
| JP4930691B2 (ja) * | 2006-05-30 | 2012-05-16 | 日本電気株式会社 | 再現システム、再現装置、再現方法、及びプログラム |
| JP2008060785A (ja) * | 2006-08-30 | 2008-03-13 | Oki Electric Ind Co Ltd | Ｉｐ電話通話録音システム |
| JP2008060783A (ja) * | 2006-08-30 | 2008-03-13 | Oki Electric Ind Co Ltd | Ｉｐ電話装置 |
| JP2008289069A (ja) * | 2007-05-21 | 2008-11-27 | Nec Access Technica Ltd | 内線電話システム |
-
1999
- 1999-03-31 JP JP09296899A patent/JP4108863B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8110645B2 (en) | 2003-07-18 | 2012-02-07 | Konishi Co., Ltd. | Curable resin composition |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000286899A (ja) | 2000-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7885187B2 (en) | System and method for providing unified messaging system service using voice over internet protocol | |
| US20050117605A1 (en) | Network address and port translation gateway with real-time media channel management | |
| JP2003515261A (ja) | パケット交換ネットワーク上にカスタマイズされた音声データを配信するシステム及び方法 | |
| JP3873048B2 (ja) | リングバックトーン伝送方法、端末機、リングバックトーン生成方法、およびリングバックトーンを生成するためのシステム | |
| JP4266188B2 (ja) | 通信システム及びこの通信システムで使用される通信端末装置、及び通信システムで使用される通信方法 | |
| JP4108863B2 (ja) | マルチメディア情報通信システム | |
| US7826442B2 (en) | VoIP terminal supporting optimal intercom service and session connecting method thereof | |
| US6760323B1 (en) | System and method for providing audio communication over a computer network using differing communication formats | |
| JP2005191763A (ja) | 通信中継方法および中継装置 | |
| JP4263839B2 (ja) | ボイスメールシステム及びプログラムを記録した記録媒体 | |
| WO2001084814A1 (fr) | Systeme de controle vocal telephonique, dispositif de traitement intermediaire et echange correspondant | |
| US6961351B1 (en) | Communication device and transit device having a call-hold function and a method for controlling the function | |
| US8565224B2 (en) | Telephone system, telephone exchange apparatus, and connection control method used in telephone exchange apparatus | |
| US8837459B2 (en) | Method and apparatus for providing asynchronous audio messaging | |
| JP5223444B2 (ja) | 通信システム及び呼制御装置 | |
| JP3593949B2 (ja) | アダプタ装置及びそれを用いたネットワークシステム | |
| JP3762709B2 (ja) | 音声ｉｐ伝送システム | |
| JP2000125040A (ja) | インターネット電話の接続方法及び電話端末装置 | |
| US8204185B1 (en) | Method and apparatus for retrieving voicemail messages via customer premise equipment | |
| KR100941550B1 (ko) | 사설 ΙΡ 교환기 용의 ＶｏＩＰ 부가 기능 통합 장치 | |
| JP4215550B2 (ja) | Ｉｐによるシステム間接続を行なう構内交換機システム及びそのシステム情報伝達方法 | |
| JP2005094569A (ja) | Ｉｐコールセンタシステム及びその装置並びにプログラム | |
| JP2002044145A (ja) | ロガー装置及びそれを用いたロガー設備 | |
| JP2006050552A (ja) | 通信システム及びこの通信システムで使用される主装置、及び通信システムで使用される通信方法 | |
| JP6226799B2 (ja) | Ｉｐ−ｐｂｘシステムおよびその音源データ提供方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080401 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080403 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |