JP6246677B2 - 通信システム、コントロール装置及び処理装置切替方法 - Google Patents

Description

本発明は、通信システム、コントロール装置及び処理装置切替方法に関する。

従来から、様々な目的で、サーバ仮想化技術によってコンピュータを仮想マシン（ＶＭ：Virtual Machine）とすることが行われている。例えば、移動体通信網（移動通信ネットワーク）のコアネットワークにおけるノードを仮想マシンとすることが検討されている（非特許文献１参照）。また、各ユーザ端末と各拠点のゲートウェイとの間の遅延時間を取得し、複数のユーザ端末との間の遅延時間のばらつきが最小の拠点を決定し、決定された拠点のサーバ上で仮想マシンを動作させる技術もある（特許文献１参照）。

ところで、各仮想マシンで実行するサービスの処理状態をデータベースで保持して、ユーザにサービスを提供することを検討する。データベースが広域に分散的に点在し、データベースの情報を互いに共有する処理である共有処理（更新結果のコピー）をする場合、サービス提供処理にかかる時間が増加し、処理容量が低下する問題があった。そのため、データベースとサービス処理を行うＶＭの位置を地理的に近い場所に制限することが行われる（特許文献２参照）。

特開２０１３−１９６２８７号公報 特開２０１３−２４６６７６号公報

ETSI Group Specification(ETSI GS NFV 002 v1.1.1(2013.10)) NetworkFunctions Virtualisation(NFV); Architectural Framework

上記従来技術にかかる通信システムは、上記のように共有処理をしているので、通信システムが故障した際に代替設備を利用してシステムを修復することができる。しかし、上記通信システムの呼処理サーバ又はデータベースサーバが故障した場合、呼処理サーバとデータベースサーバを共に変更すると、双方の変更処理に大きなオーバヘッドが発生してしまう。

本発明は、上記に鑑みてなされたものであり、呼処理サーバ又はデータベースサーバが故障した場合における、復旧処理のオーバヘッドを削減できる、通信システム、コントロール装置及び処理装置切替方法を提供することを目的とする。

上記目的を達成するために、本発明に係る通信システムは、互いにデータの共有処理を行う複数のデータベース装置と、複数のデータベース装置へアクセス可能であり、移動通信端末に係る通信処理を行う複数の通信制御装置と、複数の通信制御装置の何れかの通信制御装置に対して、移動通信端末による通信処理を行う通信制御装置を決定するコントロール装置と、を備え、コントロール装置は、通信制御装置又はデータベース装置の故障を検知する故障検知手段と、故障検知手段により故障が検知された場合に、各通信制御装置が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて代替となる通信制御装置及び代替となるデータベース装置を決定する切替決定手段と、切替決定手段による決定に基づいて、処理対象の通信制御装置へ通信処理要求を行う処理要求手段と、を含む。

また、本発明に係る処理装置切替方法は、互いにデータの共有処理を行う複数のデータベース装置と、複数のデータベース装置へアクセス可能であり、移動通信端末に係る通信処理を行う複数の通信制御装置と、複数の通信制御装置の何れかの通信制御装置に対して、移動通信端末による通信処理を行う通信制御装置を決定するコントロール装置と、を備える通信システムで実行される処理装置切替方法であって、通信制御装置又はデータベース装置の故障を検知する故障検知ステップと、故障検知ステップにおいて故障が検知された場合に、各通信制御装置が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて処理対象の通信制御装置及びデータベースを決定する切替決定ステップと、切替決定ステップにおける決定に基づいて、処理対象の通信制御装置へ通信処理要求を行う処理要求ステップと、を含む。

本発明に係る通信システム及び処理装置切替方法によれば、通信制御装置又はデータベース装置の故障を検知し、各通信制御装置が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて、処理対象となる通信制御装置へ通信処理要求するので、通信制御装置とデータベース装置の両方を同時に替える場合と比較して、切替処理のオーバヘッドを削減することができる。

本発明に係る通信システムでは、切替決定手段は、故障検知手段によって、通信制御装置の故障を検知した場合、稼働している通信制御装置から代替となる通信制御装置を決定し、処理要求手段は、切替決定手段により決定された通信制御装置に対して、故障した通信制御装置がアクセスしていたデータベース装置へアクセスするように処理要求してもよい。この場合、通信システムでは、稼働している通信制御装置から代替となる通信制御装置を決定し、当該通信制御装置に対して、故障した通信制御装置がアクセスしていたデータベース装置へアクセスするように処理要求する。この場合、通信システムでは、代替となる通信制御装置が、故障した通信制御装置がアクセスしていたデータベース装置へアクセスするので、データ処理の一貫性を担保することができる。

上記のようにデータ処理の一貫性を担保した状態で、切替決定手段は、故障した通信制御装置がアクセスしていたデータベース装置へのアクセス時間が所定許容時間内である通信制御装置を代替となる通信制御装置として決定してもよい。この場合、データ処理の一貫性を担保しつつ、代替となる通信制御装置からデータベース装置へのアクセス時間を許容時間内に維持することができる。

また、本発明は、通信システムにおけるコントロール装置の視点からも捉えることができ、本発明に係るコントロール装置は、以下のように記述することができる。本発明に係るコントロール装置では、複数のデータベース装置で構成され、互いにデータの共有処理を行う分散データベースと、複数のデータベース装置へアクセス可能であり、移動通信端末に係る通信処理を行う複数の通信制御装置と、複数の通信制御装置の何れかの通信制御装置に対して、移動通信端末による通信処理を行う通信制御装置を決定するコントロール装置と、を備える通信システムにおけるコントロール装置であって、通信制御装置又はデータベース装置の故障を検知する故障検知手段と、故障検知手段により故障が検知された場合に、各通信制御装置が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて処理対象の通信制御装置及びデータベースを決定する切替決定手段と、切替決定手段による決定に基づいて、処理対象の通信制御装置へ通信処理要求を行う処理要求手段と、を備える。

本発明によれば、通信制御装置又はデータベース装置の故障を検知し、各通信制御装置が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて、処理対象となる通信制御装置へ通信処理要求するので、全て同時に替える場合と比較して、切替処理のオーバヘッドを削減することができる。

本発明の実施形態に係る管理システムの構成、及び当該管理システムを含む移動体通信システムを示す図である。 本発明の実施形態に係るオーケストレータの機能構成を示す図である。 ＶＮＦとデータベース装置とのアクセス時間を管理するデータ構造である。 本発明の実施形態に係るＶＮＦとデータベース装置の機能構成を示す図である。 管理システムで用いられる登録情報を格納するテーブルである。 管理システムで用いられるコール情報を格納するテーブルである。 本発明の実施形態に係る管理システムに含まれるノードのハードウェア構成を示す図である。 管理システムの故障前の処理概要を示す図である。 管理システムのＶＮＦの切替時の処理概要を示す図である。 管理システムの故障前の処理概要を示す図である。 管理システムのＶＮＦの切替時の処理概要を示す図である。 管理システムのデータベースの切替時の処理概要を示す図である。 管理システムのデータベースの故障前の処理概要を示す図である。 管理システムのデータベースの切替時の処理概要を示す図である。 本発明の実施形態に係る切替処理を示すシーケンス図である。

以下、図面と共に本実施形態に係る移動体通信システム１について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る管理システム２（通信システム）を含む移動体通信システム１の構成を示す。移動体通信システム１は、移動通信端末（移動機）１１に移動体通信の機能を提供するシステムである。移動通信端末１１は、ユーザにより用いられて移動体通信システム（移動体通信網）に無線通信によって接続して移動体通信を行う装置である。具体的には、移動通信端末１１は、携帯電話機等に相当する。移動通信端末１１は、例えば、移動体通信システム１を介して対向ノード１２との間で呼接続を確立して通信を行う。対向ノード１２は、例えば、別の移動通信端末や移動通信端末に様々なサービスを提供するサーバ装置、あるいは他の通信網に接続するための装置（例えば、ＭＭＥ（Mobility Management Entity）、Ｓ−ＧＷ（Serving Gateway）、Ｐ−ＧＷ（PDN Gateway））等に相当する。移動通信端末１１は、例えば、移動通信端末のユーザが移動体通信システム１の通信事業者と契約することによって移動体通信を行うことが可能になる。なお、移動通信端末は、従来の移動通信端末と同様のものでよい。

図１に示すように管理システム２は、オーケストレータ４（コントロール装置）と、ＶＮＦＭ（ＶＮＦ Manager）７と、ＶＩＭ（Virtual Infrastructure Manager）９とを含んで構成されている。また、ＯＳＳ／ＢＳＳ（Operations Support System／Business Support System）３と、ＮＦＶＩ（ＮＦＶ Infrastructure）８と、ＶＮＦ（Virtual NetworkFunction）５（通信制御装置）を含んで構成されている。これらの構成要素は、移動体通信システム１（移動体通信網）のコアネットワークを構成するものである。なお、互いに情報の送受信が必要な構成要素間は、有線又は無線で接続されており情報の送受信が可能となっている。

本実施形態に係る移動体通信システム１は、物理サーバ上に実現される仮想マシンにおいて動作する仮想サーバによって移動通信端末１１に対して通信機能が提供される。即ち、移動体通信システム１は、仮想化された移動体通信ネットワークである。通信機能は、仮想マシンによって当該通信機能に応じた通信処理を実行することで移動通信端末１１に対して提供される。

ＮＦＶＩ８は、仮想化環境を構成する物理資源、仮想化層、仮想化資源である。物理資源には、計算資源、記憶資源、伝送資源が含まれる。仮想化層は、物理資源を仮想化し、ＶＮＦ５（ＡＰＬ）に提供する。仮想化資源は、ＶＮＦ５に提供される仮想化されたインフラ資源である。即ち、ＮＦＶＩ８は、移動体通信システム１において通信処理を行う物理的なサーバ装置である物理サーバを含んで構成されている仮想化資源である。物理サーバは、ＣＰＵ（コア、プロセッサ）、メモリ、及びハードディスク等の記憶手段を備えて構成される。通常、ＮＦＶＩ８を構成する物理サーバは、複数まとめてデータセンタ（ＤＣ）等の拠点に配置される。データセンタでは、配置された物理サーバがデータセンタ内部のネットワークによって接続されており、互いに情報の送受信を行うことができるようになっている。また、移動体通信システム１には、複数のデータセンタが設けられている。データセンタ間はネットワークで接続されており、異なるデータセンタに設けられた物理サーバはそのネットワークを介して互いに情報の送受信を行うことができる。

ＶＮＦ５は、通信処理を実行する仮想的な通信処理ノードである仮想サーバ（が有する通信処理を実行する機能）である。ＶＮＦ５は、ＮＦＶＩ８において実現される。ＶＮＦ５は、例えば、仮想マシン（ＶＭ）技術が利用されて、ＮＦＶＩ８が備えるＣＰＵがＶＮＦ５用に割り当てられて、割り当てられたＣＰＵ上において仮想マシンが実現され、仮想マシン上でプログラムが実行されることにより実現される。ＶＮＦ５は、通常、実行する通信処理に応じて生成（実現）される。また、ＶＮＦ５は、その構成要素であるＶＮＦＣ（Virtual Network Function Components）を複数含むものとして構成されていてもよい。

管理システム２は、ＶＮＦ５を複数有する。そして各ＶＮＦ５は、複数のデータベース装置６の何れかにアクセスし、通信処理に関するデータ処理を実行する。データベース装置６は、上記通信処理に関するデータを管理するデータベースを有するデータベースサーバ装置である。管理システム２は、複数のデータベース装置６を有し、あるデータベース装置６が有するデータベースを更新した場合、他のデータベース装置６のデータベースにも所定のタイミングで反映させる。すなわち、複数のデータベース装置６は、互いにデータの共有処理を行う。

移動体通信システム１には、１以上（あるいは複数）のＶＮＦ５が含まれる。ＶＮＦ５は、ＩＭＳでは、ＣＳＣＦ（Call Session Control Function）、ＡＳ（Application Server）等のノードに相当する。あるいは、ＶＮＦ５は、移動体通信システムの一つであるＧＰＲＳ（General Packet Radio Service）システムでは例えば、ＳＧＳＮ（Serving GPRS Support Node）、ＬＴＥ／ＥＰＣ（Long Term Evolution/Evolved Packet Core）システムでは、ＭＭＥ（Mobility Management Entity）やＳ−ＧＷ等のノードに相当する。

ＯＳＳ／ＢＳＳ３は、移動体通信システム１におけるサービス管理を行い、管理システム２に移動体通信システム１での通信機能に係る指示を行うノードである。例えば、ＯＳＳ／ＢＳＳ３は、管理システム２に対して、新たな通信機能（通信サービス）を起動するように指示を行う。また、ＯＳＳ／ＢＳＳ３は、移動体通信システム１に係る通信事業者によって操作され得る。

管理システム２の構成要素であるオーケストレータ４は、仮想化資源であるＮＦＶＩ８全体の管理を行う全体管理ノード（機能エンティティ）である。オーケストレータ４は、ＯＳＳ／ＢＳＳ３からの指示を受信し、当該指示に応じた処理を行う。オーケストレータ４は、インフラと通信サービスの移動体通信網全体にわたる管理を行う。オーケストレータ４は、複数のＶＮＦ５から構成される通信サービスをＶＮＦＭ７及びＶＩＭ９を経由して適切な場所に実現する。例えば、サービスのライフサイクル管理（具体的には例えば、生成、更新、スケール制御、イベント収集）、移動体通信網内全体にわたる資源の分散・予約・割当管理、サービス・インスタンス管理、及びポリシー管理（具体的には例えば、リソースの予約・割当、地理・法令等に基づく最適配置）を行う。

管理システム２の構成要素であるＶＮＦＭ７は、ＶＮＦ５を管理する仮想通信機能管理ノード（機能エンティティ）である。ＶＮＦＭ７は、移動体通信システム１に複数、設けられていてもよい。その場合、ＶＮＦ５毎に管理されるＶＮＦＭ７が予め定められていてもよい。ＶＮＦＭ７は、ＶＮＦ５（ＡＰＬ）のライフサイクル管理を行う。ＶＮＦＭ７は、ＶＮＦ５の仮想化に関わる制御全般を行う。例えば、ＶＮＦ５の状態監視や、ＶＮＦ５インスンタスの生成、更新、スケール制御、終了、オートヒーリング（自動ヒーリング）を行う。ＶＮＦＭ７は、オーケストレータ４からの要求により、空いているＶＮＦ５を特定し、空いているＶＮＦ５をオーケストレータ４へ通知する。ここで、空いているＶＮＦ５とは、通信処理が割り当てられていないＶＮＦ５、所定使用量（例えば、ＣＰＵ使用量等）を超えていないＶＮＦ５をいう。また、ＶＮＦＭ７は、各ＶＮＦ５、各データベース装置６の故障有無を判断し、故障が発生した場合、オーケストレータ４へ通知する。ＶＮＦＭ７は、故障したＶＮＦ５、データベース装置６を特定できるようにオーケストレータ４へ通知する。例えば、ＶＮＦＭ７は、故障対象のＶＮＦ５又はデータベース装置６を識別できる情報をオーケストレータ４へ通知する。

管理システム２の構成要素であるＶＩＭ９は、ＮＦＶＩ８におけるＶＮＦ５が実現される単位の仮想化資源（インフラリソース）各々を管理する仮想化資源管理ノード（機能エンティティ）である。具体的には、資源の割当・更新・回収の管理、仮想資源と物理との関連付け、ハードウェア資源とＳＷ資源（ハイパーバイザー）一覧の管理を行う。通常、ＶＩＭ９は、データセンタ（局舎）毎に管理を行う。仮想化資源の管理は、データセンタに応じた方式で行われ得る。データセンタの管理方式（管理資源の実装方式）は、ＯｐｅｎＳｔａｃｋやｖＣｅｎｔｅｒ等の種類がある。通常、ＶＩＭ９は、データセンタの管理方式毎に設けられる。即ち、管理システム２には、互いに異なる方式で、ＮＦＶＩ８におけるＶＮＦ５が実現される単位の仮想化資源各々を管理する複数のＶＩＭ９が含まれる。なお、異なる管理方式で管理される仮想化資源の単位は、必ずしもデータセンタ単位でなくてもよい。

なお、オーケストレータ４、ＶＮＦＭ７及びＶＩＭ９は、物理的なサーバ装置上でプログラムが実行されることにより実現される。オーケストレータ４、ＶＮＦＭ７及びＶＩＭ９は、それぞれ別々の物理的なサーバ装置で実現されていてもよいし、同じサーバ装置で実現されていてもよい。オーケストレータ４、ＶＮＦＭ７及びＶＩＭ９（を実現するためのプログラム）は、別々のベンダから提供されていてもよい。

ＳＤＮ１０は、ソフトウェアによって構成、機能及び性能等を動的に設定及び変更できるネットワークである。

なお、上記アーキテクチャは、非特許文献１に記載されたものに準じたものである。また、移動体通信システム１には、移動体通信機能を実現するために、上記以外の構成要素が含まれていてもよい。

引き続いて、管理システム２が有する、本実施形態に係る機能を説明する。具体的には、図２を用いて、オーケストレータ４の機能を説明し、図４を用いて、ＶＮＦ５及びデータベース装置６の機能を説明する。

オーケストレータ４は、故障検知部４０（故障検知手段）と、切替判断部４１（切替決定手段）と、空きＶＮＦ判断部４２と、切替要求部４３（処理要求手段）とを有する。なお、故障検知部４０と、切替判断部４１と、空きＶＮＦ判断部４２と、切替要求部４３とは、故障時に特化した機能ブロックであり、オーケストレータ４は、図示していない故障時以外の処理を実行する機能ブロックを有する。

故障検知部４０は、ＶＮＦ５又はデータベース装置６の故障を検知する部分である。具体的には、故障検知部４０は、ＶＮＦＭ７からのエラー通知を受信することにより、ＶＮＦ５がデータベース装置６へアクセスした結果、受信したアクセスエラー（当該データベース装置６が故障していることを示す情報）を検知したり、ＶＮＦ５のエラー（ＶＮＦ５が故障していることを示す情報）を検知したりする。故障検知部４０は、ＶＮＦ５又はデータベース装置６の故障を検知した場合、切替判断部４１へその旨を通知する。

切替判断部４１は、故障検知部４０により故障が検知された場合に、各ＶＮＦ５が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて代替となる通信制御装置及び代替となるデータベース装置を決定する。

また、切替判断部４１は、故障検知部４０によって通信制御装置の故障を検知した場合、稼働している通信制御装置から代替となる通信制御装置を通信制御装置に決定する。より具体的には、故障した通信制御装置がアクセスしていたデータベース装置へのアクセス時間が所定の許容時間内である通信制御装置を代替となる通信制御装置として決定する。上記許容時間は、予めオーケストレータ４で定義されているものとする。

具体的に、切替判断部４１は、故障検知部４０により検知された故障対象の装置がＶＮＦ５であるか、データベース装置６であるかを判断する。そして、切替判断部４１は、ＶＮＦ５が故障したと判断したときは、故障したＶＮＦ５がアクセスしていたデータベース装置６に、所定の許容時間（要求遅延時間）内にアクセスできるＶＮＦ５があるか否かを判断し、要求遅延時間内にアクセスできるＶＮＦ５が空いているＶＮＦ５である場合に、当該ＶＮＦ５を切替対象のＶＮＦ５に決定する。切替判断部４１は、図３に示すデータを参照して、ＶＮＦ５がデータベース装置６へアクセスする時間を特定する。図３に示すように、切替判断部４１は、ＶＮＦ５の識別情報（ＶＮＦ５のＩＤ等）と、データベース装置６の識別情報（データベース装置６のＩＤ）と、アクセス時間とを対応付けたデータをアクセス時間情報として記憶する。

この場合、切替判断部４１は、ＶＮＦ５のみを変更し、データベース装置６は変えないようにする。また、切替判断部４１は、所要の許容遅延時間内にアクセスでき、且つ空いているＶＮＦ５があるか否かを判断し、空いているＶＮＦ５がない場合には、データベース装置６、ＶＮＦ５共に切り替えるようにする。

また、切替判断部４１は、故障検知部４０により検知された故障対象の装置がデータベース装置６であると判断した場合、ＶＮＦ５から特定遅延内（許容時間内）にデータ複製しているＤＢがあるか否かを判断し、特定遅延内にデータ複製を有するＤＢが有る場合、当該ＤＢへ切替処理をする。切替判断部４１は、ＶＮＦ５から許容時間内にアクセス可能な範囲に、データ複製しているＤＢが無い場合、データベース装置６とＶＮＦ５共に切り替えるように決定する。切替判断部４１は、データ複製しているデータベースを特定する方法として、処理対象のデータ（例えば、インデックス値）に対して所定の演算をして特定する方法や、予め複製対象のデータベースをオーケストレータ４で定義しておく方法などがある。

空きＶＮＦ判断部４２は、空いているＶＮＦ５を特定する部分である。具体的には、ＶＮＦＭ７へ問い合わせて、空いているＶＮＦ５の情報を取得する。

切替要求部４３は、切替判断部４１が判断した結果に基づいて、対象ＶＮＦ５へ処理要求をする。また、ＶＮＦ５を変更せずにデータベース装置（ＤＢ装置）６のみ変更する場合、ＤＢ装置６の変更指示のみする。また、ＶＮＦ５及びＤＢ装置６を変える場合には、変更後のＶＮＦ５に対して変更後のＤＢ装置６のアクセス先を通知する。切替要求部４３は、変更後のＤＢ装置６のアクセス先を通知する際、アクセス先のＤＢ装置６を示す情報（アクセス先ＤＢ情報）をＶＮＦ５へ送信する。

引き続いて、管理システム２が有する、本実施形態に係る機能を説明する。図４に示すように、上記管理システム２の内、ＶＮＦ５及びデータベース装置６の機能を説明する。ＶＮＦ５は、通信処理要求受付部５０（通信処理要求受付手段）と、オーケストレータ要求受付部５１と、データベースアクセス部５２（データベースアクセス手段）と、通信処理部５３と、を有する。

通信処理要求受付部５０は、移動通信端末１１又は対向ノード１２から通信処理を受け付ける部分である。具体的には、通信処理要求受付部５０は、移動通信端末１１又は対向ノード１２からの発信要求（ＩＮＶＩＴＥ）又は切断要求をＳＤＮ１０を経由して受け付ける。

なお、通信処理要求受付部５０は、移動通信端末１１又は対向ノード１２からの発信要求（ＩＮＶＩＴＥ）又は切断要求を受け付けると、その旨をデータベースアクセス部５２へ通知する。

オーケストレータ要求受付部５１は、オーケストレータ４からの切替要求を受け付ける。また、オーケストレータ要求受付部５１は、切替要求受付時に、切替対象の移動通信端末１１又は対向ノード１２の識別情報と、アクセス先ＤＢ情報とを取得する。

オーケストレータ要求受付部５１は、オーケストレータ４からの切替要求を受け付けると共に、切替対象の移動通信端末１１又は対向ノード１２の識別情報と、アクセス先ＤＢ情報とを、データベースアクセス部５２へ通知する。

データベースアクセス部５２は、通信処理要求受付部５０、オーケストレータ要求受付部５１、及び後述する通信処理部５３からの通知に応じて、データベース装置６へデータベースアクセス要求をする。なお、データベースアクセス部５２では、複数のデータベース装置６の内、デフォルトの接続先のデータベース装置６に関する情報を記憶している。

データベースアクセス部５２は、通信処理要求受付部５０からの通知がなされると、デフォルトの接続先のデータベース装置６へデータアクセス要求する。例えば、データベースアクセス部５２は、通信処理要求受付部５０によって受け付けられた発信要求に応じて、発信元となる移動通信端末１１の状態をデータベース装置６へ問い合わせる。なお、このステータス情報の詳細は、後述する。

また、データベースアクセス部５２は、通信処理部５３によって受け付けられた発信要求に対する許可を意味する通知（例えば、200OK）を通信処理部５３から受信すると、データベース装置６に対してコール情報の登録要求をする。データベースアクセス部５２は、データベース装置６からコール情報の登録結果を上記要求に応じて受信する。

また、データベースアクセス部５２は、通信処理要求受付部５０によって受け付けられた切断要求の通知がなされると、対象となるコール情報の読み込み要求をデータベース装置６に対して行う。データベースアクセス部５２は、当該データベース読み込み要求に応じて、データベース装置６から移動通信端末１１のコール情報を受信し、通信処理部５３へ通知する。

データベースアクセス部５２は、通信処理部５３によって受け付けられた対向ノード１２からの切断許可を示す通知（例えば、200OK）を受信すると、データベース装置６に対して、コール情報のデータ更新要求を行う。データベースアクセス部５２は、上記データ更新要求の結果をデータベース装置６から受信し、この結果を通信処理要求受付部５０に通知する。なお、データベースアクセス部５２は、オーケストレータ要求受付部５１からアクセス先ＤＢ情報を受け取った場合、デフォルトの接続先のデータベース装置６ではなく、アクセス先ＤＢ情報のデータベース装置６へアクセスする。

通信処理部５３は、いわゆる呼処理を行う部分である。ここで、呼処理とは、移動体通信システムを介して移動通信端末１１と対向ノード１２との呼接続に係る処理である。例えば、呼接続（通信セッション接続とも呼ばれる）を確立する処理、あるいは切断する処理等である。すなわち、通信処理部５３は、呼接続の確立や切断を行う。

続いて、データベース装置６の説明をする。データベース装置６は、ステータス情報記憶部６０と、ＤＢ制御部６１とを備える。

ステータス情報記憶部６０は、移動通信端末１１や対向ノード１２の状態を示す情報であるステータス情報を保持するデータベースである。ステータス情報には、登録情報及びコール情報が含まれる。

登録情報を管理する登録情報テーブルの例を図５に示す。図５に示すように、登録情報テーブルは、ユーザＩＤと、登録情報とを対応付けて記憶したテーブルである。ユーザＩＤは、移動通信端末１１の識別情報（ＩＤ）である。また、登録情報は、あるアプリケーションを使用可能か否かを示す情報である。本実施形態における上記アプリケーションは、通話のアプリケーションとする。図５に示す全てのユーザＩＤは、登録情報が「登録中」であるので、図５に示す全てのユーザＩＤに対応する移動通信端末１１又は対向ノード１２は、通話アプリケーションを使用可能であることを示す。

続いて、コール情報テーブルの例を図６に示す。図６に示すように、コール情報テーブルは、呼の状態を示す情報に関するテーブルであり、コールＩＤ、方向、状態、自分ユーザＩＤ及び相手ユーザＩＤを対応付けて記憶したテーブルである。コールＩＤは、呼の識別情報であり、方向は、発信者側か着信側かを識別するための情報であり、状態は、呼の状態を示す情報であり、自分ユーザＩＤは、コール情報の登録要求対象の移動通信端末１１の識別情報であり、相手ユーザＩＤは、通信相手である対向ノード１２の識別情報（ＩＤ）である。

例えば、コールＩＤが「call1000」のコール情報は、方向が発側であるので、発信者側であり、状態が「確定済」であるので通話中であり、自分ユーザＩＤが「user0001」であるので、発信者が「user0001」であり、相手ユーザＩＤが「user0005」であるので、対向ノード１２のＩＤが「user0005」であることを示している。

ＤＢ制御部６１は、ＶＮＦ５からのデータベースアクセス要求に応じて、ステータス情報記憶部６０のデータベースへ読み込み、書き込みを行う部分である。例えば、ＤＢ制御部６１は、移動通信端末１１のＩＤを受信し、ＶＮＦ５から登録情報テーブル読み込み要求を受信した場合、登録情報テーブルを参照し、当該移動通信端末１１のＩＤに対応する登録情報を取得する。そして、ＤＢ制御部６１は、取得した登録情報をＶＮＦ５へ送信する。

また、ＤＢ制御部６１は、ＶＮＦ５から、コールＩＤ、方向、移動通信端末１１のＩＤ、対向ノード１２のＩＤとを受信すると共に、コール情報の登録要求を受け付けた場合、コールＩＤを生成し、当該コールＩＤと、自分ユーザＩＤが移動通信端末１１のＩＤであり、相手ユーザＩＤが対向ノード１２のＩＤであり、状態を「確定済み」とするレコードをコール情報テーブルへ登録する。

また、ＤＢ制御部６１は、ＶＮＦ５からコールＩＤを受信すると共に、コール情報の更新要求を受け付けた場合（例えば、通信切断時）、ＤＢ制御部６１は、当該コールＩＤに対応するコール情報の状態を「終話」に変更する。

また、ＤＢ制御部６１は、ステータス情報記憶部６０の内容と、他のデータベース装置６のステータス情報記憶部６０の内容とを同期させる。例えば、ＶＮＦ５からコール情報の登録要求や更新要求を受け付けたタイミングで、ＤＢ制御部６１は、変更部分の情報を他のデータベース装置６へ通知する。また、逆に変更部分の情報を他のデータベース装置６から受信した場合、当該変更部分をステータス情報記憶部６０へ反映させる。

図７に本実施形態に係る管理システム２に含まれるオーケストレータ４、ＶＮＦ５及びデータベース装置６を構成するサーバ装置のハードウェア構成を示す。図７に示すように当該サーバ装置は、ＣＰＵ５００、主記憶装置であるＲＡＭ（Random Access Memory）５０１及びＲＯＭ（Read Only Memory）５０２、入出力装置５０３、通信を行うための通信モジュール５０４、並びにハードディスク等の補助記憶装置５０５等のハードウェアを備えるコンピュータを含むものとして構成される。これらの構成要素がプログラム等により動作することにより、上述のオーケストレータ４、ＶＮＦ５及びデータベース装置６の機能が発揮される。なお、オーケストレータ４、ＶＮＦ５及びデータベース装置６は複数のサーバ装置からなるコンピュータシステムによって構成されていてもよい。また、移動体通信システム１に含まれる上記以外のノードも上記のハードウェア構成を有するサーバ装置によって実現されてもよい。以上が、本実施形態に係る管理システム２の構成である。

以下、図８〜図１４のシステム構成図を用いて、本実施形態に係る移動体通信システム１における処理装置切替方法について説明する。

前提として、移動通信端末１１は、ＶＮＦ５ａへアクセスするものとする。すなわち、オーケストレータ４により、移動通信端末１１が、ＶＮＦ５ａへアクセスする旨、規定されている。

まず、図８に示すように、移動通信端末１１は、ＳＤＮ１０を介してＶＮＦ５ａへ発信要求・切断要求をする。ＶＮＦ５ａは、これに応じて、データベース装置６ａのステータス情報記憶部６０ａから登録情報テーブルを参照したり、コール情報の登録・更新したりする。また、データベース装置６ａ、６ｄ及びデータベース装置６ｂは、ステータス情報記憶部６０ａとデータベース装置６ｂ、６ｄのステータス情報記憶部６０ｂ、６０ｄとが保持している情報について更新された内容の共有処理を非同期に（コール情報等の更新処理とは独立して）行う。

続いて、図９に示すように、ＶＮＦ５ａの故障に伴い、オーケストレータ４は、ＶＮＦ５の切替先を決定する。具体的には、切替判断部４１は、ＶＮＦ５ａが接続していたデータベース装置６ａから、要求遅延時間以内にある処理サーバであるＶＮＦ５ａａを切替対象と判断する。そして、切替要求部４３は、ＳＤＮ１０を介してＶＮＦ５ａａに対して移動要求を行う。要求遅延時間以内であるか否かは、オーケストレータ４が予め保持している情報を用いて判断する。

このとき、切替判断部４１は、ＶＮＦ５ａａから最も近いデータベース装置６ｂであったとしても、故障前にアクセスしていたデータベース装置６ａを選択することによって、同一のデータベースからアクセスが可能となり不整合なデータを取得してしまうことを回避することができる。

続いて、図１０に示すようにＶＮＦ５ａａが既に利用されており、データベース装置６ａから近隣のサーバが空いていない場合を考える。

この状態にて、図１１に示すようにＶＮＦ５ａが故障した場合、オーケストレータ４の切替判断部４１は、移動先の候補をとして、データベース装置６ａから要求遅延時間内にある処理サーバを探すが、この例では存在していない。そのため、切替判断部４１は、データベース装置６ｂ、６ｄから要求遅延時間内にある処理サーバ（ＶＮＦ５）を探す。この例では、切替判断部４１は、ＶＮＦ５ｂを選択し、そのアクセス先データベースとしては、要求遅延時間内にあるデータベース装置６ｂを選択する。

このように、ＶＮＦ５の故障時には可能な限り元のデータベース装置６にアクセスできるＶＮＦ５を選択することで、データ不整合の発生確率を低減することができる。

続いて図１０の状態から図１２に示すようにデータベース装置６ａが故障した場合について説明する。この場合、オーケストレータ４の切替判断部４１は、代替となるデータベース装置６ｂ、６ｄを切り替え先データベース装置の候補とする。この際に、切替判断部４１は、ＶＮＦ５ａからの遅延時間が要求遅延時間内以下であった場合にはＶＮＦ５ａを変更せずに、データベース装置のみ切り替える（この例ではデータベース装置６ｂに切り替え）。

このように、データベース装置６が故障したとしても、ＶＮＦ５を移動することなく処理を継続可能で、ＶＮＦ５の移動回数を減らし、オーバヘッドを削減することが可能である。

続いて、図１３に示すように、ステート情報のコピーが近隣にない場合について説明する。図１４に示すように、切替判断部４１は、データベース装置６ａが故障した場合、オーケストレータ４は、データベース装置６ｃ、６ｄを切り替え先データベース装置の候補として挙げるが、このどちらもＶＮＦ５ａからは遠方にあり、要求遅延時間を満たさない。この場合に限り、オーケストレータ４の切替判断部４１は、ＶＮＦ５を移動し（この場合ＶＮＦ５ｃ）、さらに接続先データベース装置も切り替える（この場合データベース装置６ｃ）。

このように、データベース装置６の故障時には可能な限りＶＮＦ５を移動しないことによって、ＶＮＦ５の移動によって発生するオーバヘッドを削減することが可能となる。

また、切り替え先ＶＮＦ５やデータベース装置６が複数あった場合には、切替判断部４１は、オーケストレータが、より遅延時間の短いものや、処理負荷や空き状況に応じて最適な切り替え先を選択する。

続いて、図１５に示すフローチャートを用いて、故障時の切替方法を説明する。

故障検知部４０が、故障を検知すると（ステップＳ１ 故障検知ステップ）、その故障がＶＮＦ５の故障である場合（ステップＳ２；Ｙ）、特定遅延内で空いているＶＮＦ５がある場合（ステップＳ３；Ｙ）、切替判断部４１は、ＶＮＦ５のみ切り替えると判断し、データベース装置６のアクセス先を変えないと判断する（ステップＳ４ 切替決定ステップ）。そして、ステップＳ３において、特定遅延内で空いているＶＮＦ５が無い場合（ステップＳ３；Ｎ）、ＶＮＦ５とデータベース装置６とを切り替えると判断する（ステップＳ５ 切替決定ステップ）。

ステップＳ２において、故障しているのがＤＢ装置である場合（ステップＳ２；Ｎ）、ＶＮＦ５から特定遅延内にデータ複製しているデータベース装置６があるか否かを判断し、ＶＮＦ５から特定遅延内にデータ複製しているデータベース装置６がある場合（ステップＳ６；Ｙ）、切替判断部４１は、データベース装置６のみ切り替えるように判断する（ステップＳ７ 切替決定ステップ）。ステップＳ６において、ＶＮＦ５から特定遅延内にデータ複製しているデータベース装置６があるか否かを判断し、ＶＮＦ５から特定遅延内にデータ複製しているデータベース装置６がない場合（ステップＳ６；Ｎ）、切替判断部４１は、データベース装置６及びＶＮＦ５を切り替えるように判断する（ステップＳ８ 切替決定ステップ）。ステップＳ４、Ｓ５、Ｓ７、及びＳ８の後に、切替要求部４３は、切替判断部４１による判断に基づいてＶＮＦ５へ処理要求する（ステップＳ９ 処理要求ステップ）。

（作用効果）
上述の管理システム２は、互いにデータの共有処理を行う複数のデータベース装置６と、複数のデータベース装置６へアクセス可能であり、移動通信端末１１に係る通信処理を行う複数のＶＮＦ５と、複数のＶＮＦ５の何れかのＶＮＦ５に対して、移動通信端末１１による通信処理を行うＶＮＦ５を決定するオーケストレータ４と、を備え、オーケストレータ４は、ＶＮＦ５又はデータベース装置６の故障を検知する故障検知部４０と、故障検知部４０により故障が検知された場合に、各ＶＮＦ５が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて代替となるＶＮＦ５及び代替となるデータベース装置６を決定する切替判断部４１と、切替判断部４１による決定に基づいて、処理対象のＶＮＦ５へ通信処理要求を行う切替要求部４３と、を含む。

この場合、管理システム２は、ＶＮＦ５又はデータベース装置６の故障を検知し、各ＶＮＦ５が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて、処理対象となるＶＮＦ５へ通信処理要求するので、全て同時に替える場合と比較して、切替処理のオーバヘッドを削減することができる。

切替判断部４１は、故障検知部４０によって、ＶＮＦ５の故障を検知した場合、稼働しているＶＮＦ５から代替となるＶＮＦ５を決定し、切替要求部４３は、切替判断部４１により決定されたＶＮＦ５に対して、故障したＶＮＦ５がアクセスしていたデータベース装置６へアクセスするように処理要求する。管理システム２では、代替となるＶＮＦ５が、故障したＶＮＦ５がアクセスしていたデータベース装置６へアクセスするので、データ処理の一貫性を担保することができる。

切替判断部４１は、故障したＶＮＦ５がアクセスしていたデータベース装置６へのアクセス時間が所定許容時間内であるＶＮＦ５を代替となるＶＮＦ５として決定する。この場合、データベースへのアクセス速度に影響が無い場合に、故障前と故障後のアクセス対象のデータベースを同一とするようにしているので、データベースの一貫性とアクセス速度とのバランスを取ることができる。

１…移動体通信システム、２…管理システム、３…ＯＳＳ／ＢＳＳ、４…オーケストレータ、５…ＶＮＦ、６…データベース装置、７…ＶＮＦＭ、８…ＮＦＶＩ、９…ＶＩＭ、１０…ＳＤＮ、１１…移動通信端末、１２…対向ノード、４０…故障検知部、４１…切替判断部、４２…空きＶＮＦ判断部、４３…切替要求部、５０…通信処理要求受付部、５１…オーケストレータ要求受付部、５２…データベースアクセス部、５３…通信処理部、６０…ステータス情報記憶部、６１…ＤＢ制御部、５００…ＣＰＵ、５０１…ＲＡＭ、５０２…ＲＯＭ、５０３…入出力装置、５０４…通信モジュール、５０５…補助記憶装置。

Claims (5)

1. 互いにデータの共有処理を行う複数のデータベース装置と、
   前記複数のデータベース装置へアクセス可能であり、移動通信端末に係る通信処理を行う複数の通信制御装置と、
   前記複数の通信制御装置の何れかの通信制御装置に対して、前記移動通信端末による通信処理を行う通信制御装置を決定するコントロール装置と、
   を備え、
   前記コントロール装置は、
   前記通信制御装置又はデータベース装置の故障を検知する故障検知手段と、
   前記故障検知手段により故障が検知された場合に、各通信制御装置が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて代替となる通信制御装置及び代替となるデータベース装置を決定する切替決定手段と、
   前記切替決定手段による決定に基づいて、処理対象の通信制御装置へ通信処理要求を行う処理要求手段と、
   を含む、通信システム。
2. 前記切替決定手段は、前記故障検知手段によって、前記通信制御装置の故障を検知した場合、稼働している通信制御装置から前記代替となる通信制御装置を決定し、
   前記処理要求手段は、前記切替決定手段により決定された通信制御装置に対して、故障した通信制御装置がアクセスしていたデータベース装置へアクセスするように処理要求する、請求項１に記載の通信システム。
3. 前記切替決定手段は、故障した通信制御装置がアクセスしていたデータベース装置へのアクセス時間が所定許容時間内である通信制御装置を前記代替となる通信制御装置として決定する、請求項２に記載の通信システム。
4. 互いにデータの共有処理を行う複数のデータベース装置と、
   前記複数のデータベース装置へアクセス可能であり、移動通信端末に係る通信処理を行う複数の通信制御装置と、
   前記複数の通信制御装置の何れかの通信制御装置に対して、前記移動通信端末による通信処理を行う通信制御装置を決定するコントロール装置と、
   を備える通信システムにおける、コントロール装置であって、
   前記通信制御装置又はデータベース装置の故障を検知する故障検知手段と、
   前記故障検知手段により故障が検知された場合に、各通信制御装置が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて処理対象の通信制御装置及びデータベースを決定する切替決定手段と、
   前記切替決定手段による決定に基づいて、処理対象の通信制御装置へ通信処理要求を行う処理要求手段と、
   を備えるコントロール装置。
5. 互いにデータの共有処理を行う複数のデータベース装置と、
   前記複数のデータベース装置へアクセス可能であり、移動通信端末に係る通信処理を行う複数の通信制御装置と、
   前記複数の通信制御装置の何れかの通信制御装置に対して、前記移動通信端末による通信処理を行う通信制御装置を決定するコントロール装置と、
   を備える通信システムで実行される処理装置切替方法であって、
   前記通信制御装置又はデータベース装置の故障を検知する故障検知ステップと、
   前記故障検知ステップにおいて故障が検知された場合に、各通信制御装置が各データベースへアクセスするための時間を示すアクセス時間情報に基づいて処理対象の通信制御装置及びデータベースを決定する切替決定ステップと、
   前記切替決定ステップにおける決定に基づいて、処理対象の通信制御装置へ通信処理要求を行う処理要求ステップと、
   を含む処理装置切替方法。

Images