JP6761210B2 - ネットワークシステム、ネットワーク制御方法および制御装置 - Google Patents
ネットワークシステム、ネットワーク制御方法および制御装置 Download PDFInfo
- Publication number
- JP6761210B2 JP6761210B2 JP2017507472A JP2017507472A JP6761210B2 JP 6761210 B2 JP6761210 B2 JP 6761210B2 JP 2017507472 A JP2017507472 A JP 2017507472A JP 2017507472 A JP2017507472 A JP 2017507472A JP 6761210 B2 JP6761210 B2 JP 6761210B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- layer
- setting
- packet header
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 67
- 238000007726 management method Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 20
- 238000012546 transfer Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000005538 encapsulation Methods 0.000 description 5
- 238000000275 quality assurance Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/028—Capturing of monitoring data by filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
- H04L41/5054—Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
本発明は仮想ネットワーク機能を含むネットワークシステムに係り、特にネットワークの制御方法および制御装置に関する。
現在の通信システムでは、ＢＲＡＳ(Broadband Remote Access Server)、ＮＡＴ(Network Address Translation)、ルータ(Router)、ファイヤウォール（ＦＷ：Firewall）、ＤＰＩ（Deep Packet Inspection)などの様々なネットワーク機能（Network Function：ＮＦ）を専用のハードウェア機器（アプライアンス）により実現している。このために、ネットワークオペレータは、新たなネットワークサービスを立ち上げる場合、新たな専用のハートウェア機器の導入を強いられ、機器の購入費用や設置スペース等の多大なコストを必要とする。このような状況に鑑み、近年、ハードウェア機器で実行されるネットワーク機能をソフトウェアにより仮想的に実行する技術（ネットワーク機能の仮想化：Network Function Virtualization）が検討されている（非特許文献１）。ネットワークサービスの仮想化の一例として、特許文献１に、通信ノード装置上に複数の仮想ルータを構築し、これらの仮想ルータの資源を通信品質に応じて動的に配分する方法が開示されている。
また、複数の仮想ネットワーク機能(Virtual Network Function：ＶＮＦ)を組み合わせた通信経路に通信フローを伝送することにより種々のネットワークサービスを提供する技術も検討されている（たとえば、非特許文献２を参照）。
図１に例示するように、ネットワーク機能の仮想化では、仮想ネットワーク機能ＶＮＦの論理的つながり（フォワーディンググラフ：Forwarding Graph）によりネットワークサービスが構成され管理される。ここでは、オーバレイネットワークに３つの仮想ネットワーク機能ＶＮＦ＃１〜ＶＮＦ＃３からなるネットワークサービスが例示されている。
このフォワーディンググラフの仮想ネットワーク機能ＶＮＦ＃１〜ＶＮＦ＃３は、アンダレイネットワーク（物理レイヤネットワーク）におけるパスにマッピングされる。たとえば、仮想ネットワーク機能ＶＮＦ＃１〜ＶＮＦ＃３が物理サーバＳＶ１およびＳＶ２上のそれぞれの仮想マシンにより実現されるとすれば、物理スイッチＡ-物理スイッチＢ−物理サーバＳＶ１−物理スイッチＢ−物理サーバＳＶ２−物理スイッチＣからなるパスが選択されるかもしれないし、別のバスが選択されるかもしれない。各ノードにおけるパス選択アルゴリズムは、たとえば非特許文献３および４等において検討されている。
Network Functions Virtualization – Update White Paper, October 15-17, 2013 at the "SDN and OpenFlow World Congress", Frankfurt-Germany (http://portal.etsi.org/NFV/NFV_White_Pater2.pdf)
ETSI GS NFV 001 v1.1.1 (2013-10)"Network Functions Virtualisation (NFV); Use Cases"(http://docbox.etsi.org/ISG/NFV/Open/Published/gs_NFV001v010101p%20-%20Use%20Cases.pdf)
Network Working Group Request for Comments: 2991
Network Working Group Request for Comments: 2992
しかしながら、フォワーディンググラフは論理構成を表現するものであり、それがどのように下位レイヤネットワークにマッピングされるかを管理するものではない。他方、サービス品質は下位レイヤの資源量、状態等に依存するために、下位レイヤを考慮することなしにネットワークサービスの品質保証を実現することは困難である。上述した特許文献および非特許文献では、ＶＮＦの配置およびＶＮＦ間のパスを管理し、下位ネットワークでどのようなパスが設定されるかについて関与していない。このようなフォワーディンググラフによる管理ではシステム全体のスループットを最適化することはできない。
そこで、本発明の目的は、ネットワークサービスの品質保証およびシステム全体のスループットの最適化を容易に達成できるネットワークシステム、ネットワーク制御方法および制御装置を提供することにある。
本発明によるネットワーク制御装置は、マルチレイヤ構成を有するネットワークを制御する装置であって、第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視する監視手段と、前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返す制御手段と、を有し、前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源が変化することを特徴とする。
本発明によるネットワーク制御方法は、マルチレイヤ構成を有するネットワークを制御する方法であって、監視手段が、第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視し、制御手段が、前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返し、前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源が変化することを特徴とする。
本発明によるネットワークシステムは、マルチレイヤ構成を有するネットワークと、前記ネットワークを制御する制御装置と、を有し、前記制御装置が、第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視し、前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返し、前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源が変化することを特徴とする。
本発明によるプログラムは、マルチレイヤ構成を有するネットワークを制御する装置としてコンピュータを機能させるプログラムであって、第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視する機能と、前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返し、前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源を変化させる機能と、を前記コンピュータに実現することを特徴とする。
本発明によるネットワーク制御方法は、マルチレイヤ構成を有するネットワークを制御する方法であって、監視手段が、第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視し、制御手段が、前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返し、前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源が変化することを特徴とする。
本発明によるネットワークシステムは、マルチレイヤ構成を有するネットワークと、前記ネットワークを制御する制御装置と、を有し、前記制御装置が、第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視し、前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返し、前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源が変化することを特徴とする。
本発明によるプログラムは、マルチレイヤ構成を有するネットワークを制御する装置としてコンピュータを機能させるプログラムであって、第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視する機能と、前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返し、前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源を変化させる機能と、を前記コンピュータに実現することを特徴とする。
本発明によれば、監視結果に応じて第一レイヤの資源を変更するようにパケットヘッダの設定を変更することによりネットワークサービスの品質保証およびシステム全体のスループットの最適化を容易に達成できる。
＜実施形態の概要＞
本発明の実施形態によれば、オーバレイネットワークの論理コンポーネントの設定を変更することでアンダレイネットワークの資源割当を間接的に変更する。たとえば、上位レイヤにおけるパケットのカプセル化あるいはラベル化の設定変更により、オーバレイネットワークの論理コンポーネントにマッピングされる下位レイヤ資源の全部あるいは一部を変更することができ、これによりネットワークサービスの品質保証およびシステム全体のスループットの最適化が可能になる。以下、本発明の各実施形態について詳細に説明する。
本発明の実施形態によれば、オーバレイネットワークの論理コンポーネントの設定を変更することでアンダレイネットワークの資源割当を間接的に変更する。たとえば、上位レイヤにおけるパケットのカプセル化あるいはラベル化の設定変更により、オーバレイネットワークの論理コンポーネントにマッピングされる下位レイヤ資源の全部あるいは一部を変更することができ、これによりネットワークサービスの品質保証およびシステム全体のスループットの最適化が可能になる。以下、本発明の各実施形態について詳細に説明する。
１．第１実施形態
図２に例示するネットワークを用いて、本発明の第１実施形態について説明する。ここでは、オーバレイネットワーク（上位レイヤネットワーク）におけるパケットヘッダ設定変更により、仮想ネットワーク機能ＶＮＦ１〜ＶＮＦ３が提供される論理パスが形成され、これに応じて、図２に例示するようなアンダレイネットワーク（下位レイヤネットワーク）におけるパスが形成されるものとする。
図２に例示するネットワークを用いて、本発明の第１実施形態について説明する。ここでは、オーバレイネットワーク（上位レイヤネットワーク）におけるパケットヘッダ設定変更により、仮想ネットワーク機能ＶＮＦ１〜ＶＮＦ３が提供される論理パスが形成され、これに応じて、図２に例示するようなアンダレイネットワーク（下位レイヤネットワーク）におけるパスが形成されるものとする。
１．１）システム
図２に示すように、本発明の第１実施形態によるネットワークシステムは制御装置１０とネットワーク２０とからなり、制御装置１０はネットワーク２０における仮想トンネル設定機能を有するノードあるいはサーバを制御する。ネットワーク２０は、一例として、ネットワークサービスを構成する仮想ネットワーク機能ＶＮＦ１が物理サーバＳＶ１に、仮想ネットワーク機能ＶＮＦ２およびＶＮＦ３が物理サーバＳＶ２にそれぞれ配置されているものとする。本実施形態によれば、制御装置１０は、各仮想トンネルｖＴのＴＥＰ(Tunnel End Point)でパケットヘッダ設定を変更することができる。
図２に示すように、本発明の第１実施形態によるネットワークシステムは制御装置１０とネットワーク２０とからなり、制御装置１０はネットワーク２０における仮想トンネル設定機能を有するノードあるいはサーバを制御する。ネットワーク２０は、一例として、ネットワークサービスを構成する仮想ネットワーク機能ＶＮＦ１が物理サーバＳＶ１に、仮想ネットワーク機能ＶＮＦ２およびＶＮＦ３が物理サーバＳＶ２にそれぞれ配置されているものとする。本実施形態によれば、制御装置１０は、各仮想トンネルｖＴのＴＥＰ(Tunnel End Point)でパケットヘッダ設定を変更することができる。
図３に示すように、制御装置１０によるパケットヘッダの設定変更は論理パスのために付加されたヘッダ（カプセル化）に対して行われる。ＴＥＰの設定変更であれば、送信先ＵＤＰポート番号、送信先ＩＰアドレス、送信先ＭＡＣアドレス、トンネル識別子等が設定変更される。たとえば、ＶＸＬＡＮ(Virtual eXtensible LAN)の場合、送信先ＵＤＰポート番号、トンネルＩＤを変更することで、パケットヘッダのハッシュ値からノードＮ１のネクストホップ先の変更が可能となる。なお、ＴＥＰは仮想トンネルの端点であるからＴＥＰの設定変更が有利であるが、ＴＥＰだけでなく、ＭＰＬＳ(Multi Protocol Label Switching)ラベルを書き換えることでネットワークサービスの同様の変更を行うこともできる。
＜制御装置＞
図４に例示するように、本実施形態による制御装置１０は、ネットワーク２０における上述したＴＥＰ機能等を有するノードおよびサーバを制御対象とし、オーバレイネットワーク設定部１０１、ノード管理部１０２、データベース１０３、ネットワークモニタ１０４、制御部１０５および図示されていない記録装置を有する。
図４に例示するように、本実施形態による制御装置１０は、ネットワーク２０における上述したＴＥＰ機能等を有するノードおよびサーバを制御対象とし、オーバレイネットワーク設定部１０１、ノード管理部１０２、データベース１０３、ネットワークモニタ１０４、制御部１０５および図示されていない記録装置を有する。
オーバレイネットワーク設定部１０１は、データベース１０３を参照して、特定のネットワークサービスを構成するために必要な仮想ノードを繋ぐ論理パスの設定を行う。ノード管理部１０２はネットワークサービスを構成する各仮想ノードを管理する。データベース１０３は、論理コンポーネントに関するネットワークトポロジ情報と各論理コンポーネントの使用状態、要求条件等のパラメータ情報とを格納する。ネットワークモニタ１０４はネットワーク２０の負荷状況等の監視を行う。
制御部１０５は、ネットワークモニタ１０４により取得されたモニタ情報からデータベース１０３を構成するとともに、上述したオーバレイネットワーク設定部１０１、ノード管理部１０２およびデータベース１０３を用いて、パケットに付加された仮想レイヤのヘッダ（カプセル化）に対する設定変更を含む動作を制御する。
なお、オーバレイネットワーク設定部１０１、ノード管理部１０２、ネットワークモニタ１０４および制御部１０５と同じ機能は、ＣＰＵ(Central Processing Unit)あるいはコンピュータ上で、図示しないメモリに格納されたプログラムを実行することにより実現することもできる。
＜ノード＞
図５に例示するように、ノードＮは上述したＴＥＰ機能等を有するノードであり、制御装置１０との通信を行うためのインターフェース２０１、経路情報データベース２０２、データ転送部２０３および制御部２０４を有する。ノードＮは、ネットワークサービスに属するフローを識別するための条件と当該フローのパケットの転送先とを含むデータを制御装置１０から受信し、経路情報データベース２０２に格納する。データ転送部２０３は、経路情報データベース２０２に格納された条件および転送先情報に従ってネットワークサービスに属するフローのパケットを識別し、対応する転送先（ノードあるいはサーバ）へ転送する。その際、上述したように論理パスのためのパケットヘッダの設定変更によりオーバレイネットワークにおけるパケット転送先が変更され、アンダレイネットワークにおけるパスの変更が可能となる。
図５に例示するように、ノードＮは上述したＴＥＰ機能等を有するノードであり、制御装置１０との通信を行うためのインターフェース２０１、経路情報データベース２０２、データ転送部２０３および制御部２０４を有する。ノードＮは、ネットワークサービスに属するフローを識別するための条件と当該フローのパケットの転送先とを含むデータを制御装置１０から受信し、経路情報データベース２０２に格納する。データ転送部２０３は、経路情報データベース２０２に格納された条件および転送先情報に従ってネットワークサービスに属するフローのパケットを識別し、対応する転送先（ノードあるいはサーバ）へ転送する。その際、上述したように論理パスのためのパケットヘッダの設定変更によりオーバレイネットワークにおけるパケット転送先が変更され、アンダレイネットワークにおけるパスの変更が可能となる。
＜サーバ＞
図６に例示するように、サーバＳＶは、制御装置１０との通信を行うためのインターフェース３０１と、制御部３０２と、ノードと接続したデータ転送部３０３と、仮想マシンモニタ（ＶＭＭ）３０４と、仮想マシン（ＶＭ）３０５と、仮想ネットワーク機能（ＶＮＦ）３０６と、を有する。データ転送部３０３は、仮想スイッチ（ｖＳｗｉｔｃｈ）機能、ＴＥＰ機能等を有し、上述したようにカプセル化等のＴＥＰ機能はインターフェース３０１を通して制御装置１０により制御される。また、ＶＭＭ３０４はＶＭ３０５を制御し、ＶＭ３０５上でＶＮＦ３０６が実行される。ＶＭ３０５の通信はデータ転送部３０３を通して行われる。
図６に例示するように、サーバＳＶは、制御装置１０との通信を行うためのインターフェース３０１と、制御部３０２と、ノードと接続したデータ転送部３０３と、仮想マシンモニタ（ＶＭＭ）３０４と、仮想マシン（ＶＭ）３０５と、仮想ネットワーク機能（ＶＮＦ）３０６と、を有する。データ転送部３０３は、仮想スイッチ（ｖＳｗｉｔｃｈ）機能、ＴＥＰ機能等を有し、上述したようにカプセル化等のＴＥＰ機能はインターフェース３０１を通して制御装置１０により制御される。また、ＶＭＭ３０４はＶＭ３０５を制御し、ＶＭ３０５上でＶＮＦ３０６が実行される。ＶＭ３０５の通信はデータ転送部３０３を通して行われる。
１．２）動作
制御装置１０は、ネットワーク監視情報により現在のネットワークサービスが要求サービスレベルを維持できなくなったことを検知すると、論理パスのために付加されたヘッダ（カプセル化）に対して送信先ＵＤＰポート番号、送信先ＩＰアドレス、送信先ＭＡＣアドレス、トンネル識別子等の設定変更を行う。これにより、図２に例示するように、オーバレイネットワークに仮想ネットワーク機能ＶＮＦ１〜ＶＮＦ３からなる論理パスがトンネルｖＴを通して形成される。
制御装置１０は、ネットワーク監視情報により現在のネットワークサービスが要求サービスレベルを維持できなくなったことを検知すると、論理パスのために付加されたヘッダ（カプセル化）に対して送信先ＵＤＰポート番号、送信先ＩＰアドレス、送信先ＭＡＣアドレス、トンネル識別子等の設定変更を行う。これにより、図２に例示するように、オーバレイネットワークに仮想ネットワーク機能ＶＮＦ１〜ＶＮＦ３からなる論理パスがトンネルｖＴを通して形成される。
たとえば、制御装置１０がオーバレイネットワークにおけるパケットヘッダの設定を変更し、ＴＥＰでパケットヘッダが書き換えられると、アンダレイネットワークでは複数の可能な物理パスから一つが選択される。その際、オーバレイネットワーク側からはアンダレイネットワークのパス選択を管理できない。図２に例示するアンダレイネットワークでは、スイッチＳＷ１からサーバＳＶ１およびＳＶ２を通してＳＷ６へ至る物理パスが選択されている。
１．３）効果
上述したように、本発明の第１実施形態によれば、オーバレイネットワークでの論理資源を変更することによりアンダレイネットワークの物理資源を変更することができ、ネットワークサービスの品質保証およびシステム全体のスループットの最適化を容易に実行可能となる。
上述したように、本発明の第１実施形態によれば、オーバレイネットワークでの論理資源を変更することによりアンダレイネットワークの物理資源を変更することができ、ネットワークサービスの品質保証およびシステム全体のスループットの最適化を容易に実行可能となる。
＜実施例＞
上述したように、本実施形態によれば、ＴＥＰ設定変更により、オーバレイネットワークからは直接管理できないアンダレイネットワークにおけるパケットの転送先を間接的に変更することが可能となる。以下、図７に示す本発明の一実施例の動作例について図面を参照しながら説明する。
上述したように、本実施形態によれば、ＴＥＰ設定変更により、オーバレイネットワークからは直接管理できないアンダレイネットワークにおけるパケットの転送先を間接的に変更することが可能となる。以下、図７に示す本発明の一実施例の動作例について図面を参照しながら説明する。
本実施例の動作例によれば、オーバレイネットワークにおけるネットワークサービスの仮想ネットワーク機能ＶＮＦ１〜ＶＮＦ３は、図２と同様に物理サーバＳＶ１およびＳＶ２により提供され、ネットワークサービスがマッピングされるアンダレイネットワークの経路だけが切り替えられる。
図７に例示するように、制御装置１０がＴＥＰ設定を変更することで、アンダレイヤネットワークにおいて物理スイッチＳＷ５を経由した新たな経路を通り、元のネットワークサービスと同じ物理サーバＳＶ１およびＳＶ２による同じネットワークサービスＶＮＦ１〜ＶＮＦ３の提供が可能となる。
制御装置１０がＴＥＰ設定を変更する契機としては、ネットワークサービスが当初の要求サービスレベルを満たさなくなった場合が考えられる。この場合、上述したＴＥＰ設定変更により当該ネットワークサービスにマッピングされる物理的な経路を変更することで、その性能の改善の有無をチェックし、改善されなければ、さらにＴＥＰ設定を変更すればよい。
２．第２実施形態
本発明の第２実施形態によれば、論理レイヤにおける論理構成の一部を変更可能である。
本発明の第２実施形態によれば、論理レイヤにおける論理構成の一部を変更可能である。
図８に示すように、オーバレイネットワークは、図２に示すネットワークサービスに対応する仮想ネットワーク機能ＶＮＦ１（１）〜ＶＮＦ３（１）と同じ仮想ネットワーク機能ＶＮＦ１（２）〜ＶＮＦ３（２）が配置された冗長構成を有するものとする。また、アンダレイネットワークは、オーバレイの仮想ネットワーク機能にそれぞれ対応して、仮想ネットワーク機能ＶＮＦ１（１）が物理サーバＳＶ１に、仮想ネットワーク機能ＶＮＦ２（１）およびＶＮＦ３（１）が物理サーバＳＶ２に配置され、仮想ネットワーク機能ＶＮＦ１（２）が物理サーバＳＶ３に、仮想ネットワーク機能ＶＮＦ２（２）およびＶＮＦ３（２）が物理サーバＳＶ４に配置された冗長構成を有するものとする。
本実施形態によれば、オーバレイネットワークにおけるネットワークサービスが利用する論理資源の一部を変更することで、それに伴ってアンダレイネットワークの資源を間接的に変更する。
図８に例示するように、制御装置１０が物理サーバＳＶ１の仮想レイヤにおけるＴＥＰ設定と物理サーバＳＶ４の仮想レイヤにおけるＴＥＰ設定とを変更することで、ネットワークサービスが利用する論理資源を仮想ネットワーク機能ＶＮＦ２（１）およびＶＮＦ３（１）から仮想ネットワーク機能ＶＮＦ２（２）およびＶＮＦ３（２）へ変更する。これに伴って、アンダレイネットワークにおいて物理スイッチＳＷ５を経由した経路に切り替わり、物理サーバＳＶ１による仮想ネットワーク機能ＶＮＦ１（１）と、物理サーバＳＶ４による仮想ネットワーク機能ＶＮＦ２（２）およびＶＮＦ３（２）とからなるネットワークサービスを提供する。
制御装置１０がＴＥＰ設定を変更する契機としては、たとえばサーバＳＶ２が障害あるいは過負荷状態になってネットワークサービスが当初の要求サービスレベルを満たさなくなった場合が考えられる。この場合、上述したＴＥＰ設定変更により、アンダレイヤネットワークにおいて問題が発生したサーバＳＶ２から同じ仮想ネットワーク機能を配置したサーバＳＶ４へ切り替える。この新たな経路に従ったネットワークサービスの性能をチェックし、改善されなければ、さらにＴＥＰ設定を変更すればよい。
３．第３実施形態
本発明の第３実施形態によれば、オーバレイネットワークにおける論理構成の全体を変更することができる。以下、図９に示すシステムを一例として、本発明の第３実施形態について図面を参照しながら詳細に説明する。
本発明の第３実施形態によれば、オーバレイネットワークにおける論理構成の全体を変更することができる。以下、図９に示すシステムを一例として、本発明の第３実施形態について図面を参照しながら詳細に説明する。
図９に示すように、ネットワークサービスを構成するＦＷ（１）が物理サーバＳＶ１に、ＤＰＩ（１）およびＮＡＴ（１）が物理サーバＳＶ２にそれぞれ配置されて第１の論理パスを構成しているものとする。また、ＦＷ（２）が物理サーバＳＶ３に、ＤＰＩ（２）およびＮＡＴ（２）が物理サーバＳＶ４にそれぞれ配置されて第２の論理パスを構成するものとする。第１の論理パスと第２の論理パスとは、同じ仮想ネットワーク機能を提供する冗長構成パスであり、物理スイッチＳＷ１に設けられたロードバランサＬＢあるいはＴＥＰにおいてトラフィックの全部あるいは一部がいずれかの論理パスに切り替えられる。
図１０に例示するように、制御装置１１は、たとえばネットワークサービスが要求サービスレベルを満たさないと判断すると、ＴＥＰ設定を変更し、ネットワークサービスが利用する論理資源をＦＷ（１）、ＤＰＩ（１）およびＮＡＴ（１）を通る第１の論理パスからＦＷ（２）、ＤＰＩ（２）およびＮＡＴ（２）を通る第２の論理パスへ変更する。これに伴って、アンダレイネットワークの物理スイッチＳＷ１は、当該ネットワークサービスを物理サーバＳＶ１およびＳＶ２を利用する第１の経路から物理サーバＳＶ３およびＳＶ４を利用する第２の経路に切り替える。
このようにネットワークサービスに対してオーバレイネットワークで冗長パスを設けておき、オーバレイネットワークの論理パスを変更することで、アンダレイネットワークの物理パスを間接的に変更し、ネットワークサービスの要求サービスレベルを維持することが可能となる。
４．第４実施形態
本発明の第４実施形態によれば、ネットワークのモニタ情報に基づいて障害あるいは過負荷状態などの発生を検出すると、ネットワークサービスの端点において仮想トンネルの設定変更を行い、同一の仮想ネットワーク機能からなるネットワークサービスを提供する論理パスへ切り替える。たとえば、ネットワークサービスの端点となるＴＥＰでトンネル設定を変更することにより、オーバレイネットワークにおいて利用する論理資源を一括で変更する。既に述べたように、オーバレイネットワークの論理資源を変更することに伴い、アンダレイネットワークの資源を間接的に変更することができる。また、仮想トンネルの設定変更の契機は、上述したように、ネットワークサービスが要求サービスレベルを満たさなくなった時、あるいはネットワーク２０で障害あるいは過負荷状態などの発生を検出した時、などである。なお、オーバレイネットワークにおける論理パスの切替は、上述した第２実施形態のように論理構成の一部であってもよいし、第３実施形態のように論理構成の全体であってもよい。以下、オーバレイネットワークのみを図示して、本実施形態について説明する。
本発明の第４実施形態によれば、ネットワークのモニタ情報に基づいて障害あるいは過負荷状態などの発生を検出すると、ネットワークサービスの端点において仮想トンネルの設定変更を行い、同一の仮想ネットワーク機能からなるネットワークサービスを提供する論理パスへ切り替える。たとえば、ネットワークサービスの端点となるＴＥＰでトンネル設定を変更することにより、オーバレイネットワークにおいて利用する論理資源を一括で変更する。既に述べたように、オーバレイネットワークの論理資源を変更することに伴い、アンダレイネットワークの資源を間接的に変更することができる。また、仮想トンネルの設定変更の契機は、上述したように、ネットワークサービスが要求サービスレベルを満たさなくなった時、あるいはネットワーク２０で障害あるいは過負荷状態などの発生を検出した時、などである。なお、オーバレイネットワークにおける論理パスの切替は、上述した第２実施形態のように論理構成の一部であってもよいし、第３実施形態のように論理構成の全体であってもよい。以下、オーバレイネットワークのみを図示して、本実施形態について説明する。
４．１）システム構成
図１１に例示するオーバレイネットワークでは、仮想ネットワーク機能ＶＮＦ１〜ＶＮＦ４からなるネットワークサービスが図示されており、仮想ネットワーク機能ＶＮＦ３およびＶＮＦ４については同じ機能を有する冗長パスとして設定可能であるものとする。制御装置１１は図４に示す制御装置１０と基本的に同様の構成を有するが、オーバレイネットワーク設定部１０１は、第１実施形態の論理パス設定に加えて、同じ仮想ネットワーク機能を有する複数の冗長化パスの設定を行う。ネットワークモニタ１０４はネットワークの状況（障害あるいは過負荷状態等）をモニタし、制御部１０５は負荷状況に応じてネットワークサービスの論理パスの切替、すなわちオーバレイネットワークの論理資源を制御することで、下位資源を間接的に制御する。
図１１に例示するオーバレイネットワークでは、仮想ネットワーク機能ＶＮＦ１〜ＶＮＦ４からなるネットワークサービスが図示されており、仮想ネットワーク機能ＶＮＦ３およびＶＮＦ４については同じ機能を有する冗長パスとして設定可能であるものとする。制御装置１１は図４に示す制御装置１０と基本的に同様の構成を有するが、オーバレイネットワーク設定部１０１は、第１実施形態の論理パス設定に加えて、同じ仮想ネットワーク機能を有する複数の冗長化パスの設定を行う。ネットワークモニタ１０４はネットワークの状況（障害あるいは過負荷状態等）をモニタし、制御部１０５は負荷状況に応じてネットワークサービスの論理パスの切替、すなわちオーバレイネットワークの論理資源を制御することで、下位資源を間接的に制御する。
あるトラフィックが仮想ネットワーク機能ＶＮＦ１、ＶＮＦ２、ＶＮＦ３（１）およびＶＮＦ４（１）を通して転送されているとき、たとえばＳＬＡ（Service Level Agreement）などのネットワークサービスが要求サービスレベルを満たさなくなったと仮定する。この場合、制御装置１１は当該ネットワークサービスの端点で論理パスを切り替えるように当該ネットワークサービスのパケットヘッダを書き換え、これによって当該トラフィックの論理パスを仮想ネットワーク機能ＶＮＦ３（２）およびＶＮＦ４（２）側に切り替える。このように論理資源を変更することにより、既に述べたように、アンダレイネットワークの資源を間接的に変更することができる。
ネットワークサービスの論理パス変更は、上述したように、ＴＥＰでパケットのヘッダ（ＶＸＬＡＮヘッダ等）を書き換えることにより行うことができる。ヘッダ設定の変更を行うポイントがＴＥＰである必要はないが、特にネットワークサービスの端点となるＴＥＰでの設定変更が望ましい。ＴＥＰは各ＶＮＦの入り口／出口にあるので、各ＴＥＰで設定変更することが可能である。
４．２）動作
図１２に示すように、一例として、仮想ネットワーク機能ＶＮＦ１、ＶＮＦ２、ＶＮＦ３およびＶＮＦ４がそれぞれ仮想ロードバランサ（ｖＬＢ）、仮想ファイヤウォール（ｖＦＷ）、仮想ディープパケットインスペクション（ｖＤＰＩ）および仮想ＮＡＴ（ｖＮＡＴ）であり、ｖＤＰＩ・ｖＮＡＴが異なる論理パスで設定可能であるものとする。ロードバランサｖＬＢは、制御装置１１の制御に従って、トラフィックの全部あるいは一部をｖＤＰＩ（１）・ｖＮＡＴ（１）の論理パスまたはｖＤＰＩ（２）・ｖＮＡＴ（２）の論理パスに切り替えることができる。
図１２に示すように、一例として、仮想ネットワーク機能ＶＮＦ１、ＶＮＦ２、ＶＮＦ３およびＶＮＦ４がそれぞれ仮想ロードバランサ（ｖＬＢ）、仮想ファイヤウォール（ｖＦＷ）、仮想ディープパケットインスペクション（ｖＤＰＩ）および仮想ＮＡＴ（ｖＮＡＴ）であり、ｖＤＰＩ・ｖＮＡＴが異なる論理パスで設定可能であるものとする。ロードバランサｖＬＢは、制御装置１１の制御に従って、トラフィックの全部あるいは一部をｖＤＰＩ（１）・ｖＮＡＴ（１）の論理パスまたはｖＤＰＩ（２）・ｖＮＡＴ（２）の論理パスに切り替えることができる。
制御装置１１は、たとえばネットワークサービスが障害あるいは過負荷状態の発生により要求サービスレベルを満たさないと判断すると、ｖＬＢに対して対象ネットワークサービスあるいはフローのパケットヘッダ設定の変更を指示する（動作Ｓ４０１）。ｖＬＢは、制御装置１１からの指示に従って、該当するパケットのヘッダを書き換え（動作Ｓ４０２）、これによってトラフィックの全部あるいは一部がｖＤＰＩ（１）・ｖＮＡＴ（１）の論理パスまたはｖＤＰＩ（２）・ｖＮＡＴ（２）の論理パスのいずれかに切り替わる。このような論理資源の変更により、要求サービスレベルを満たすようにアンダレイネットワークの資源が間接的に変更され得る。
なお、制御装置１１は、あるトラフィックが要求する仮想ネットワーク機能を通る複数のネットワークサービスの論理パス候補を予め決めておき、これらの候補からより性能の高い論理パスを選択するように制御することもできる。選択方法としては、以下に例示する方法のいずれかを採用することができる。
・複数の論理パス候補を適当に切り替えて、探索的に性能が上がるネットワークサービスを選択する。ネットワークサービスの論理パスは多くて１０〜１５個程度であるから、このように探索的に最適解を見つける手法を採用することは可能である。
・各論理パス候補におけるリソースごとのパフォーマンスを考慮して、より性能の高いネットワークサービスを選択する。たとえば、物理サーバ、物理スイッチ、仮想マシンＶＭ等のリソースのパフォーマンスを算出して、より高いパフォーマンスのネットワークサービスを選択する。
・その時々のトラフィック量が最も少ない論理パス候補を選択する。
・各論理パス候補におけるリソースごとのパフォーマンスを考慮して、より性能の高いネットワークサービスを選択する。たとえば、物理サーバ、物理スイッチ、仮想マシンＶＭ等のリソースのパフォーマンスを算出して、より高いパフォーマンスのネットワークサービスを選択する。
・その時々のトラフィック量が最も少ない論理パス候補を選択する。
論理パス候補によって論理資源が異なるので、上述したように、論理パス候補ごとにアンダレイネットワークの資源も間接的に異なっている。したがって、論理パス候補によってパフォーマンスの相違があり、予め性能の順位を推定することができる。
制御装置１１は、より性能が高い論理パス候補を選択し、当該トラフィックに対して割り当てる。すなわち、上述した動作と同様に、制御装置１１は、ｖＬＢに対してパケットヘッダ設定の変更を指示し（動作Ｓ４０１）、この設定変更指示に従って、ｖＬＢは、該当するパケットのヘッダを書き換える（動作Ｓ４０２）。こうして、より性能の良い論理パスを使用してネットワークサービスを提供することができる。
５．第５実施形態
本発明の第５実施形態によれば、あるノードでの問題発生を検出すると、当該問題を解消するためにエッジノードのロードバランサに対して、該当ネットワークサービスの論理パスのためのパケットヘッダの設定変更を行う。なお、オーバレイネットワークにおける論理パスの切替は、上述した第２実施形態のように論理構成の一部であってもよいし、第３実施形態のように論理構成の全体であってもよい。
本発明の第５実施形態によれば、あるノードでの問題発生を検出すると、当該問題を解消するためにエッジノードのロードバランサに対して、該当ネットワークサービスの論理パスのためのパケットヘッダの設定変更を行う。なお、オーバレイネットワークにおける論理パスの切替は、上述した第２実施形態のように論理構成の一部であってもよいし、第３実施形態のように論理構成の全体であってもよい。
図１３に示すように、本発明の第５実施形態によるネットワークシステムは制御装置１１と制御装置１１が制御するネットワークとからなり、ネットワークは、物理スイッチ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、２１Ｅと、物理スイッチ２１Ａと２１Ｃの間に配置されたサーバＳＶ１と、物理スイッチ２１Ｃと２１Ｂの間に配置されたサーバＳＶ２と、物理スイッチ２１Ａと２１Ｄの間に配置されたサーバＳＶ３と、物理スイッチ２１Ｄと２１Ｅの間に配置されたサーバＳＶ４と、を含むものとする。ここでは、物理スイッチ２１Ａがネットワークサービスを構成するネットワークのエッジスイッチであり、この物理スイッチ２１Ａに物理的あるいは仮想的にロードバランサＬＢが設けられているものとする。
サーバＳＶ１〜ＳＶ４の各々は、仮想ネットワーク機能（ＶＮＦ）レイヤ、ＶＮＦを起動するＶＭレイヤ、ＶＭの生成および管理を行うＶＭ管理レイヤ、およびＶＭ管理機能を実装する物理レイヤからなるマルチレイヤ構成を有し、ここではネットワークサービスを構成するＶＮＦ１〜ＶＮＦｍの各々がサーバＳＶ１〜ＳＶｎに配置可能であるものとする。各サーバがマルチレイヤ構成を有する場合、たとえば１種類以上のＶＮＦからなるネットワークサービスは、実際には、各サーバのＶＮＦだけでなく、下位レイヤである物理レイヤ、ＶＭレイヤ、ＶＭ管理レイヤ等を経由した拡張ネットワークサービスとしてとらえることができる。制御装置１１は、このような拡張ネットワークサービスに基づいてＶＮＦを含む全てのレイヤのコンポーネントリソースから情報を取得する。
この例における仮想ネットワーク機能ＶＮＦ１およびＶＮＦ２は、物理スイッチ２１Ａ、物理リンク、サーバＳＶ１の各レイヤコンポーネント（ＰＨＹＳＶ１／ＶＭＭ１／ＶＭ１／ＶＮＦ１）、物理リンク、物理スイッチ２１Ｃ、物理リンク、サーバＳＶ２の各レイヤコンポーネント（ＰＨＹＳＶ２／ＶＭＭ２／ＶＭ２／ＶＮＦ２）をそれぞれノードとする拡張ネットワークサービスとして扱うことができる。同様に、論理パス切替後の仮想ネットワーク機能ＶＮＦ１およびＶＮＦ２は、物理スイッチ２１Ａ、物理リンク、サーバＳＶ３の各レイヤコンポーネント（ＰＨＹＳＶ３／ＶＭＭ３／ＶＭ１／ＶＮＦ１）、物理リンク、物理スイッチ２１Ｄ、物理リンク、サーバＳＶ４の各レイヤコンポーネント（ＰＨＹＳＶ４／ＶＭＭ４／ＶＭ２／ＶＮＦ２）をそれぞれノードとする拡張ネットワークサービスとして扱うことができる。
制御装置１１は、図４に示す第１実施形態と同様の構成および機能を有する。すなわち、制御部１０５は、ネットワークの各ノードから監視情報を取得してデータベース１０３へ格納し、ノード管理部１０２があるノードでの問題発生を検出すると、当該問題を解消するためにエッジノードのロードバランサに対して、該当ネットワークサービスの論理パスのためのパケットヘッダの設定変更を行う。
図１３において、一例として、あるトラフィックに対するＶＮＦ１およびＶＮＦ２がサーバＳＶ１およびＳＶ２でそれぞれ処理され、当該ＶＮＦ２およびその下位ノードにおいて障害あるいは過負荷状態等の問題が発生した場合を考える。制御装置１１はネットワークを監視し、ネットワークの各ノードから監視情報を取得する（動作Ｓ５０１、Ｓ５０２）。サーバＳＶ２のＶＮＦ２およびその下位レイヤで障害あるいは過負荷状態等の問題が発生したことを検知すると、制御装置１１は、当該ＶＮＦ２ノードへのトラフィックの全部あるいは一部をサーバＳＶ３およびＳＶ４の論理パスへ変更するように、エッジスイッチ２１ＡのロードバランサＬＢに対して該当パケットのヘッダ設定の変更を指示する（動作Ｓ５０３）。これにより、エッジスイッチ２１Ａにおいて、当該トラフィックに対して少なくとも一部の論理パス切替が実行され（動作Ｓ５０４）、サーバＳＶ３およびＳＶ４を通して同一のネットワークサービスが構成される。
６．第６実施形態
本発明の第６実施形態によれば、拡張ネットワークサービスに基づいて、あるレイヤのノードで障害あるいは過負荷状態等の問題が検知されると、論理パスのためのパケットヘッダの設定変更を指示する。なお、オーバレイネットワークにおける論理パスの切替は、上述した第２実施形態のように論理構成の一部であってもよいし、第３実施形態のように論理構成の全体であってもよい。
本発明の第６実施形態によれば、拡張ネットワークサービスに基づいて、あるレイヤのノードで障害あるいは過負荷状態等の問題が検知されると、論理パスのためのパケットヘッダの設定変更を指示する。なお、オーバレイネットワークにおける論理パスの切替は、上述した第２実施形態のように論理構成の一部であってもよいし、第３実施形態のように論理構成の全体であってもよい。
図１４に例示するように、本発明の第６実施形態によるネットワークシステムは３ＧＰＰシステムに適用されたものであり、ここでは、上述した制御装置１１がＭＭＥ(Mobile Management Entity)に対応し、上述したＶＮＦがＰ−ＧＷ(Packet Data Network Gateway)に対応する。すなわち、図示するように、サーバＳＶ１およびＳＶ２がＶＮＦレイヤにＰ−ＧＷの機能を生成し、このＰ−ＧＷ機能を含むネットワークサービスがＰ−ＧＷ／ＶＭ／ＶＭＭ／ＰＨＹＳＶの各レイヤのノードを含む拡張ネットワークサービスとして扱われる。なお、本実施形態では、サーバＳＶ１およびＳＶ２に障害／過負荷状態の監視機能が設けられ、障害／過負荷状態の検出情報をＭＭＥ（制御装置１１）へ通知するものとする。
図１４において、ユーザ端末ＵＥは基地局ｅＮＢと無線接続し、基地局ｅＮＢとＳ−ＧＷ(Serving Gateway)との間およびＳ−ＧＷとＰ−ＧＷとの間に設定されたトンネル（ＧＴＰ(GPRS Tunneling Protocol)トンネル）を通して外部ネットワーク(Packet Data Network)との間でパケット通信を行うことができる。既に説明したように、ＭＭＥの制御装置１１は、ネットワークシステムから監視情報を収集してデータベース１０３に格納し、拡張ネットワークサービスに基づいて、あるレイヤのノードで障害あるいは過負荷状態等の問題が検知されると、Ｓ−ＧＷに対してトンネルの変更を指示する。以下、現在使用しているＰ−ＧＷ（１）において障害あるいは過負荷状態等の問題が発生し、ユーザ端末ＵＥのトラフィックの論理パスを変更する場合について説明する。
図１５において、Ｓ−ＧＷとＰ−ＧＷ（１）との間にトンネル（１）が設定され、サーバＳＶ１により仮想ネットワーク機能ＶＮＦとしてＰ−ＧＷ（１）が提供されている状態において、Ｐ−ＧＷ（１）およびその下位レイヤのノードで障害あるいは過負荷状態が検出され（動作Ｓ６０１）、障害／過負荷情報がＭＭＥへ通知されたものとする（動作Ｓ６０２）。
ＭＭＥは、サーバＳＶ１から障害／過負荷情報を受信すると、データベース１０３を参照して、Ｐ−ＧＷのリロケーションを実行する（動作Ｓ６０３）。ＭＭＥはＰ−ＧＷリロケーション設定情報をＳ−ＧＷへ通知し、これに従ってＳ−ＧＷがＴＥＰで当該ネットワークサービスのパケットヘッダを書き換えることで、サーバＳＶ１のＰ−ＧＷ（１）からサーバＳＶ２のＰ−ＧＷ（２）へ論理パスを変更する（動作Ｓ６０４）。こうして、Ｓ−ＧＷとＰ−ＧＷ（２）との間のトンネル（２）が設定され、ユーザ端末ＵＥのトラフィックがＰ−ＧＷ（２）により処理される。
７．第７実施形態
本発明の第７実施形態によれば、ネットワークを制御する制御装置に運用ポリシを設定しておき、制御装置が運用ポリシに従って、上述した第２実施形態と同様のネットワーク制御を実行する。運用ポリシの一例として、例えば、ネットワークやサーバの負荷が所定値を超えたら、所定の制御処理を実行する、というポリシが挙げられる。より詳しくは、ネットワークのモニタ情報と運用ポリシとに基づいて障害あるいは過負荷状態などが発生したか否かを制御装置が判定し、何からの問題が発生した場合に、当該問題発生箇所を回避するように仮想トンネルの設定変更を行いネットワークサービスの論理パスを切り替える。また、その他の運用ポリシの例としては、あるサービスの性能が一定値以下になった場合、トラフィック量に大きな変化が予想される時間帯にはいった場合などの条件に応じて、上述の第１実施形態、第２実施形態に記載されたようなアンダレイネットワークの資源変更を行う、というポリシも考えられる。以下、上述した第５および第６実施形態における拡張ネットワークサービスを用いるシステムを一例として、本実施形態について説明する。
本発明の第７実施形態によれば、ネットワークを制御する制御装置に運用ポリシを設定しておき、制御装置が運用ポリシに従って、上述した第２実施形態と同様のネットワーク制御を実行する。運用ポリシの一例として、例えば、ネットワークやサーバの負荷が所定値を超えたら、所定の制御処理を実行する、というポリシが挙げられる。より詳しくは、ネットワークのモニタ情報と運用ポリシとに基づいて障害あるいは過負荷状態などが発生したか否かを制御装置が判定し、何からの問題が発生した場合に、当該問題発生箇所を回避するように仮想トンネルの設定変更を行いネットワークサービスの論理パスを切り替える。また、その他の運用ポリシの例としては、あるサービスの性能が一定値以下になった場合、トラフィック量に大きな変化が予想される時間帯にはいった場合などの条件に応じて、上述の第１実施形態、第２実施形態に記載されたようなアンダレイネットワークの資源変更を行う、というポリシも考えられる。以下、上述した第５および第６実施形態における拡張ネットワークサービスを用いるシステムを一例として、本実施形態について説明する。
７．１）システム構成
図１６に示すように、本発明の第７実施形態によるネットワークシステムでは、運用管理装置４０が制御装置１２に対して運用ポリシを設定し、制御装置１２は運用ポリシに従ってネットワークを制御する。制御装置１２は、図４に示す制御装置１０と基本的に同じ構成および機能を有するが、図示しない記憶装置に格納された運用ポリシに従ったポリシベース制御を実行する点で第４実施形態とは異なっている。その他の構成および機能は上述した第４実施形態と同様であるから、図１２と同じ参照記号を使用して説明は省略する。なお、制御装置１２は運用管理装置４０内に設けられてもよい。
図１６に示すように、本発明の第７実施形態によるネットワークシステムでは、運用管理装置４０が制御装置１２に対して運用ポリシを設定し、制御装置１２は運用ポリシに従ってネットワークを制御する。制御装置１２は、図４に示す制御装置１０と基本的に同じ構成および機能を有するが、図示しない記憶装置に格納された運用ポリシに従ったポリシベース制御を実行する点で第４実施形態とは異なっている。その他の構成および機能は上述した第４実施形態と同様であるから、図１２と同じ参照記号を使用して説明は省略する。なお、制御装置１２は運用管理装置４０内に設けられてもよい。
図１６において、オペレータにより運用管理装置４０に運用ポリシが設定されると、制御装置１２は、ネットワークからの負荷状況を示すモニタ情報と運用管理装置４０により設定された運用ポリシとに基づいてネットワークの制御を行う。上述したように、制御装置１２は、ネットワークの各ノードから監視情報を収集してデータベース１０３を更新する。あるノードにおいて障害あるいは過負荷状態等の問題が生じたことを運用ポリシに従って検出すると、制御装置１２は、問題が発生したノードより上流側にあるノードのＴＥＰに対して、制御対象となるネットワークサービスあるいはフローのパケットヘッダ書き換え設定を指示する。
運用ポリシの制御対象パラメータの例は以下の通りである。
・ＶＮＦ、ＶＭ、ＶＭＭおよび物理サーバの稼働率（ＣＰＵおよび／またはメモリの稼働率、使用量、使用率、消費電力等）。
・物理リンクおよび仮想トンネルの通信帯域、使用帯域、使用率、トラフィック量等。
・ネットワークサービスの通信帯域、使用帯域、使用率、トラフィック量等。
これらのパラメータが所定の閾値を超えた場合あるいは下回った場合を契機として、制御装置１２はＴＥＰに対して上述したパケットヘッダの書き換え処理を実行する。
・ＶＮＦ、ＶＭ、ＶＭＭおよび物理サーバの稼働率（ＣＰＵおよび／またはメモリの稼働率、使用量、使用率、消費電力等）。
・物理リンクおよび仮想トンネルの通信帯域、使用帯域、使用率、トラフィック量等。
・ネットワークサービスの通信帯域、使用帯域、使用率、トラフィック量等。
これらのパラメータが所定の閾値を超えた場合あるいは下回った場合を契機として、制御装置１２はＴＥＰに対して上述したパケットヘッダの書き換え処理を実行する。
７．２）運用管理装置
図１７において、運用管理装置４０は、仮想トンネル設定部７０１、要求条件およびポリシ設定部７０２、インターフェース７０３、およびユーザインターフェース７０４を有し、その他、図示しない制御部や記憶部を有する。ユーザインターフェース７０４はキーボード等の情報入力部とモニタ等の情報表示部とを含み、オペレータによる仮想トンネル設定、要求条件設定および運用ポリシ設定、制御装置１２により決定されたネットワーク上の拡張ネットワークサービスの可視化、などを可能にする。
図１７において、運用管理装置４０は、仮想トンネル設定部７０１、要求条件およびポリシ設定部７０２、インターフェース７０３、およびユーザインターフェース７０４を有し、その他、図示しない制御部や記憶部を有する。ユーザインターフェース７０４はキーボード等の情報入力部とモニタ等の情報表示部とを含み、オペレータによる仮想トンネル設定、要求条件設定および運用ポリシ設定、制御装置１２により決定されたネットワーク上の拡張ネットワークサービスの可視化、などを可能にする。
仮想トンネル設定部７０１は、オペレータがユーザインターフェース７０４を通して入力したネットワークサービスから仮想トンネルを生成する。要求条件およびポリシ設定部７０２は、要求条件設定部７０５およびポリシ設定部７０６を有し、オペレータの入力に基づいてネットワークサービスを構成する際の要求条件および運用ポリシを生成する。以下、本実施形態による運用管理装置４０の動作について図１８〜図２０を参照しながら説明する。
７．３）拡張ネットワークサービスの可視化
図１８に例示するように、ユーザインターフェース７０４に表示された運用管理画面８００は、入力ウィンドウ８００ａとネットワーク表示ウィンドウ８００ｂとに分割されている。入力ウィンドウ８００ａにはネットワークサービス（以下、サービスチェインとよぶ。）入力欄８０１と、複数の要求条件入力欄８０２と、運用ポリシ入力欄８０３が表示され、ネットワーク表示ウィンドウ８００ｂには運用管理対象であるネットワークの物理的なトポロジと仮想レイヤノードとが表示される。たとえば、運用管理装置４０は、制御装置１２のデータベース１０３からトポロジ情報および仮想レイヤノード情報を取得し、取得した情報に基づいてネットワークの物理的構成および仮想レイヤの構成を表示する。
図１８に例示するように、ユーザインターフェース７０４に表示された運用管理画面８００は、入力ウィンドウ８００ａとネットワーク表示ウィンドウ８００ｂとに分割されている。入力ウィンドウ８００ａにはネットワークサービス（以下、サービスチェインとよぶ。）入力欄８０１と、複数の要求条件入力欄８０２と、運用ポリシ入力欄８０３が表示され、ネットワーク表示ウィンドウ８００ｂには運用管理対象であるネットワークの物理的なトポロジと仮想レイヤノードとが表示される。たとえば、運用管理装置４０は、制御装置１２のデータベース１０３からトポロジ情報および仮想レイヤノード情報を取得し、取得した情報に基づいてネットワークの物理的構成および仮想レイヤの構成を表示する。
図１８において、ネットワーク表示ウィンドウ８００ｂに例示されるネットワークトポロジでは、ネットワークノードＡおよびＢの各々がサーバＡ、Ｂ、Ｃに物理リンクで接続されている。また、各サーバは３つ仮想ネットワーク機能ＶＮＦ＿Ａ、ＶＮＦ＿ＢおよびＶＮＦ＿Ｃを配置可能であり、各ＶＮＦの下位レイヤのＶＭおよびＶＭＭがそれぞれ仮想レイヤノードとして表示されている。以下、説明を簡略化するために、サーバ（Ａ）上にＶＮＦ＿Ａが、サーバ（Ｂ）および（Ｃ）の上にそれぞれ同じＶＭ（Ｂ）およびＶＮＦ＿Ｂが起動しているものとする。
図１９に示すように、オペレータがユーザインターフェース７０４を通してサービスチェイン入力欄８０１に次のようなサービスチェインを入力したとする：
Ａ ⇔ ＶＮＦ＿Ａ ⇔ ＶＮＦ＿Ｂ ⇔ Ｂ。
さらに、要求条件入力欄８０２に、ネットワークに要求される通信帯域、サーバおよびＶＭにそれぞれ要求されるＣＰＵ／メモリ能力が入力され、運用ポリシ入力欄８０３に次のような運用ポリシが入力されたとする：「サーバのＣＰＵ使用率＞８０％ならば、サービスチェインの設定変更あるいは論理パス変更を行う。」
Ａ ⇔ ＶＮＦ＿Ａ ⇔ ＶＮＦ＿Ｂ ⇔ Ｂ。
さらに、要求条件入力欄８０２に、ネットワークに要求される通信帯域、サーバおよびＶＭにそれぞれ要求されるＣＰＵ／メモリ能力が入力され、運用ポリシ入力欄８０３に次のような運用ポリシが入力されたとする：「サーバのＣＰＵ使用率＞８０％ならば、サービスチェインの設定変更あるいは論理パス変更を行う。」
要求条件およびポリシ設定部７０２は、上記要求条件および運用ポリシを制御装置１２へ送信して設定する。制御装置１２は、運用管理装置４０により設定された要求条件および運用ポリシに基づいて、たとえば次のような拡張サービスチェインの仮想トンネルＶＬ１、ＶＬ２およびＶＬ３を生成して運用管理装置４０へ送信する。
ＶＬ１：始点＝NWノード(A) ； 終点＝VNF_A
ＶＬ２：始点＝VNF_A ； 終点＝VNF_B（サーバB）
ＶＬ３：始点＝VNF_B（サーバB）； 終点＝NWノード(B)
ＶＬ１：始点＝NWノード(A) ； 終点＝VNF_A
ＶＬ２：始点＝VNF_A ； 終点＝VNF_B（サーバB）
ＶＬ３：始点＝VNF_B（サーバB）； 終点＝NWノード(B)
運用管理装置４０は、図１９に示すように、上記拡張サービスチェインの仮想トンネルＶＬ１、ＶＬ２およびＶＬ３をネットワーク表示ウィンドウ８００ｂに表示する。この状態で、ＶＮＦ＿Ｂノードが過負荷状態となり、そのサーバ（Ｂ）のＣＰＵ使用率が８０％を超えたとする。
制御装置１２は、ＶＮＦ＿Ｂノード、ＶＭ（Ｂ）ノード、ＶＭＭ（Ｂ）ノードおよび物理サーバ（Ｂ）ノードからの監視情報により、サーバ（Ｂ）のＣＰＵ使用率が８０％を超えたことを検知すると、ＶＮＦ＿Ｂノードの障害発生情報を運用管理装置４０へ通知し、運用管理装置４０はネットワーク表示ウィンドウ８００ｂにＶＮＦ＿Ｂノードの障害発生を表示する。
続いて、制御装置１２は、データベース１０３を参照しながら、サーバ（Ｂ）の前段のノード（Ａ）のスイッチにおけるＴＥＰ設定を変更し、たとえば図２０に示すように、次のような新たな仮想トンネルＶＬ１、ＶＬ４およびＶＬ５を生成して運用管理装置４０へ送信する。
ＶＬ１：始点＝NWノード(A) ； 終点＝VNF_A
ＶＬ２：始点＝VNF_A ； 終点＝VNF_B（サーバC）
ＶＬ３：始点＝VNF_B（サーバC）； 終点＝NWノード(B)
ＶＬ１：始点＝NWノード(A) ； 終点＝VNF_A
ＶＬ２：始点＝VNF_A ； 終点＝VNF_B（サーバC）
ＶＬ３：始点＝VNF_B（サーバC）； 終点＝NWノード(B)
こうして、サーバ（Ｂ）上のＶＮＦ＿Ｂノードおよびその下位ノードに障害が発生しても、サーバ（Ｂ）の前段のノード（Ａ）でＴＥＰ設定を変更することで、拡張サービスチェインの論理パスを変更することができる。
なお、運用管理装置４０の仮想トンネル設定部７０１および要求条件およびポリシ設定部７０２と同じ機能は、プログラムを実行するプロセッサ（ＣＰＵ：Central Processing Unit）と、プログラムを保持するＲＯＭ(Read Only Memory)および情報を保持するＲＡＭ(Random Access Memory)等の記憶装置と、により実現することもできる。
８．その他の実施態様
以上説明した第１〜第７実施形態および各実施例は、制御装置１１あるいは１２がネットワークのノードあるいは物理／仮想スイッチをフロー単位で制御するシステム（たとえばＯｐｅｎＦｌｏｗ）にも適用可能である。
以上説明した第１〜第７実施形態および各実施例は、制御装置１１あるいは１２がネットワークのノードあるいは物理／仮想スイッチをフロー単位で制御するシステム（たとえばＯｐｅｎＦｌｏｗ）にも適用可能である。
なお、上述したオーバレイネットワークおよびアンダレイネットワークにおける「オーバレイ」および「アンダレイ」は相対的概念であり、論理ネットワークおよび物理ネットワークだけでなく、上位の論理ネットワークおよび下位の論理ネットワークを指示してもよい。
本発明は、仮想ネットワーク機能（ＶＮＦ）をネットワーク上に配置するシステムで利用可能である。
１０、１１、１２ 制御装置
ＶＮＦ１〜ＶＮＦ３ 仮想ネットワーク機能
Ｎ１〜Ｎ３ ノード
ＳＷ１〜ＳＷ５ 物理スイッチ
ＳＶ１〜ＳＶ４ サーバ
４０ 運用管理装置
１０１ オーバレイネットワーク設定部
１０２ ノード管理部
１０３ データベース
１０４ ネットワークモニタ
１０５ 制御部
ＶＮＦ１〜ＶＮＦ３ 仮想ネットワーク機能
Ｎ１〜Ｎ３ ノード
ＳＷ１〜ＳＷ５ 物理スイッチ
ＳＶ１〜ＳＶ４ サーバ
４０ 運用管理装置
１０１ オーバレイネットワーク設定部
１０２ ノード管理部
１０３ データベース
１０４ ネットワークモニタ
１０５ 制御部
Claims (9)
- マルチレイヤ構成を有するネットワークを制御する装置であって、
第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視する監視手段と、
前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返す制御手段と、
を有し、前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源が変化することを特徴とするネットワーク制御装置。 - 前記制御手段が、前記ネットワークサービスの各仮想ネットワーク機能を接続する仮想トンネルの端点で前記パケットヘッダの設定変更を行うことを特徴とする請求項１に記載のネットワーク制御装置。
- 前記設定変更されるパケットヘッダは前記第一レイヤのために付加されたヘッダであることを特徴とする請求項１または２に記載のネットワーク制御装置。
- 前記第一レイヤには前記ネットワークサービスの少なくとも一部と同じ仮想ネットワーク機能を提供するネットワークサービスパスが予め設定されており、前記制御手段が、前記監視結果に応じて、前記第一レイヤにおけるパスを前記ネットワークサービスパスに切り替えるように前記パケットヘッダの設定を変更することを特徴とする請求項１−３のいずれか１項に記載のネットワーク制御装置。
- マルチレイヤ構成を有するネットワークを制御する方法であって、
監視手段が、第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視し、
制御手段が、前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返し、
前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源が変化する、
ことを特徴とするネットワーク制御方法。 - 前記制御手段が、前記ネットワークサービスの各仮想ネットワーク機能を接続する仮想トンネルの端点で前記パケットヘッダの設定変更を行うことを特徴とする請求項５に記載のネットワーク制御方法。
- 前記設定変更されるパケットヘッダは前記第一レイヤのために付加されたヘッダであることを特徴とする請求項５または６に記載のネットワーク制御方法。
- マルチレイヤ構成を有するネットワークと、
前記ネットワークを制御する制御装置と、
を有し、
前記制御装置が、第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視し、前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返し、
前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源が変化することを特徴とするネットワークシステム。 - マルチレイヤ構成を有するネットワークを制御する装置としてコンピュータを機能させるプログラムであって、
第一レイヤにおけるネットワークサービスが要求サービスレベルを満たしているか否かを監視する機能と、
前記監視結果に応じて前記第一レイヤの資源を変更するようにパケットヘッダの設定を変更し、前記パケットヘッダの設定変更後の前記ネットワークサービスが前記要求サービスレベルを満たさなければ、前記パケットヘッダの設定変更を繰り返し、前記パケットヘッダの設定変更に応じて前記第一レイヤより下位の第二レイヤの資源を変化させる機能と、
を前記コンピュータに実現することを特徴とするプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015061745 | 2015-03-24 | ||
| JP2015061745 | 2015-03-24 | ||
| PCT/JP2016/001435 WO2016152083A1 (ja) | 2015-03-24 | 2016-03-14 | ネットワークシステム、ネットワーク制御方法および制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2016152083A1 JPWO2016152083A1 (ja) | 2018-01-11 |
| JP6761210B2 true JP6761210B2 (ja) | 2020-09-23 |
Family
ID=56978844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017507472A Active JP6761210B2 (ja) | 2015-03-24 | 2016-03-14 | ネットワークシステム、ネットワーク制御方法および制御装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10541888B2 (ja) |
| EP (1) | EP3276892A4 (ja) |
| JP (1) | JP6761210B2 (ja) |
| WO (1) | WO2016152083A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10819630B1 (en) * | 2016-04-20 | 2020-10-27 | Equinix, Inc. | Layer three instances for a cloud-based services exchange |
| JP6882673B2 (ja) * | 2017-06-02 | 2021-06-02 | 富士通株式会社 | 通信経路管理プログラム、通信経路管理方法、および通信経路管理装置 |
| US10951317B2 (en) * | 2017-07-20 | 2021-03-16 | Huawei Technologies Canada Co., Ltd. | Multi-layer virtual network embedding |
| US10924405B2 (en) * | 2018-02-23 | 2021-02-16 | Futurewei Technologies, Inc. | Service function chaining congestion feedback |
| CN110912795B (zh) * | 2018-09-14 | 2022-04-15 | 中兴通讯股份有限公司 | 一种传输控制方法、节点、网络系统及存储介质 |
| JP2021022778A (ja) | 2019-07-25 | 2021-02-18 | 富士通株式会社 | 検証プログラム、検証方法及び検証装置 |
| US11050640B1 (en) * | 2019-12-13 | 2021-06-29 | Cisco Technology, Inc. | Network throughput assurance, anomaly detection and mitigation in service chain |
| WO2021186702A1 (ja) * | 2020-03-19 | 2021-09-23 | 日本電信電話株式会社 | ネットワーク管理装置、方法およびプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006311416A (ja) * | 2005-05-02 | 2006-11-09 | Nec Corp | データ伝送システム |
| KR101455999B1 (ko) * | 2007-04-30 | 2014-11-03 | 엘지전자 주식회사 | 무선 통신 시스템에서의 데이터 블록 생성 방법 |
| US8339954B2 (en) * | 2008-05-16 | 2012-12-25 | Cisco Technology, Inc. | Providing trigger based traffic management |
| JP5304813B2 (ja) | 2011-02-22 | 2013-10-02 | 沖電気工業株式会社 | 通信ノード装置 |
| US9240944B2 (en) * | 2012-10-19 | 2016-01-19 | Cisco Technology, Inc. | Overlay services in communication networks |
| US9258254B2 (en) * | 2013-03-15 | 2016-02-09 | Oracle International Corporation | Virtual router and switch |
| US9973375B2 (en) * | 2013-04-22 | 2018-05-15 | Cisco Technology, Inc. | App store portal providing point-and-click deployment of third-party virtualized network functions |
| US10177936B2 (en) * | 2014-03-28 | 2019-01-08 | International Business Machines Corporation | Quality of service (QoS) for multi-tenant-aware overlay virtual networks |
-
2016
- 2016-03-14 WO PCT/JP2016/001435 patent/WO2016152083A1/ja active Application Filing
- 2016-03-14 US US15/560,775 patent/US10541888B2/en active Active
- 2016-03-14 EP EP16767991.9A patent/EP3276892A4/en not_active Withdrawn
- 2016-03-14 JP JP2017507472A patent/JP6761210B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016152083A1 (ja) | 2016-09-29 |
| US20180083847A1 (en) | 2018-03-22 |
| EP3276892A1 (en) | 2018-01-31 |
| US10541888B2 (en) | 2020-01-21 |
| EP3276892A4 (en) | 2018-09-05 |
| JPWO2016152083A1 (ja) | 2018-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6721869B2 (ja) | ネットワークシステム、ネットワーク制御方法および制御装置 | |
| JP6761210B2 (ja) | ネットワークシステム、ネットワーク制御方法および制御装置 | |
| JP6648790B2 (ja) | ネットワークシステム、ネットワーク制御方法および制御装置 | |
| WO2016157864A1 (ja) | ネットワークシステム、ネットワーク制御方法および制御装置 | |
| CN113660329B (zh) | 负载均衡 | |
| CN107005584B (zh) | 用于内联服务交换机的方法、设备和存储介质 | |
| JP6454026B2 (ja) | パケット交換ネットワークのためのトラフィックエンジニアリングフィーダ | |
| JP6436102B2 (ja) | ネットワーク管理方法および装置 | |
| CN107078923B (zh) | 使用物理位置修改分布式虚拟网元的行为的设备和方法 | |
| EP3226495A1 (en) | Allocation method, apparatus and system for cloud network communication path | |
| US20180077048A1 (en) | Controller, control method and program | |
| CN103916264A (zh) | 优化物理网络的虚拟网络 | |
| TW201603531A (zh) | 全網域服務控制器 | |
| US20180088972A1 (en) | Controller, control method and program | |
| JP5904285B2 (ja) | 通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラム | |
| WO2016152080A1 (ja) | ネットワークシステム、ネットワーク制御方法、制御装置および運用管理装置 | |
| JP2016192661A (ja) | ネットワークシステム、ネットワーク制御方法および制御装置 | |
| EP3504845B1 (en) | Methods and arrangements for end-point mobility of a traffic engineering tunnel of a multi-domain network | |
| JP2016192660A (ja) | ネットワークシステム、ネットワーク制御方法、制御装置および運用管理装置 | |
| EP3214806B1 (en) | Network control device and network information management method | |
| US20180109472A1 (en) | Controller, control method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190214 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190214 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190214 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200805 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200818 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6761210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |