JP7525486B2 - 分解されたネットワーク要素を含む論理ルータ - Google Patents

Description

関連出願への相互参照
本出願は、２０１８年１１月２６日に出願された米国仮特許出願第６２／７７１，４０７号「LOGICAL ROUTER COMPRISING DISAGGREGATED NETWORK ELEMENTS」に対する優先権を主張するものであり、この文献は、全体が参照により本明細書に援用される。

データセンターは、さらにいっそう普及し、複雑になっている。この複雑性により、データセンターの複数のコンピュータ間の通信を可能にするネットワークの複雑性が増加している。

特に、より簡素化し、多数のコンピュータのためのネットワークルーティング能力の構成を可能にする必要がある。

上記課題を解決するために、本願の特許請求の範囲に記載のシステム及び方法を提供するものである。

本発明の利点を容易に理解するために、上記に簡単に記載されている本発明のより詳細な説明が、添付の図面に図示されている特定の実施形態を参照にして、以下に記載されている。これらの図面は本発明の典型的な実施形態を図示しているだけであると理解され、したがって、本発明の範囲を限定するものではない。本発明は、添付の図面を使用して、詳細及び付加的な特定が説明されている。

本発明の実施形態による論理ルータの概略構成図である。 本発明の実施形態による論理ルータ内のパケットをルーティングする方法のプロセスフロー図である。 本発明の実施形態による制御プレーン要素と組み合わせた論理ルータの概略構成図である。 本発明の実施形態による管理ＬＡＮスイッチ及び制御プレーン要素と組み合わせた論理ルータの概略構成図である。 本発明の実施形態による制御プレーン要素及び論理ルータへの管理ＬＡＮスイッチの接続を示す概略構成図である。 本発明の実施形態による論理ルータをプログラミングして管理するコンポーネントの概略構成図である。 本発明の実施形態による論理ルータのプログラミングを示す概略構成図である。 本発明の実施形態による論理ルータのインタフェースの構成を示す概略構成図である。 本発明の実施形態による論理ルータのインタフェースを構成する方法のプロセスフロー図である。 本発明の実施形態による論理ルータ内のインタフェースラベルを有するパケットのルーティングを示す概略構成図である。 本発明の実施形態による論理ルータ内のインタフェースラベルを有するパケットの逆方向のルーティングを示す概略構成図である。 本発明の実施形態による論理ルータの制御素子間のフェイルオーバー及び冗長性の実装を示す概略構成図である。 本発明の実施形態による論理ルータの制御素子間のフェイルオーバー及び冗長性の実装を示す概略構成図である。 本発明の実施形態による論理ルータの制御素子間のフェイルオーバー及び冗長性の実装を示す概略構成図である。 本発明の実施形態によるスタンドアロン型論理ルータの概略構成図である。 本発明の実施形態によるイングレスポートからエグレスポートへのパケットのラベリングのためのテーブルを含む図１５のスタンドアロン型論理ルータの概略構成図である。 本発明の実施形態による制御装置へルーティングされるパケットのラベリングのためのテーブルを含む図１５のスタンドアロン型論理ルータの概略構成図である。 本発明の実施形態によるスタンドアロン型論理ルータを起動する方法のプロセスフロー図である。 本発明の実施形態による方法を実装するのに適したコンピュータシステムの概略構成図である。

添付の図面に図示されて説明されている本発明のコンポーネントは、多種多様な異なる構成に設計及び配置することができることは容易に理解できるであろう。したがって、図示されている、以下の本発明の実施形態のより詳細な説明は、特許請求の範囲に記載されている本発明の範囲を限定することを意図しているものではなく、ここで検討されている本発明による実施形態の特定の実施例を単に示すものである。ここに記載の実施形態は、図面を参照することにより最もよく理解されるものであり、同様の部品は明細書及び図面を通して同様の参照番号により示されている。

本発明による実施形態は、装置、方法、又はコンピュータプログラム製品として具現化することができる。したがって、本発明は、完全にハードウェアの形、完全にソフトウェアの形（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又は、ここで一般的に「モジュール」又は「システム」と呼ばれるハードウェア及びソフトウェアを組み合わせた形で具現化することができる。さらに、本発明は、媒体内に具現化されたコンピュータ使用可能プログラムコードを有する任意の有形的表現媒体内に具現化されたコンピュータプログラム製品の形をとることができる。

１以上のコンピュータ使用可能媒体又はコンピュータ可読媒体の任意の組み合わせを利用することができる。例えば、コンピュータ可読媒体は、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）デバイス、読出専用メモリ（ＲＯＭ）デバイス、消去可能プログラマブル読出専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）デバイス、携帯用コンパクトディスク読出専用メモリ（ＣＤＲＯＭ）、光記憶装置、及び磁気記憶装置の１以上を含むことができる。選択された実施形態において、コンピュータ可読媒体は、命令実行システム、装置、又はデバイスにより、又は、に接続して使用されるプログラムを含有、記憶、通信、伝搬、又は移送することができる任意の非一時的媒体を含むことができる。

本発明の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ++等のオブジェクト指向プログラミング言語、及びＣプログラミング言語又は同様のプログラミング言語等の慣用手続き型プログラミング言語を含む１以上のプログラミング言語の任意の組み合わせにより書き込むことができ、また、ＨＴＭＬ、ＸＭＬ、ＪＳＯＮ等の記述言語又はマークアップ言語を使用することもできる。プログラムコードは、スタンドアロン型ソフトウェアパッケージとして完全にコンピュータシステム上で、スタンドアロン型ハードウェアユニット上で、部分的にコンピュータから一定の距離に置かれた遠隔コンピュータ上で、又は完全に遠隔コンピュータ又はサーバ上で、実行することができる。後のシナリオにおいて、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の型のネットワークを介してコンピュータと接続することができ、又は、外部のコンピュータに接続することができる（例えば、インターネットサービスプロバイダを使用したインターネットを介して）。

本発明は、本発明の実施形態による方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又は構成図を参照して以下に説明されている。フローチャート及び／又は構成図の各ブロック、及びフローチャート及び／又は構成図のブロックの組み合わせは、コンピュータプログラム命令又はコードにより実装することができる。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供され、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサにより実行される命令が、フローチャート及び／又は構成図の１又は複数のブロックに特定されている機能／作用を実装するための手段を生成するように、マシンを生成することができる。

コンピュータ可読媒体内に記憶された命令が、フローチャート及び／又は構成図の１又は複数のブロックに特定されている機能／作用を実装する、命令手段を含む製品を生成するように、これらのコンピュータプログラム命令も、コンピュータ又は他のプログラム可能なデータ処理装置が特定の方法で機能するように導くことができる非一時的コンピュータ可読媒体に記憶することができる。

コンピュータ又は他のプログラム可能なデータ処理装置上で実行された命令が、フローチャート及び／又は構成図の１又は複数のブロックに特定されている機能／作用を実装するためのプロセスを提供するように、コンピュータプログラム命令も、コンピュータ又は他のプログラム可能なデータ処理装置上にロードされ、コンピュータ又は他のプログラム可能なデータ処理装置上で実行される一連の動作ステップを引き起こし、コンピュータ実装プロセスが生成される。

ここに開示されているシステム及び方法は、コンピュータデータルーティングシステムのための論理ルータに関する。特に、ここに開示されているシステム及び方法は、同じシャーシ内に配置される必要のない、又はシャーシの同じバックプレーンに接続される必要のない分解されたネットワーク要素のセットから形成される論理ルータ「シャーシ」に関する。論理ルータは、分散データプレーンを有する制御及び管理の単一の論理点を含むことができる。論理ルータは、ネットワークトポロジのサイズを減少するために外部のコンピュータシステムにオフロードされた制御プレーンも含む。このことは、より新しい世代の中央処理装置（ＣＰＵ）を利用するために、制御プレーンを異なるコンピュータシステムに移行することも可能にする。論理ルータを含む分解されたネットワーク要素は、ここに開示されているシステム及び方法内に組み込まれる専用ネットワークコンポーネントを使用して実装することができる。以下に開示されている実施形態において、ネットワーク要素は、ＢＲＯＡＤＣＯＭにより開発されたＪＥＲＩＣＨＯ ２及びＲＡＭＯＮ等のシリコンデバイスを含む。これらは単に例示であり、これらのデバイスの基本的なネットワークルーティング機能を提供する他のネットワーク要素も同様の方法で使用することができる。

図１は、論理ルータ１００のアーキテクチャの例を示している。図１に図示されているように、論理ルータ１００は、複数のスパイン要素１０２、複数のリーフ要素１０４、及び各スパイン要素１０２を１以上のリーフ要素１０４に接続するファブリックインタフェース１０６を含む。以下の例において、スパイン要素１０２は、ＲＡＭＯＮクラス・シリコンデバイスであり、リーフ要素１０４は、複数のＪＥＲＩＣＨＯ ２クラス・シリコンデバイスのセットである。シリコンデバイス１０２、１０４のファブリックインタフェースは、１０Ｇ又は１００Ｇイーサネットケーブル等のネットワークケーブル、光ファイバーケーブル、又は他の型のネットワーク接続により互いに接続することができる。

論理ルータ１００において、各スパイン要素１０２は、セルフルーティングファブリックのファブリック要素として機能する。このセルフルーティングファブリックは、ソフトウェアによる補助を必要としないリンク障害の処理を含むシリコン内の全ての関連するルーティングプロトコルを実装する。論理ルータ内の各ファブリック要素は、図１に図示されているように、ファブリックインタフェースを介して１以上のリーフ要素１０４にインタフェース接続される。リーフ要素１０４の一群は、セルベースのファブリックの実装に使用することができる。リーフ要素１０４の一群がデータパケットをセルに分割する。これらのセルは、セルベースのファブリックにわたって分散され、リーフ要素１０４の１つからのエグレス(egress)上で再構築される。この実装は、ファブリックのより効果的な利用を可能にする。各リーフ要素１０４は、リーフ要素１０４がネットワークと通信することを可能にするネットワークインタフェース１０８によっても構成されることができる。

図２は、論理ルータ１００を使用して実装することができる方法２００の例を図示している。特に、方法２００は、論理ルータ１００を使用するエンドツーエンド・パケットスケジューリングの実装を図示している。方法２００は、リーフ要素１０４のイングレス(ingress)ポートが方法２００により処理されたパケットを受信するように、リーフ要素１０４上で実行されるコードにより、又は外部の制御装置（以下の制御要素３００の記載参照）により実装することができる。

方法２００は、論理ルータ１００による、パケットが受信されたポートを備える１つのリーフ要素１０４上等の、論理ルータ１００に関連するイングレス上のデータパケットのキューイング２０２を含むことができる。次に、イングレスが、データパケットの宛先アドレスに対応する第２のリーフ要素１０４等の論理ルータ１００にキュー要求を送信する２０４。論理ルータ１００に関連するエグレス（例えば、第２のリーフ要素１０４）は、クレジット付与(credit grant)により応答する。最後に、スパイン要素１０２により実装されたファブリックをわたって、イングレスがパケットをエグレスに送信する。

図３を参照して、ここに開示されている論理ルータ１００は、以下の設計検討に対して所望の性能を提供する。
・システムの処理量
・論理シャーシのプロビジョニング
・シャーシのブートストラップ
・シャーシのスケール変更
・システム状態のスケール変更
・デバッグ及びトラブルシューティング
・ファブリック障害、ソフトウェア障害、及びコンポーネント故障の原因となる回復力

図３の実施形態において、スパイン要素１０２は、リーフ要素１０４に接続して、一段Ｃｌｏｓファブリックを実装する。特に、各リーフ要素１０４は、各スパイン要素１０２に接続することができる。

図３のシステムは、ＪＥＲＩＣＨＯ ２シリコンデバイスであることができるリーフユニット１０４により実装される４８０ｘ４００Ｇ又は１９２０ｘ１００Ｇポートを有する４８リーフ要素１０４インタフェーススケールを提供する以下の属性を有することができる。代替スケールにおいて、２４０ｘ４００Ｇ又は９６０ｘ１００Ｇポートを提供する２４リーフ要素であることができる。本開示の目的の為に、「ＡｘＢ」の表記は、Ｂの処理量を有するＡポートを示している。図３の構成は、説明を目的としており、他のデバイスの他の構成を同様の方法で使用することもできる。

図示されている実施形態においては、１３のスパイン要素１０２が存在する。図３の論理ルータアーキテクチャ内のスパイン要素１０２はそれぞれ、１又は複数のＲＡＭＯＮクラス要素等の、１又は複数の要素を含むことができる。いくつかの実装において、スパインプロファイル（即ち、スパイン要素１０２の構成）は、１つの２４ポートＲＡＭＯＮクラス要素及び２つの４８ポートＲＡＭＯＮクラス要素を含むことができる。

図３の論理ルータ１００は、４８リーフ要素も含む。各スパイン要素１０２は、４００Ｇ ＱＳＦＰ－ＤＤ（クワッド小型フォーム・ファクタプラグ可能接続倍密度(quad small form-factor pluggable connection double density)）光コネクタ及び４００Ｇプロトコルを実装する通信リンクを使用して、各リーフ要素１０４とインタフェース接続されることができる。しかしながら、他の型のコネクタ及びプロトコルを使用することができる。いくつかの実施形態において、各リーフ要素１０４は、１０ｘ４００又は４０ｘ１００インタフェース、ＢＲＯＡＤＷＥＬＬ（８コア）ＣＰＵ、及び３２ＧＢのＲＡＭ（ランダムアクセスメモリ）を含む１つのＪ２クラス・シリコンデバイスから構成される。各リーフ要素１０４は、外部ネットワークと通信するために４０ｘ１００Ｇインタフェースから構成されることができる。

いくつかの実施形態において、論理ルータ１００は、演算システム（例えば、以下に記載の図１９の演算システムの実施例参照）を使用して実装される１以上の制御プレーン要素３００により管理されることができる。制御プレーン要素は、論理ルータ（即ち、論理ルータ１００のリーフ要素１０４、スパイン要素１０２、及びこれらの要素間の相互接続ファブリック）の外部のコンピュータシステムである。各制御プレーン要素３００は、例えば１０G通信リンクを使用して、１以上のリーフ要素１０４とインタフェース接続されることができる。制御プレーン要素３００は、共通のシャーシ内に又は共通のバックプレーンに接続されているように、論理ルータの分離した要素１０２、１０４が単一のルータとして機能するように、論理ルータ１００にシャーシ抽象化モデル(chassis abstraction model)を実装するために、ルータ状態管理を実行する構成エージェント(configuration agent)として機能することができる。

図４を参照して、論理ルータ１００は、管理及び制御のシングルポイント(single point)により管理されることができる。管理ＬＡＮ（ローカルエリアネットワーク）スイッチ４００が、論理ルータ１００及び関連する制御プレーン要素３００の全ての管理及び制御機能を実行する。制御プレーン要素３００とインタフェース接続された複数のリーフ要素１０４とインタフェース接続された複数のスパイン要素１０２を含む論理ルータ１００は、管理ＬＡＮスイッチ４００により管理される。管理ＬＡＮスイッチ４００は、スパイン要素１０２、リーフ要素１０４、及び制御プレーン要素３００のそれぞれにインタフェース接続される。

図５を参照して、ＬＡＮスイッチ４００は、図示されている方法で、論理ルータ１００の要素とインタフェース接続される。例えば、リーフ要素１０４ａ及びリーフ要素１０４ｂは、それぞれ独立して制御プレーン要素３００にインタフェース接続される。各リーフ要素１０４ａ、１０４ｂ及び制御プレーン要素３００は、独立して管理ＬＡＮスイッチ４００にインタフェース接続される。いくつかの具現化において、管理ＬＡＮスイッチとのそれぞれのインタフェース接続は、２ｘ１０Ｇリンクを介して実装されるが、他の型の接続を使用することもできる。

各リーフ要素１０４ａ、１０４ｂ及び制御プレーン要素３００の間のインタフェース接続は、インバンド(in-band)ネットワーク５００及びホストパケットパスに関連付けることができる。一方、管理ＬＡＮスイッチ４００とのそれぞれのインタフェース接続は、アウトオブバンド(out-of-band)（ＯＯＢ）ネットワーク５０２に関連付けることができる。管理ＬＡＮスイッチ４００は、ＯＯＢネットワーク５０２を通して要素１０４、１０４ｂ、３００と通信することができ、ブートストラップ／画像ダウンロード、システム状態提供、並びにシステム統計及び同様のデータ収集等の機能を実行することができる。

図６を参照して、論理ルータ１００に関連するソフトウェアは、ルートプロセッサソフトウェア６００、ルータ状態データベース６０２、及びラインカードソフトウェア６０４（ここでは、ラインカードソフトウェアモジュール６０４とも呼ばれる）を含むことができる。論理ルータ１００のいくつかの実装において、全てのソフトウェアが展開され、コンテナとして管理される。ルートプロセッサソフトウェア６００は、ソフトウェアがロードされるデバイスがルータ状態データベース６０２とシステム状態及び統計に関するデータを双方向で共有するように、前記デバイスをプログラミングする。ルータ状態データベース６０２は、ラインカードソフトウェア６０４とシステム状態及び統計に関するデータを双方向で共有するようにプログラミングされている。

いくつかの実装において、ルートプロセッサソフトウェア６００は、以下の機能又はデータ構造を実装する。
・システムワイドインタフェース制御（論理ルータ１００の要素１０２、１０４にわたる）
・ルーティングプロトコル、ＡＲＰ(address resolution protocol)（アドレス解決プロトコル）、ＩＰｖ６ ＮＤ(internet protocol v6 neighbor discovery)（インターネットプロトコルｖ６近隣探索）
・ルーティング情報ベース(Routing Information Base)（ＲＩＢ）
・ノースバウンドＡＰＩ(application programming interfaces)（アプリケーションプログラミングインタフェース）
・構成管理
・データストア
・ＬＩＮＵＸホストパス
・テレメトリ
・機能－ＡＣＬ(access control list)（アクセス制御リスト）、ＱｏＳ(quality of service)（サービスの品質）、ＣｏＰＰ(control plane policing)（制御プレーンポリシング）
・仮想シャーシ管理

いくつかの具現化において、ルータ状態データベース６０２は、以下の機能又はデータ構造を含む。
・ルータ状態
・統計
・分割化
・複製化
・クラスタ化

いくつかの具現化において、ラインカードソフトウェア６０４は、以下の機能又はデータ構造を実装する。
・ＡＳＩＣ(application specific integrated circuit)（特定用途向け集積回路）／ＳＤＫ（ソフトウェア開発キット）プログラミング
・ステータス(Stats)
・ラインカードオフロード（ＢＦＤ(bidirectional forwarding detection)（双方向フォーワーディング検出））、ＬＬＤＰ(link layer discovery protocol)（リンク層検出プロトコル）、ＳＦｌｏｗ（サンプルフロー）等）

図７は、３つのソフトウェア構築ブロック６００、６０２、６０４が実際の論理ルータの具現化においてどのように実装されるかを示している。図７に図示されているように、分離したラインカードソフトウェアモジュール６０４（即ち、ラインカードソフトウェア６０４のインスタンス）は、各スパイン要素１０２及び各リーフ要素１０４内に実装されることができる。ラインカードソフトウェアモジュール６０４のそれぞれは、第１の制御プレーン要素３００内のルータ状態データベース６０２（ルータ状態データベース６０２ａ）と通信する。この第１の制御プレーン要素３００ａは、ルータプロセッサソフトウェア６００（ここで、ルートプロセッサモジュール６００とも呼ばれる）のインスタンスを実行することもできる。第１の制御プレーン要素３００ａは、図７に図示される第１の第２の制御プレーン要素３００ｂとデータを共有する。第１の第２の制御プレーン要素３００ｂは、図７に図示される第２の第２の制御プレーン要素３００ｃとデータを共有する。第１の第２の制御プレーン要素３００ｂ及び第２の第２の制御プレーン要素３００ｃのそれぞれは、ルータ状態データベース６０２ｂ、６０２ｃをそれぞれ含み、それにより、データ冗長性等の機能を実装する。第１の第２の制御プレーン要素３００ｂ及び第２の第２の制御プレーン要素３００ｃはそれぞれ、ここに説明されているように、第１の制御プレーン要素３００ａの故障時のバックアップとして機能することができる。

図１～７を参照に上述されている制御要素３００を有する論理ルータ１００及び管理ＬＡＮスイッチ４００は、以下の様々な動作シナリオにおいて使用することができる。

図８は、論理ルータ１００がインタフェースを生成するシナリオを示している。図８に図示されているように、ＬＩＮＵＸ演算システム上で実行されている制御プレーン要素３００は、要素状態データベース８００及びルートプロセッサ６００を含む。本明細書を通してＬＩＮＵＸ演算システムが記載されているが、ＵＮＩＸの他のバリエーション、ＭＡＣ ＯＳ，マイクロソフトＷＩＮＤＯＷＳ、又は他の当業者には既知のオペレーティングシステム等の他のオペレーティングシステムを使用することもできる。

ルータ状態データベース６０２に相当する又は一部である要素状態データベース８００は、論理ルータ１００の一部を形成するスパイン要素１０２及びリーフ要素１０４のそれぞれに接続されることができる。要素状態データベース８００は、構成（ポート、他の要素１０２、１０４、３００へのポートの接続、要素１０２、１０４、３００のアドレス等）等のスパイン要素１０２及びリーフ要素１０４のそれぞれに関連するデータを記憶することができる。この情報は、ここに開示の任意のファブリック検出技術（例えば、ＬＳｏＥ、ＬＬＤＰ）を使用して制御プレーン要素３００により検出することができる。要素状態データベース８００は、このデータをルートプロセッサに提供する。スパイン要素１０２及びリーフ要素１０４のそれぞれの各インタフェースについて、ルートプロセッサ６００は、ルートプロセッサ６００上で固有のインタフェース（図８のswp1/1…swp1/40, swp2/1…swp2/40…swp48/1…swp48/40）を作成し、標記swpA/Bは、要素Ａ（即ち、スパイン要素１０２又はリーフ要素１０４）のポートＢ上のインタフェースを示している。固有のインタフェースは、ＬＩＮＵＸインタフェースであることができる。他の型のオペレーティングシステムが使用されると、そのオペレーティングシステムによるネットワークインタフェースが作成される。ルートプロセッサは、論理ルータ１００の全ての分解された要素１０２、１０４のための全てのインタフェース状態を作成する。固有のインタフェースの作成を示すフロー図が図９に図示されている。

図９を参照にして、制御プレーン要素３００は、図示されている方法９００を実行することができる。方法９００は、論理ルータ１００のスパイン要素１０２及びリーフ要素１０４のそれぞれに関連するデータを制御プレーン要素３００の要素状態データベース８００受信する９０２ことを含む。要素状態データベース８００は、制御プレーン要素３００上で実行されているルートプロセッサ６００にステップ９０２で受信されたデータを通知する９０４。その後、ルートプロセッサは、ステップ９０２で受信されたデータ内で参照されているスパイン要素１０２及びリーフ要素１０４のそれぞれのために、ＬＩＮＵＸインタフェース等の固有のインタフェースを作成する９０６。

ルートプロセッサ６００を実行している制御プレーン要素３００上のＬＩＮＵＸ（又は他のオペレーティングシステム）インスタンス内でインタフェースが作成されると、その後、個々のリーフ要素１０４のフロントパネル上の実際のインタフェースが、それらに対応する作成されたインタフェースに結合される(stitched)。このことを実行する１つの方法は、固有のＶＬＡＮ（仮想ＬＡＮ）タグを各リーフ要素１０４上の各フロントパネルインタフェースに割り当てることであり、各ＶＬＡＮタグはさらに、制御プレーン要素３００上に作成されたインタフェースの１つにマッピングされる。

図１０は、リーフ要素１０４のインタフェースに関連して、方法９００により作成されたインタフェースを使用したデータパケットルーティングの実施例を示している。リーフ要素１０４ａ上で実行されているソフトウェアは、パケット１０００を受信し、パケット１０００の宛先に対応するイングレスインタフェースを検索するデータパスにルールをプログラミングし、パケット１００２を取得するためにパケットに対応するＶＬＡＮタグを追加し、制御プレーン要素３００に接続されたリーフ要素１０４ｂに、リーフ要素１０４ｂのエグレスポートを識別する宛先識別子と共に、パケット１００２を転送する。パケット１００２は、ＴＴＬ(time to live)（有効時間）デクリメントを実行することなく、リーフ要素１０４ｂに送信される。パケット１００２は、１以上のスパイン要素１０２を経由してエグレスリーフ要素１０４ｂに送信される。図１０から明らかなように、パケット１００２は、ファブリック１０６、例えば「ＢＣＭファブリックヘッダ、宛先＝２００５」（ＢＣＭ＝ＢＲＯＡＤＣＯＭ）、を通してパケット１００２をルーティングするための情報を含むことができる。

エグレスリーフ要素１０４ｂは、パケット１００２を受信すると、パケット１００２を制御プレーン要素３００に転送する。その後、制御プレーン要素３００上で実行されているＬＩＮＵＸインスタンスは、パケット１００２のＶＬＡＮタグにより参照されているインタフェース１００４を識別し、ＶＬＡＮタグを取り外し、対応するインタフェース１００４内に取り外されたパケット１００６を導入する。そこからパケット１００６は通常通りＬＩＮＵＸデータパスを通って流れ、ボーダゲートウェイプロトコル（ＢＧＰ）モジュール１００８等のアプリケーションはインタフェース１００４上に到着するそのパケットを参照する。

図１１は、図１０に示す実施例の逆方向の通過を示している。アプリケーション１００８は、ルーティングデータベース６０２により定義されたルーティング及びパケットの宛先による適切なインタフェース１００４内にパケット１１００を導入する。ＬＩＮＵＸデータパス等のデータパスは、パケットの宛先アドレスのためのエグレスフロントパネルインタフェースを一意的に識別するＶＬＡＮタグに各インタフェースをマッピングするようにプログラミングされる。

特に、（制御プレーン要素３００に接続された）イングレスリーフ要素１０４ｂは、アプリケーション１００８からパケット１１００を受信し、適切なエグレスリーフ要素１０４ａ、即ち、上記のルーティングデータベース６０２によるプログラミングによりパケットがルーティングされるべきエグレスリーフ要素、のためのＶＬＡＮタグを検索する。イングレスリーフ要素１０４ｂは、パケット１１００にＶＬＡＮタグをタグ付けし、タグ付けされたパケット１１０２を論理ルータ１００の要素１０２、１０４を通してエグレスリーフ要素１０４ａに転送する（パケット１１０４参照）。エグレスリーフ要素１０４は、ＶＬＡＮタグを取り外し、ＶＬＡＮタグを取り外されたパケット１１０６を正しいフロントパネルポート、即ち、ルーティングデータベース６０２によるプログラミング及びパケットの宛先に対応するルーティングに対応し、ＶＬＡＮタグに関連するフロントパネルポート、の外部に転送する。

図１２、１３及び１４を参照して、論理ルータ１００及び制御プレーン要素３００は、以下の機能の全て又はいくつかを実装するようにプログラミングされる。
・処理レベル再開
・ルートプロセッサ冗長性
・ルータ状態データベース冗長性
・ファブリック要素、リンク障害

図１２、１３及び１４の実施例及び対応する記載は、故障に強い論理ルータ１００を提供するために複数の制御プレーン要素３００を含む実装がどのように使用されるか示している。

図１２は、高可用性論理ルータ１００を実装するための制御プレーン要素３００の構成を示している。３つのノードの制御プレーン要素のクラスタは、図１２に図示されている制御プレーン要素３００ａ、３００ｂ、３００ｃを含む。制御プレーン要素３００ａは、第１のルートプロセッサ６００ａとして指定されるルートプロセッサ６００のインスタンス６００ａを実行する第１の制御プレーン要素である。制御プレーン要素３００ｂは、第２のルートプロセッサ６００ｂとして指定されるルートプロセッサ６００のインスタンス６００ｂを実行する。この実施例において、制御プレーン要素３００ｃは、ルートプロセッサ６００のインスタンスを実行しない。

各制御プレーン要素３００ａ、３００ｂ、３００ｃは、個々のルータ状態データベース６０２ａ、６０２ｂ、６０２ｃをそれぞれ含むことができる。ルートプロセッサ６００ａ、６００ｂのそれぞれは、他のルートプロセッサ６００ｂ、６００ａ（６００ｂが６００ａをチェック、６００ａが６００ｂをチェック）上でヘルスチェック診断を実行する。図１２に図示されているように、第１のルートプロセッサ６００ａは、制御プレーン要素３００ａ、３００ｂ、３００ｃのそれぞれにおいて各ルータ状態データベース６０２ａ、６０２ｂ、６０２ｃとインタフェース接続される。

制御プレーン要素３００ａのルータ状態データベース６０２ａは、制御プレーン要素３００ｂのルータ状態データベース６０２ｂとヘルスチェック複製データを共有する。ルータ状態データベース６０２ｂは、制御プレーン要素３００ｃのルータ状態データベース６０２ｃとヘルスチェック複製データを共有する。このようにして、第１及び第２のルートプロセッサ６００ａ、６００ｂのヘルスに関連するデータが、複数のデータベース６０２ａ、６０２ｂ、６０２ｃにわたって冗長に記憶される。

いくつかの実装において、第１のルートプロセッサ６００ａは、ルータ状態データベース６０２ａ、６０２ｂ、６０２ｃにおける必要状態をチェックポイント化する。図１２に図示されているように、ルータ状態データベース６０２ａ、６０２ｂ、６０２ｃは、全てのクラスタノード上に生成される。さらに、ルータ状態データベース６０２ａ、６０２ｂ、６０２ｃのデータ断片は、冗長性のための内部的に複製され、各ルートプロセッサ６００ａ、６００ｂは、フェイルオーバーを検出するために内部のヘルスチェックを実行することができる。第１のルートプロセッサ６００ａ上のヘルスチェックが失敗した場合、図１３に図示されているように、第２のルートプロセッサ６００ｂが第１のルートプロセッサとなり、第１のルートプロセッサ６００ａの機能を引き継ぐ。

図１３は、第１のルートプロセッサ６００ａの故障、及び第２のルートプロセッサ６００ｂへの第１のステータスの移行を示している。図示されているように、第２のルートプロセッサ６００ｂは、ルータ状態データベース６０２ａ、６０２ｂ、６０２ｃのそれぞれと接続を確立し、チェックポイント化されたデータを読み込んでシステム状態（例えば、チェックポイント毎の第２のルートプロセッサ６００ｂの状態及び／又は論理ルータ１００の要素１０２、１０４の状態）を復元する。したがって、第２のルートプロセッサ６００ｂは、第１のルートプロセッサ６００ａの役割を引き継ぐ。このようにして、隣接制御プレーン要素３００ａ、３００ｃとの接続が再確立され、優雅な再開が開始される。例えば、新しい第１のルートプロセッサ６００ａの機能は、システム状態が復元されると、ルートプロセッサ６００ａ機能に関して、上述のように継続される。

図１４を参照にして、いくつかの実装は、第１の制御プレーン要素３００ａの故障を原因とするプロビジョニングを含むこともできる。主制御プレーン要素が故障する例示的シナリオが、図１４に図示されている。

第１の制御プレーン要素３００ａが故障した場合、第２のルートプロセッサ６００ｂをホスティングする制御プレーン要素３００ｂが、第１のルートプロセッサ６００ａ上のヘルスチェックの１つにおける故障の検出に応答して、主制御プレーン要素の役割を引き受ける。その後、ルートプロセッサ６００ｂは、主ルートプロセッサの役割を引き受け、図１４に図示されているように、健全なルータ状態データベース６０２ｂ、６０２ｃとの接続を確立する。ルータ状態データベース６０２ｂ、６０２ｃは、第１の制御プレーン要素３００ａの故障に関連する任意の分割フェイルオーバーを内部的に処理するように構成されることができる。

図１～図１４を参照して上述されている実施形態は、以下の機能及び利点を提供することができる。
・ＪＥＲＩＣＨＯ ２及びＲＡＭＯＮクラスデバイス等の既存のシリコンネットワークデバイスに基づくＣｌｏｓベースのファブリック
・セルフルーティングファブリック
・セルベースの効果的な負荷分散
・エンドツーエンドスケジューリング
・外部サーバ上で実行される制御プレーン
・論理シャーシ管理
・シングルボックスルックアンドフィール
・スケール変更可能な冗長ルータ状態データベース
・全てのレベルにおける回復力

図１５～図１８には、論理ルータ１００を実装するための代替アプローチが示されている。代替アプローチは、バックプレーンのスパインユニットとしてスタンドアロンのスイッチを使用するルーテッドバックプレーンファブリックを含む。バックプレーン自体は、フロントパネルポートを介して結合されたＣｌｏｓファブリックに基づいている。ルーテッドバックプレーンファブリックは、以下の主コンポーネントを使用して実現される。
・レイヤ３（Ｌ３）ファブリックポート
・ファブリック近隣探索のためのＬＳｏＥ（イーサネットにわたるリンク状態）
・ユニット間ＩＰ到達性のためのボーダゲートウェイプロトコル最短パス優先(Border Gateway Protocol shortest path first)（ＢＧＰ－ＳＰＦ）制御プレーン
・「スイッチポート」検出のためのＢＧＰ－ＳＰＦ拡張
・遠隔「スイッチポート」へ／からセットアップされたマルチプロトコルラベルスイッチング（ＭＰＬＳ）トンネル

ＬＳｏＥ及びＢＧＰ－ＳＰＦは、分割されたシャーシベースの論理ルータ１００のためのルーテッドバックプレーンを構築する、この設計において活用されている標準化されたプロトコルである。このようなルーテッドバックプレーンの設計は、以下により詳細に説明されている。

図１５は、スタンドアロンのバックプレーン構造を使用して実装された論理ルータ１００の物理的接続を示している。この実装において、集中制御装置１５００は、Ｎ個のスパインユニット１５０２（ＳＵ－１からＳＵ－Ｎ）とインタフェース接続される。各スパインユニット１５０２のフロントパネルポートのそれぞれは、ファブリックポートとして指定されている。システムは、Ｍ個のラインユニット１５０４（ＬＵ－Ｎ＋１からＬＵ－Ｎ＋Ｍ）も含んでいる。ラインユニット１５０４のバックプレーンポートも、ファブリックポートとして指定されている。制御装置は、同様に、スパインユニット１５０２に結合されているファブリックポートを実装することができる。Ｎ個のスパインユニット１５０２のそれぞれは、スパインユニット１５０２のファブリックポート及びラインユニット１５０４のファブリックポートを使用して、Ｍ個のラインユニット１５０４のそれぞれとインタフェース接続される。さらに、Ｍ個のラインユニット１５０４のそれぞれは、それぞれがスイッチポートとして指定されるＸ個のフロントパネルポートを含むことができる。図１５において、以下の表示が使用されている。
・ＬＵ：ラインユニット
・ＳＵ：スパインユニット
・Ｎ：スパインユニットの数
・Ｍ：ラインユニットの数
・Ｘ：各ラインユニット上のスイッチポートの数
・ｓｗｐＡ／Ｂ：ラインユニットＡ上のスイッチポートの数Ｂ
・ｆｐＡ／Ｂ：ユニットＡ（制御装置、スパインユニット、又はラインユニットの数０からＮ＋Ｍ）上のファブリックポートの数Ｂ

図１５の実施形態は、図１～図１４に関して上述のものと同じＣｌｏｓ接続を使用することができる。Ｃｌｏｓ接続は、スタンドアロンのバックプレーン構造を実装するためにユニット１５０２、１５０４間をフローする必要がある実行時間運用データと同様に、ルーティング制御プレーン及びユーザ構成から得られた内部スイッチ状態を分散するために使用される。

スパインユニット１５０２及びラインユニット１５０４のファブリックポート間の相互接続により実装されるバックプレーンファブリックは、全てのラインユニット１５０４及び制御装置１５００にわたって移送されるデータトラフィックパケットを提供する。全てのラインユニット１５０４及び制御装置１５００のファブリックポートにわたる移送アンダーレイ(transport underlay)としてＭＰＬＳルーテッドファブリックを使用することができる。ファブリックは、以下の特性の全て又はいくつかを有することができる。
・各ラインユニット１５０４のファブリックポートは、プライベートＩＰ（インターネットプロトコル）アドレスを有する内部ファブリックＶＲＦ（仮想ルーティング及び転送）におけるレイヤ３ルーテッドポートとして自動設定される。
・ＢＧＰ－ＳＰＦは、ファブリックＶＲＦ内の全てのファブリックポートにわたるレイヤ３到達性を確立するための内部ファブリックルーティングプロトコルとして使用される。
・ラインユニット１５０４、スパインユニット１５０２、及び制御装置ノード１５００のそれぞれは、ローカルファブリックポート上でＢＧＰ－ＳＰＦルーティングプロトコルのインスタンスを実行する。
・ＬＳｏＥは、対応するカプセル化及びレイヤ３近隣を探索する探索プロトコルとして使用される。
・ＬＳｏＥ学習近隣は、ＢＧＰ内にプッシュされ、直接接続されたレイヤ２ファブリックポートにわたるＢＧＰ－ＳＰＦセッションを起動する。
・ＢＧＰ－ＳＰＦピアリングは、結果的に、ファブリックにおける各リーフ－スパイン接続上に確立される。
・ファブリックトポロジは、各ノード上で学習され、ファブリックＶＲＦ ＩＰ到達性は、ＢＧＰ－ＳＰＦ演算を介して各ルーテッドファブリックポートに確立される。
・ＭＰＬＳ移送は、さらにセットアップされ、この文書において以下により詳しく説明されている。

外部ＢＧＰピアリング、ＩＧＰ（内部ゲートウェイプロトコル）ルーティングプロトコル、ＡＲＰ、及びＮＤ（近隣探索）を含む論理ルータ１００の最外装制御プレーンは、制御装置ノード１５００上でホスティングされる。即ち、全てのノード１５００、１５０２、１５０４にわたって分散されているバックプレーンファブリック制御プレーンを除いて、最も論理的なルータ制御プレーン機能は、制御装置ノード１５００上に集中される。しかしながら、図示されているアーキテクチャは、必要に応じて、ラインユニット１５０４にわたって分散される特定の機能（ＢＦＤ（双方向フォーワーディング検出）、ＬＬＤＰ（リンク層検出プロトコル）、ＶＲＲＰ(virtual router redundancy protocol)（仮想ルータ冗長化プロトコル）及びＬＳｏＥ等）を可能にする。ユニット１５０２、１５０４のデータパスは、ローカルバウンドパケットをローカルＣＰＵ（分散機能のため）又は制御装置ノード１５００（集中制御プレーンを実装するため）に送信するように適宜プログラミングされる。

制御装置ノード上で実行されている集中論理ルータ制御プレーンは、ラインユニット１５０４にわたって分散されているデータプレーンのプログラミングを駆動する。一段転送モデルは、（ａ）イングレスラインユニット１５０４上で全てのレイヤ３ルートルックアップが実行され、（ｂ）結果として得られる再書き込み及びエグレスポートがイングレスラインユニット１５０４上で解読されるモデルとして定義される。全ての結果として得られるカプセル化再書き込みをパケットに加え、パケットは、結果として得られたエグレスポート情報と共に、バックプレーン移送ファブリックをわたってエグレスラインユニット１５０４に送信される。全てのパケット編集は、イングレスラインユニット１５０４上で起こる。エグレスラインユニット１５０４は、単にパケットをエグレスポート上に転送する。上記で定義された一段転送モデルは、ラインユニットにわたるレイヤ３転送を達成するこの論理ルータ１００内のスタンドアロンのラインユニット１５０４にわたってシミュレートされる。
・ＬＩ再書き込みは、イングレスラインユニット（ＬＵ）１５０４上に書き込みされ解読される。
・パケットは、ＭＰＬＳトンネルにわたってエグレスＬＵ１５０４にトンネルされる。
・ＭＰＬＳラベルはエグレスＬＵ１５０４上にエグレスポートを解読する。

いくつかの実施形態において、全てのラインユニット１５０４のフロントパネルポート（ファブリックポートとして指定されているポートを除く）は、上述のように外部スイッチポートとして指定されている。これらのスイッチポートのそれぞれは、論理ルータ１００におけるインタフェースとして示されている。全ての論理ルータのインタフェースは、全てのラインユニット上のデータプレーンと同様に、制御装置１５００上のデータプレーン、制御プレーン、及び管理プレーン内に示されている。例えば、インタフェース「swp3/2」は、ラインユニット３上のポート２を示し、全てのラインユニット１５０４上でデータプレーン内にプログラミングされる。制御装置１５００上でホスティングされたルーティング制御プレーン内、及び制御装置ノード１５００上でホスティングされた管理プレーン内でも可視である。

いくつかの実施形態において、遠隔ラインユニット上のインタフェースを含む全てのルータインタフェースは、上述のようにラインユニット１５０４にわたる一段転送を達成するために、各ラインユニット１５０４上でデータプレーン内にプログラミングされる。ラインユニット１５０４上のローカルインタフェースは単にローカルポートを解読する。しかしながら、ラインユニット１５０４上の遠隔インタフェースは、この遠隔インタフェースからエグレスするパケットが遠隔ラインユニット１５０４に送信され、遠隔ラインユニット１５０４上の対応するルータポートからエグレスされるように、データプレーン内にプログラミングされる。アンダーレイファブリック移送トンネルは、この目的のためにデータパスをエグレスラインユニット１５０４に結合するようにセットアップされ、エグレスラインユニット１５０４上のルータポートを識別するためにオーバーレイカプセル化を使用することができる。

この目的のために使用される移送トンネル及びオーバーレイカプセル化に関しては、いくつかの選択肢がある。
・エグレスポートを識別するための、純ＩＰファブリック移送（ＩＰトンネル）及びＶＸＬＡＮ(virtual extensible LAN)（仮想拡張可能ＬＡＮ）オーバーレイカプセル化（仮想ネットワーク識別子（ＶＮＩＤ）等）。
・エグレスポートを識別するための、ＭＰＬＳファブリック移送（ラベルスイッチドパス（ＬＳＰ）等）及びＭＰＬＳオーバーレイ内部ラベル。

ＭＰＬＳ移送及びオーバーレイは、このアーキテクチャにおいて使用される。しかしながら、全体のアーキテクチャは、これを達成するためにＶＸＬＡＮトンネルを有するＩＰ移送を使用することを排除しない。

パケットに加えられる内部ラベルカプセル化の数を改善又は最適化するために、移送ラベル及びインタフェースラベルの両方が、両方が物理的ポートを識別する単一ラベルに折りたたまれ、物理的インタフェースをホスティングするラインユニット１５０４へ移送ＬＳＰを提供する、又は、から移送ＬＳＰを提供される。このオーバーレイラベルは、エグレスラインユニット１５０４（例えば、エグレスラインカード）及びインタフェースに向かってスイッチされたエグレストラフィックのためのエグレスインタフェースを識別し、同様に、そのインタフェース上で実行されているルーティングプロトコルをホスティングする制御装置にパントする必要があるインタフェース上のイングレストラフィックのためのイングレスインタフェースを識別する。２つの内部ラベルの割当は、この目的のために定義されることができる。
・イングレスＬＵから遠隔エグレスポートへのトンネル作成に使用されるローカル（ＬＣ、ポート）毎に割り当てられたエグレスラベルは、スイッチドトラフィックのためのエグレスポートを識別する。
・イングレスＬＵから制御装置へのトンネル作成に使用される（制御装置、ポート）毎に割り当てられたイングレスラベルは、ホスト宛トラフィックのためのイングレスポートを識別する。

上記ラベルコンテキストのそれぞれは、論理ルータ１００内の全てのノード１５００、１５０２、１５０４にわたってグローバルに範囲指定され、指令ＬＳＰと同様に物理的ポートの両方を識別する。上記ラベル割当スキームは、論理ルータ１００内の各ルータポートのために割り当てられた２つのグローバルラベルに基本的に結果としてなる。ＭＰＬＳラベルは静的に確保され、この目的のためにスイッチポートインタフェース検出上に割り当てられ、これらの確保されたラベルは、いくつかの実施形態における外部使用には利用できない。

各ラインユニット１５０４の各ローカルルータポートに割り当てられた（全ての論理ルータのノード１５００、１５０２、１５０４にわたって）グローバルに範囲指定されたラベルは、物理的ポートをホスティングするイングレスラインユニットからエグレスラインユニットへの移送ＬＳＰと同様にエグレスルータポートの両方を識別する。このラベルは、論理ルータのノード１５００、１５０２、１５０４上で以下のようにプログラミングされる。
・イングレスラインユニット１５０４上で、このラベルは、遠隔インタフェース外にエグレスするパケット上に再書き込みされるトンネルカプセル化の結果の一部である。
・スパインユニット１５０２上で、このラベルは、同じエグレスラベルにより再書き込みするエグレスラインユニットファブリック次ホップにスイッチする。
・エグレスラインユニット上で、このラベルが、（パケットの再書き込み無しで）エグレスインタフェースに単に向けられる。

このプロセスは、図１６に図示されている。図１６において、以下の表示が使用されている。
・L(e, x, y)： ＬＵ－ｙ上のスイッチポートｘのためのエグレスラベル
・L(I, x, y)： ＬＵ－ｙ上のスイッチポートｘのためのイングレスラベル
・MAC-x： ユニットＸのルータＭＡＣ（機械アクセスコード）

パケットは、イングレスラインユニット１５０４（ＬＵ－（Ｎ＋Ｍ））により受信される。イングレスラインユニット（ＬＵ－（Ｎ＋Ｍ））から出ると、パケットは、図示されているラベルテーブル１６００に従ってラベリングされ、ラベルテーブル１６００は、エグレスインタフェース（”[12,1,1,2, swp(N+2)/1]->MAC-A”）と同様にエグレスインタフェース（”MAC-A->L(e,x,y)+MAC-1, ポート: fp(N+M)/1->L(e,x,y)+MAC-N, ポート: fp(N+M)/N”）への移送ＬＳＰ、即ち、トンネルパスを含む。パケットはスパインユニット１５０２に送信される。スパインユニットＳＵ-Ｎは、ファブリック次ホップ再書き込み（”L(e,x,y)->MAC-N+2, ポート: fpN/2）及びエグレスラベルを含むラベルテーブル１６０２に従ってパケットを再書き込みする。スパインユニットＳＵ-Ｎは、再書き込みされたパケットをエグレスラインユニット１５０４（LU(N+2)）に転送し、エグレスラインユニット１５０４が、単にエグレスインタフェース（L(e,x,y)->swp(N+2)/1）に向いているラベルテーブル１６０４に従ってパケットのラベルを変換する。

図１７を参照して、（全ての論理ルータのノード１５００、１５０２、１５０４にわたって）グローバルに範囲指定されたラベルは、（制御装置、ルータポート）毎に割り当てられ、イングレスラインユニットから制御装置カードへの移送ＬＳＰと同様にイングレスルータポートの両方を識別する。このラベルは、論理ルータのノード上で以下のようにプログラミングされる。
・イングレスラインユニット１５０４上で、このラベルは、制御装置にパントされるパケット上に再書き込みされるトンネルカプセル化の結果の一部である。（ラインユニットＬＵ－（Ｎ＋Ｍ）上の図１７テーブル１７００参照。）
・スパインユニット１５０２上で、このラベルは、同じエグレスラベルにより再書き込みする制御装置ファブリック次ホップに単にスイッチする。（スパインユニットＳＵ-Ｎ上のテーブル１７０２参照。）
・制御装置上１５００で、このラベルは、ホストスタック内のイングレスインタフェースを識別する。（テーブル１７０４参照。）

パントされたパケットは、ＬＩＮＵＸカーネル内に注入される必要があり、それにより、パケットが到着したフロントパネルポートに対応するＬＩＮＵＸインタフェース上に到着したように見える。スタンドアロンシステム上で、ホストパスは、スイッチ、即ちラインユニット１５０４（図１７の実施例においてはラインユニットＬＵ－（Ｎ＋Ｍ））のローカルＣＰＵ上で実行されるＬＩＮＵＸカーネル内で実行される。ラインユニット１５０４上のＡＳＩＣは、イングレスインタフェースを示すシステムヘッダに到着したパケットを加える。その後、カーネル内のＢＣＭ Ｋネットモジュールが、ハードウェアイングレスインタフェースをＬＩＮＵＸインタフェースにマッピングし、パケットをＬＩＮＵＸデータパス内に注入する。

図示されているアーキテクチャにおいて、ホストデータパスは、複数箇所で実行される。ラインユニット１５０４上で、パケットは、ラインユニット１５０４上で実行されるＢＧＰ ＬＳＶＲ(link state vector routing)（リンク状態ベクトルルーティング）インスタンスにパントされる必要がある。パケットの宛先が、制御装置１５００上で実行される制御プレーンプロトコルインスタンスである場合、その後、ラインユニット１５０４は、パケットを制御装置に配信可能である必要がある。このパスにはシステムヘッダが存在しないので、イングレスインタフェースは識別され、パケット自体の内部にカプセル化される必要がある。

上述されているように、このことは、イングレスインタフェースを識別する固有のラベルを使用することにより達成される。イングレスインタフェース上のマッチング並びに対応するラベル及びそれに続く転送チェインの供給にＡＣＬルールを使用することができる。しかしながら、この結果は、パケットが本当に制御装置１５００に送信される必要がある媒位にのみ使用される必要がある。他の場合においては、転送ルックアップはカプセル化を駆動する。

図１８には、図１５～図１７のアプローチによるスタンドアロンのバックプレーンファブリックを起動するためのアプローチが示されている。バックプレーンファブリックの起動及びプログラミングは、明示のユーザ構成又は介在の必要なく、起動時に自動的に起こる。
・レイヤ３（Ｌ３）バックプレーン到達性は、ファブリックＶＲＦ内の全てのレイヤ３対応ファブリックポートにわたって確立される。
・オーバーレイ移送トンネルは、全ての論理ルータのコンポーネント：ラインユニット１５０４、スパインユニット１５０２、及び制御装置１５００にわたる全てのルータポートへ／からセットアップされる。

図１８に図示されているように、バックプレーンファブリックを起動するための方法１８００は、管理される各ユニット１５００、１５０２、１５０４にファブリック構成をダウンロードすること１８０２を含む。このことは、ＩＰアドレス割当、カード役割、ポート役割、及びポートＭＰＬＳラベルを含むことができる。方法１８００はさらに、各ユニット１５００、１５０２、１５０４のファブリックポート上でＬ３アドレス割当を起動すること１８０４を含む。方法１８００はさらに、ファブリックポート上で、ファブリック近隣を探索し、この方法で取得した各ユニット１５００、１５０２、１５０４の近隣データベースを制御装置１５００上のＢＧＰ－ＬＳＶＲにプッシュするＬＳｏＥを起動すること１８０６を含む。方法１８００はさらに、各ユニット１５００、１５０２、１５０４上のＢＧＰ－ＳＰ Ｆインスタンスにより、ピアリングの起動、ファブリックトポロジの学習、及びファブリックＶＲＦ内のファブリックＩＰルートのインストールを実行すること１８０８を含む。

レイヤ３バックプレーンファブリックの自動的起動は、Ｒ０は制御装置を表している以下の説明により調整されることができる。

起動設定(startup config)によるＲ０の自動構成：
Ｒ０が表示され、管理イーサネット（ｍａ１）が起動され、アドレス割当される。Ｒ０は、以下を含む起動設定ファイルを読み込む。
・トポロジ：スパインユニット、ラインユニット
・サウスバウンドファブリックインタフェースのためのプライベートアドレス割当
・オーバーレイインタフェーストンネルのためのＭＰＬＳラベル
・ラインユニットｍａ１のための管理ＩＰアドレスプール
・ＺＴＰ(zero touch provisioning)（ゼロタッチプロビジョニング）／ラインユニット及びスパインユニットのための起動設定

ラインユニットの起動：
Ｒ０は、起動設定ファイルからのアドレス割当により、そのサウスバウンドファブリックインタフェースを起動する（図１５～図１８のトポロジ内のスパインユニット１５０２及びラインユニット１５０４）。

Ｒ０は、ｄｈｃｐｄ(dynamic host configuration protocol daemon)（動的ホスト設定プロトコルデーモン）を実行し、それにより、ラインユニット１５０４及びスパインユニット１５０２管理イーサネットｍａ１が、起動設定ファイル内に付与されたプールからアドレスを取得することができる。ユニット１５０２、１５０４のラインカード数は、それらが配線されたＲ０ポートと推定される。Ｒ０は、ユニット１５０２、１５０４にＺＴＰサービスを実行する。

ラインユニットに起動設定をプッシュする：
Ｒ０は、ラインユニット１５０４及びスパインユニット１５０２に起動設定をプッシュする。この構成は、各ユニット１５０２、１５０４のカード役割を識別し、各ローカルポートを「ファブリックポート」又は「ルータポート」として識別し、ノースバウンドファブリックインタフェースのアドレス割当を特定し、そして、ルータポートオーバーレイトンネルのためのＭＰＬＳラベル（ポート毎に２つのラベル）を提供する。

その後、ユニット１５０２、１５０４は、ファブリックポート上でＬＳｏＥを実行し、起動設定から期待されるように配線されていることを確かめる。ＬＳｏＥは、レイヤ３ファブリック近隣及び対応するカプセル化を探索する。ＬＳｏＥにより学習された情報のデータベースは、標準ＬＳｏＥ機能によりＢＧＰ－ＳＰＦ内にエクスポートされる。

ＢＧＰ－ＳＰＦピアリングが、各ラインユニットからスパインユニットへのファブリックリンク上で確立される。ファブリックトポロジは、各ユニット１５０２、１５０４上で学習され、ファブリックＶＲＦ ＩＰ到達性は、ＢＧＰ－ＳＰＦ演算を介して各ルーテッドファブリックポートに確立される。ＢＧＰ－ＳＰＦは、ファブリックＶＲＦ内のファブリックルートを用いて、各ローカルラインユニット／スパインユニットＲＩＢ(router information base)（ルータ情報ベース）をプログラミングする。この時点で、全てのファブリックポートＩＰアドレスにわたってＩＰ到達性が確立される。

スイッチポート検出及びトンネル起動：
ローカルルータポートは、各ラインユニット１５０４上で検出される。検出されたルータポートは、割り当てられたＭＰＬＳラベルと共に、各ラインユニット１５０４上のローカルＢＧＰ－ＬＳＶＲインスタンス内にプッシュされる。ＢＧＰ－ＳＰＦは、ＩＰアドレス割当とは独立するポート+ラベルを保持することができるように、さらに向上される。したがって、ＢＧＰ－ＳＰＦは、論理ルータ内の各「スイッチポート」への最短パス優先（ＳＰＦ）を演算するように構成される。ＢＧＰ－ＳＰＦは、これらが構成されるユーザＶＲＦとは独立するファブリックＶＲＦトポロジ内にこれらの外部スイッチポートを組み込むこともできる。各ユニット１５０４上のＢＧＰは、ファブリックＶＲＦ次ホップを介して解決される各インタフェースのためのイングレス／エグレスオーバーレイＭＰＬＳトンネルのインスタンスを生成する。トンネル到達性は、ファブリックＶＲＦ次ホップを介して解決され、トンネルは、上述のように、各ユニット１５０４上に割り当てられたＭＰＬＳラベルを用いてプログラミングされる。

Ｒ０上のユーザ構成は、バックプレーンファブリックの起動に続き、制御装置１５００上で処理される。このユーザ構成及び制御プレーンの結果として演算されるスイッチ状態はさらに、ラインユニット１５０４の全て又はいくらかにわたるプログラミングのために配信される。

例示的パケットパス
この欄は、上述の欄に記載の制御装置１５００及びユニット１５０２、１５０４のデータパスプログラミングを使用するシステム内で共通パケットパスがどのように作用するかを説明している。

ＡＲＰ解決
ユニット１５０２、１５０４上のグリーン処理(Glean Processing)は、パントパスに向けてプログラミングされた不完全な次ホップ又はサブネット（グリーン）ルートを解決する宛先ＩＰアドレス上のイングレスＬ３ルートルックアップにより実行される。パントパスは、イングレスインタフェーストンネルから制御装置１５００へ向けてプリプログラムされる。イングレスレイヤ２パケットは、イングレスインタフェースラベルによりカプセル化され、ファブリックスパイン次ホップに再書き込みされる。カプセル化されたパケットは、ファブリックポートからスパインユニット１５０２の１つに送信される。スパインユニット１５０２は外部レイヤ２を終了する。スパインユニット１５０２上のＭＰＬＳラベル内ルックアップは、イングレスインタフェースラベルに向けられ、ファブリック制御装置次ホップに再書き込みされる。この情報は、パケットを制御装置１５００にルーティングするために使用される。制御装置は外部レイヤ２を終了する。制御装置１５００は、ＰＯＰ(point of presence)（存在点）としてＭＰＬＳラベル内ルックアップ動作を実行するようにプログラミングされ、イングレスインタフェースコンテキストを識別する。制御装置は、パケットの宛先ＩＰ上でＬ３ルートルックアップを実行し、不完全な次ホップ又はサブネット（グリーン）ルートを解決する。その後、制御装置１５００は、イングレスインタフェースを用いて、ＡＲＰ解決のための次ホップ又はサブネットルートを使用するパケットを配信する。

ＡＲＰ要求
制御装置１５００は、イングレスＬ３インタフェース上でブロードキャストＡＲＰ要求を生成する。制御装置Ｌ３インタフェースは、エグレスインタフェーストンネルポートに解決する。ブロードキャストＡＲＰ要求のＡＲＰパケットは、エグレスインタフェースラベルによりカプセル化され、ファブリックスパイン次ホップに再書き込みされる。カプセル化されたパケットは、ファブリックポートからスパインユニット１５０２の１つに送信される。スパインユニット１５０２は外部レイヤ２を終了する。スパインユニット１５０２上のＭＰＬＳラベル内ルックアップは、イングレスインタフェースラベルに向けられ、ファブリックラインユニット次ホップに再書き込みされる。カプセル化されたパケットは、ＭＰＬＳラベル内ルックアップに従って、ファブリックポートからエグレスラインユニット１５０４に送信される。エグレスラインユニット１５０４は外部レイヤ２を終了する。エグレスラインユニット１５０４は、ＭＰＬＳラベル内ルックアップを実行し、その結果としてＰＯＰを得て、ＭＰＬＳラベル内ルックアップから識別されたエグレスラインユニットのエグレスインタフェース上に転送する。

ＡＲＰ応答
ＡＲＰ応答パケットは、制御装置１５００へのパントパスを用いてプログラミングされる。パントパスは、プリプログラムされ、制御装置１５００へのイングレスインタフェーストンネルに向けられる。ラインユニット１５０４からのイングレスＬ２ＡＲＰパケットは、イングレスインタフェースラベルによりカプセル化され、パントパスに従ってファブリックスパイン次ホップに再書き込みされる。カプセル化されたパケットは、ファブリックポートからスパインユニット１５０２の１つに送信される。スパインユニット１５０２は外部レイヤ２を終了する。スパインユニット１５０２上のＭＰＬＳラベル内ルックアップは、イングレスインタフェースラベルに向けられ、ファブリック制御装置次ホップに再書き込みされる。この情報は、ＡＲＰパケットを制御装置１５００に転送するために使用される。

制御装置１５００は外部レイヤ２を終了する。制御装置１５００は、ＭＰＬＳラベル内ルックアップを実行し、ＰＯＰとしてプログラミングされる。制御装置は、ルックアップ動作に従って、イングレスインタフェースコンテキストを識別する。ラインユニット１５０４からパケット内にカプセル化された内部パケットは、ＡＲＰパケットとして識別され、制御装置１５００上で実行されるＡＲＰモジュールに配信され、ＡＲＰモジュールが、アドレス解決プロトコル（ＡＲＰ）に従ってＡＲＰ応答を処理する。

イングレスＬＣ－＞エグレスＬＣルーテッドパケットウォーク
イングレスラインユニット１５０４は、パケットの宛先ＩＰ上でイングレスＬ３ルートルックアップを実行し、次ホップ再書き込み、Ｌ３エグレスインタフェース、Ｌ２エグレスインタフェーストンネルポートを解決する。パケットは、エグレスＬ３インタフェース及びＬ２ポートから得られたＶＬＡＮ編集及びルートルックアップからの次ホップ再書き込み結果により再書き込みされる。結果として得られるレイヤ２パケットは、エグレスインタフェースラベルによりカプセル化され、ファブリックスパイン次ホップに再書き込みされる。カプセル化されたパケットは、ファブリックスパイン次ホップに従って、ファブリックポートからスパインユニット１５０２の１つに送信される。スパインユニット１５０２は、カプセル化されたパケットを受信し、外部レイヤ２を終了し、イングレスインタフェースラベルに向けられたＭＰＬＳラベル内ルックアップを実行し、ファブリックエグレスラインユニット次ホップに再書き込みされる。スパインユニット１５０２は、ファブリックエグレスラインユニット次ホップにより参照されたエグレスラインユニット１５０４にカプセル化されたパケットを送信する。エグレスラインユニット１５０４は、外部レイヤ２を終了し、ＭＰＬＳラベル内ルックアップを実行し、その結果ＰＯＰを得て、カプセル化されたパケットにより参照されたエグレスラインユニット１５０４のエグレスインタフェース上にカプセル化されたパケットを転送する。

図１９は、論理ルータ１００の制御プレーン要素３００、制御装置１５００、又は様々な要素１０２、１０４、１５０２、１５０４等の、ここに開示されているシステム及び方法を実装するために使用することができる例示的なコンピューティングデバイス１９００を示すブロック図である。

コンピューティングデバイス１９００は、ここに開示されている様々な処理を実行するために使用することができる。コンピューティングデバイス１９００は、サーバ、顧客、又は任意の他のコンピューティングエンティティとして機能することができる。コンピューティングデバイスは、ここに開示されている様々なモニタリング機能を実行することができ、ここに開示されているアプリケーションプログラム等の、１以上のアプリケーションプログラムを実行することができる。コンピューティングデバイス１９００は、デスクトップコンピュータ、ノートパソコン、サーバコンピュータ、携帯用コンピュータ、タブレット等の多種多様なコンピューティングデバイスの任意のコンピューティングデバイスであることができる。

コンピューティングデバイス１９００は、１以上のプロセッサ１９０２、１以上のメモリデバイス１９０４、１以上のインタフェース１９０６、１以上のマスストレージデバイス１９０８、１以上の入力／出力（Ｉ／Ｏ）デバイス１９１０、及び表示デバイス１９３０を含み、その全てがバス１９１２に接続されている。プロセッサ１９０２は、メモリデバイス１９０４及び／又はマスストレージデバイス１９０８に記憶されている命令を実行する１以上のプロセッサ又は制御装置を含む。プロセッサ１９０２は、キャッシュメモリ等の、様々な型のコンピュータ可読媒体を含むこともできる。

メモリデバイス１９０４は、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）１９１４）及び／又は不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ）１９１６）等の、様々なコンピュータ可読媒体を含むことができる。メモリデバイス１９０４は、フラッシュメモリ等の、書換可能ＲＯＭを含むこともできる。

マスストレージデバイス１９０８は、磁気テープ、磁気ディスク、光ディスク、ソリッドステートメモリ（例えば、フラッシュメモリ）等の、様々なコンピュータ可読媒体を含むことができる。図１９に図示されているように、特定のマスストレージデバイスはハードディスクドライブ１９２４である。様々なコンピュータ可読媒体から読出、及び／又は、様々なコンピュータ可読媒体へ書込することを可能にするために、マスストレージデバイス１９０８内に様々なドライブを含むこともできる。マスストレージデバイス１９１８は、取り外し可能な媒体１９２６及び／又は取り外し不可能な媒体を含む。

Ｉ／Ｏデバイス１９１０は、コンピューティングデバイス１９００からデータ及び／又は他の情報をコンピューティングデバイス１９００から取り出し、又は、コンピューティングデバイス１９００に入力することを可能にする様々なデバイスを含む。例示的なＩ／Ｏデバイス１９１０は、カーソル制御装置、キーボード、キーパッド、マイク、モニタ又は他の表示デバイス、スピーカ、プリンタ、ネットワークインタフェースカード、モデム、レンズ、ＣＣＤ、又は他の撮像デバイス等を含む。

表示デバイス１９３０は、１以上のユーザのコンピューティングデバイス１９００に情報を表示することができる任意の型のデバイスを含む。表示デバイス１９３０の例は、モニタ、表示端末、映像投影装置等を含む。

インタフェース１９０６は、コンピューティングデバイス１９００が他のシステム、デバイス、又はコンピューティング環境と相互作用することを可能にする様々なインタフェースを含む。例示的なインタフェース１９０６は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ネットワーク、及びインターネットへのインタフェース等の、任意の数の異なるネットワークインタフェース１９２０を含む。他のインタフェースは、ユーザインタフェース１９１８及び周辺機器インタフェース１９２２を含む。インタフェース１９０６は、１以上のユーザインタフェース要素１９１８を含むこともできる。インタフェース１９０６は、プリンタ、ポインティングデバイス（マウス、トラックパッド等）、キーボード等のインタフェースのような、１以上の周辺機器インタフェースを含むこともできる。

バス１９１２は、バス１９１２に接続されている他のデバイス又はコンポーネントと同様に、プロセッサ１９０２、メモリデバイス１９０４、インタフェース１９０６、マスストレージデバイス１９０８、及びＩ／Ｏデバイス１９１０が互いに通信することを可能にする。バス１９１２は、システムバス、ＰＣＩバス、ＩＥＥＥ１３９４バス、ＵＳＢバスなどの、１以上の複数の型のバス構造を示している。

説明のために、プログラム及び他の実行可能なプログラムコンポーネントは、ここでは分離したブロックとして示されているが、そのようなプログラム及びコンポーネントは、コンピューティングデバイス１９００の異なるストレージコンポーネント内に様々な時間に存在しており、プロセッサ１９０２により実行されると理解される。代替的に、ここに記載のシステム及び処理は、ハードウェア、ハードウェアの組み合わせ、ソフトウェア、及び／又はファームウェア内に実装することができる。例えば、１以上の特定用途向け集積回路（ＡＳＩＣ）は、ここに開示されている１以上のシステム及び処理を実行するようにプログラミングされることができる。

Claims (14)

1. ネットワークにより接続され、シャーシの共通のバックプレーンによっては互いに接続されていない複数の分解されたネットワーク要素と、
   前記複数の分解されたネットワーク要素に接続された制御要素と、
   前記制御要素上で実行されるルートプロセッサと、
   を有し、
   前記ルートプロセッサが、前記制御要素のオペレーティングシステム内に、前記複数の分解されたネットワーク要素内に含まれる複数のリーフ要素の各リーフ要素のための複数の仮想インタフェースを作成するようにプログラミングされ、
   ルートプロセッサがさらに、前記複数のリーフ要素の複数のフロントパネルインタフェースの各フロントパネルインタフェースに、仮想ローカルエリアネットワーク（ＶＬＡＮ）タグを割り当てるようにプログラミングされ、
   前記複数のリーフ要素の第１のリーフ要素がさらに、
   前記第１のリーフ要素の第１のフロントパネルインタフェース上でパケットを受信し、
   前記複数のリーフ要素の第２のリーフ要素の第２のフロントパネルインタフェースのＶＬＡＮタグを前記パケットにタグ付けし、タグ付けされたパケットを得て、
   前記ネットワークを通して前記タグ付けされたパケットを前記第２のリーフ要素に送信する、
   ようにプログラミングされ、
   前記第２のリーフ要素が、
   前記タグ付けされたパケットを前記制御要素に転送するようにプログラミングされ、
   前記制御要素がさらに、
   前記タグ付けされたパケットの前記ＶＬＡＮタグが割り当てられた前記複数の仮想インタフェースの仮想インタフェースを識別し、
   前記タグ付けされたパケットから前記ＶＬＡＮタグを取り除き、タグを取り除かれたパケットを得て、
   前記タグを取り除かれたパケットを、前記タグ付けされたパケットの前記ＶＬＡＮタグが割り当てられた前記仮想インタフェースに入力する、
   ようにプログラミングされることを特徴とするシステム。
2. 前記オペレーティングシステムがＬＩＮＵＸオペレーティングシステムであり、前記複数の仮想インタフェースがＬＩＮＵＸインタフェースであることを特徴とする請求項１に記載のシステム。
3. 前記複数のリーフ要素の第１のリーフ要素が、
   アプリケーションからパケットを受信し、
   前記複数のリーフ要素の前記第１のリーフ要素の第１のインタフェースのＶＬＡＮタグをルックアップし、
   前記パケットに前記ＶＬＡＮタグをタグ付けし、タグ付けされたパケットを得て、
   前記複数のリーフ要素の第２のリーフ要素の第２のインタフェースに前記タグ付けされたパケットを注入する、
   ようにプログラミングされることを特徴とする請求項１に記載のシステム。
4. 前記第１のリーフ要素が、
   ネットワークを通して前記第２のリーフ要素から前記タグ付けされたパケットを受信し、
   前記タグ付けされたパケットから前記ＶＬＡＮタグを取り除き、タグを取り除かれたパケットを得て、
   前記ＶＬＡＮタグに対応する前記第１のリーフ要素のフロントパネルインタフェースから前記タグを取り除かれたパケットを出力する、
   ようにプログラミングされることを特徴とする請求項３に記載のシステム。
5. 前記制御要素が、前記複数の分解されたネットワーク要素の外部のコンピュータシステムであることを特徴とする請求項１に記載のシステム。
6. 前記複数の分解されたネットワーク要素及び前記ネットワークが、セルフルーティングネットワークファブリックを実装することを特徴とする請求項１に記載のシステム。
7. 前記セルフルーティングネットワークファブリックがルーティングプロトコルを実装することを特徴とする請求項６に記載のシステム。
8. 前記複数の分解されたネットワーク要素がさらに、前記複数のリーフ要素のバックパネルポートに接続された複数のスパイン要素を含むことを特徴とする請求項７に記載のシステム。
9. 前記複数のスパイン要素がＲＡＭＯＮシリコンデバイスを含み、前記複数のリーフ要素がＪＥＲＩＣＨＯ－２シリコンデバイスを含むことを特徴とする請求項８に記載のシステム。
10. ネットワークにより接続され、シャーシの共通のバックプレーンによっては互いに接続されていない複数の分解されたネットワーク要素を提供し、
    前記複数の分解されたネットワーク要素に接続された制御要素を提供し、
    前記制御要素により、前記制御要素のオペレーティングシステム内に、前記複数の分解されたネットワーク要素内に含まれる複数のリーフ要素の各リーフ要素のための複数の仮想インタフェースを作成し、
    前記制御要素により、前記複数の仮想インタフェースの１つに各フロントパネルインタフェースを関連付けする為に、前記複数のリーフ要素の複数のフロントパネルインタフェースの前記各フロントパネルインタフェースに仮想ローカルエリアネットワーク（ＶＬＡＮ）タグを割り当て、
    前記複数のリーフ要素の第１のリーフ要素により、
    前記第１のリーフ要素の第１のフロントパネルインタフェース上でパケットを受信し、
    前記複数のリーフ要素の第２のリーフ要素の第２のフロントパネルインタフェースのＶＬＡＮタグを前記パケットにタグ付けし、タグ付けされたパケットを得て、
    前記ネットワークを通して前記タグ付けされたパケットを前記第２のリーフ要素に送信する、
    ことを実行し、
    前記第２のリーフ要素により、前記タグ付けされたパケットを前記制御要素に転送し、
    前記制御要素により、
    前記タグ付けされたパケットの前記ＶＬＡＮタグが割り当てられた前記複数の仮想インタフェースの仮想インタフェースを識別し、
    前記タグ付けされたパケットから前記ＶＬＡＮタグを取り除き、タグを取り除かれたパケットを得て、
    前記タグを取り除かれたパケットを、前記タグ付けされたパケットの前記ＶＬＡＮタグが割り当てられた前記仮想インタフェースに入力する、
    ことを実行することを特徴とする方法。
11. 前記複数のリーフ要素の第１のリーフ要素により、
    アプリケーションからパケットを受信し、
    前記複数のリーフ要素の前記第１のリーフ要素の第１のインタフェースのＶＬＡＮタグをルックアップし、
    前記パケットに前記ＶＬＡＮタグをタグ付けし、タグ付けされたパケットを得て、
    前記複数のリーフ要素の第２のリーフ要素の第２のインタフェースに前記タグ付けされたパケットを注入する、
    ことを実行することをさらに含むことを特徴とする請求項１０に記載の方法。
12. 前記第１のリーフ要素により、
    ネットワークを通して前記第２のリーフ要素から前記タグ付けされたパケットを受信し、
    前記タグ付けされたパケットから前記ＶＬＡＮタグを取り除き、タグを取り除かれたパケットを得て、
    前記ＶＬＡＮタグに対応する前記第１のリーフ要素のフロントパネルインタフェースから前記タグを取り除かれたパケットを出力する、
    ことを実行することをさらに含むことを特徴とする請求項１１に記載の方法。
13. 前記制御要素が、前記複数の分解されたネットワーク要素の外部のコンピュータシステムであることを特徴とする請求項１０に記載の方法。
14. 前記複数の分解されたネットワーク要素及び前記ネットワークが、セルフルーティングネットワークファブリックを実装することを特徴とする請求項１０に記載の方法。

Images