TWI539776B - 資料中心伺服器資源的動態規劃方法 - Google Patents

Description

資料中心伺服器資源的動態規劃方法

本發明是有關於一種伺服器資源的規劃方法，且特別是有關於一種資料中心伺服器資源的動態規劃方法。

現有雲端資料中心(cloud data center)為達到規模經濟效益，並提供租用戶們(tenants)近乎無限的運算能力與儲存能力，多半擁有成千上萬台伺服器，並利用網路將其互相連接。而僅提供其中一部份的伺服器與網路予各租戶租用，以提供穩定且高效能的雲端服務給終端使用者。在資料中心業者欲提高資源利用率以求取資產之最大利益的目標下，高效率資源規劃技術已成為雲端資料中心之必要關鍵技術。

各資料中心針對租戶所建置的雲端服務千般萬樣且大小不一，個別服務的網路頻寬需求也變化難測或具有高度彈性。然而，現有資料中心的資源分配機制給個別雲端服務的網路結構(topology)並不是非阻絕式(non-blocking)的網路，因此在許 多狀況下即使該服務所佔用的網路結構仍有剩餘頻寬，卻可能因為網路流量阻塞在某些節點而無法完整利用。同時，不同雲端服務的傳輸路徑也可能因共享網路資源而互相干擾。因此，現有機制實難兼顧資料中心資源利用率、網路效能與服務穩定性三大目的。而且，資料中心現有的混合式網路資源共享機制也可能帶來資訊安全漏洞。關於這些挑戰，目前仍缺乏統一而成熟的解決方法。

本發明提供一種資料中心伺服器資源的動態規劃方法，可兼顧資料中心的資源利用率、網路效能與服務穩定性。

本發明的資料中心伺服器資源的動態規劃方法，適於由資料中心分配一服務，其中此服務要求配置d個伺服器。上述資料中心包括多個機房(pod)，各個機房包括分別與多個邊際交換器(edge switch)連接的多個機櫃(rack)，各個機櫃可配置多個伺服器，並經由所連接的邊際交換器依序將所述伺服器連接至多個整合交換器(aggregation switch)，其中d為正整數。上述方法係先在所有機房中找尋其剩餘空間大於等於d的機櫃，以將d個伺服器分配至此機櫃。若此機櫃無法配置d個伺服器，則對其中一個機房進行單機房重分配，以將此機房的其中一個機櫃空出，使得此機櫃的剩餘空間大於等於d，從而將d個伺服器分配至此機櫃。若無法在此機房中空出機櫃，則對所有機房進行跨機房重分 配，以空出所述機房中對應機櫃的對應伺服器位置，使得這些對應伺服器位置的剩餘空間大於等於d，從而將d個伺服器分配至這些對應伺服器位置。

在本發明的一實施例中，上述在機房中找尋剩餘空間大於等於d的機櫃，以將d個伺服器分配至此機櫃的步驟包括在所有機房中找尋總剩餘空間最多的至少一個機房，此總剩餘空間為各個機房中所有機櫃的剩餘空間的總和。然後，在這些機房中選擇排序在先的第一機房分配服務。

在本發明的一實施例中，在上述選擇排序在先的第一機房分配服務的步驟之後，所述方法更判斷此第一機房的總剩餘空間是否小於d，而若此總剩餘空間小於d，結束服務的分配。

在本發明的一實施例中，上述對其中一個機房進行單機房重分配的步驟包括對上述的第一機房進行單機房重分配。

在本發明的一實施例中，上述在所有機房中找尋剩餘空間大於等於d的機櫃，以將d個伺服器分配至此機櫃的步驟更將d個伺服器分配至機櫃中排序在先的多個伺服器位置。

在本發明的一實施例中，上述對其中一個機房進行單機房重分配，以將此機房的其中一個機櫃空出，使得此機櫃的剩餘空間大於等於d的步驟包括針對此機房，列出包括多個重組排程的排程清單，這些重組排程包括機房內兩個伺服器位置的交換，以及機房之間對應伺服器位置的交換。然後，針對此機房中的各個機櫃，將涉及機櫃內伺服器位置的所有重組排程以一個二分圖 (bipartite graph)表示，並利用最大匹配演算法(maximum cardinality bipartite matching)選擇彼此無重疊的多個重組排程集合。最後，在此機房中選擇重組排程集合的排程數目大於等於d的機櫃，並對此機櫃執行所述d組重組排程，以將此機櫃空出。

在本發明的一實施例中，上述在機房中選擇重組排程集合的排程數目大於等於d的機櫃的步驟包括在機房中所述重組排程集合的排程數目大於等於d的多個機櫃中選擇排序在先的第一機櫃。

在本發明的一實施例中，上述對機櫃執行d組重組排程，以將此機櫃空出的步驟包括執行此機櫃的多個重組排程中排序在先的d組重組排程，以將此機櫃空出。

在本發明的一實施例中，上述針對機房，列出包括多個重組排程的排程清單的步驟包括將此機房內多個機櫃之間對應的多個伺服器位置中任兩個伺服器位置的交換加入排程清單，並將此機房內不屬於同一個機櫃且不屬於所述機櫃之間相同對應位置的任兩個伺服器位置的交換加入排程清單，以及將機房之間任兩個對應伺服器位置的交換加入排程清單。

在本發明的一實施例中，上述對所有機房進行跨機房重分配，以將這些機房中對應機櫃的對應伺服器位置空出，使得對應伺服器位置的剩餘空間大於等於d的步驟包括針對各個機房，列出包括多個重組排程的排程清單，這些重組排程包括各個機房內每個空閒伺服器的位置及兩個伺服器位置的交換。然後，針對 機房之間對應的每一個伺服器位置(a,e)，計算其可被重組的機房數目，其中a代表對應的整合交換器的編號，e代表對應的邊際交換器的編號。最後，選擇可被重組之機房數目大於等於d的伺服器位置(a,e)，並對伺服器位置(a,e)可被重組的機房執行重組排程，以將這些機房中對應機櫃的對應伺服器位置(a,e)空出。

在本發明的一實施例中，上述選擇可被重組之機房數目大於等於d的伺服器位置(a,e)的步驟包括選擇可被重組之機房數目大於等於d的多個伺服器位置(a,e)中排序在先的第一伺服器位置(a,e)。

在本發明的一實施例中，上述對伺服器位置(a,e)可被重組的機房執行重組排程，以將這些機房中對應機櫃的對應伺服器位置(a,e)空出的步驟包括對伺服器位置(a,e)可被重組的機房執行排序在先的d個重組排程，以將這些機房中對應機櫃的對應伺服器位置(a,e)空出。

在本發明的一實施例中，上述針對各個機房，列出包括多個重組排程的排程清單的步驟包括將此機房內每個空閒伺服器的位置加入排程清單，並將此機房內多個機櫃之間對應的多個伺服器位置中任兩個伺服器位置的交換加入排程清單，以及將此機房內不屬於同一個機櫃且不屬於機櫃之間相同對應位置的任兩個伺服器位置的交換加入排程清單。

基於上述，本發明的資料中心伺服器資源的動態規劃方法係針對多功能樹狀(fat tree)網路架構設計數種特殊的資源分配 型式，並結合單機房重分配、跨機房重分配及重組排程條列等多個程序，提出可平行進行的資源重組機制。藉此，本發明在重組過程中僅需使用極少量的資源搬移次數，即可滿足各種雲端服務的需求，而達到兼顧資料中心的資源利用率、網路效能與服務穩定性的目的。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

10‧‧‧多功能樹狀網路架構

12‧‧‧8埠交換器

20、30、40A、40B、40C、50A、50B、50C‧‧‧機櫃

22、3234、36、42、44、46、52、54、56‧‧‧伺服器

60‧‧‧二維矩陣

70‧‧‧三維立方體

72‧‧‧節點

74、76、78‧‧‧節點列

a1~a4‧‧‧整合交換器

e1~e4‧‧‧邊際交換器

S902~S916、S1002~S1006、S1102~S1108、S1202~S1206‧‧‧步驟

圖1是依照本發明一實施例所繪示之多功能樹狀網路架構的示意圖。

圖2是依照本發明一實施例所繪示之單伺服器分配的示意圖。

圖3是依照本發明一實施例所繪示之單機櫃分配的示意圖。

圖4是依照本發明一實施例所繪示之跨機櫃分配的示意圖。

圖5是依照本發明一實施例所繪示之跨機房分配的示意圖。

圖6(a)及圖6(b)是依照本發明一實施例所繪示之以二維矩陣表示整合交換器及邊際交換器之分配的示意圖。

圖7(a)及圖7(b)是依照本發明一實施例所繪示之以三維矩陣表示不同機房間整合交換器及邊際交換器之分配的示意圖。

圖8(a)及圖8(b)是依照本發明一實施例所繪示之重組排程的範例。

圖9是依照本發明一實施例所繪示之資料中心伺服器資源的 動態規劃方法的流程圖。

圖10是依照本發明一實施例所繪示之單機房重分配程序的流程圖。

圖11是依照本發明一實施例所繪示之重組排程條列程序的流程圖。

圖12是依照本發明一實施例所繪示之跨機房重分配程序的流程圖。

本發明係針對多功能樹狀(fattree)網路架構設計數種特殊的資源分配型式，使得每個雲端服務均可擁有非阻絕式(non-blocking)的網路架構，而能夠適應多變的網路頻寬需求。此外，本發明亦根據這些資源分配型式的特性設計了資源重組機制，其可在多項式時間內快速計算出保證可行且可平行進行的資源重組排程。藉此，可將零碎資源重組，騰出完整空間以滿足新進的雲端服務需求。

圖1是依照本發明一實施例所繪示之多功能樹狀網路架構的示意圖。請參照圖1，本實施例的網路架構10是一個由8埠交換器建構而成的8元(8-ary)多功能樹狀網路架構。網路架構10包括位於邊際層的32個邊際交換器(edge switch)、位於整合層的32個整合交換器(aggregation switch)，以及位於核心層的16個核心交換器(core switch)。其中，每個邊際交換器可分別與4個伺服器連接，邊際交換器和整合交換器係每4個為一組彼此互 相連接，而可與一個機房(pod)內的16台伺服器連接。例如，一個機房可使用網路架構10內的8個8埠交換器12，將此機房內部的16個伺服器與核心層的16個核心交換器互相連接。需說明的是，雖然上述實施例是以由8埠交換器建構而成的8元樹狀網路架構做說明，但本發明並不限於此。在實際的應用上，本發明亦適用於使用16元、24元、48元等不同尺寸的網路。

本實施例允許同一個服務內所屬的每個伺服器均使用一條路徑連到一個共同的交換器(可以是邊際交換器、整合交換器或核心交換器)，並從此共同交換器使用一條路徑連到核心交換器。每條路徑最多由一個服務使用，這種網路拓樸的超額利用率(oversubscription ratio)為1：1。藉此，需求變化難測的雲端服務在任意流量模式下都可取得完整的互連頻寬。此外，由於每個網路連結最多只分配到一個雲端服務，因此不受同屬一個資料中心的其他雲端服務所干擾，而可確保其穩定性及效能，也可降低資安風險。

針對上述共同交換器位置的不同，本發明設計了四種資源分配型式，這些型式的網路距離(hop distance)與容錯能力均不相同，而可適用於不同需求的雲端服務。其中，單伺服器分配是對應於所需伺服器數量為1的雲端服務，其僅使用1個邊際交換器，連到1個整合交換器，再連到1個核心交換器；單機櫃(rack)分配是對應於所需伺服器數量為d的雲端服務，其係將所有的d個伺服器均放在同一個機櫃中，共同連到同一個邊際交換器，再 連到d個整合交換器，再連到d個核心交換器，此種分配方式具備較低的延遲(latency)；跨機櫃分配是對應於所需伺服器數量為d的雲端服務，其係將所有的d個伺服器分別放到d個機櫃中，共使用d個邊際交換器(即每個伺服器連到1個邊際交換器)，再連到同一個整合交換器，再連到d個核心交換器，此種分配方式具備較佳的容錯(fault-tolerance)能力；跨機房分配是對應於所需伺服器數量為d的雲端服務，其係將所有的d個伺服器分別放到d個機房中，使用d個邊際交換器(即每個伺服器連到1個邊際交換器)，d個邊際交換器再連到d個整合交換器(即每個邊際交換器連到1個整合交換器)，再從不同的機房連到同一個核心交換器，此種分配方式兼具較佳的容錯能力及資源利用率。以下即舉例說明這四種資源分配型式。

圖2是依照本發明一實施例所繪示之單伺服器分配的示意圖。請參照圖2，本實施例係用以分配所需伺服器數量為1的雲端服務。其中，本實施例係將伺服器22配置在機櫃20中，並依照伺服器22在機櫃20中的位置(即位置2)，建立伺服器22的連接路徑，此路徑依序為邊際交換器4、整合交換器2及核心交換器4。

圖3是依照本發明一實施例所繪示之單機櫃分配的示意圖。請參照圖3，本實施例係用以在單機櫃中分配所需伺服器數量為3的雲端服務。其中，本實施例係將伺服器32、34、36放在同一個機櫃30中，並依照這些伺服器在機櫃30的位置(即位置1、 3、4)，將其共同連到同一個邊際交換器2，再經由邊際交換器2分別連到整合交換器1、3、4，再分別經由整合交換器1、3、4連到不同位置的核心交換器2。

圖4是依照本發明一實施例所繪示之跨機櫃分配的示意圖。請參照圖4，本實施例係用以跨機櫃分配所需伺服器數量為3的雲端服務。其中，本實施例係將伺服器42、44、46分別放在機櫃40A、40B、40C中，而分別使用邊際交換器1、2、4連到同一個整合交換器2，再經由整合交換器2連到核心交換器1、2、4。

圖5是依照本發明一實施例所繪示之跨機房分配的示意圖。請參照圖5，本實施例係用以在不同機房之間分配所需伺服器數量為3的雲端服務。其中，本實施例係將伺服器52、54、56分別放到不同機房中位置相對應的機櫃(即機房3的機櫃50A、機房4的機櫃50B、機房6的機櫃50C)且位置相對應的伺服器位置中，並使用位於不同機房但位置相對應的3個邊際交換器3(即每個伺服器連到1個邊際交換器3)連接，再將這3個邊際交換器3分別連到不同機房但位置相對應的3個整合交換器2(即每個邊際交換器3連到1個整合交換器2)，再經由這些整合交換器2從不同的機房連到同一個核心交換器3。

需說明的是，雖然上述範例是以伺服器的分配與重組做說明，但本發明還可應用於網路路徑的選擇，也就是圖2至圖5內的伺服器如何透過網路連接到核心交換器。詳言之，當資料中心在為伺服器選擇網路路徑時，就是依照伺服器的編號而依序選 擇對應的交換器編號，從而建立相關的路徑。此外，上述圖2至圖5的範例雖然針對每個交換器及伺服器給予編號，然而這些編號僅為舉例說明，僅用於表示伺服器對於邊際交換器、整合交換器或核心交換器的對應連接關係，實際上並未存在，圖2至圖5範例中的伺服器及交換器的位置實際上沒有順序性。或者，實際上應用時可採用不同編號順序。

另一方面，由於多功能樹狀網路架構在三個交換器層的上行鏈路與下行鏈路具有對稱的特性，故在上述的分配機制下，資源分配及重分配過程的計算可以僅侷限於邊際交換器、整合交換器及其間的所有連線，而不用計算整個網路，計算結果仍可輕易轉換為整個多功能樹狀網路的資源分配結果。

據此，本發明採用另一個角度來描述上述的分配機制，即對於任意的機房，將其所有的整合交換器及邊際交換器共同形成一個二分圖(bipartite graph)，並用一個等價的二維矩陣表示。其中，假設a與e分別代表整合交換器及邊際交換器的編號，則每個(a,e)的組合皆可代表某個路徑的位置。再考慮多功能樹狀網路內含有多個機房，因此，整個多功能樹狀網路的資源分配及重分配過程可視為是針對一個三維矩陣進行運算。

舉例來說，圖6(a)及圖6(b)是依照本發明一實施例所繪示之以二維矩陣表示整合交換器及邊際交換器之分配的示意圖。其中，圖6(a)中的細線係繪示整合交換器a1~a4及邊際交換器e1~e4之間所有可能的連結，而圖6(a)中的粗線則繪示整合交換器 a1~a4及邊際交換器e1~e4之間的實際連結。若用一個等價的二維矩陣來表示圖6(a)中整合交換器a1~a4及邊際交換器e1~e4之間的實際連結，則可得到如圖6(b)所示的二維矩陣60。

另一方面，圖7(a)及圖7(b)是依照本發明一實施例所繪示之以三維矩陣表示不同機房間整合交換器及邊際交換器之分配的示意圖。請參照圖7(a)，本實施例係以整合交換器(a軸)、邊際交換器(e軸)及機房(p軸)的編號做為三維空間的3個軸，而繪示三維立方體70。此三維立方體70的每個節點係代表多功能樹狀網路中的不同伺服器位置(即每個伺服器位置具有獨立的機房編號、整合交換器編號及邊際交換器編號)。請參照圖7(b)，若將上述的單伺服器分配以此三維立方體70表示，則該伺服器即可以三維立方體70中的一個節點(例如節點72)表示；若將上述的單機櫃分配以此三維立方體70表示，則所要分配的伺服器可以三維立方體70中a軸方向上的多個節點(e軸、p軸方向上的位置固定，例如節點列74)表示；若將上述的跨機櫃分配以此三維立方體70表示，則所要分配的伺服器可以三維立方體70中e軸方向上的多個節點(a軸、p軸方向上的位置固定，例如節點列76)表示；若將上述的跨機房分配以此三維立方體70表示，則所要分配的伺服器可以三維立方體70中p軸方向上的多個節點(a軸、e軸方向上的位置固定，例如節點列78)表示。

基於上述的分配機制，本發明係將整個資源分配機制區分為一個主程序與三個子程序(分別為單機房重分配程序、跨機 房重分配程序及重組排程條列程序)，其中三個子程序可由主程序在必要時進行呼叫，主程序係針對一個雲端服務進行資源分配。當剩餘空間無法直接部署服務請求時，主程序即呼叫子程序尋找資源重組的排程，並選擇重組成本較低的適當排程。若重組可行，則對資源進行重組，並部署該服務請求。

需注意的是，下列實施例是針對單機櫃分配的服務進行部署。然而，如先前所述，資源過程的分配與重組過程僅針對多功能樹狀網路的局部架構(即整合層與邊際層)做計算，而此局部結構又為對稱形式。因此，若有需要針對跨機櫃分配的服務進行部署，則在一實施例中，可將上述結構翻轉，即將每個機房的二維矩陣進行轉置(transpose)，而暫時將運作中的單機櫃分配服務視為跨機櫃分配服務，將運作中的跨機櫃分配服務視為單機櫃分配服務，並以下列方法進行重分配。待重分配程序結束時，再將分配結果轉換回原狀(即將跨機櫃分配服務的重分配結果轉換回單機櫃分配服務的結果，以及將單機櫃分配服務的重分配結果轉換回跨機櫃分配服務的結果)。此外，在另一實施例中，則可將上述圖7(a)及圖7(b)所繪示之三維矩陣整個進行九十度旋轉)以作為分配程序的輸入，如此即可使用相同的程序來部署跨機櫃分配的服務。此外，若在進行上述單機櫃分配及跨機櫃分配的過程中發現剩餘空間不足，亦可改用跨機房分配的型式部署至不同的機房中。而是否支援此種跨機房的資源分配與重組，則可依不同的營運策略彈性調整，在此不設限。

在本發明的一實施例中，服務部署的基本概念是在上述的矩陣中找尋符合型式要求的剩餘空間。本實施例對於剩餘空間的要求雖然不一定要連續，但卻必須在同一行(或列)中。對於重組程序而言，由於各種分配型式都可以在某一個方向上移動。因此，重組程序可以找到許多重組排程，也就是多組移動路徑的配對與順序，而可在移動次數有限的情況下，騰出適當的剩餘空間，以建置新進的雲端服務。

舉例來說，圖8(a)及圖8(b)是依照本發明一實施例所繪示之重組排程的範例。請先參照圖8(a)，本實施例說明單機房內伺服器位置的重組排程，其中所有的伺服器位置可以(a,e)代表，a代表整合交換器a1~a4，e代表邊際交換器e1~e4。若重組排程欲空出邊際交換器e3下的伺服器位置以便進行單機櫃分配，且將每個伺服器位置的可移動次數(即重組成本上限)限制為1，則可分別將空的伺服器位置(e1,a2)、(e1,a4)、(e5,a1)、(e5,a5)分別與邊際交換器e3下的伺服器位置(e3,a2)、(e3,a4)、(e3,a1)、(e3,a5)對換，即可騰出邊際交換器e3的剩餘空間，供新進的雲端服務做分配。請再參照圖8(b)，若重組排程同樣欲空出邊際交換器e3下的伺服器位置以便進行單機櫃分配，且將每個伺服器位置的可移動次數限制為2，則可先將空的伺服器位置(e1,a4)、(e4,a2)分別與同機櫃下的伺服器位置(e1,a1)、(e4,a5)對換，再將對換後空的伺服器位置(e1,a1)、(e4,a5)與邊際交換器e3下的伺服器位置(e3,a1)、(e3,a5)對換，即可騰出邊際交換器e3的剩餘空間，供新進 的雲端服務做分配。

接下來，即介紹本發明之資源分配機制的主程序與三個子程序的詳細實施方式。其中，主程序例如是由資料中心執行，以針對遠端租戶或使用者所提出的服務要求，進行伺服器資源的動態規劃。本實施例的資料中心包括多個機房。各個機房包括多個機櫃，而可分別連接多個邊際交換器。各個機櫃可配置多個伺服器，並可經由所連接的邊際交換器依序將伺服器連接至多個整合交換器。

圖9是依照本發明一實施例所繪示之資料中心伺服器資源的動態規劃方法的流程圖。請參照圖9，本實施例的方法適用上述的資料中心，而可由資料中心執行主程序，以便針對需求伺服器數量為d且為單機櫃分配的雲端服務進行分配，其中d為正整數。

首先，資料中心會在所有機房中找尋一個剩餘空間大於等於d的機櫃(步驟S902)，並判斷是否找到此機櫃(步驟S904)。其中，資料中心例如會在所有機房中找尋總剩餘空間最多的至少一個機房，此總剩餘空間為各個機房中所有機櫃的剩餘空間的總和。當總剩餘空間最多的機房不止一個時，資料中心例如會選擇其中排序在先的第一機房來分配服務。而在選出第一機房之後，資料中心例如還會進一步判斷此第一機房的總剩餘空間是否小於d。其中，若第一機房的總剩餘空間小於d，則代表所有機房都無法滿足該服務，而可結束該服務的分配。

在步驟S904中，若資料中心有找到剩餘空間大於等於d的機櫃，則可將d個伺服器分配至此機櫃(步驟S906)。其中，若資料中心發現此機櫃的剩餘空間大於d，例如會將d個伺服器分配至此機櫃中排序在先的多個空閒伺服器位置，即有空閒的第1到第d個伺服器位置。要說明的是，未必要連續分配d個伺服器，若無排序在先且連續的d個連續空閒空間，d個伺服器可為不連續分配於此機櫃中。

另一方面，在步驟S904中，若資料中心無法找到該機櫃，則會在所有機房中選擇一個機房進行單機房重分配，以將此機房的其中一個機櫃空出，使得此機櫃的剩餘空間大於等於d(步驟S908)。其中，資料中心例如會在所有機房中選擇總剩餘空間最多且排序在先的第一機房來進行單機房重分配，在此不設限。需說明的是，在步驟S908中，主程序例如會呼叫單機房重分配程序，以對所述機房進行單機房重分配。

舉例來說，圖10是依照本發明一實施例所繪示之單機房重分配程序的流程圖。請參照圖10，本實施例係由資料中心執行單機房重分配程序，以針對所述機房，列出包括多個重組排程的排程清單，這些重組排程包括機房內兩個伺服器位置的交換，以及所述機房之間對應伺服器位置的交換(步驟S1002)。其中，單機房重分配程序在列出排程清單時，例如會呼叫重組排程條列程序，並要求提供排程清單，關於重組排程條列程序的詳細流程將於下文說明。

待取得所述機房的排程清單後，單機房重分配程序即會針對此機房中的各個機櫃，將涉及該機櫃內伺服器位置的所有重組排程以一個二分圖(bipartite graph)表示，並利用最大匹配演算法(maximum cardinality bipartite matching)選擇儘量多的彼此無重疊的多個重組排程集合(步驟S1004)。無重疊指的是兩個(或以上)的伺服器不能被搬移至同一個可用的伺服器位置。

最後，單機房重分配程序即可從這些重組排程集合中，選擇重組排程集合的排程數目大於等於d的機櫃，並對此機櫃執行d組重組排程，以將此機櫃空出(步驟S1006)。其中，單機房重分配程序在選擇機櫃時，例如會選擇第一個具有足夠排程數目(即重組排程集合的排程數目大於等於d)的機櫃，而在對此機櫃執行d組重組排程時，單機房重分配程序還可在此機櫃的多個重組排程中選擇排序在先的d組重組排程來執行，在此不設限。待完成資源重組後，單機房重分配程序即會將其執行重組排程後所釋放出的可用伺服器位置回傳給主程序，以便主程序分配服務。

需說明的是，上述主程序在呼叫單機房重分配程序時，例如會使用不同的重組成本上限參數，此參數的範圍為1至3，而重組排程條列程序在被單機房重分配程序呼叫時，即會依照單機房重分配程序給定的重組成本上限來建立排程清單，以便提供給單機房重分配程序進行後續的重組排程。應說明的是，同一機櫃中移動一次的重組成本為1。

舉例來說，圖11是依照本發明一實施例所繪示之重組排 程條列程序的流程圖。請參照圖10，本實施例係由資料中心根據給定的機房及重組成本上限，在單一個機房中列舉出各種合適的資源重組排程，此重組成本上限的參數值包括0至3。其中，如果重組成本上限大於等於0，資料中心即會將機房內每個空閒伺服器的位置加入排程清單(步驟S1102)；如果重組成本上限大於等於1，資料中心會將機房內所有機櫃之間對應的多個伺服器位置中任兩個伺服器位置的交換加入排程清單(步驟S1104)，此步驟即類似於上述圖8(a)的交換方式，而僅對機櫃之間相對應之伺服器位置進行交換；如果重組成本上限大於等於2，資料中心會將機房內不屬於同一個機櫃且不屬於機櫃之間相同對應位置的任兩個伺服器位置的交換加入排程清單(步驟S1106)，此步驟即類似於上述圖8(b)的交換方式，而可對機房內位於不同行(即不屬於同一個機櫃)且不同列(即不屬於機櫃之間相同對應位置)的兩個伺服器位置進行交換；如果重組成本上限大於等於3，資料中心會將所有機房之間任兩個對應伺服器位置的交換加入排程清單(步驟S1108)，此步驟類似於將上述圖5中伺服器52、54、56的位置互相交換，以便藉由跨機房的交換空出某機房的某個機櫃，使其剩餘空間能夠分配d個伺服器。

根據上述，由於主程序在呼叫單機房重分配程序時，所使用的重組成本上限參數為1至3，故單機房重分配程序在呼叫重組排程條列程序時，重組排程條列程序只會將步驟S1104至S1108中產生的重組排程加入排程清單，並回報單機房重分配程序，以 便單機房重分配程序據以執行重組排程。

回到圖9的流程，在進行單機房重分配之後，資料中心會判斷其是否可在此機房中空出機櫃(步驟S910)。若可空出機櫃，資料中心即可將d個伺服器分配至此機櫃(步驟S906)。其中，若資料中心在空出機櫃後，發現所空出的剩餘空間大於d，則可將d個伺服器分配至此機櫃中排序在先的多個空閒伺服器位置，即有空閒的第1到第d個伺服器位置。

另一方面，在步驟S910中，若無法空出機櫃，則資料中心會對所有機房進行跨機房重分配，以空出這些機房中對應機櫃的對應伺服器位置，使得這些對應伺服器位置的剩餘空間大於等於d(步驟S912)。其中，資料中心例如會在可被重組之機房數目大於等於d的多個伺服器位置(a,e)中，選擇排序在先的第一伺服器位置(a,e)以進行跨機房重分配，在此不設限。需說明的是，在步驟S912中，主程序例如會呼叫跨機房重分配程序，以對所述機房進行跨機房重分配。

舉例來說，圖12是依照本發明一實施例所繪示之跨機房重分配程序的流程圖。請參照圖12，本實施例係由資料中心執行跨機房重分配程序，以針對各個機房，列出包括多個重組排程的排程清單，這些重組排程包括各個機房內每個空閒伺服器的位置及兩個伺服器位置的交換(步驟S1202)。類似於上述實施例中的單機房重分配程序，本實施例中跨機房重分配程序在列出排程清單時，例如也會呼叫重組排程條列程序，並要求其提供排程清單。

需說明的是，上述主程序在呼叫跨機房重分配程序時，例如會使用不同的重組成本上限參數，此參數的範圍為0至2，而重組排程條列程序在被跨機房重分配程序呼叫時，即會依照跨機房重分配程序給定的重組成本上限來建立排程清單，以便提供給跨機房重分配程序進行後續的重組排程。

而根據上述，由於主程序在呼叫跨機房重分配程序時，所使用的重組成本上限參數為0至2，故跨機房重分配程序在呼叫重組排程條列程序時，重組排程條列程序只會將步驟S1102至S1106中產生的重組排程加入排程清單，並回報跨機房重分配程序，以便跨機房重分配程序據以執行重組排程。

待取得各個機房的排程清單後，跨機房重分配程序即會針對機房之間對應的每一個伺服器位置(a,e)，計算其可被重組的機房數目(步驟S1204)，其中a代表對應的整合交換器的編號，e代表對應的邊際交換器的編號。

最後，跨機房重分配程序即可選擇可被重組之機房數目大於等於d的伺服器位置(a,e)，並對此伺服器位置(a,e)可被重組的機房執行重組排程，以將這些機房中對應機櫃的對應伺服器位置(a,e)空出(步驟S1206)。其中，跨機房重分配程序在選擇機房時，例如會選擇第一個具有足夠可重組機房數的伺服器位置(a,e)，而在對此伺服器位置(a,e)執行d組重組排程時，跨機房重分配程序還可在伺服器位置(a,e)可被重組的多個重組排程中，選擇排序在先的d個重組排程來執行，以將這些機房中對應機櫃的對 應伺服器位置(a,e)空出。待完成資源重組後，跨機房重分配程序即會將其執行這些重組排程後所釋放出的可用伺服器位置回傳給主程序，以便主程序分配服務。

綜上所述，本發明的資料中心伺服器資源的動態規劃方法係藉由特定網路資源分配結構，以及特定資源分配暨重組機制，使得資料中心內的個別雲端服務得以獨享不受干擾的完整網路頻寬，而可適應雲端服務之任意網路互連需求。為克服特定資源分配型式在資源利用率上的瓶頸與限制，本發明的資源重組技術可以在短時間內產生合理的資源重組排程，該排程僅使用極低的重組次數以重新分配網路資源，而可提高資料中心的資源利用率。同時，在本發明的資源重組過程中，資料中心運作中的網路結構保持不變，因此得以在維持高度資源利用率的同時，仍確保其服務穩定性及可靠度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S902~S916‧‧‧本發明一實施例之資料中心伺服器資源的動態規劃方法的步驟

Claims (22)

1. 一種資料中心伺服器資源的動態規劃方法，適於由一資料中心分配一服務，其中該服務要求配置d個伺服器，該資料中心採用一多功能樹狀網路架構，該多功能樹狀網路架構包括位於邊際層的多個邊際交換器(edge switch)、位於整合層的多個整合交換器(aggregation switch)，以及位於核心層的多個核心交換器(core switch)，其中每一組所述邊際交換器及所述整合交換器彼此互相連接，且每一組所述整合交換器中的各所述整合交換器依序與不同組的所述核心交換器中的對應核心交換器連接，該資料中心包括多個機房(pod)，各所述機房包括分別連接所述邊際交換器的多個機櫃(rack)，各所述機櫃可配置多個伺服器，並經由所連接的該邊際交換器依序連接所述伺服器至所述整合交換器，並經由所述整合交換器連接至所述核心交換器，其中d為正整數，該方法包括下列步驟：在所述機房中找尋一剩餘空間大於等於d的該機櫃，以分配該d個伺服器至該機櫃；若無法找到該機櫃，對所述機房其中之一進行一單機房重分配，以空出該機房的其中一個機櫃，使得該機櫃的該剩餘空間大於等於d，並分配該d個伺服器至該機櫃；以及若無法在該機房中空出該機櫃，對所有機房進行一跨機房重分配，以空出所述機房中對應機櫃的對應伺服器位置，使得所述對應伺服器位置的該剩餘空間大於等於d，並分配該d個伺服器至 所述對應伺服器位置。
2. 如申請專利範圍第1項所述的資料中心伺服器資源的動態規劃方法，其中在所述機房中找尋該剩餘空間大於等於d的該機櫃，以分配該d個伺服器至該機櫃的步驟包括：在所述機房中找尋一總剩餘空間最多的至少一機房，該總剩餘空間為各所述機房中所有機櫃的該剩餘空間的總和；以及選擇所述機房中排序在先的一第一機房分配該服務。
3. 如申請專利範圍第2項所述的資料中心伺服器資源的動態規劃方法，其中在選擇所述機房中排序在先的該第一機房分配該服務的步驟之後，更包括：判斷該第一機房的該總剩餘空間是否小於d；以及若該總剩餘空間小於d，結束該服務的分配。
4. 如申請專利範圍第2項所述的資料中心伺服器資源的動態規劃方法，其中對所述機房其中之一進行該單機房重分配的步驟包括：對該第一機房進行該單機房重分配。
5. 如申請專利範圍第1項所述的資料中心伺服器資源的動態規劃方法，其中在所述機房中找尋該剩餘空間大於等於d的該機櫃，以分配該d個伺服器至該機櫃的步驟更包括：分配該d個伺服器至該機櫃中排序在先的多個伺服器位置。
6. 如申請專利範圍第1項所述的資料中心伺服器資源的動態規劃方法，其中對所述機房其中之一進行該單機房重分配，以空 出該機房的其中一個機櫃，使得該機櫃的該剩餘空間大於等於d的步驟包括：針對該機房，列出包括多個重組排程的一排程清單，所述重組排程包括該機房內兩個伺服器位置的交換，以及所述機房之間對應伺服器位置的交換；針對該機房中的各所述機櫃，將涉及該機櫃內所述伺服器位置的所有重組排程以一二分圖(bipartite graph)表示，並利用一最大匹配演算法(maximum cardinality bipartite matching)選擇彼此無重疊的多個重組排程集合；以及選擇該機房中所述重組排程集合的一排程數目大於等於d的該機櫃，並執行該機櫃的d組重組排程，以空出該機櫃。
7. 如申請專利範圍第6項所述的資料中心伺服器資源的動態規劃方法，其中選擇該機房中所述重組排程集合的該排程數目大於等於d的該機櫃的步驟包括：選擇該機房中所述重組排程集合的該排程數目大於等於d的多個機櫃中排序在先的一第一機櫃。
8. 如申請專利範圍第6項所述的資料中心伺服器資源的動態規劃方法，其中執行該機櫃的d組重組排程，以空出該機櫃的步驟包括：執行該機櫃的多個重組排程中排序在先的d組重組排程，以空出該機櫃。
9. 如申請專利範圍第6項所述的資料中心伺服器資源的動態 規劃方法，其中針對該機房，列出包括所述重組排程的該排程清單的步驟包括：將該機房內所述機櫃之間對應的多個伺服器位置中任兩個伺服器位置的交換加入所述排程清單；將該機房內不屬於同一機櫃且不屬於所述機櫃之間相同對應位置的任兩個伺服器位置的交換加入所述排程清單；將所述機房之間任兩個對應伺服器位置的交換加入所述排程清單。
10. 如申請專利範圍第1項所述的資料中心伺服器資源的動態規劃方法，其中對所有機房進行該跨機房重分配，以空出所述機房中對應機櫃的對應伺服器位置，使得所述對應伺服器位置的該剩餘空間大於等於d的步驟包括：針對各所述機房，列出包括多個重組排程的一排程清單，所述重組排程包括各所述機房內每個空閒伺服器的位置及兩個伺服器位置的交換；針對所述機房之間對應的每一個伺服器位置(a,e)，計算其可被重組的一機房數目，其中a代表對應的該整合交換器的編號，e代表對應的該邊際交換器的編號；選擇可被重組之該機房數目大於等於d的該伺服器位置(a,e)，並對該伺服器位置(a,e)可被重組的所述機房執行所述重組排程，以空出所述機房中對應機櫃的對應伺服器位置(a,e)。
11. 如申請專利範圍第10項所述的資料中心伺服器資源的動 態規劃方法，其中選擇可被重組之該機房數目大於等於d的該伺服器位置(a,e)的步驟包括：選擇可被重組之該機房數目大於等於d的多個伺服器位置(a,e)中排序在先的一第一伺服器位置(a,e)。
12. 如申請專利範圍第10項所述的資料中心伺服器資源的動態規劃方法，其中對該伺服器位置(a,e)可被重組的所述機房執行所述重組排程，以空出所述機房中對應機櫃的對應伺服器位置(a,e)的步驟包括：對該伺服器位置(a,e)可被重組的所述機房執行排序在先的d個重組排程，以空出所述機房中對應機櫃的對應伺服器位置(a,e)。
13. 如申請專利範圍第10項所述的資料中心伺服器資源的動態規劃方法，其中針對各所述機房，列出包括所述重組排程的該排程清單的步驟包括：將該機房內每個空閒伺服器的位置加入所述排程清單；將該機房內所述機櫃之間對應的多個伺服器位置中任兩個伺服器位置的交換加入所述排程清單；以及將該機房內不屬於同一機櫃且不屬於所述機櫃之間相同對應位置的任兩個伺服器位置的交換加入所述排程清單。
14. 一種資料中心伺服器資源的動態規劃方法，適於由一資料中心分配一服務，其中該服務要求配置d個伺服器，該資料中心採用一多功能樹狀網路架構，該多功能樹狀網路架構包括位於邊際層的多個邊際交換器(edge switch)、位於整合層的多個整合 交換器(aggregation switch)，以及位於核心層的多個核心交換器(core switch)，其中每一組所述邊際交換器及所述整合交換器彼此互相連接，且每一組所述整合交換器中的各所述整合交換器依序與不同組的所述核心交換器中的對應核心交換器連接，該資料中心包括多個機房，各所述機房包括分別連接所述邊際交換器的多個機櫃，各所述機櫃可配置多個伺服器，並經由所連接的該邊際交換器依序連接所述伺服器至所述整合交換器，並經由所述整合交換器連接至所述核心交換器，其中d為正整數，該方法包括下列步驟：在所述機房中找尋一剩餘空間大於等於d的該機櫃，以分配該d個伺服器至該機櫃；若無法找到該機櫃，對所述機房其中之一進行一跨機櫃重分配，以空出該機房的所述機櫃中位置相對應的多個伺服器位置其中之一，使得該伺服器位置的該剩餘空間大於等於d，並分配該d個伺服器至各所述機櫃的該伺服器位置；以及若無法在該機房中空出該伺服器位置，對所有機房進行一跨機房重分配，以空出所述機房中對應機櫃的對應伺服器位置，使得所述對應伺服器位置的該剩餘空間大於等於d，並分配該d個伺服器至所述對應伺服器位置。
15. 如申請專利範圍第14項所述的資料中心伺服器資源的動態規劃方法，其中在所述機房中找尋該剩餘空間大於等於d的該機櫃，以分配該d個伺服器至該機櫃的步驟包括： 在所述機房中找尋一總剩餘空間最多的至少一機房，該總剩餘空間為各所述機房中所有機櫃的該剩餘空間的總和；以及選擇所述機房中排序在先的一第一機房分配該服務。
16. 如申請專利範圍第15項所述的資料中心伺服器資源的動態規劃方法，其中在選擇所述機房中排序在先的該第一機房分配該服務的步驟之後，更包括：判斷該第一機房的該總剩餘空間是否小於d；以及若該總剩餘空間小於d，結束該服務的分配。
17. 如申請專利範圍第15項所述的資料中心伺服器資源的動態規劃方法，其中對所述機房其中之一進行該跨機櫃重分配的步驟包括：對該第一機房進行該跨機櫃重分配。
18. 如申請專利範圍第14項所述的資料中心伺服器資源的動態規劃方法，其中在所述機房中找尋該剩餘空間大於等於d的該機櫃，以分配該d個伺服器至該機櫃的步驟更包括：分配該d個伺服器至該機櫃中排序在先的多個伺服器位置。
19. 如申請專利範圍第14項所述的資料中心伺服器資源的動態規劃方法，其中對所述機房其中之一進行該跨機櫃重分配，以空出該機房的所述機櫃中位置相對應的所述伺服器位置其中之一，使得所述伺服器位置的該剩餘空間大於等於d的步驟包括：針對該機房，列出包括多個重組排程的一排程清單，所述重組排程包括該機房內兩個伺服器位置的交換，以及所述機房之間 對應伺服器位置的交換；針對該機房的所述機櫃中位置相對應的該伺服器位置，將涉及該伺服器位置的所有重組排程以一二分圖表示，並利用一最大匹配演算法選擇彼此無重疊的多個重組排程集合；以及選擇所述機櫃位置相對應的所述伺服器位置中所述重組排程集合的一排程數目大於等於d的該伺服器位置，並執行該伺服器位置的d組重組排程，以空出該伺服器位置。
20. 如申請專利範圍第19項所述的資料中心伺服器資源的動態規劃方法，其中選擇所述機櫃位置相對應的所述伺服器位置中所述重組排程集合的該排程數目大於等於d的該伺服器位置的步驟包括：選擇所述機櫃位置相對應的所述伺服器位置中所述重組排程集合的該排程數目大於等於d的多個伺服器位置中排序在先的一第一伺服器位置。
21. 如申請專利範圍第19項所述的資料中心伺服器資源的動態規劃方法，其中執行該伺服器位置的d組重組排程，以空出該伺服器位置的步驟包括：執行該伺服器位置的多個重組排程中排序在先的d組重組排程，以空出該伺服器位置。
22. 如申請專利範圍第19項所述的資料中心伺服器資源的動態規劃方法，其中針對該機房，列出包括所述重組排程的該排程清單的步驟包括： 將該機房內各所述機櫃中任兩個伺服器位置的交換加入所述排程清單；將該機房內不屬於同一機櫃且不屬於所述機櫃之間相同對應位置的任兩個伺服器位置的交換加入所述排程清單；將所述機房之間任兩個對應伺服器位置的交換加入所述排程清單。