本發(fā)明實施例提供一種資源分配方法及資源管理器，用于提高資源利用率，和/或，用于提升用戶作業(yè)的執(zhí)行效率。該方法包括：接收客戶端設備提交的作業(yè)，并將該作業(yè)分解為多個任務，其中，該多個任務中的每個任務均配置有相對應的資源需求量；估計每個任務的運行時間；根據每個任務對應的資源需求量和運行時間，結合預設的調度策略，確定該多個任務的第一分配位形，該第一分配位形用于指示該多個任務在多個計算節(jié)點中的可運行計算節(jié)點上的分布情況，該調度策略包括資源利用率優(yōu)先策略和效率優(yōu)先策略中的至少一種；將該多個任務按照第一分配位形分配到該多個任務的可運行計算節(jié)點上。本發(fā)明適用于高性能集群領域。

技術領域

本發(fā)明涉及高性能集群領域，尤其涉及一種資源分配方法及資源管理器。

背景技術

互聯(lián)網的高速發(fā)展產生了大量的用戶數據，分布式處理則是處理大規(guī)模數據集的標準手段。它的典型模式是將一個用戶作業(yè)(英文：Job)分解為一系列可分布式運行的任務(英文：Task)，并通過調度器(英文：Scheduler)將這些任務調度到合適的節(jié)點(英文：node)上進行運算。任務運行完成之后，將任務的運行結果做歸集、整理，形成作業(yè)最終的結果輸出。

調度器是集群資源與用戶作業(yè)的耦合點。調度策略的好壞直接影響了整個集群的資源利用率和用戶作業(yè)的執(zhí)行效率。目前廣泛應用的Hadoop系統(tǒng)的調度策略如圖1所示。其中，Hadoop將有資源需求的Task按照一定的策略，如主資源公平(英文全稱：dominantresource fairness，英文縮寫：DRF)策略)排隊，而各個節(jié)點通過心跳上報本節(jié)點上的資源量，并觸發(fā)分配機制。若該節(jié)點上的資源量滿足第一個Task的需求，調度器便將該Task安放在該節(jié)點上。然而，該調度策略僅考慮到了資源的公平性，比較單一，并不能根據不同場景需要靈活地選擇資源利用率優(yōu)先策略和效率優(yōu)先策略來進行資源分配，從而無法使得集群資源的利用率較高，和/或，用戶作業(yè)的執(zhí)行效率較高。

發(fā)明內容

本發(fā)明實施例提供一種資源分配方法及資源管理器，用于靈活選擇資源利用率優(yōu)先策略和效率優(yōu)先策略來進行資源分配，從而提高資源利用率，和/或，提升用戶作業(yè)的執(zhí)行效率。

為達到上述目的，本發(fā)明實施例提供如下技術方案：

第一方面，提供一種分布式計算系統(tǒng)中的資源分配方法，該分布式計算系統(tǒng)包括多個計算節(jié)點，該方法包括：接收客戶端設備提交的作業(yè)，并將該作業(yè)分解為多個任務，其中，該多個任務中的每個任務均配置有相對應的資源需求量；估計每個任務的運行時間；根據每個任務對應的資源需求量和運行時間，結合預設的調度策略，確定該多個任務的第一分配位形，該第一分配位形用于指示該多個任務在多個計算節(jié)點中的可運行計算節(jié)點上的分布情況，該調度策略包括資源利用率優(yōu)先策略和效率優(yōu)先策略中的至少一種；將該多個任務按照第一分配位形分配到該多個任務的可運行計算節(jié)點上。