本發明公開了一種基于強化學習的邊緣計算任務卸載方法，包括以下步驟：S1.建立邊緣計算系統模型；S2.普通用戶節點產生任務上報至SDN總控制器節點，根據用戶任務情況，選擇本地計算或卸載計算，在需要進行卸載計算時，通過強化學習方法訓練后的SDN總控制器節點根據實時網絡狀態，頻譜資源和計算資源，獲得基于邊緣節點網絡狀態的最優卸載策略并反饋至普通用戶節點；S3.普通用戶節點根據最優卸載策略將任務卸載給服務節點，服務節點執行分配到的計算任務，并將計算結果反饋至普通用戶節點。本發明能夠有效緩解計算資源緊張的問題。

技術領域

本發明涉及無線通信技術領域，更具體的說是涉及一種基于強化學習的邊緣計算任務卸載方法。

背景技術

隨著通信和計算技術的先進發展，具有聯網需求的設備在數量上已經十分龐大，設備功能也呈現多樣化的特點，如車聯網，智能醫療等可預測的物聯網應用也在蓬勃發展，其任務的可容忍時延具有非常嚴格的要求，而且聯網設備數量的龐大必然會存在數據流量的爆發，這些都對傳統的云計算的集中式計算處理與大規模數據存儲提出了嚴峻的挑戰，主要存在以下問題：1)延遲：設備與云計算中心距離較遠，對于一些時延敏感型設備就會造成嚴重影響，例如車聯網中，時延可能會對人的生命安全造成嚴重威脅；2)流量：設備數量的指數型增長必然也會造成流量的增多，通信堵塞，降低用戶體驗質量；3)安全及能耗：設備傳輸信息時，需要經過較長路徑容易導致數據丟失或者信息泄露等風險；數據中心的高負載導致的高能耗也是云計算的核心問題。

上述問題均可由邊緣計算加以解決，邊緣計算即為將具有一定計算能力、存儲能力的計算設備放置在網絡邊緣，即臨近用戶側，為用戶提供IT服務環境和計算功能，將原本位于云計算中心的服務和功能“下沉”到移動網絡的邊緣，在移動網絡邊緣提供計算、存儲、網絡和通信資源。這樣設備就不需要向云計算中心服務器發送請求，很大程度上減少了通信時延。同時，由于可以在用戶附近進行數據處理，減少了路由長度，安全性得到了一定的保障，并且能夠有效緩解云計算中心主干道路上的擁塞。

因此，如何提供一種基于強化學習的邊緣計算任務卸載方法是本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本發明提供了一種基于強化學習的邊緣計算任務卸載方法，用于解決傳統云計算中所存在的技術問題。

為了實現上述目的，本發明采用如下技術方案：

一種基于強化學習的邊緣計算任務卸載方法，包括以下步驟：

S1.建立邊緣計算系統模型，邊緣計算系統模型包括：普通用戶節點、可租用用戶節點、MEC服務器節點和SDN總控制器節點，其中，每個SDN總控制器節點下，包括N個泊松分布的普通用戶節點N＝{u₁,u₂,u₃,…,u_N}，可租用用戶節點和MEC服務器節點作為服務節點共M個，記為K＝{k₁,k₂,k₃,…,k_M}；

S2.普通用戶節點產生任務上報至SDN總控制器節點，根據用戶任務情況，選擇本地計算或卸載計算，在需要進行卸載計算時，通過強化學習方法訓練后的SDN總控制器節點根據實時網絡狀態，頻譜資源和計算資源，獲得基于邊緣節點網絡狀態的最優卸載策略并反饋至普通用戶節點；

S3.普通用戶節點根據最優卸載策略將任務卸載給服務節點，服務節點執行分配到的計算任務，并將計算結果反饋至普通用戶節點。

優選的，S2中選擇本地計算或卸載計算的具體內容包括：

普通用戶節點產生的一個任務R_i包括：當前任務的數據包大小d_i，當前任務的最大可容忍時延當前任務計算能力需求α_i；

根據本地計算能力獲取在時隙t時任務計算執行時間具體方法為：