本發(fā)明提出一種基于深度確定性策略梯度(DDPG)算法的車對車(V2V)通信資源分配方法，V2V通信使用網(wǎng)絡切片技術(shù)接入5G網(wǎng)絡，利用深度強化學習優(yōu)化策略獲得最優(yōu)的V2V用戶信道分配和發(fā)射功率聯(lián)合優(yōu)化策略，V2V用戶通過選擇合適的發(fā)射功率和信道，來降低V2V鏈路之間的相互干擾，在滿足鏈路延遲約束下，最大化V2V鏈路的系統(tǒng)總吞吐量。本發(fā)明使用DDPG算法可以有效解決V2V用戶信道分配和功率選擇的聯(lián)合優(yōu)化問題，可以在一系列連續(xù)動作空間的優(yōu)化中表現(xiàn)穩(wěn)定。

技術(shù)領(lǐng)域

本發(fā)明涉及一種車聯(lián)網(wǎng)技術(shù)，尤其涉及一種車聯(lián)網(wǎng)的資源分配方法，更具體地說，涉及一種采用深度確定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法的5G車聯(lián)網(wǎng)的車對車(Vehicle-to-Vehicle，V2V)通信資源分配方法。

背景技術(shù)

車聯(lián)網(wǎng)(Vehicle-to-everything，V2X)是物聯(lián)網(wǎng)(Internet of Things，IoT)在智能交通系統(tǒng)(Intelligent Transportation System，ITS)領(lǐng)域中的典型應用，它是指基于Intranet、Internet和移動車載網(wǎng)絡而形成的無處不在的智能車網(wǎng)絡。車聯(lián)網(wǎng)根據(jù)約定的通信協(xié)議和數(shù)據(jù)交互標準共享和交換數(shù)據(jù)。它通過對行人、路邊設施、車輛、網(wǎng)絡和云之間的實時感知和協(xié)作，實現(xiàn)了智能交通管理和服務，例如改善了道路安全，增強了路況感知并減少了交通擁堵。

合理的車聯(lián)網(wǎng)資源分配對于減輕干擾、提高網(wǎng)絡效率和最終優(yōu)化無線通信性能至關(guān)重要。傳統(tǒng)的資源分配方案大多利用緩慢變化的大規(guī)模衰落信道信息進行分配。有文獻提出了一種啟發(fā)式的位置相關(guān)上行鏈路資源分配方案，其特征在于空間資源重用，而不需要完整的信道狀態(tài)信息，因此減少了信令開銷。另有研究開發(fā)了包括車輛分組、復用信道選擇和功率控制的框架，可以降低V2V用戶對蜂窩網(wǎng)絡的總干擾，同時最大化V2V用戶的和速率或最小可達速率。但隨著通信量的與日俱增和通信速率需求的大幅提升，高移動性導致無線信道快速變化給資源分配帶來很大的不確定性，傳統(tǒng)的資源分配方法無法滿足人們對車聯(lián)網(wǎng)的高可靠性和低延時需求。

深度學習提供了多層計算模型，可以從非結(jié)構(gòu)化源中學習具有多級抽象的高效數(shù)據(jù)表示，為解決許多傳統(tǒng)上被認為是困難的問題提供了一種強大的數(shù)據(jù)驅(qū)動方法。基于深度強化學習算法的資源分配方案比傳統(tǒng)資源分配算法更能滿足車聯(lián)網(wǎng)的高可靠性和低延時性的要求。有文獻提出了一種可以應用于單播和廣播場景的基于深度強化學習的新型分布式車對車通信資源分配機制。根據(jù)分布的資源分配機制，智能體，即V2V鏈路或車輛不需要等待全局狀態(tài)信息就可以做出決定以找到最佳子帶和傳輸功率水平。但現(xiàn)有的基于深度強化學習的V2V資源分配算法無法滿足5G網(wǎng)絡下高帶寬、大容量、超可靠低時延等場景的差異化服務需求。

因此本發(fā)明提出的資源分配方法采用5G網(wǎng)絡切片技術(shù)，能在5G網(wǎng)絡下為不同應用場景提供差異化服務，同時采用可在一系列連續(xù)動作空間的優(yōu)化中表現(xiàn)穩(wěn)定的DDPG算法進行V2V資源分配，以系統(tǒng)吞吐量最大化作為V2V資源分配的優(yōu)化目標，在復雜度和性能之間取得了很好的平衡。

發(fā)明內(nèi)容

發(fā)明目的：針對現(xiàn)有技術(shù)存在的上述問題，提出一種基于深度強化學習DDPG算法V2V用戶資源分配方法，V2V通信以網(wǎng)絡切片技術(shù)接入5G網(wǎng)絡。該方法能在V2V鏈路對V2I鏈路沒有干擾的情況下，以較低的V2V鏈路延遲實現(xiàn)系統(tǒng)吞吐量最大化的V2V用戶資源分配。

技術(shù)方案：在考慮V2V鏈路延遲的情況下，以合理的資源分配達到系統(tǒng)通信系統(tǒng)吞吐量最大化的目的。我們采用5G網(wǎng)絡切片技術(shù)，V2V鏈路和V2I鏈路使用不同的切片，V2V鏈路對V2I鏈路不產(chǎn)生干擾。采用分布式的資源分配方法，不需要基站集中調(diào)度信道狀態(tài)信息，將每條V2V鏈路視為智能體，并且基于瞬時狀態(tài)信息和每個時隙從鄰居共享的信息來選擇信道和發(fā)射功率。通過建立深度強化學習模型，利用DDPG算法優(yōu)化深度強化學習模型。根據(jù)優(yōu)化后的深度強化學習模型，得到最優(yōu)的V2V用戶發(fā)射功率和信道分配策略。完成上述發(fā)明通過以下技術(shù)方案實現(xiàn)：一種采用DDPG算法的基于5G網(wǎng)絡切片的V2V資源分配方法，包括步驟如下：