本發明公開了一種基于能量采集與深度強化學習的WLAN協議設計與優化方法，包括以下步驟：S1、基于能量采集技術構建WLAN模型場景；S2、根據傳統CSMA/CA協議設計基于能量采集的分布式AEH?CSMA/CA協議；S3、針對網絡中的智能STA進行基于深度強化學習的優化決策。本發明將能量采集技術與無線通信技術相結合，有效的解決了未來物聯網海量設備的能源供應問題，實現綠色網絡的愿景。同時基于深度強化學習技術，為網絡中的智能STA進行智能的決策，以降低其能量中斷概率并且提高數據發送量，使得無線網絡更加智能化。

技術領域

本發明屬于無線通信網絡技術領域，特別設計一種基于能量采集與深度強化學習的WLAN協議設計與優化方法。

背景技術

隨著無線通信技術的飛速發展，越來越多的網絡設備正在逐漸加入到這個萬物互聯的網絡，為了更好的感知周圍環境并且為提高通信質量做出相應的決策(如資源分配等)，海量的微型傳感器也分布在隨處可見的空間內。由于設備數量巨大，因此除了保證其通信需求外，如何為其進行持續的能量供應也就成為了一個比較嚴峻的問題。如果通過人為的更換電池或者有源充電，由于消耗的人力成本與設備數量呈指數增長的關系，因此是及其得不償失的。因此，就需要采用一種其他的便捷式充電技術，也就是為所有的低功耗設備配置能量采集模塊，以幫助它們隨時的采集周圍環境中的能量。周圍環境的能量采集技術主要針對于太陽能、風能、熱能等可持續發展能源，通過持續的采集周圍環境的能量，低功耗設備可以實現無源工作的愿景。但是，由于周圍環境能量具有一定的不確定性，例如晚上就沒有了太陽無法采集太陽能，因此這些設備的工作也深受周圍環境的影響。為了有效的提高網絡的通信性能，就需要更加智能的對周圍環境進行一定的感知，進而進行一定的決策。

近年來，人工智能技術正炙手可熱。其憑借可以使得機器設備等像人類一樣比較智能的感知與學習環境并且做出一定的反饋的特性，目前已經被各大領域加以應用。在通信領域，人工智能技術也被應用于各個通信層。例如，物理層可以采用深度學習進行智能的調制與編碼，MAC層可以依據強化學習進行一定的資源分配，而網絡層則可以智能的幫助各個設備尋找最優路由。通信與機器學習的結合，正在使得網絡更加智能化。

對于擁有眾多低功耗傳感器的家庭網絡，由于設備數量較多，因此采用分布式的競爭協議則相對更為適合。為了實現綠色節能通信，各個設備也配置能量采集模塊從周圍環境采集能量來為自身的數據發送供能。但是，各個設備的能量狀態不同，也會影響到自身的數據發送狀態。如果用戶能量較多，則有可能更為頻繁的嘗試發送，因此導致不必要的數據碰撞，也會極大的提高能量中斷概率。由于周圍環境感知的復雜性，因此如果使用傳統的建模方法則會較為困難。因此，我們可以借助于人工智能，采用深度強化學習的方式替節點感知周圍環境信息，進而做出合理的決策。

發明內容

本發明的目的在于克服現有技術物聯網海量設備的能量供應不足的問題，提供一種將能量采集技術與無線通信技術相結合，同時基于深度強化學習技術，為網絡中的智能STA進行智能的決策，以降低其能量中斷概率并且提高數據發送量，使得無線網絡更加智能化的基于能量采集與深度強化學習的WLAN協議設計與優化方法。

本發明的目的是通過以下技術方案來實現的：基于能量采集與深度強化學習的WLAN協議設計與優化方法，包括以下步驟：

S1、基于能量采集技術構建WLAN模型場景；

S2、根據傳統CSMA/CA協議設計基于能量采集的分布式AEH-CSMA/CA協議；

S3、針對網絡中的智能STA進行基于深度強化學習的優化決策。

進一步地，步驟S1具體實現方法為：假設WLAN場景中包含一個AP與N個STA，每個STA都配置有用于采集周圍環境中能量的能量采集模塊；在N個STA中，設置有一個具有在自身運行深度強化學習算法功能的智能STA，其余普通STA只能進行協議操作；智能STA能夠通過調節自身的退避窗口大小來控制自身的數據發送與能量消耗狀態；