本發明提供了一種交通信號燈的調控方法、裝置及計算機可讀存儲介質。該方法包括：根據歷史控制數據獲取訓練樣本，其中，每一訓練樣本包括歷史信號燈配時、歷史交通測量以及歷史交通指標；根據所述訓練樣本進行訓練，得到映射函數；獲取實際交通測量以及實際交通指標；根據所述映射函數、所述實際交通測量以及實際交通指標，計算得到待輸出信號燈配時。根據本發明，可以有效避免現有的信號燈配時方案在初始交互訓練過程中，信號燈控制系統性能較差，以及由于交通模型存在誤差導致的信號燈控制系統的最終性能較差的問題。提高了信號燈控制系統的初始性能及最終性能。

技術領域

本發明涉及交通控制技術領域，更具體地，涉及一種交通信號燈的調控方法、裝置及計算機可讀存儲介質。

背景技術

隨著城市化速度的加快，機動車的普及，使得人們面臨著交通擁擠日益加重的難題。在不增加新的交通道路的情況下，通過合理的交通控制，提高道路的利用效率，進而提高交通通行效率是解決交通擁擠問題的一個有效途徑。

目前，基于交通模型的信號燈調控方案已在信號燈控制系統得到應用。交通模型通常包括車流模型、隊列長度模型、延時模型等，其建立的是交通測量與信號燈配時同交通狀態或交通指標之間的數學關系。基于交通模型的信號燈調控方案，通過優化交通狀態或交通指標，輸出信號燈配時。但在該信號燈調控方案中，交通模型存在誤差，會導致信號燈控制系統的最終性能較差。

而基于傳統深度強化學習的信號燈調控方案，在初始階段隨機產生信號燈配時與信號燈控制系統進行交互，使用隨機產生的信號燈配時以及從信號燈控制系統實時獲取的交通測量數據和交通指標數據進行訓練學習，輸出計算得到的信號燈配時，通過多次訓練學習逐步提升信號燈控制系統的性能，從而實現信號燈調控。但該信號燈調控方案，在得到較為理想的信號燈配時之前，需要對大量的數據進行訓練學習，使得在初始交互訓練過程中信號燈控制系統的性能較差，在現實應用中的可行性較差。

因此，發明人認為，需要針對上述現有技術中存在的問題進行改進。

發明內容

本發明實施例的一個目的是提供一種交通信號燈的調控的新技術方案。

根據本發明實施例的第一方面，提供了一種交通信號燈的調控方法，所述方法包括：

根據歷史控制數據獲取訓練樣本，其中，每一訓練樣本包括歷史信號燈配時、歷史交通測量以及歷史交通指標；

根據所述訓練樣本進行訓練，得到映射函數；

獲取實際交通測量以及實際交通指標；

根據所述映射函數、所述實際交通測量以及實際交通指標，計算得到待輸出信號燈配時。

可選的，所述根據所述訓練樣本進行訓練，得到映射函數，包括：

根據所述訓練樣本，對損失函數進行訓練，得到所述映射函數。

可選的，所述損失函數是分別設定對應權重值的時間差分損失函數、監督學習損失函數以及正則化損失函數加權求和。

可選的，所述根據所述訓練樣本進行訓練，得到映射函數，包括：

根據每一所述訓練樣本，以所述映射函數的待定系數為變量，分別確定每一所述訓練樣本的信號燈配時預測表達式；

根據每一所述訓練樣本的所述信號燈配時預測表達式以及每一所述訓練樣本的歷史信號燈配時，構建損失函數；

根據所述損失函數確定所述待定系數，完成本次對所述映射函數的訓練。

可選的，計算得到待輸出信號燈配時之后，所述方法還包括：

獲取所述待輸出信號燈配時、所述實際交通測量以及所述實際交通指標作為新的訓練樣本；

根據所述新的訓練樣本，修正所述映射函數。