本發明公開了一種基于改進skip?gram模型的電網調度日志詞向量提取方法，所述方法包括：獲取電網調度日志；對所述電網調度日志進行清洗處理；對所述清洗后的電網調度日志進行分詞操作；通過改進skip?gram模型將分詞操作后的電網調度日志轉換為詞向量并提取。本發明根據電網調度日志的特點，對傳統的skip?gram模型進行改進，可以得到更為合理的詞向量，使用所生成的詞向量對電網調度日志進行分類可以提高分類的準確率。

技術領域

本發明涉及電力系統技術領域，尤其涉及一種基于改進skip-gram模型的電網調度日志詞向量提取方法。

背景技術

隨著我國經濟的快速發展，用電需求持續增長，發電裝機逐年增長，電力網絡規格不斷擴大，網絡結構也日趨復雜。電網調度工作是保證電網安全、穩定運行的關鍵，如何加強對電網調度運行的監控，提高電力調度的管理水平，是電力企業當前亟需解決的問題。

電網調度日志是反映電網運行情況的重要數據來源，是監控電網日常運行的重要手段。電網在運行過程中，時刻都會產生大量的調度日志。通過對這些日志進行內容分析與數據挖掘，電網調度人員可以獲取大量有價值的、反映電網運行狀態的信息。電網調度日志分類是對日志文本分析挖掘的一個重要應用，當前電網調度日志分類方法繁多，包括樸素貝葉斯方法、支持向量機、神經網絡模型等。但是不論是何種分類方法，在進行模型的訓練與分類之前，都需要對調度日志文本進行預處理，將其轉換為向量的形式。

詞向量可以直接對詞之間的相似度進行刻畫，與傳統的獨熱向量相比，詞向量可以緩解維數災難的問題，并且由于詞向量的學習是通過對上下文以及上下文與目標詞之間的關系進行建模的，因此詞向量保留了更豐富的上下文語義信息。目前使用詞向量進行日志分析任務中取得了較好的效果，但主要集中在互聯網領域，針對于電網調度日志的特征提取和詞向量生成的工作較少。并且相較于傳統的互聯網系統日志，電網調度日志記錄情況復雜多樣，包含信息豐富，且來源廣泛，現有技術無法對電網調度日志進行準確詞向量提取，傳統的詞向量提取方法并不能很好的適應電網調度日志的特點。

發明內容

針對現有技術的不足，本發明的目的在于提供一種基于改進skip-gram模型的電網調度日志詞向量提取方法，以解決現有技術中存在的詞向量提取方法準確性較低的問題。

為解決上述技術問題，本發明所采用的技術方案是：

一種基于改進skip-gram模型的電網調度日志詞向量提取方法，所述方法包括：

獲取電網調度日志；

對所述電網調度日志進行清洗處理；

對所述清洗后的電網調度日志進行分詞操作；

通過改進skip-gram模型將分詞操作后的電網調度日志轉換為詞向量。

進一步的，通過LSTM模型和專家系統的結合對調度日志進行分詞操作。

進一步的，所述改進skip-gram模型的訓練過程如下：

將分詞結果中的所有詞語轉換為one-hot詞向量，構建訓練樣本；

建立改進skip-gram模型的輸入層、隱藏層和輸出層；

通過輸入訓練樣本，對改進skip-gram模型進行訓練；

根據訓練結果，獲取訓練完成后改進skip-gram模型的隱層權重，即為最后所需要的詞向量。

進一步的，將傳統skip-gram模型的輸出層函數由softmax改進為分層softmax，以滿足電網調度日志分類的實際業務需求。

進一步的，所述隱藏層每個輸出的詞匯單獨創建一個輸出矩陣。

進一步的，所述電網調度日志轉換的方法包括：