技術領域

本發明屬于網絡管理與網絡安全技術領域，特別是涉及一種未知應用層協 議自動分析方法。

背景技術

Internet上的網絡應用日新月異。除了基于常見的、標準的應用層協議的各 種應用以外，還大量出現各種非標準協議的應用，以及各種新型網絡攻擊。這 對于網絡管理人員來說，要從采集的海量數據中分離、分析、識別、進而控制 這些未知的應用或者攻擊，是一件非常困難的事情。現有的協議分析工具，只 能分析已知和標準的協議，不能夠分析未知的、新型的應用層協議，也不能夠 發現和分析新型的攻擊。現有的基于應用識別的流量管理設備，只能識別和管 理已知的應用所產生的流，不能識別和管理未知、新型應用產生的流。要識別 和管理新出現的應用，必須要通過人工分析建立該應用的正則表達式，并通過 實驗和調整提高該正則表達式的正確識別率、減少其誤識別率。

發明內容

本發明的目的在于克服現有技術的不足，提供一種對未知應用層協議進行 自動發現、自動聚類、自動分析、自動識別的技術。它避免了人工處理海量數 據的困難，提高了網絡管理的效率，使得網絡管理的效率可以跟上新型網絡應 用出現的速率，可以及時對抗新型網絡攻擊。

為了實現上述技術目的，本發明包括如下技術特征：一種未知應用層協議 自動分析方法，包括對未知應用層數據所進行的采集過程和對采集到的未知應 用層數據所進行的分析過程；

所述采集過程是對網絡的主干、出入口和/或數據流的匯聚點的每個數據流 進行識別并采集未知應用層協議的數據；

所述分析過程具體包括如下步驟：a、對未知應用層協議的數據進行聚類分 析；b、挖掘未知應用層協議的關鍵詞；c、探索未知應用層協議的會話規則；d、 分析未知應用層協議的報文格式；e、預測未知應用層協議的狀態轉移關系。

本發明可以是在線對每個流進行應用識別，把不能識別的流的應用層數據 記錄下來；分析過程是離線的，在需要的時候啟動，可以是人工啟動，也可以 在未知應用層數據積累到一定量的時候自動啟動，用于對未知應用層協議進行 分析。

更進一步的，所述采集過程具體為先建立已知應用的自動機或者正則表達 式，將所述自動機或者正則表達式用于在線識別各種已知的應用，并把不能識 別的應用所對應的應用層數據保存到磁盤。

所述步驟a具體為從采集的未知應用層數據中提取數據流流量特征、字符 串特征以及各層頭部信息特征，并用這些特征組成特征向量進行聚類分析，把 聚類得到的每個類作為一種未知應用。

所述步驟b具體為采用數據挖掘技術從每種未知應用的數據中挖掘其協議 關鍵詞和頻繁關鍵詞序列。

所述步驟c具體為采用屬于同一種未知應用的頻繁關鍵詞序列構造一棵代 表該協議會話規則的前綴樹，前綴樹中的每條連線代表一個關鍵詞，每條路徑 代表一種會話過程。

所述步驟d具體為把每個數據包的應用層數據看作一個字符串，然后對所 有字符串進行語法分析，以構造代表該未知應用層協議的報文格式的自動機或 者正則表達式。

所述步驟e具體為采用隱馬爾可夫模型參數估計算法，以各個流的關鍵詞 序列為訓練集，估計該未知應用層協議的狀態轉移概率矩陣，以及產生包括關 鍵詞、字符串長度和編碼方式的觀測值概率分布。

更進一步的，對得到的自動機或者正則表達式進行有效性驗證，具體為檢 驗所述的自動機、正則表達式接受該應用層協議的樣本流的程度，以及拒絕其 它應用層協議樣本流的程度，把經過驗證的自動機或者正則表達式用于在線識 別該應用層協議。

為了提供正常性測量功能，可以利用得到的未知應用層協議的隱馬爾可夫 模型，對所采集的樣本流進行測量，以獲取所有樣本的正常性分布和每個樣本 的正常性，或者發現異常的樣本流。

本發明通過采集未知應用層數據、對未知應用進行聚類分析、挖掘未知應 用層協議的關鍵詞、探索未知應用層協議會話規則、分析未知應用層協議的報 文格式、估計未知應用層協議的狀態轉移關系，實現對未知應用層協議的自動 分析。所以本發明的突出優點是提供了一種對未知應用層協議進行自動發現、 自動聚類、自動分析、自動識別的技術，避免了人工處理海量數據的困難，提 高了網絡管理的效率，使得網絡管理的效率可以跟上新型網絡應用出現的速率， 網絡安全防御措施可以及時對抗新型網絡攻擊。

附圖說明