本發明屬于網絡數據處理技術領域，特別涉及一種動態自適應網絡敏感信息檢測方法及裝置，該方法包含：針對采集到的網絡敏感文本流，通過構建倒排索引和進行多關鍵字檢索獲取滿足過濾規則文檔列表；針對獲取到的文檔列表，依據用戶需求程度并通過關鍵字評分獲取文檔綜合得分，依據綜合得分對互聯網敏感信息進行檢測。本發明利用關鍵字和過濾規則，對目標對象網站、博客和論壇進行監控，實現敏感信息過濾，便于及時進行智能提示與報警；通過互聯網中敏感信息快速、準確偵查，大幅提高互聯網監測偵查工作效率；同時，通過人機結合方式，為擴線偵查工作提供便利，保證網絡輿情發展合理性和健康性，有效凈化網絡環境，對通信網絡安全具有重要指導意義。

技術領域

本發明屬于網絡數據處理技術領域，特別涉及一種動態自適應網絡敏感信息檢測方法及裝置。

背景技術

由于互聯網中數據量大類雜、形象各異，有效信息內容隱藏在各種網絡數字媒介當中，給互聯網監測偵查工作帶來了巨大的困難，主要表現在以下三個方面：(1)敏感輿情動態發現難?；ヂ摼W的海量數據環境使得各種敏感信息淹沒其中，監測網站數量非常龐大并且數據格式復雜，普通人工監測方式無法滿足全天候、實時性的要求，無法實現及時發現、有效預警。(2)敏感違法信息處置難。由于互聯網的異構特性，各個網站的訪問和查詢方式存在差異，大量的時間用于切換和等待；對于目標信息，依靠人工從大量數據中篩選比對，難以高效準確確定信息來源和歸屬管理，嚴重影響了網絡信息處置效率。(3)敏感案件線索偵查難。重大敏感違法案件線索往往隱匿于論壇、博客和微博等形式多樣的自媒體之中，單純依靠人工翻查聯想往往效率低下、準確性差，缺乏專門技術手段進行關聯比對、擴線偵查和海量數據挖掘，實現落地查人。為了克服各類不利因素的影響，保障監測偵查任務順利高效完成，需要引入相關技術實現信息的智能化處理。而現有的搜索引擎和網絡輿情監測系統難以保證采集分析以及敏感事件發現等任務的時效性要求。

基于關鍵詞的過濾是目前網絡信息過濾的基本手段。但由于互聯網敏感信息繁多，需要配置的過濾關鍵詞數量龐大，對處理的每條文檔利用過濾關鍵詞進行逐條匹配會導致過濾效率低下，難以實現大規模文檔集的快速過濾。另一方面，由于單個關鍵詞的描述能力有限，利用單個關鍵詞進行過濾會導致過濾結果中包含大量無關信息。傳統關鍵詞過濾是基于邏輯規則的，因此過濾結果僅能表示文檔是否命中某一規則，但未必是真正需要關注的信息。為解決上述難題，亟需研制一種互聯網敏感信息監測偵查系統，借助高性能并行計算平臺從互聯網站、論壇、博客等大數據環境中，發現敏感有害信息，匯聚分析敏感事件發展態勢，監控跟蹤敏感事件處置動態，自動關聯涉網案件問題線索，大幅提高網絡安全保衛工作的質量和效益。

發明內容

為此，本發明提供一種動態自適應網絡敏感信息檢測方法及裝置，實現互聯網敏感信息高效過濾，并對命中文檔符合用戶需求的程度進行評分，提高互聯網敏感信息發現的準確性，進而增強網絡敏感事件監管的及時性和有效性，有效凈化互聯網環境。

按照本發明所提供的設計方案，一種動態自適應網絡敏感信息檢測方法，包含如下內容：

針對采集到的網絡敏感文本流，通過構建倒排索引和進行多關鍵詞檢索獲取滿足過濾規則的文檔列表；

針對獲取到的文檔列表，依據用戶需求程度并通過關鍵詞評分獲取文檔綜合得分，依據綜合得分對互聯網敏感信息進行檢測。

上述的，設置啟動開關，滿足批處理操作條件時，通過觸發啟動開關對采集到的網絡敏感文本流進行批量處理獲取滿足過濾規則的文檔列表。

優選的，批處理操作條件為預設批處理操作時間間隔，或為未處理文檔達到預設規模。

上述的，多關鍵詞檢索過程中，通過邏輯運算進行關鍵詞組合來構建過濾規則。