本發明涉及用于連續圖更新和計算的平臺。連續流數據(例如，消息、推特(tweet))通過平臺的各攝取節點來接收。攝取節點可分析數據以創建圖更新的事務，將序列號分配給該事務，并且將具有該序列號的圖更新分發到平臺的圖節點。圖節點可存儲來自攝取節點的圖更新，并且隨后攝取節點可在進度表中報告圖更新進度。可基于該進度表來拍攝快照，并且隨后可實現圖挖掘計算?？芍С秩蒎e和衰減，并且可允許增量式擴展以應對增加的更新速度和計算需求。

本發明專利申請是國際申請號為PCT/CN2012/073529，國際申請日為2012年4月5日，進入中國國家階段的申請號為201280072231.2，名稱為“用于連續圖更新和計算的平臺”的發明專利申請的分案申請。

技術領域

本發明涉及計算機網絡數據處理，更具體地，涉及用于連續圖更新和計算的平臺

背景技術

日益流行的在線服務(例如，和)提供了來自各個用戶在相對短時間量內的更新信息。這些服務上可獲得的信息被持續生成并且比大多數靜態網頁在時間上敏感得多。例如，突發新聞出現并且由這些在線服務中的某些快速傳播，伴隨著新的流行活動或熱點話題不斷地從物理世界中的實時事件產生。盡管每一消息或更新可能較小且包含有限的文本內容，但數據流可包含用戶、話題和消息之間的豐富連接，并且這些連接可用來生成重要的社會現象。

發明內容

分布式設計可采用數據流來構建持續變化的圖結構以捕捉該流中存在的關系。這些設計可將圖挖掘與圖結構的圖更新解耦。分布式系統可將圖結構元數據與圖結構的應用數據分開?？梢詫崿F時期提交協議以生成圖結構的全局一致的快照。基于這些一致的快照，可以執行圖挖掘算法以從該流中提取及時的洞察。

提供本概述是為了以簡化的形式介紹將在以下具體實施方式中進一步描述的概念選擇。本概述并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。

附圖說明

參考附圖來描述具體實施方式。在附圖中，附圖標記最左邊的數字標識該附圖標記首次出現于其中的附圖。在不同的附圖中使用相同的附圖標記指示類似或相同的項。

圖1是處理流送數據的說明性架構的示意圖。

圖2是用來示出跨圖節點的分區創建一致的快照的示例的示意圖。

圖3是處理流送數據的說明性過程的流程圖。

圖4是產生一致分布的快照的說明性過程的流程圖。

圖5是執行圖挖掘計算的說明性過程的流程圖。

圖6是實現增量式圖挖掘計算的說明性算法。

圖7是實現攝取節點中的容錯的說明性過程的流程圖。

圖8是可在圖1所示的環境中部署的說明性計算設備的框圖。

具體實施方式

概覽

數據流(例如，消息、推特(tweet))通過平臺的一組攝取節點來接收。該組攝取節點中的一個攝取節點可分析數據流的每一傳入饋源(例如，推特及其關聯上下文)以創建圖更新的事務，向該事務分配序列號，并且將具有該序列號的圖更新分發到平臺的多個圖節點。圖節點可提供具有增強的圖支持的分布式存儲器中密鑰/值存儲。這些圖節點中的每一個可存儲與關聯應用數據分開的數據流的圖結構元數據。

另外，在圖節點存儲這些圖更新之后，攝取節點可在進度表中報告圖更新進度?？煺湛苫谶M度表被周期性地拍攝。該進度表可用作邏輯時鐘以定義時期的結束。在該時期內，可遵循預定次序在圖節點中執行所有存儲的局部圖更新。圖更新的執行可觸發對新快照的增量式圖計算，以更新關聯應用數據并且從該數據流提取及時的洞察。