技術領域

本發明屬于無線城市數據處理技術領域，特別涉及一種無線城市大數據離線處理系統及其大數據離線處理方法。

背景技術

隨著社會經濟的快速發展，國民使用智能手機的迅速增加，智能手機在任何地點都能夠隨時隨地的連接無線WIFI是公眾的主要需求，無線城市的建設是為了解決如何充分利用包括用戶上網數據、商圈數據、用戶偏好、位置等在內的各種數據。基于云計算技術，搭建合理先進的數據大數據采集分析平臺，為廣大商戶、公安人員、科研人員及政府監控者提供服務和協助，必將成為未來信息化工作的重要方向。

現階段無線城市大數據離線處理系統收集信息不完全，沒有針對性商圈、商家等定向搜集信息，不能處理億級無線城市數據，只能針對少量的數據進行分析，而且分析速度慢，容易出錯，得到的結果不具有普適性、準確性。

發明內容

本發明為了克服上述現有技術的不足，提供了一種無線城市大數據離線處理系統，本發明能夠處理億級無線城市數據，滿足了無線城市中的大數據量的統計需求。

為實現上述目的，本發明采用了以下技術措施：

一種無線城市大數據離線處理系統，包括定時增量模塊、抽取匹配模塊、存儲模塊、分析模塊以及統計模塊，其中，

定時增量模塊，用于獲取無線城市大數據的定時增量數據；

抽取匹配模塊，用于讀取所述定時增量模塊獲取到的定時增量數據，并對所述定時增量數據進行抽取匹配，得到匹配數據；

存儲模塊，用于接收并存儲來自抽取匹配模塊的匹配數據；

分析模塊，用于讀取并分析存儲于存儲模塊中的匹配數據；

統計模塊，用于統計并展示所述分析模塊分析后的匹配數據。

優選的，所述存儲模塊包括數據內容庫和數據來源庫；所述數據內容庫按照鍵值的方式存儲匹配數據的內容，所述數據來源庫用于存儲匹配數據的來源。

優選的，所述分析模塊運用無線城市大數據計算框架分析存儲于存儲模塊中的匹配數據。

優選的，所述定時增量模塊和抽取匹配模塊構成了本大數據離線處理系統的業務層；所述業務層由功能層提供數據支持和決策依據，所述功能層包括統計模塊；所述功能層由平臺層提供軟件基礎，所述平臺層包括分析模塊；所述平臺層由基礎層提供大數據離線處理環境，所述基礎層包括存儲模塊。

本發明還提供了一種無線城市大數據離線處理系統的大數據離線處理方法，本大數據離線處理方法的分析速度快，得到的分析結果準確性高，包括以下步驟：

S1、配置并運行定時增量模塊，定時增量模塊獲取無線城市大數據的定時增量數據，將定時增量數據存儲至存儲模塊中的關系型Mysql數據庫；

S2、配置并運行抽取匹配模塊，所述抽取匹配模塊讀取定時增量模塊中的定時增量數據，對所述定時增量數據進行抽取匹配，得到匹配數據，并將所述匹配數據發送至存儲模塊；

S3、所述存儲模塊接收并存儲來自抽取匹配模塊的匹配數據，將匹配數據存儲至分析模塊中的HDFS文件系統，存儲模塊將關系型Mysql數據庫中的定時增量數據存儲至非關系型Hive數據庫；

S4、所述分析模塊讀取并分析存儲于HDFS文件系統中的匹配數據得到分析前的數據，運用無線城市大數據計算框架對分析前的數據進行數據分析得到分析后的數據；

將所述分析前的數據存儲至非關系型Hive數據庫中，將所述分析后的數據存儲至關系型Mysql數據庫中；

S5、所述統計模塊統計并展示分析后的數據。

優選的，步驟S1中的配置并運行定時增量模塊是根據cron表達式的時間設定方式，來配置定時增量模塊的定時運行方式，所述定時增量模塊的定時運行方式包括設置每天定時定點運行、設置間隔t時間運行一次。

優選的，步驟S2中的配置并運行抽取匹配模塊是通過正則表達式匹配的方式，匹配出需要保留的信息或者匹配出需要刪除的信息。

優選的，步驟S3中的所述匹配數據是按照緩存隊列中依次排隊的機制存儲至HDFS文件系統。

進一步的，步驟S4中的運用無線城市大數據計算框架對分析前的數據進行數據分析得到分析后的數據的具體操作步驟包括：將分析前的數據運用大數據處理工具Hive進行數據處理，得到中間處理文件，根據中間處理文件不同的業務需求，編寫相應的MapReduce程序。

進一步的，所述分析前的數據包括圖片文件、操作日志文件、域名流量日志、協議維度流量日志、行為日志、基本流量日志、基本時長日志、通道流量日志、準入訪問日志。

本發明的有益效果在于：