[發明專利]一種高效的大數據分布式傳輸系統及方法在審
| 申請號： | 201810375745.4 | 申請日： | 2018-04-25 |
| 公開（公告）號： | CN108737503A | 公開（公告）日： | 2018-11-02 |
| 發明（設計）人： | 魏素揚 | 申請（專利權）人： | 江蘇鳴鶴云科技有限公司 |
| 主分類號： | H04L29/08 | 分類號： | H04L29/08;G06F17/30 |
| 代理公司： | 北京東方靈盾知識產權代理有限公司 11506 | 代理人： | 王君昌 |
| 地址： | 224000 江蘇省鹽城市城南新*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 磁盤 分布式傳輸 大數據 分布式消息 采集機 總線 單向設備 智能體 集群 分布式文件系統 采集 匯聚 準實時傳輸 采集數據 集群連接 數據中心 網絡數據 網絡 保證 | ||
1.一種高效的大數據分布式傳輸系統,其特征在于，包括：
采集機，所述采集機通過智能體采集網絡中產生的網絡數據；
分布式消息總線Kafka集群，所述分布式消息總線Kafka集群與所述采集機連接，并使用Flume采集數據以接收所述智能體采集到的數據，并對數據進行匯聚；
第一磁盤，所述第一磁盤與所述分布式消息總線Kafka集群連接，匯聚后的數據落入所述第一磁盤中；
單向設備，所述單向設備與所述第一磁盤相連，以將所述第一磁盤上的數據進行單向擺渡分布式文件系統或第二磁盤。
2.根據權利要求1所述的高效的大數據分布式傳輸系統,其特征在于，所述采集機通過智能體對自定義監測采集字段進行采集。
3.根據權利要求1所述的高效的大數據分布式傳輸系統,其特征在于，所述采集機通過智能體對設備軟件產生的數據字段進行采集。
4.根據權利要求1所述的高效的大數據分布式傳輸系統,其特征在于，所述單向設備與所述分布式文件系統及所述第二磁盤物理隔離。
5.根據權利要求1所述的高效的大數據分布式傳輸系統,其特征在于，所述單向設備為網閘。
6.一種高效的大數據分布式傳輸方法,其特征在于，包括以下步驟：
使用采集機采集網絡中產生的網絡數據，并在每臺采集機上部署智能體，使用Flume采集數據傳輸至分布式消息總線Kafka集群；
所述分布式消息總線Kafka集群接收到的智能體采集的數據匯聚于kafak集群，并且落入第一磁盤；
所述磁盤上的數據通過單向設備擺渡到物理網隔離的分布式文件系統和/或第二磁盤。
7.根據權利要求6所述的高效的大數據分布式傳輸方法,其特征在于，進一步包括以下步驟：
通過自定義接口把數據上傳至大數據中心的分所述布式文件系統。
8.根據權利要求6所述的高效的大數據分布式傳輸方法,其特征在于，通過上傳數據的傳輸的agent性能指標及kafka的狀態信息，進行硬件的擴容和消減。
9.根據權利要求6所述的高效的大數據分布式傳輸方法,其特征在于，所述采集機通過智能體對自定義監測采集字段進行采集。
10.根據權利要求6所述的高效的大數據分布式傳輸方法,其特征在于，所述采集機通過智能體對設備軟件產生的數據字段進行采集。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于江蘇鳴鶴云科技有限公司，未經江蘇鳴鶴云科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201810375745.4/1.html，轉載請聲明來源鉆瓜專利網。
