本發(fā)明公開了大數(shù)據(jù)抓取技術(shù)領(lǐng)域的一種基于人工智能的大數(shù)據(jù)采集存儲系統(tǒng)，該基于人工智能的大數(shù)據(jù)采集存儲系統(tǒng)包括：抓取系統(tǒng)，通過所述抓取系統(tǒng)對全網(wǎng)的公開數(shù)據(jù)進(jìn)行抓取；防火墻系統(tǒng)，所述防火墻的輸入端鏈接到所述抓取系統(tǒng)的輸出端上；臨時(shí)存儲系統(tǒng)，所述臨時(shí)存儲系統(tǒng)的輸入端鏈接到所述防火墻系統(tǒng)的輸出端上，經(jīng)過所述防火墻系統(tǒng)的數(shù)據(jù)輸入到所述臨時(shí)存儲系統(tǒng)內(nèi)進(jìn)行臨時(shí)存儲；存儲系統(tǒng)，所述存儲系統(tǒng)的輸入端鏈接到所述臨時(shí)存儲系統(tǒng)的輸出端上，本發(fā)明通過防火墻以及臨時(shí)存儲系統(tǒng)對抓取的數(shù)據(jù)進(jìn)行過濾，隔離清查等方式對抓取的數(shù)據(jù)進(jìn)行處理，減少了對無用數(shù)據(jù)的存儲，并且提高了數(shù)據(jù)的安全性。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)抓取技術(shù)領(lǐng)域，具體為一種基于人工智能的大數(shù)據(jù)采集存儲系統(tǒng)及方法。

背景技術(shù)

大數(shù)據(jù)，IT行業(yè)術(shù)語，是指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

隨著信息化時(shí)代的到來，云計(jì)算技術(shù)、數(shù)字技術(shù)、互聯(lián)網(wǎng)技術(shù)等獲得了進(jìn)一步的發(fā)展和應(yīng)用，信息產(chǎn)業(yè)的競爭力也在不斷的加劇，對大企業(yè)而言，大數(shù)據(jù)的興起部分是因?yàn)橛?jì)算能力可用更低的成本獲得，且各類系統(tǒng)如今已能夠執(zhí)行多任務(wù)處理。其次，內(nèi)存的成本也在直線下降，企業(yè)可以在內(nèi)存中處理比以往更多的數(shù)據(jù)，還有就是把計(jì)算機(jī)聚合成服務(wù)器集群越來越簡單，把那些具有潛在價(jià)值，可以給商業(yè)帶來巨大利潤。

網(wǎng)上的數(shù)據(jù)充斥著大量的無用數(shù)據(jù)以及不安全數(shù)據(jù)，在通過大數(shù)據(jù)平臺對全網(wǎng)公開數(shù)據(jù)進(jìn)行抓取過程中，極易將無用數(shù)據(jù)以及不安全數(shù)據(jù)抓取并存儲，雖然現(xiàn)有的大數(shù)據(jù)平臺均安裝有防火墻對數(shù)據(jù)進(jìn)行過濾隔離，但是，具有長期潛伏的不安全數(shù)據(jù)卻沒有多大的效果，嚴(yán)重影響了數(shù)據(jù)安全。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于人工智能的大數(shù)據(jù)采集存儲系統(tǒng)及方法，以解決上述背景技術(shù)中提出的網(wǎng)上的數(shù)據(jù)充斥著大量的無用數(shù)據(jù)以及不安全數(shù)據(jù)，在通過大數(shù)據(jù)平臺對全網(wǎng)公開數(shù)據(jù)進(jìn)行抓取過程中，極易將無用數(shù)據(jù)以及不安全數(shù)據(jù)抓取并存儲，雖然現(xiàn)有的大數(shù)據(jù)平臺均安裝有防火墻對數(shù)據(jù)進(jìn)行過濾隔離，但是，具有長期潛伏的不安全數(shù)據(jù)卻沒有多大的效果，嚴(yán)重影響了數(shù)據(jù)安全的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于人工智能的大數(shù)據(jù)采集存儲系統(tǒng)，該基于人工智能的大數(shù)據(jù)采集存儲系統(tǒng)包括：

抓取系統(tǒng)，通過所述抓取系統(tǒng)對全網(wǎng)的公開數(shù)據(jù)進(jìn)行抓取；

防火墻系統(tǒng)，所述防火墻的輸入端鏈接到所述抓取系統(tǒng)的輸出端上，通過所述抓取系統(tǒng)將抓取的公開數(shù)據(jù)輸入到所述防火墻上；

臨時(shí)存儲系統(tǒng)，所述臨時(shí)存儲系統(tǒng)的輸入端鏈接到所述防火墻系統(tǒng)的輸出端上，經(jīng)過所述防火墻系統(tǒng)的數(shù)據(jù)輸入到所述臨時(shí)存儲系統(tǒng)內(nèi)進(jìn)行臨時(shí)存儲；

存儲系統(tǒng)，所述存儲系統(tǒng)的輸入端鏈接到所述臨時(shí)存儲系統(tǒng)的輸出端上，經(jīng)過所述臨時(shí)存儲的數(shù)據(jù)輸入到所述存儲系統(tǒng)內(nèi)進(jìn)行存儲。

優(yōu)選的，所述防火墻系統(tǒng)為市面上常見的防火墻系統(tǒng)。

優(yōu)選的，所述臨時(shí)存儲系統(tǒng)的存儲時(shí)間為1-2周。

優(yōu)選的，所述存儲系統(tǒng)為分布式存儲系統(tǒng)。

一種基于人工智能的大數(shù)據(jù)采集存儲系統(tǒng)的使用方法，該基于人工智能的大數(shù)據(jù)采集存儲系統(tǒng)的使用方法包括如下步驟：

S1：通過所述抓取系統(tǒng)對全網(wǎng)的公開數(shù)據(jù)進(jìn)行抓取；

S2：是防火墻系統(tǒng)設(shè)置在所述抓取系統(tǒng)的輸出端，通過所述防火墻系統(tǒng)對抓取的數(shù)據(jù)進(jìn)行過濾處理，篩除不安全數(shù)據(jù)和無用數(shù)據(jù)；

S3：經(jīng)過所述防火墻篩除的數(shù)據(jù)進(jìn)入到所述臨時(shí)存儲系統(tǒng)內(nèi)，數(shù)據(jù)在所述臨時(shí)存儲系統(tǒng)內(nèi)進(jìn)行臨時(shí)存儲，進(jìn)行隔離觀察，對突破所述防火墻的不安全系統(tǒng)以及無用系統(tǒng)進(jìn)行清查；