本發(fā)明公開了一種高寒草地?cái)?shù)據(jù)處理方法及管理系統(tǒng)，通過高寒草地?cái)?shù)據(jù)管理系統(tǒng)、構(gòu)建Hive數(shù)據(jù)存儲倉庫后進(jìn)行數(shù)據(jù)分析，減低高寒草地?cái)?shù)據(jù)存儲成本和加快高寒草地?cái)?shù)據(jù)分析速度，可快速有效的針對需求得到數(shù)據(jù)結(jié)構(gòu)，具有良好的經(jīng)濟(jì)性和實(shí)用性。

技術(shù)領(lǐng)域

本發(fā)明涉及土地利用研究領(lǐng)域，具體涉及一種高寒草地?cái)?shù)據(jù)處理方法及管理系統(tǒng)。

背景技術(shù)

現(xiàn)有的高寒草地?cái)?shù)據(jù)存儲和分析技術(shù)主要采取關(guān)系型數(shù)據(jù)庫系統(tǒng)。關(guān)系型數(shù)據(jù)庫系統(tǒng)對于數(shù)據(jù)量不大的情形有較好的適應(yīng)性，然而，面對海量數(shù)據(jù)的存儲與分析，其仍存在不少的缺點(diǎn)。首先，現(xiàn)有的關(guān)系型數(shù)據(jù)庫技術(shù)難以對海量數(shù)據(jù)進(jìn)行管理。現(xiàn)有關(guān)系型數(shù)據(jù)庫技術(shù)不是為大規(guī)模可伸縮的分布式管理設(shè)計(jì)的，很多技術(shù)公司嘗試提供一些“分區(qū)”或“復(fù)制”的解決方案，但是非常難以安裝與維護(hù)，并會犧牲連接、查詢、視圖等重要功能。其次，關(guān)系型數(shù)據(jù)庫基礎(chǔ)架構(gòu)采用高性能計(jì)算機(jī)或者服務(wù)器，一旦數(shù)據(jù)量較大，對海量數(shù)據(jù)的管理必然導(dǎo)致高可用性能計(jì)算機(jī)購置及維護(hù)帶來的成本上升問題。

發(fā)明內(nèi)容

為了克服海量高寒草地?cái)?shù)據(jù)儲存硬件成本高昂、關(guān)系型數(shù)據(jù)庫難以對海量高寒草地?cái)?shù)據(jù)進(jìn)行存儲分析的困難，本發(fā)明提供了一種高寒草地?cái)?shù)據(jù)處理方法及管理系統(tǒng)，通過搭建Hadoop分布式存儲平臺、構(gòu)建Hive數(shù)據(jù)存儲倉庫后進(jìn)行數(shù)據(jù)分析，減低高寒草地?cái)?shù)據(jù)存儲成本和加快高寒草地?cái)?shù)據(jù)分析速度，可快速有效的針對需求得到數(shù)據(jù)結(jié)果，具有良好的經(jīng)濟(jì)性和實(shí)用性。

相應(yīng)的，本發(fā)明提供了一種高寒草地?cái)?shù)據(jù)處理方法，包括以下步驟

將原始高寒草地?cái)?shù)據(jù)導(dǎo)入至高寒草地?cái)?shù)據(jù)管理系統(tǒng)；

設(shè)計(jì)高寒草地?cái)?shù)據(jù)主題表，并基于所述高寒草地?cái)?shù)據(jù)主題表在所述高寒草地?cái)?shù)據(jù)Hadoop分布式文件系統(tǒng)中構(gòu)建Hive數(shù)據(jù)存儲倉庫；

對所述高寒草地?cái)?shù)據(jù)主題表之間進(jìn)行表關(guān)聯(lián)處理。

優(yōu)選的實(shí)施方式，所述高寒草地?cái)?shù)據(jù)處理方法還包括以下步驟：

搭建所述高寒草地?cái)?shù)據(jù)管理平臺。

優(yōu)選的實(shí)施方式，所述高寒草地?cái)?shù)據(jù)處理方法還包括以下步驟：

基于用戶需求進(jìn)行高寒草地?cái)?shù)據(jù)分析；

輸出高寒草地?cái)?shù)據(jù)分析結(jié)果。

優(yōu)選的實(shí)施方式，所述設(shè)計(jì)高寒草地?cái)?shù)據(jù)主題表包括以下步驟，篩選所述高寒草地?cái)?shù)據(jù)字段，篩選條件為：

是否為草地生態(tài)退化評價(jià)所需數(shù)據(jù)字段；

是否能通過字段數(shù)據(jù)分析挖掘?qū)Σ莸厣鷳B(tài)未來趨勢性問題進(jìn)行預(yù)測；

字段數(shù)據(jù)間是否具有關(guān)聯(lián)性。

優(yōu)選的實(shí)施方式，所述高寒草地?cái)?shù)據(jù)主題表包括監(jiān)測站主題表、草地類型主題表、生物量主題表、氣象主題表、水文主題表；每個主題表中具有多個字段。

優(yōu)選的實(shí)施方式，所述原始高寒草地?cái)?shù)據(jù)包括歷史高寒草地?cái)?shù)據(jù)和實(shí)時高寒草地?cái)?shù)據(jù)；

所述導(dǎo)入原始高寒草地?cái)?shù)據(jù)至高寒草地?cái)?shù)據(jù)管理平臺包括以下步驟；

從歷史數(shù)據(jù)庫中提取歷史高寒草地?cái)?shù)據(jù)并導(dǎo)入至所述高寒草地?cái)?shù)據(jù)Hadoop分布式文件系統(tǒng)；

導(dǎo)入實(shí)時高寒草地?cái)?shù)據(jù)。

優(yōu)選的實(shí)施方式，基于Sqoop工具將所述歷史高寒草地?cái)?shù)據(jù)從歷史數(shù)據(jù)庫導(dǎo)入至所述高寒草地?cái)?shù)據(jù)Hadoop分布式文件系統(tǒng)。

優(yōu)選的實(shí)施方式，所述導(dǎo)入實(shí)時高寒草地?cái)?shù)據(jù)包括以下步驟：

基于監(jiān)測站站點(diǎn)采集實(shí)時高寒草地?cái)?shù)據(jù)；