[發明專利]流式數據存儲方法及裝置在審
| 申請號： | 202010781565.3 | 申請日： | 2020-08-06 |
| 公開（公告）號： | CN111858616A | 公開（公告）日： | 2020-10-30 |
| 發明（設計）人： | 朱阿龍;田林;石慧彪;王博瑞 | 申請（專利權）人： | 中國銀行股份有限公司 |
| 主分類號： | G06F16/22 | 分類號： | G06F16/22;G06F16/2455;G06F16/27;G06F16/28;G06F16/182 |
| 代理公司： | 北京三友知識產權代理有限公司 11127 | 代理人： | 谷敬麗;周曉飛 |
| 地址： | 100818 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 數據 存儲 方法 裝置 | ||
1.一種流式數據存儲方法，其特征在于，包括：
獲取Hive數據庫表的分區信息；
接收流式數據處理引擎傳入的流式數據；
判斷Hive數據庫表的分區信息是否包含接收到的流式數據的分區信息；
在Hive數據庫表的分區信息不包含接收到的流式數據的分區信息時，創建新的Hive分區；
將接收到的流式數據存儲至新的Hive分區對應的HDFS文件中。
2.如權利要求1所述的流式數據存儲方法，其特征在于，還包括：
在Hive數據庫表的分區信息包含接收到的流式數據的分區信息時，將接收到的流式數據存儲至包含該流式數據分區信息的Hive分區對應的HDFS文件中。
3.如權利要求1所述的流式數據存儲方法，其特征在于，在步驟將接收到的流式數據存儲至新的Hive分區對應的HDFS文件中之前，還包括：
將創建的新的Hive分區的分區信息更新至Hive數據庫表的分區信息中。
4.如權利要求1所述的流式數據存儲方法，其特征在于，獲取Hive數據庫表的分區信息，包括：
通過Hive的元數據庫獲取Hive數據庫表的分區信息。
5.如權利要求1所述的流式數據存儲方法，其特征在于，流式數據處理引擎包括spark流式數據引擎，接收流式數據處理引擎傳入的流式數據，包括：
通過實時流處理接收spark流式數據引擎傳入的流式數據。
6.如權利要求1所述的流式數據存儲方法，其特征在于，判斷Hive數據庫表的分區信息是否包含接收到的流式數據的分區信息，包括：
通過創建的用戶自定義函數判斷Hive數據庫表的分區信息是否包含接收到的流式數據的分區信息。
7.如權利要求1所述的流式數據存儲方法，其特征在于，在Hive數據庫表的分區信息包含接收到的流式數據的分區信息時，創建新的Hive分區，包括：
在Hive數據庫表的分區信息包含接收到的流式數據的分區信息時，利用spark sql命令創建新的Hive分區。
8.一種流式數據存儲裝置，其特征在于，包括：
分區信息獲取模塊，用于獲取Hive數據庫表的分區信息；
流式數據接收模塊，用于接收流式數據處理引擎傳入的流式數據；
分區信息判斷模塊，用于判斷Hive數據庫表的分區信息是否包含接收到的流式數據的分區信息；
分區創建模塊，用于在Hive數據庫表的分區信息不包含接收到的流式數據的分區信息時，創建新的Hive分區；
流式數據存儲模塊，用于將接收到的流式數據存儲至新的Hive分區對應的HDFS文件中。
9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7任一所述流式數據存儲方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有執行權利要求1至7任一所述流式數據存儲方法的計算機程序。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國銀行股份有限公司，未經中國銀行股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/202010781565.3/1.html，轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
