[發明專利]一種數據庫海量數據比對的方法有效
| 申請號: | 200710077553.7 | 申請日: | 2007-11-29 |
| 公開(公告)號: | CN101236554A | 公開(公告)日: | 2008-08-06 |
| 發明(設計)人: | 朱文琦;鄭杰 | 申請(專利權)人: | 中興通訊股份有限公司 |
| 主分類號: | G06F17/30 | 分類號: | G06F17/30;G06F11/14 |
| 代理公司: | 深圳市君勝知識產權代理事務所 | 代理人: | 楊宏 |
| 地址: | 518057廣東省深圳市南山*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 數據庫 海量 數據 方法 | ||
1、一種數據庫海量數據比對的方法,其包括如下步驟:
A、從數據庫中導出表數據文件;
B、對所述表數據文件進行分片排序,生成海量數據排序文件;
C、將所述海量數據排序文件中的主表海量數據排序文件與備表海量數據排序文件進行比對,生成表異常記錄文件。
2、根據權利要求1所述的方法,其特征在于,所述步驟A中,所述表數據文件包括文件頭及文件體;所述文件頭為數據表描述信息,該數據表描述信息包括數據庫表名、表字段、表數據記錄總數及表主鍵;所述文件體為數據內容。
3、根據權利要求2所述的方法,其特征在于,所述表數據文件采用文本格式。
4、根據權利要求2所述的方法,其特征在于,所述步驟B中,所述海量數據排序文件的生成過程包括如下步驟:
B1、從導出的表數據文件中獲取所述數據表描述信息;
B2、根據所述數據表描述信息的記錄總數,判斷是否要對所述表數據文件進行分片處理;
B3、如果是則對所述表數據文件進行分片排序。
5、根據權利要求4所述的方法,其特征在于,所述步驟B3中,對所述分片排序的處理過程包括如下步驟:
B31、在讀入所述表數據文件的源文件時,將所述源文件拆分為數據塊文件;
B32、按照所述表主鍵的排列方式,將拆分后的數據塊文件直接進行排序,并且輸出成排列文件;
B33、按照多路平衡歸并方式,對所述排列文件進行歸并排序,生成所述海量數據排序文件。
6、根據權利要求5所述的方法,其特征在于,所述步驟B31中,所述拆分過程采用順序拆分方式進行。
7、根據權利要求1所述的方法,其特征在于,所述步驟C中,所述主表海量數據排序文件與備表海量數據排序文件的比對過程包括如下步驟:
C1、打開所述主表海量數據排列文件及備表海量數據排序文件;
C2、按順序依次比對所述主表海量數據排序文件及備表海量數據排序文件,獲得比對結果;
C3、根據所述比對結果,生成所述表異常記錄文件。
8、根據權利要求7所述的方法,其特征在于,所述步驟C2中,所述比對方式采用比對所述主表海量數據排序文件及備表海量數據排序文件的關鍵字或文件尾。
9、根據權利要求7所述的方法,其特征在于,所述步驟C3中,所述表異常記錄文件包括主表異常記錄文件或備表異常記錄文件。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于中興通訊股份有限公司,未經中興通訊股份有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/200710077553.7/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:提供選擇廣播頻道的圖形用戶界面的方法和廣播接收設備
- 下一篇:多媒體數據保護
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置





