技術領域

本發明涉及計算機信息處理技術領域，特別是涉及一種基于UDP分布式小文件存儲系統及其數據處理方法。

背景技術

在圖像索引系統中，需要一個龐大的圖片存儲文件系統。用此文件系統來對圖像索引系統中處理的圖片文件存儲，并能高速的實時性對圖片文件進行讀寫操作。由于圖片的特殊性，并不需要對文件進行修改操作，只需要對文件系統進行添加與刪除操作即可。目前的分布式文件存儲大都是采用TCP的方式進行網絡訪問。但是由于用戶數量的不斷攀升，即使對訪問量大的應用實現了可擴展、高可靠的集群部署，仍然有訪問慢的問題。

為了提高并發速度與實時性問題，會有很多人希望能在UDP協議上進行大型應用程序的構建。然而UDP協議本身存在著不通信不可靠的缺點，于是對于基于UDP進行可靠通信的協議修改工作。目前在網絡上有許多人正做著這一工作，UDT、RakNet、eNet等都是構建在UDP之后網絡可靠通信開發庫。然后這些庫開發時都針對了一些特殊應用來進行設計的，不具備通用性。比如RakNet是為游戲應用而設計，對于實時性等游戲相關的網絡需求有很好的支持，對于大批量數據傳輸卻有點力所不及。而UDT基于一種基于帶寬速率控制的擁塞控制算法進行設計，主要用在小數量的bulk源共享富裕帶寬的情況下，最典型的例子就是建立在光纖廣域網上的網格計算。

發明內容

本發明的目的在于克服現有技術之不足，提供一種基于UDP分布式小文件存儲系統及其數據處理方法，利用對外服務器來接收用戶的讀寫要求，封裝對內部存儲操作，利用全局命名服務器來對新增文件進行內部唯一命名，利用信息索引庫服務器來登記每個內部文件名所對應的存儲器，利用任務管理服務器來執行對存儲器的讀寫管理操作，利用存儲服務器來存放文件內容，利用UDP改裝協議，來做為內部服務器的通信協議，以提高整個平臺的并發能力與高速I/O能力，解決了大容量存儲和負載均衡的問題，特別適合以文件為載體的在線服務。

本發明解決其技術問題所采用的技術方案是：一種基于UDP分布式小文件存儲系統，包括：

一個或多個第一服務器，該第一服務器內包含有一個對外服務器和一個用來管理對外服務器的運行與停止、以及定時對對外服務器進行檢查的服務監控服務器；該對外服務器，對外負責向其它系統及用戶提供管理控制其文件和目錄的接口，對內負責向其它服務器傳送用戶的命令，并檢查命令執行狀態，最后將命令執行結果反饋給用戶；

一個第二服務器，該第二服務器內包含有一個全局命名服務器和一個用來管理全局命名服務器的運行與停止、以及定時對全局命名服務器進行檢查的服務監控服務器；該全局命名服務器設在客戶應用和文件系統之間的一個邏輯層中，該全局命名服務器為每個新添加的文件分配一個唯一的內部名稱；

一個第三服務器，該第三服務器內包含有一個信息索引庫服務器和一個用來管理信息索引庫服務器的運行與停止、以及定時對信息索引庫服務器進行檢查的服務監控服務器；該信息索引庫服務器與全局命名服務器一起組成位于客戶應用和文件系統之間一個邏輯層，該信息索引庫服務器采用NoSQL數據庫，用來保存全局名稱與文件存儲的對應Kye-Value數據、全局名稱與用戶路徑的對應數據；

一個第四服務器，該第四服務器內包含有一個任務管理服務器和一個用來管理任務管理服務器的運行與停止、以及定時對任務管理服務器進行檢查的服務監控服務器；該任務管理服務器設為系統的控制中心，負責識別并解決任何容量問題，運行存儲服務器負載平衡，優化存儲服務器的使用，負責與對外服務器合作進行增加/刪除文件；

一個或多個第五服務器，該第五服務器內包含有一個存儲服務器和一個用來管理存儲服務器的運行與停止、以及定時對存儲服務器進行檢查的服務監控服務器；該存儲服務器按照對外服務器與任務管理服務器的指令進行文件寫入與讀出；

該第一服務器、第二服務器、第三服務器、第四服務器和第五服務器的相互之間是通過用戶數據包協議來實現數據的相互傳遞和處理。

所述的用戶數據包協議為UDP改裝協議，該UDP改裝協議具有如下協議格式：

2位head：表示消息開始；

6位版本號：表示該UDP改裝協議的版本；

8位命令號：表示此消息包含的命令；

16位生存時間：表示此消息所保留的時間，如果超時，此消息會被丟棄，會由發送端重發一次此消息；

32位序列號：表示此消息的編號，由系統隨機生成，用來確認消息的成功發送與接收對應；

16位子命令與16位序列號：由應用程序自己指定，用來進一步明確消息包含內容；