[發明專利]一種網絡訓練的數據集緩存方法、裝置、設備及存儲介質在審
| 申請號： | 202011357904.1 | 申請日： | 2020-11-27 |
| 公開（公告）號： | CN112446490A | 公開（公告）日： | 2021-03-05 |
| 發明（設計）人： | 趙仁明;陳培 | 申請（專利權）人： | 蘇州浪潮智能科技有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08;G06N3/04 |
| 代理公司： | 北京集佳知識產權代理有限公司 11227 | 代理人： | 丁曼曼 |
| 地址： | 215100 江蘇省蘇州市吳*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 網絡 訓練 數據 緩存 方法 裝置 設備 存儲 介質 | ||
1.一種網絡訓練的數據集緩存方法，其特征在于，包括：
統計網絡訓練集群中未緩存待訓練數據集的訓練節點在緩存所述待訓練數據集的過程中所需的磁盤性能開銷；
監控未緩存待訓練數據集的所述訓練節點的當前性能參數；
基于所述當前性能參數在所述網絡訓練集群中選取滿足所述磁盤性能開銷的目的節點；
利用所述目的節點緩存由源節點傳入的所述待訓練數據集，以基于所述目的節點對所述待訓練數據集執行網絡訓練。
2.根據權利要求1所述的網絡訓練的數據集緩存方法，其特征在于，在所述利用所述目的節點緩存由源節點傳入的所述待訓練數據集之前，所述方法還包括：
判斷所述網絡訓練集群中是否存在緩存有所述待訓練數據集的源訓練節點；
若所述網絡訓練集群中存在緩存有所述待訓練數據集的源訓練節點，則在所述源訓練節點中選取與所述目的節點之間的空閑網絡帶寬最大的目標源訓練節點；
相應的，所述利用所述目的節點緩存由源節點傳入的所述待訓練數據集，包括：
利用所述目的節點緩存由所述目標源訓練節點傳入的所述待訓練數據集。
3.根據權利要求2所述的網絡訓練的數據集緩存方法，其特征在于，當所述網絡訓練集群中不存在緩存有所述待訓練數據集的源訓練節點時，所述利用所述目的節點緩存由源節點傳入的所述待訓練數據集，包括：
利用所述目的節點緩存由所述網絡訓練集群中的數據集存儲節點傳入的所述待訓練數據集。
4.根據權利要求1所述的網絡訓練的數據集緩存方法，其特征在于，所述統計網絡訓練集群中未緩存待訓練數據集的訓練節點在緩存所述待訓練數據集的過程中所需的磁盤性能開銷，包括：
基于未緩存所述待訓練數據集的所述訓練節點的硬件性能參數以及所述待訓練數據集的數據屬性參數統計得到所述磁盤性能開銷。
5.根據權利要求4所述的網絡訓練的數據集緩存方法，其特征在于，所述硬件性能參數包括磁盤轉速、磁盤平均巡道時間以及磁盤最大傳輸速率；
所述待訓練數據集的數據屬性參數包括平均文件大小；所述平均文件大小基于所述待訓練數據集的數據總量以及文件總量運算得到。
6.根據權利要求1所述的網絡訓練的數據集緩存方法，其特征在于，在所述利用所述目的節點緩存由源節點傳入的所述待訓練數據集之前，所述方法還包括：
判斷所述目的節點的緩存隊列是否存在空閑空間；
若是，則執行所述利用所述目的節點緩存由源節點傳入的所述待訓練數據集的步驟；
否則，將所述緩存隊列中執行次數最少的目標待訓練數據集刪除，并執行所述利用所述目的節點緩存由源節點傳入的所述待訓練數據集的步驟。
7.根據權利要求1至6任意一項所述的網絡訓練的數據集緩存方法，其特征在于，所述當前性能參數包括I/O隊列長度，所述磁盤性能開銷包括IOPS開銷；
所述基于所述當前性能參數在所述網絡訓練集群中選取滿足所述磁盤性能開銷的目的節點，包括：
在所述網絡集群中選取所述I/O隊列長度小于IOPS開銷的所述目的節點。
8.一種網絡訓練的數據集緩存裝置，其特征在于，包括：
開銷統計模塊，用于統計網絡訓練集群中未緩存待訓練數據集的訓練節點在緩存所述待訓練數據集的過程中所需的磁盤性能開銷；
參數監控模塊，用于監控未緩存待訓練數據集的所述訓練節點的當前性能參數；
節點選取模塊，用于基于所述當前性能參數在所述網絡訓練集群中選取滿足所述磁盤性能開銷的目的節點；
節點緩存模塊，用于利用所述目的節點緩存由源節點傳入的所述待訓練數據集，以基于所述目的節點對所述待訓練數據集執行網絡訓練。
9.一種網絡訓練的數據集緩存設備，其特征在于，包括：
存儲器，用于存儲計算機程序；
處理器，用于執行所述計算機程序時實現如權利要求1至7任一項所述的網絡訓練的數據集緩存方法的步驟。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述的網絡訓練的數據集緩存方法的步驟。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于蘇州浪潮智能科技有限公司，未經蘇州浪潮智能科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/202011357904.1/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種輕質隔熱陶瓦及其制備方法
- 下一篇：一種埋放護筒的連接裝置及施工方法
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
