[發(fā)明專利]AIStation推理平臺的推理服務(wù)管理方法和裝置有效
| 申請?zhí)枺?/td> | 202110659833.9 | 申請日: | 2021-06-15 |
| 公開(公告)號: | CN113112023B | 公開(公告)日: | 2021-08-31 |
| 發(fā)明(設(shè)計(jì))人: | 王萌 | 申請(專利權(quán))人: | 蘇州浪潮智能科技有限公司 |
| 主分類號: | G06N5/04 | 分類號: | G06N5/04;G06F11/14 |
| 代理公司: | 北京集佳知識產(chǎn)權(quán)代理有限公司 11227 | 代理人: | 張雪嬌 |
| 地址: | 215100 江蘇省蘇州市吳*** | 國省代碼: | 江蘇;32 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | aistation 推理 平臺 服務(wù) 管理 方法 裝置 | ||
1.一種AIStation推理平臺的推理服務(wù)管理方法,其特征在于,包括:
根據(jù)數(shù)據(jù)庫中的推理服務(wù)記錄,檢測服務(wù)器中是否存在與所述推理服務(wù)記錄對應(yīng)的推理服務(wù);若不存在,則根據(jù)所述推理服務(wù)記錄對相應(yīng)的推理服務(wù)進(jìn)行恢復(fù);其中:
根據(jù)所述推理服務(wù)記錄獲取對應(yīng)的推理服務(wù)類型,并依據(jù)所述推理服務(wù)記錄及與所述推理服務(wù)類型對應(yīng)的恢復(fù)過程對所述推理服務(wù)進(jìn)行恢復(fù);
當(dāng)所述推理服務(wù)類型為通用模型,則對應(yīng)的恢復(fù)過程為:
解析所述推理服務(wù)記錄得到對應(yīng)的框架類型、模型地址及模型類名;解析所述推理服務(wù)記錄判斷是否存在批量處理模塊記錄,若存在,則創(chuàng)建批量處理模塊;解析所述推理服務(wù)記錄判斷是否存在數(shù)據(jù)處理模塊記錄,若存在,則創(chuàng)建數(shù)據(jù)處理模塊;當(dāng)存在所述批量處理模塊記錄時,根據(jù)所述批量處理模塊、所述框架類型、所述模型地址及所述模型類名創(chuàng)建對應(yīng)的推理模塊,或當(dāng)不存在所述批量處理模塊記錄時,根據(jù)所述框架類型、所述模型地址及所述模型類名創(chuàng)建對應(yīng)的推理模塊;當(dāng)存在所述數(shù)據(jù)處理模塊記錄時,根據(jù)所述推理模塊和所述數(shù)據(jù)處理模塊創(chuàng)建對應(yīng)的推理服務(wù),或當(dāng)不存在所述數(shù)據(jù)處理模塊記錄時,根據(jù)所述推理模塊創(chuàng)建對應(yīng)的推理服務(wù);
當(dāng)所述推理服務(wù)類型為應(yīng)用部署,則對應(yīng)的恢復(fù)過程為:
解析所述推理服務(wù)記錄判斷是否存在批量處理模塊記錄,若存在,則創(chuàng)建批量處理模塊;解析所述推理服務(wù)記錄判斷是否存在數(shù)據(jù)處理模塊記錄,若存在,則創(chuàng)建數(shù)據(jù)處理模塊;解析所述推理服務(wù)記錄得到鏡像地址,當(dāng)存在批量處理模塊記錄時,根據(jù)所述批量處理模塊和所述鏡像地址創(chuàng)建對應(yīng)的推理模塊,或當(dāng)不存在批量處理模塊記錄時,根據(jù)所述鏡像地址創(chuàng)建對應(yīng)的推理服務(wù);當(dāng)存在所述數(shù)據(jù)處理模塊記錄時,根據(jù)所述推理模塊和所述數(shù)據(jù)處理模塊創(chuàng)建對應(yīng)的推理服務(wù),或當(dāng)不存在所述數(shù)據(jù)處理模塊記錄時,根據(jù)所述推理模塊創(chuàng)建對應(yīng)的推理服務(wù);
當(dāng)所述推理服務(wù)類型為GPU共享,則對應(yīng)的恢復(fù)過程為:
解析所述推理服務(wù)記錄得到鏡像地址,根據(jù)所述鏡像地址創(chuàng)建實(shí)例模塊;解析所述推理服務(wù)記錄得到服務(wù)信息地址,根據(jù)所述服務(wù)信息地址創(chuàng)建服務(wù)模塊;根據(jù)所述實(shí)例模塊和所述服務(wù)模塊創(chuàng)建對應(yīng)的推理服務(wù);
當(dāng)所述推理服務(wù)類型為原生部署,則對應(yīng)的恢復(fù)過程為:
對所述推理服務(wù)記錄進(jìn)行解析,得到對應(yīng)的業(yè)務(wù)類型,依據(jù)所述業(yè)務(wù)類型對推理服務(wù)進(jìn)行解析,得到業(yè)務(wù)信息,并根據(jù)所述業(yè)務(wù)信息創(chuàng)建對應(yīng)的推理服務(wù);
當(dāng)所述推理服務(wù)類型為邊緣推理,則對應(yīng)的恢復(fù)過程為:
對所述推理服務(wù)記錄進(jìn)行解析,得到鏡像地址、節(jié)點(diǎn)名稱及端口映射信息,并根據(jù)所述鏡像地址、所述節(jié)點(diǎn)名稱及所述端口映射信息,創(chuàng)建對應(yīng)的推理服務(wù)。
2.根據(jù)權(quán)利要求1所述的AIStation推理平臺的推理服務(wù)管理方法,其特征在于,在所述根據(jù)所述推理服務(wù)記錄對相應(yīng)的推理服務(wù)進(jìn)行恢復(fù)之前,還包括:
判斷與所述推理服務(wù)記錄對應(yīng)的異常值是否達(dá)到預(yù)設(shè)閾值;
若達(dá)到,則執(zhí)行所述根據(jù)所述推理服務(wù)記錄對相應(yīng)的推理服務(wù)進(jìn)行恢復(fù)的步驟;若未達(dá)到,則按照預(yù)設(shè)增量對所述異常值進(jìn)行更新。
3.根據(jù)權(quán)利要求2所述的AIStation推理平臺的推理服務(wù)管理方法,其特征在于,在所述根據(jù)所述推理服務(wù)記錄對相應(yīng)的推理服務(wù)進(jìn)行恢復(fù)之后,還包括:
檢測所述推理服務(wù)是否恢復(fù)成功,若是,則將與所述推理服務(wù)記錄對應(yīng)的異常值置零。
4.根據(jù)權(quán)利要求1所述的AIStation推理平臺的推理服務(wù)管理方法,其特征在于,所述根據(jù)數(shù)據(jù)庫中的推理服務(wù)記錄,檢測服務(wù)器中是否存在與所述推理服務(wù)記錄對應(yīng)的推理服務(wù)的過程為:
對所述數(shù)據(jù)庫中的每個推理服務(wù)記錄進(jìn)行輪詢;
根據(jù)當(dāng)前的推理服務(wù)記錄,檢測服務(wù)器中是否存在與所述推理服務(wù)記錄對應(yīng)的推理服務(wù)。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于蘇州浪潮智能科技有限公司,未經(jīng)蘇州浪潮智能科技有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202110659833.9/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 上一篇:太陽能電池硅片尺寸檢測裝置
- 下一篇:一種純棉紡織紗線印染設(shè)備
- 服務(wù)票據(jù)發(fā)行系統(tǒng)及服務(wù)票據(jù)發(fā)行服務(wù)
- 出租服務(wù)服務(wù)器和出租服務(wù)系統(tǒng)
- 服務(wù)開放方法及系統(tǒng)、服務(wù)開放服務(wù)器
- 基于服務(wù)券服務(wù)的在線企業(yè)服務(wù)平臺
- 退稅服務(wù)系統(tǒng)、退稅服務(wù)平臺及其服務(wù)方法
- 服務(wù)亭(服務(wù)驛站)
- 公共服務(wù)自助服務(wù)機(jī)
- 服務(wù)提供服務(wù)器、服務(wù)提供系統(tǒng)以及服務(wù)提供方法
- 服務(wù)提供服務(wù)器、服務(wù)提供系統(tǒng)以及服務(wù)提供方法
- 服務(wù)提供服務(wù)器、服務(wù)提供系統(tǒng)以及服務(wù)提供方法





