本發明實施例公開了一種人工智能模型評測方法、裝置、設備及存儲介質，本發明實施例通過獲取待評測人工智能模型，以及所述待評測人工智能模型的評測屬性；根據所述待評測人工智能模型與評測屬性獲取評測參數；根據所述評測參數構建評測集合；根據所述評測集合對所述待評測人工智能模型進行評測，輸出評測結果。該方案可以在人工智能程度和能力的驗證上更加精細。

技術領域

本發明涉及人工智能技術領域，具體涉及一種人工智能模型評測方法、裝置、設備及存儲介質。

背景技術

隨著人工智能產業的發展，對人工智能產品評測的需求也越來越多。

目前，人工智能產業發展聯盟提出的評測主要是站在裁判員的角度，通過給出固定的標準指標數值，來判定人工智能產品是否可以獲得通過標準。對產品的評測，通常更注重產品本身的特征和給定場景下的功能是否滿足，而在人工智能程度和能力的驗證上比較粗略，無法達到更為細節的對比評測和缺陷挖掘。

發明內容

本發明實施例提供一種人工智能模型評測方法、裝置、設備及存儲介質，可以提高評測的準確性以及效率。

為解決上述技術問題，本發明實施例提供一種人工智能模型評測方法，具體提供以下技術方案：

獲取待評測人工智能模型，以及所述待評測人工智能模型的評測屬性；

根據所述待評測人工智能模型與評測屬性獲取評測參數；

根據所述評測參數構建評測集合；

根據所述評測集合對所述待評測人工智能模型進行評測，輸出評測結果。

可選的，在一些實施例中，所述評測屬性包括待評測人工智能模型粒度，所述根據所述待評測人工智能模型與評測屬性獲取評測參數，包括：

根據所述待評測人工智能模型粒度獲取所述待評測人工智能模型的評測目標；

根據所述待評測人工智能模型與評測目標獲取對應的評測參數。

可選的，在一些實施例中，所述根據所述待評測人工智能模型與評測目標獲取對應的評測參數，包括：

根據所述評測目標獲取對應的評測參數映射關系；

根據所述評測參數映射關系獲取與所述待評測人工智能模型對應的評測參數；

通過顯示界面將所述評測參數進行顯示；

基于顯示界面接收到的選取指令，確認選取的評測參數。

可選的，在一些實施例中，所述評測屬性包括評測分類，所述根據所述待評測人工智能模型與評測屬性獲取評測參數，包括：

獲取所述待評測人工智能模型的開發階段；

根據所述開發階段確定所述待評測人工智能模型的評測分類；

根據所述待評測人工智能模型與評測分類獲取評測參數。

可選的，在一些實施例中，所述評測分類包括離線評測與在線評測，所述根據所述待評測人工智能模型與評測分類獲取評測參數，包括：

若確定所述評測分類為離線評測，則通過離線獲取方式，結合所述待評測人工智能模型獲取評測參數；

若確定所述評測分類為在線評測，則通過在線獲取方式，結合所述待評測人工智能模型以預設的時間周期，在線獲取評測參數。

可選的，在一些實施例中，所述根據所述評測參數構建評測集合，包括：

對獲取到的評測參數進行預處理，獲得預處理后的評測參數；

獲取所述預處理后的評測參數的標注標簽；