本申請提供了一種量化參數處理方法及裝置，獲取模型量化工具中包括的每個參數配置項、以及每個參數配置項對應的所有量化參數；將每個參數配置項對應的各個量化參數進行組合，得到多個量化參數組合；每個量化參數組合包括每個參數配置項中的任意一個量化參數；獲取待量化浮點型模型；針對每個量化參數組合，基于量化參數組合中的各個量化參數，調用模型量化工具對待量化浮點型模型進行量化處理，得到量化參數組合對應的量化模型；計算每個量化參數組合對應的量化模型的模型精度，并將各個模型精度中最高的或最低的模型精度對應的量化參數組合確定為目標量化參數組合。實現了確保所確定的目標量化參數組合是所有量化參數組合中的最優量化參數組合。

技術領域

本申請涉及深度學習技術領域，尤其涉及一種量化參數處理方法及裝置。

背景技術

隨著深度學習技術的不斷發展，基于深度學習的深度神經網絡模型被廣泛應用于各個領域，但在對深度神經網絡模型的實際部署中，仍然存在模型大，導致計算資源(例如CPU)消耗較大等問題，進而導致無法在終端設備或者邊緣設備上進行部署，因此，為了降低計算資源消耗，需要對神經網絡模型進行量化。

現有技術中，模型量化基于模型量化工具實現，模型量化工具設置有多個參數配置項，每個參數配置項對應有多個量化參數供用戶進行配置，用戶根據經驗從每個參數配置項對應的多個量化參數中選擇一個量化參數進行模型量化。由于需要配置的參數配置項、以及每一個參數配置項對應可選擇的量化參數較多，由此可形成多種量化參數組合，導致可能出現用戶所配置的量化參數組合不是最優的量化參數組合的情況，從而導致基于該量化參數組合所量化得到的量化模型精度非常低，無法滿足最小精度損失的模型量化需求。

發明內容

本申請提供了一種量化參數處理方法及裝置，目的在于解決量化參數組合較多，導致可能出現用戶所配置的量化參數組合不是最優的量化參數組合的情況，從而導致基于該量化參數組合所量化得到的量化模型精度非常低，無法滿足最小精度損失的模型量化需求的問題。

為了實現上述目的，本申請提供了以下技術方案：

一種量化參數處理方法，包括：

獲取模型量化工具中包括的每個參數配置項、以及每個參數配置項對應的所有量化參數；

將每個參數配置項對應的各個量化參數進行組合，得到多個量化參數組合；每個量化參數組合包括每個參數配置項中的任意一個量化參數；

獲取待量化浮點型模型；

針對每個量化參數組合，基于所述量化參數組合中的各個量化參數，調用所述模型量化工具對所述待量化浮點型模型進行量化處理，得到所述量化參數組合對應的量化模型；

計算每個量化參數組合對應的量化模型的模型精度，并將目標模型精度對應的量化參數組合確定為目標量化參數組合；所述目標模型精度為各個模型精度中最高的或最低的模型精度。

上述的方法，可選的，所述獲取模型量化工具中包括的每個參數配置項、以及每個參數配置項對應的所有量化參數，包括：

獲取預先生成的配置文件；所述配置文件中預先存儲模型量化工具中包括的每個參數配置項、以及每個參數配置項對應的所有量化參數；

對所述配置文件進行解析，以獲得所述模型量化工具中包括的每個參數配置項、以及每個參數配置項對應的所有量化參數。

上述的方法，可選的，所述基于所述量化參數組合中的各個量化參數，調用所述模型量化工具對所述待量化浮點型模型進行量化處理，得到所述量化參數組合對應的量化模型，包括：

針對所述量化參數組合中的每個量化參數，確定所述模型量化工具中與所述量化參數對應的寫入位置；