5.根據(jù)權(quán)利要求4所述的一種使用Transformer的多層次圖像壓縮方法，其特征在于，所述的分塊拉長的操作發(fā)生在上下采樣卷積之后、維度轉(zhuǎn)變之前，由于圖像特征圖的高和寬的乘積相較于文本序列長度會很大，先分塊拉長再轉(zhuǎn)變維度輸入到Transformer中有助于大幅度減少注意力機制的顯存占用，注意力機制的計算公式如下：

公式中的Q、K、V分別代表查詢向量、鍵向量、值向量，這三個向量是通過輸入特征經(jīng)過三個不同的全連接層產(chǎn)生的，d_k為單頭注意力維度；注意力機制中顯存占用最大的部分是計算Q與K點積得到的注意力矩陣，即公式中的QK^T，Q與K的形狀與Transformer的輸入的形狀相同，假定卷積后特征圖的形狀為(B,H,W,C)，如果直接維度轉(zhuǎn)變，形狀變?yōu)?B,H×W,C)輸入到Transformer中，那么QK點積的形狀為(B,N,N)，N＝H×W。