本公開(kāi)的各方面使得人為指定的關(guān)系能夠有助于實(shí)現(xiàn)映射，該映射使得能夠壓縮機(jī)器學(xué)習(xí)模型的輸出結(jié)構(gòu)。諸如最大熵模型的指數(shù)模型可以利用機(jī)器學(xué)習(xí)嵌入和映射來(lái)產(chǎn)生分類輸出。以這種方式，可以將機(jī)器學(xué)習(xí)模型(例如，深度網(wǎng)絡(luò))的特征發(fā)現(xiàn)功能與基于人類對(duì)待解決問(wèn)題的結(jié)構(gòu)性質(zhì)的理解而開(kāi)發(fā)的關(guān)系進(jìn)行協(xié)同組合，從而使得能夠壓縮模型輸出結(jié)構(gòu)，而沒(méi)有明顯的精度損失。這些壓縮模型提高了“設(shè)備上”或其他資源受限場(chǎng)景的適用性。

優(yōu)先權(quán)要求

本申請(qǐng)要求于2018年10月29日提交的標(biāo)題為“Exponential Modeling with DeepLearning Features”的美國(guó)專利申請(qǐng)序列號(hào)62/752,128的優(yōu)先權(quán)，其全部公開(kāi)內(nèi)容通過(guò)引用合并于此。

技術(shù)領(lǐng)域

本公開(kāi)總體上涉及機(jī)器學(xué)習(xí)。更具體地，本公開(kāi)涉及機(jī)器學(xué)習(xí)模型，包括利用輸出類別和嵌入?yún)?shù)之間的映射以提供壓縮增益的指數(shù)模型(例如，最大熵模型)。

背景技術(shù)

各種形式的機(jī)器學(xué)習(xí)模型已經(jīng)徹底改變了機(jī)器智能的許多領(lǐng)域。作為一個(gè)早期的示例，在過(guò)去的某個(gè)時(shí)刻，最大熵模型在自然語(yǔ)言處理和其他技術(shù)領(lǐng)域提供了最先進(jìn)的性能。最大熵模型遵循以下原則：模型應(yīng)根據(jù)給定信息提供盡可能少的偏差估計(jì)；也就是說(shuō)，對(duì)于丟失信息最大程度地不置可否。然而，最近，人工神經(jīng)網(wǎng)絡(luò)(“神經(jīng)網(wǎng)絡(luò)”)已為包括自然語(yǔ)言處理在內(nèi)的許多問(wèn)題領(lǐng)域提供了最先進(jìn)的解決方案。取代最大熵建模作為學(xué)習(xí)算法的一個(gè)主要原因是最大熵模型要使用的特征是手工的，而不是自動(dòng)學(xué)習(xí)的。

神經(jīng)網(wǎng)絡(luò)是一類機(jī)器學(xué)習(xí)模型，特別強(qiáng)大、準(zhǔn)確或高效執(zhí)行各種任務(wù)。神經(jīng)網(wǎng)絡(luò)可以包括一組連接節(jié)點(diǎn)，也可以被稱為(人工)神經(jīng)元或感知器。神經(jīng)網(wǎng)絡(luò)可以被組織成一層或多層。神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)可以與邊連接，并且權(quán)重可以與每個(gè)邊相關(guān)聯(lián)。

包含多層的神經(jīng)網(wǎng)絡(luò)可以被稱為“深度”網(wǎng)絡(luò)。深度網(wǎng)絡(luò)可以包括輸入層、輸出層以及位于輸入層和輸出層之間的一個(gè)或多個(gè)隱藏層。神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)可以完全連接或不完全連接。示例神經(jīng)網(wǎng)絡(luò)包括前饋神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、其他形式的人工神經(jīng)網(wǎng)絡(luò)或其組合。

如今，無(wú)數(shù)的應(yīng)用都使用了各種機(jī)器學(xué)習(xí)模型，諸如神經(jīng)網(wǎng)絡(luò)。然而，它們的準(zhǔn)確性部分源于具有大量參數(shù)，這些參數(shù)會(huì)導(dǎo)致較高的計(jì)算和內(nèi)存開(kāi)銷。作為一個(gè)示例，典型的神經(jīng)網(wǎng)絡(luò)可能包括大量的權(quán)重(例如，一萬(wàn)到一千萬(wàn)到一億)，這些權(quán)重都可以具有唯一的值。存儲(chǔ)和運(yùn)行神經(jīng)網(wǎng)絡(luò)通常需要存儲(chǔ)這些值中的每一個(gè)，并且使用這些值中的每一個(gè)執(zhí)行數(shù)學(xué)運(yùn)算，這需要大量的存儲(chǔ)器和處理器使用。

在使用機(jī)器學(xué)習(xí)模型作為分類器將輸入分類為大量不同的可能類別的情況下，此問(wèn)題會(huì)更加嚴(yán)重。特別地，用作分類器的機(jī)器學(xué)習(xí)模型通常將具有輸出層(例如，softmax層)或其他輸出結(jié)構(gòu)，為每個(gè)可用類別提供相應(yīng)輸出值，對(duì)于特定任務(wù)，這可能是非常大的數(shù)量。作為一個(gè)示例，用于執(zhí)行“下一個(gè)單詞預(yù)測(cè)”或其他自然語(yǔ)言處理任務(wù)的神經(jīng)網(wǎng)絡(luò)通常會(huì)具有輸出層，其包括的節(jié)點(diǎn)數(shù)量等于在與分類器相關(guān)的詞匯表中包括的單詞數(shù)量，在某些情況下可能包括大約一百萬(wàn)個(gè)單詞。由于手機(jī)上當(dāng)前不適合使用較大的詞匯量，因此手機(jī)上的當(dāng)前應(yīng)用將詞匯量減少到數(shù)萬(wàn)個(gè)單詞。駐留在云中的服務(wù)器上的模型在應(yīng)用的詞匯表中可能有數(shù)百萬(wàn)個(gè)單詞。因此，在這些情況下，超大比例的網(wǎng)絡(luò)參數(shù)可以位于網(wǎng)絡(luò)和相關(guān)結(jié)構(gòu)的輸出層中。

此外，隨著網(wǎng)絡(luò)和硬件變得更好和更快，許多計(jì)算都轉(zhuǎn)移到了“設(shè)備上”范式，其中機(jī)器學(xué)習(xí)模型在嵌入式設(shè)備、用戶設(shè)備、邊緣設(shè)備或其他形式的“資源受限”設(shè)備上被本地存儲(chǔ)和實(shí)現(xiàn)，從而提供了更快的響應(yīng)時(shí)間以及更好的安全性和隱私保證。特別是，如果可以在移動(dòng)設(shè)備和其他資源受限的設(shè)備(諸如智能設(shè)備或嵌入式設(shè)備)上存儲(chǔ)和運(yùn)行這些網(wǎng)絡(luò)(并因此獲得其準(zhǔn)確性益處)，將是有益的。然而，由于存儲(chǔ)和運(yùn)行網(wǎng)絡(luò)需要大量計(jì)算資源(諸如處理資源和存儲(chǔ)器資源)，它們?cè)谫Y源受限環(huán)境/設(shè)備中的使用受到一定程度的限制。