由于弱監(jiān)督學(xué)習(xí)中的監(jiān)督信息太少，所以直接通過(guò)少量監(jiān)督信息訓(xùn)練的分類(lèi)器很難在性能上與基于監(jiān)督信息構(gòu)建的分類(lèi)器的性能相當(dāng)。本公開(kāi)旨在提出通過(guò)基于自監(jiān)督的方式來(lái)增強(qiáng)弱監(jiān)督機(jī)器學(xué)習(xí)算法的分類(lèi)性能的方法。弱監(jiān)督學(xué)習(xí)的具體體現(xiàn)之一為標(biāo)簽比例學(xué)習(xí)。一種標(biāo)簽比例學(xué)習(xí)模型的訓(xùn)練方法，包括：接收用于標(biāo)簽比例學(xué)習(xí)的弱監(jiān)督訓(xùn)練數(shù)據(jù)；基于弱監(jiān)督訓(xùn)練數(shù)據(jù)來(lái)構(gòu)建監(jiān)督信息；以及通過(guò)基于多任務(wù)構(gòu)建的損失函數(shù)、采用弱監(jiān)督訓(xùn)練數(shù)據(jù)和自監(jiān)督訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練標(biāo)簽比例學(xué)習(xí)模型，其中，基于多任務(wù)構(gòu)建的損失函數(shù)為對(duì)應(yīng)于弱監(jiān)督訓(xùn)練數(shù)據(jù)的弱監(jiān)督損失函數(shù)與對(duì)應(yīng)于監(jiān)督信息的自監(jiān)督損失函數(shù)的加權(quán)和。

技術(shù)領(lǐng)域

本公開(kāi)涉及人工智能領(lǐng)域，更具體地，本公開(kāi)涉及一種基于自監(jiān)督學(xué)習(xí)的標(biāo)簽比例學(xué)習(xí)模型的訓(xùn)練方法和設(shè)備。

背景技術(shù)

標(biāo)簽比例學(xué)習(xí)(Learning from Label Proportions，LLP)是一種特殊的弱監(jiān)督分類(lèi)學(xué)習(xí)算法，其特殊性在于給定樣本中的標(biāo)簽不是以“屬性-標(biāo)簽”的形式給出，而是以組(group)或者說(shuō)包(bag)的形式組合在一起，其中，在每個(gè)包中只給出了不同類(lèi)別的比例信息。該算法的最終的目的是通過(guò)這樣的信息來(lái)獲得一個(gè)基于樣本級(jí)別的分類(lèi)器，以預(yù)測(cè)一個(gè)新樣本對(duì)應(yīng)的類(lèi)別標(biāo)簽值。

現(xiàn)有的基于標(biāo)簽比例學(xué)習(xí)算法模型中，在進(jìn)行模型更新時(shí)只使用了原有的少量的基于比例的監(jiān)督信息，導(dǎo)致無(wú)法獲得一個(gè)可以和監(jiān)督模型相媲美的模型，特別是在信息比較少時(shí)，很難得到一個(gè)滿(mǎn)意的分類(lèi)器。

發(fā)明內(nèi)容

因此，本公開(kāi)的各方面提供了一種用于基于自監(jiān)督學(xué)習(xí)的標(biāo)簽比例學(xué)習(xí)模型的訓(xùn)練方法，在不進(jìn)行任何額外的數(shù)據(jù)標(biāo)注的情況下引入新的“監(jiān)督”信息進(jìn)行訓(xùn)練，從而提高模型的性能。

根據(jù)本公開(kāi)一個(gè)方面，提供了一種標(biāo)簽比例學(xué)習(xí)模型的訓(xùn)練方法，包括：訓(xùn)練數(shù)據(jù)接收步驟，接收用于標(biāo)簽比例學(xué)習(xí)的弱監(jiān)督訓(xùn)練數(shù)據(jù)；監(jiān)督信息構(gòu)建步驟，基于弱監(jiān)督訓(xùn)練數(shù)據(jù)來(lái)構(gòu)建監(jiān)督信息；以及訓(xùn)練步驟，通過(guò)基于多任務(wù)構(gòu)建的損失函數(shù)、采用弱監(jiān)督訓(xùn)練數(shù)據(jù)和監(jiān)督信息來(lái)訓(xùn)練標(biāo)簽比例學(xué)習(xí)模型，其中，基于多任務(wù)構(gòu)建的損失函數(shù)是基于對(duì)應(yīng)于弱監(jiān)督訓(xùn)練數(shù)據(jù)的弱監(jiān)督損失函數(shù)與對(duì)應(yīng)于監(jiān)督信息的自監(jiān)督損失函數(shù)的。

此外，根據(jù)本公開(kāi)一個(gè)方面的訓(xùn)練方法，其中，基于多任務(wù)構(gòu)建的損失函數(shù)為對(duì)應(yīng)于弱監(jiān)督訓(xùn)練數(shù)據(jù)的弱監(jiān)督損失函數(shù)與對(duì)應(yīng)于監(jiān)督信息的自監(jiān)督損失函數(shù)的加權(quán)和。

此外，根據(jù)本公開(kāi)一個(gè)方面的訓(xùn)練方法，其中，訓(xùn)練步驟還包括：通過(guò)基于第一參數(shù)的特征提取函數(shù)，對(duì)弱監(jiān)督訓(xùn)練數(shù)據(jù)和監(jiān)督信息進(jìn)行特征提取。

此外，根據(jù)本公開(kāi)一個(gè)方面的訓(xùn)練方法，其中，基于第一參數(shù)、弱監(jiān)督訓(xùn)練數(shù)據(jù)和特定于弱監(jiān)督訓(xùn)練數(shù)據(jù)的第二參數(shù)來(lái)構(gòu)建弱監(jiān)督損失函數(shù)；以及基于第一參數(shù)、監(jiān)督信息和特定于監(jiān)督信息的第三參數(shù)來(lái)構(gòu)建弱監(jiān)督損失函數(shù)。

此外，根據(jù)本公開(kāi)一個(gè)方面的訓(xùn)練方法，其中，訓(xùn)練步驟還包括：同時(shí)更新第一參數(shù)、第二參數(shù)和第三參數(shù)。

此外，根據(jù)本公開(kāi)一個(gè)方面的訓(xùn)練方法，還包括：每當(dāng)針對(duì)全部弱監(jiān)督訓(xùn)練數(shù)據(jù)完成一次訓(xùn)練時(shí)，則對(duì)監(jiān)督信息進(jìn)行洗牌。

此外，根據(jù)本公開(kāi)一個(gè)方面的訓(xùn)練方法，其中，監(jiān)督信息構(gòu)建步驟包括：通過(guò)去除弱監(jiān)督訓(xùn)練數(shù)據(jù)中的比例信息來(lái)獲取無(wú)監(jiān)督數(shù)據(jù)；以及基于無(wú)監(jiān)督數(shù)據(jù)通過(guò)自監(jiān)督方式來(lái)構(gòu)建監(jiān)督信息。

此外，根據(jù)本公開(kāi)一個(gè)方面的訓(xùn)練方法，其中，自監(jiān)督方式之一為矩陣變換。

此外，根據(jù)本公開(kāi)一個(gè)方面的訓(xùn)練方法，其中，弱監(jiān)督損失函數(shù)之一是基于比例的交叉熵?fù)p失函數(shù)。

此外，根據(jù)本公開(kāi)一個(gè)方面的訓(xùn)練方法，其中，基于多任務(wù)構(gòu)建的損失函數(shù)中的權(quán)重用于控制弱監(jiān)督損失函數(shù)與自監(jiān)督損失函數(shù)的相對(duì)重要性。