技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像記憶度預(yù)測(cè)方法。特別是涉及一種基于自適應(yīng)遷移學(xué)習(xí)的圖像記憶度預(yù)測(cè)方法。

背景技術(shù)

隨著媒體時(shí)代的到來，我們身邊充斥著各種各樣的媒體信息，其中圖片是一個(gè)典型的存在，人類認(rèn)知的一個(gè)標(biāo)志是我們能記憶大量不同圖像的能力，不同圖像在我們腦海中存在的時(shí)間是不一樣的，而大部分人也傾向于記住和忘記相同的圖片，這也是圖像的一種穩(wěn)定屬性^[1]。圖像記憶度是一個(gè)新興的概念，來衡量一個(gè)圖片在一段時(shí)間后被記住的程度。由于圖像記憶度可以應(yīng)用于用戶界面設(shè)計(jì)，圖像處理，計(jì)算機(jī)視覺和場景理解等領(lǐng)域而越來越受到關(guān)注。

經(jīng)過觀察研究發(fā)現(xiàn)，能被記住和被遺忘的圖像具有不同的視覺特征^[2]，例如圖片中含有人的圖片就容易被記住，而大部分單一自然風(fēng)景的圖片就容易被遺忘。近些年絕大多數(shù)對(duì)圖像記憶度的研究是圍繞圖像底層視覺特征或圖像屬性特征展開的，其中圖像屬性特征相比底層特征是更高級(jí)別的語義特征，也有更好的預(yù)測(cè)效果。然而現(xiàn)有的大多數(shù)研究之著眼于單獨(dú)的屬性特征對(duì)記憶度的影響，想要對(duì)多種屬性特征進(jìn)行研究，并利用底層特征與圖像屬性特征構(gòu)建框架來提升預(yù)測(cè)能力是比較復(fù)雜的。

傳統(tǒng)的機(jī)器學(xué)習(xí)絕大多數(shù)是從零開始，并不借鑒以前學(xué)到的知識(shí)，也不對(duì)學(xué)到的知識(shí)進(jìn)行改進(jìn)和發(fā)展，這很大程度上限制了機(jī)器學(xué)習(xí)的能力^[3]，提高機(jī)器學(xué)習(xí)能力的一個(gè)關(guān)鍵問題就在于，要讓機(jī)器能夠繼承和發(fā)展過去學(xué)到的知識(shí)，也即掌握增量學(xué)習(xí)的能力。近年來，遷移學(xué)習(xí)(Transfer Learning)已經(jīng)引起了廣泛的關(guān)注和研究，從心理學(xué)的角度來看，遷移學(xué)習(xí)是人的基本學(xué)習(xí)技能，廣泛存在于知識(shí)、技能和行為規(guī)范的學(xué)習(xí)中。遷移學(xué)習(xí)是運(yùn)用已存有的知識(shí)對(duì)不同但相關(guān)領(lǐng)域問題進(jìn)行求解的一種新的機(jī)器學(xué)習(xí)方法^[4]，目的是遷移已有的知識(shí)來解決目標(biāo)領(lǐng)域中僅有少量有標(biāo)簽甚至沒有的學(xué)習(xí)問題。遷移學(xué)習(xí)大致分為三類：多任務(wù)學(xué)習(xí)、跨領(lǐng)域?qū)W習(xí)和不同數(shù)據(jù)分布下的學(xué)習(xí)。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，提供一種基于自適應(yīng)遷移學(xué)習(xí)的圖像記憶度預(yù)測(cè)方法，避免了對(duì)單一的圖像屬性進(jìn)行研究，將圖像底層特征與圖像屬性特征組合預(yù)測(cè)圖像記憶度，并引入遷移學(xué)習(xí)提高了預(yù)測(cè)結(jié)果。

本發(fā)明所采用的技術(shù)方案是：一種基于自適應(yīng)遷移學(xué)習(xí)的圖像記憶度預(yù)測(cè)方法，包括如下步驟：

1)根據(jù)選擇的M類圖像屬性特征，構(gòu)建M個(gè)輔助外部數(shù)據(jù)庫，其中M＝6；

2)對(duì)每個(gè)外部數(shù)據(jù)庫提取相關(guān)特征，構(gòu)成外部特征庫；

3)根據(jù)選擇的M類圖像屬性特征，對(duì)帶有圖像記憶度標(biāo)簽的LaMem數(shù)據(jù)庫進(jìn)行M類底層特征提取，提取的底層特征構(gòu)成底層特征庫；

4)將弱分類學(xué)習(xí)，結(jié)合遷移學(xué)習(xí)的回歸模型和多視角一致性損失三部分放在同一個(gè)框架下構(gòu)成一個(gè)整體，采用交替迭代的方法求解，在最優(yōu)參數(shù)下得到圖像底層特征、圖像屬性特征和圖像記憶度的關(guān)系；

5)利用在最優(yōu)參數(shù)下得到圖像底層特征、圖像屬性特征和圖像記憶度的關(guān)系，預(yù)測(cè)圖像記憶度并用相關(guān)評(píng)價(jià)標(biāo)準(zhǔn)來驗(yàn)證預(yù)測(cè)結(jié)果。

步驟1)所述的M類圖像屬性特征包括：美觀性特征、語義情感特征、人臉特征、晝夜特征、室內(nèi)室外特征和人工自然特征，每一類特征對(duì)應(yīng)一個(gè)外部數(shù)據(jù)庫。

步驟2)包括：提取每個(gè)輔助外部數(shù)據(jù)庫的底層特征為其中，D_i代表第i個(gè)輔助外部數(shù)據(jù)庫對(duì)應(yīng)底層特征的維數(shù)，N_i代表第i個(gè)輔助外部數(shù)據(jù)庫中所含圖像個(gè)數(shù)，M個(gè)輔助外部數(shù)據(jù)庫提取的底層特征共同構(gòu)成外部特征庫A＝{A₁,...,A_M}。

步驟3)包括：提取LaMem數(shù)據(jù)庫的每一類底層特征為其中，D_i代表第i類底層特征的維數(shù)，N代表數(shù)據(jù)庫中所含圖像個(gè)數(shù)，N＝58741，M類底層特征共同構(gòu)成底層特征庫B＝{B₁,...,B_M}。