[發明專利]基于圖卷積神經網絡交互的推薦方法及系統有效
| 申請號: | 202110761639.1 | 申請日: | 2021-07-06 |
| 公開(公告)號: | CN113255844B | 公開(公告)日: | 2021-12-10 |
| 發明(設計)人: | 李傳珍;張洋;蔡娟娟;肖晗;王暉 | 申請(專利權)人: | 中國傳媒大學 |
| 主分類號: | G06K9/62 | 分類號: | G06K9/62;G06N3/04;G06N3/08;H04N21/25;H04N21/466;G06F16/9535 |
| 代理公司: | 北京鴻元知識產權代理有限公司 11327 | 代理人: | 董永輝;曹素云 |
| 地址: | 100024 *** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 基于 圖卷 神經網絡 交互 推薦 方法 系統 | ||
本發明公開一種基于圖卷積神經網絡交互的推薦方法及系統,方法包括:構建點擊率預估模型,點擊率預估模型包括圖卷積神經網絡和輸出層,圖卷積神經網絡包含多個圖卷積層,將各特征域上的特征作為節點,通過各節點間相互連接的連接邊構成無向圖輸入到圖卷積神經網絡中,圖卷積神經網絡輸出各特征交互向量,將各特征交互向量拼接起來輸入到輸出層,輸出點擊率預估值,反復優化,直至獲得最優點擊率預估模型;利用最優點擊率預估模型輸出點擊率預估值,并根據點擊率預估結果對候選集排序,輸出推薦列表。本發明通過引入圖卷積神經網絡,解決點擊率預估領域的高階特征交互問題,并以圖的方式展示特征交叉的方式,提高推薦結果的可解釋性。
技術領域
本發明涉及推薦技術領域,具體地說,涉及一種基于圖卷積神經網絡交互的推薦方法及系統。
背景技術
隨著互聯網的發展,信息大爆炸時代的到來,人們完成了從信息匱乏到信息過載的過渡。個性化推薦系統的出現緩解了信息過載的壓力,幫助用戶從海量的數據中獲得真正對自身有幫助的信息。點擊率預估模型,最開始只應用于計算廣告領域,如今在推薦領域也得到了廣泛應用,特別是在推薦系統的排序部分,通過點擊率預估模型,計算召回數據的點擊率,根據點擊率大小對數據進行排序之后,將排序后的結果推薦給用戶。
近年來CTR(點擊率)預估成為工業界和學術界研究的熱點,早期的CTR預估任務多采用LR(邏輯回歸)線性模型,LR模型在大規模系統中表現出實現簡單和高性能的特性,使之成為工業界最廣泛的CTR預估模型。但是LR模型的缺點也很明顯,一是由于輸入特征是高維稀疏向量,大部分的特征都為0,這樣就會導致模型參數學習不準確,影響預測的準確性;二是LR 需要進行人工特征組合,這就需要開發者有非常豐富的領域經驗,這樣的模型遷移起來比較困難且模型學習能力有限,不能捕獲高階特征(非線性信息)。除此之外,Facebook的研究人員還提出了另一種篩選特征和特征組合的方式,稱為GBDT+LR方案,其基本思想是GBDT(梯度提升樹)來幫助篩選有區分度的特征和特征組合,并將其作為LR模型的輸入,從而增強LR的非線性學習能力。
針對LR模型存在的問題,Oentaryo等人提出了基于FM(因子分解機)的CTR預估模型,該模型不僅考慮了單個特征攜帶的信息,而且考慮了二階組合特征(Featuresinteractions)攜帶的信息,在FM中每個特征用一個D維隱含向量表示,將One-hot編碼后的高維稀疏向量轉化成一個低維稠密連續向量,二階特征組合用兩個隱含向量的點積表示,FM的出現解決了LR模型因為數據稀疏而導致的參數學習不充分的缺點。FM也存在缺陷,FM的缺陷在于每個特征都只學習一個唯一的隱含向量,在與其他不同特征進行組合時,同一個特征產生的影響力都是相同的;而事實上,當與不同特征域的特征組合時,可能表現出不同的隱含特征分布。Yitao等人在FM模型的基礎上引入了特征域(Field)的概念,提出了FFM(Field-aware Factorization Machine,面向特征域的因子分解機)模型。其基本思想是將特征分割為若干領域,每個特征將針對不同的特征域學習不同的隱含向量。FM、FFM都是在LR基礎上增加對二階特征組合的權重自動學習的模型。
綜上,LR、FM、FFM被稱為基于淺層模型的CTR預估方案,其優點是模型簡單、預測性能較好、可解釋性強;缺點主要在于很難自動提取高階組合特征攜帶的信息。隨著深度學習的發展,其探索特征間高階隱含信息的能力也被應用到CTR預估問題中。早期具有影響力的基于深度學習的CTR預估模型是Zhang等人在2016年提出的基于因子分解機的神經網絡模型,其特點是通過FM模型預先訓練得到每個特征的稠密嵌入向量(Dense Vector),拼接以后直接輸入到DNN(深度神經網絡),從而獲得高階特征交互。之后提出的DeepFM、DCN、WideDeep、PNN、NFM、AFM也都是基于相同的思想,將類FM的模型通過串行結構或者并行結構的方式與DNN結合,進行高階特征和低階特征的分別建模,提高點擊率預估的準確性。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于中國傳媒大學,未經中國傳媒大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202110761639.1/2.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:貫通地線的監測方法和系統
- 下一篇:一種電子數據的鑒定方法及裝置





