[發明專利]一種基于權重不確定的圖卷積神經網絡的優化方法、裝置在審
| 申請號: | 202011546124.1 | 申請日: | 2020-12-23 |
| 公開(公告)號: | CN112651436A | 公開(公告)日: | 2021-04-13 |
| 發明(設計)人: | 孫月;閆瀟寧 | 申請(專利權)人: | 深圳市安軟科技股份有限公司 |
| 主分類號: | G06K9/62 | 分類號: | G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 深圳君信誠知識產權代理事務所(普通合伙) 44636 | 代理人: | 劉偉 |
| 地址: | 518000 廣東省深圳市龍華新區龍華*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 基于 權重 不確定 圖卷 神經網絡 優化 方法 裝置 | ||
本申請實施例屬于深度學習技術領域,涉及一種基于權重不確定的圖卷積神經網絡的優化方法,所述方法包括:獲取圖結構數據并進行預處理;構建圖卷積神經網絡,并基于所述圖卷積神經網絡的權重參數先驗分布,通過KL散度損失獲取所述圖卷積神經網絡的權重參數后驗分布;根據所述權重參數后驗分布更新所述圖卷積神經網絡,并使用所述圖結構數據訓練所述更新后的圖卷積神經網絡?;跇嫿ǖ膱D卷積神經網絡的權重參數先驗分布利用KL散度損失來學習圖卷積神經網絡的權重參數后驗分布,并使用權重參數后驗分布來更新圖卷積神經網絡,從而在圖卷積神經網絡權重中引入不確定性,提高了圖卷積神經網絡模型進行圖結構數據分類的準確率。
技術領域
本發明涉及深度學習技術領域,尤其涉及一種基于權重不確定的圖卷積神經網絡的優化方法、裝置、基于權重不確定的圖卷積神經網絡的節點分類系統、計算機設備和計算機可讀存儲介質。
背景技術
在過去的十年中,深度學習在常規的歐式空間的數據上取得了巨大的成功,例如語音,圖像和自然語言處理等。然而,非歐式數據結構在現實世界中是無處不在的,它可以代表對象之間的關系,例如社交網絡,電子商務網絡,生物結構網絡和交通網絡等。因此,如何利用深度學習方法來處理圖結構數據,在過去幾年中引起了廣泛關注。
盡管現有方法成功地將卷積運算的思想應用于處理非歐幾里德圖數據,并獲得了相當不錯的性能,但是它們將圖視為代表節點之間的真實關系來進行處理。在許多情況下,應用程序中使用的圖形本身是從復雜的數據或不正確的建模假設中得出的。在這些復雜的圖中,虛假邊緣的存在或節點之間沒有很強的關系會影響模型的學習。為了解決圖結構數據的不確定性,有人提出了一種Byesian(貝葉斯)框架,其中觀察到的圖被視為參數隨機圖模型描述的集合中的隨機樣本。然后,受這項工作的啟發,Pal等人分別提出了基于復制節點的圖的非參數生成模型和圖的替代生成模型。但是,這些方法側重于如何有效地生成新圖,然后通過采用圖卷積神經網絡(GCN)模型的方法來實際學習圖結構表示。此外,這些方法無法正確評估訓練數據中的不確定性,導致模型對正確的節點類別或預測會做出過分自信的決定,從而導致模型節點分類準確率的降低。
發明內容
本申請實施例的目的在于提出一種基于權重不確定的圖卷積神經網絡的優化方法,以使圖卷積神經網絡在面對圖結構數據時能夠正確評估數據的不確定性,從而提高模型節點分類的準確率。
為了解決上述技術問題,本申請實施例提供一種基于權重不確定的圖卷積神經網絡的優化方法,采用了如下所述的技術方案:
獲取圖結構數據并進行預處理;
構建圖卷積神經網絡,并基于所述圖卷積神經網絡的權重參數先驗分布,通過KL散度損失獲取所述圖卷積神經網絡的權重參數后驗分布;
根據所述權重參數后驗分布更新所述圖卷積神經網絡,并使用所述圖結構數據訓練所述更新后的圖卷積神經網絡。
進一步的,所述基于所述圖卷積神經網絡的權重參數先驗分布,通過KL散度損失獲取所述圖卷積神經網絡的權重參數后驗分布的步驟包括:
獲取所述圖卷積神經網絡的權重參數先驗分布,所述權重參數包括權重的期望和權重的方差;
初始化所述圖卷積神經網絡的權重參數后驗分布并對進行重采樣,得到所述權重參數后驗分布重采樣后的初始值;
根據所述權重參數先驗分布和所述權重參數后驗分布重采樣后的初始值使用KL散度損失更新所述圖卷積神經網絡的權重參數后驗分布。
進一步的,所述根據所述權重參數后驗分布更新所述圖卷積神經網絡的步驟包括:
基于所述重采樣權重參數后驗分布進行所述圖卷積神經網絡的前向傳播并計算交叉熵損失;
基于所述交叉熵損失和所述KL散度損失計算總損失;
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于深圳市安軟科技股份有限公司,未經深圳市安軟科技股份有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202011546124.1/2.html,轉載請聲明來源鉆瓜專利網。





