[發(fā)明專利]自注意力機制與生成對抗網絡相結合的謠言檢測方法有效
| 申請?zhí)枺?/td> | 202010850844.0 | 申請日: | 2020-08-21 |
| 公開(公告)號: | CN112069397B | 公開(公告)日: | 2023-08-04 |
| 發(fā)明(設計)人: | 但志平;李奧;劉龍文;馮陽 | 申請(專利權)人: | 三峽大學 |
| 主分類號: | G06F16/9535 | 分類號: | G06F16/9535;G06F40/30;G06F16/35;G06N3/0455;G06N3/0442;G06N3/0475;G06N3/094;G06N3/047;G06N3/048 |
| 代理公司: | 宜昌市三峽專利事務所 42103 | 代理人: | 成鋼 |
| 地址: | 443002 *** | 國省代碼: | 湖北;42 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 注意力 機制 生成 對抗 網絡 相結合 謠言 檢測 方法 | ||
1.自注意力機制與生成對抗網絡相結合的謠言檢測方法,其特征在于,利用自注意力機制與生成對抗網絡相結合的謠言檢測模型進行謠言檢測,包括以下步驟,
步驟1:收集謠言文本數據形成謠言數據集;
步驟2:基于自注意力機制,構建包含自注意力層的生成對抗網絡生成器;
步驟3:構建判別器網絡,分別對原始謠言文本和經生成器解碼的文本進行謠言檢測、分類;
步驟4:對生成對抗網絡進行訓練,調整生成器的模型參數和判別器的模型參數;
步驟5:提取生成對抗網絡的判別器網絡,對待檢測文本進行謠言檢測;
所述對原始謠言文本和經生成器解碼的文本進行謠言檢測、分類,具體包括:
1)將謠言文本的位置信息嵌入到詞向量中,對于數據集中的謠言短文本序列,通過對數據特殊符號清洗、分詞、詞頻過濾;然后利用GloVe算法對詞進行向量化,得到由詞向量組成的序列Si={w1,...,wn},其中wj,j=1,2…,n代表序列中的語義詞向量,這n個詞組代表了這一條序列的所有信息;Si表示第i個詞向量序列;
將詞在序列中的位置信息標記為pos,利用三角函數對位置信息進行編碼:
其中dmodel為序列中詞的維度,i′表示詞向量的第i′個詞,x(pos,i′)表示處于pos位置上的第i′個詞的位置編碼,再通過計算得到一組位置信息向量wpi,結合詞語義向量Si,最終輸入到生成器或判別器中的是Mi=Si+wpi;
2)將預處理得到的詞向量輸入到生成器網絡中,其中自注意力層對其進行特征提取,首先初始化三個狀態(tài)矩陣Wq、Wk、Wv,方便后續(xù)進行并行的注意力權重計算:
xq=Mi·Wq
xk=Mi·Wk
xv=Mi·Wv
通過計算的向量xq、xk、xv來更新Mi,即Mi={xq,xk,xv};進入自注意力層,依次將每一個詞向量的q和k分向量進行矩陣運算得到score:
scorei=xq·xk
進行歸一化輸入到softmax函數里得到當前詞向量對謠言序列輸出向量c轉換的權重,注意力attention的計算式為:
a(scorei,xv)i表示Mi對輸出向量c的貢獻量;
經過自注意力層之后,進入全連接層進行特征提取;對于謠言Xr和非謠言Xn的文本,生成器構造了以下非線性函數,使得原始特征映射到新的特征空間中,即
3)將原始文本序列和生成器生成的文本序列輸入判別器;首先,用a0=(h0,ce0)對正向和反向的LSTM層狀態(tài)進行初始化,其中h0為LSTM顯性狀態(tài)、ce0為LSTM單元元胞狀態(tài),隱藏狀態(tài)a0采用正態(tài)分布隨機初始化;經過生成器偽裝后的謠言序列數據Xi={x1,...,xn}進入判別器的LSTM單元,LSTM單元內部的輸入門對序列進行信息提取:
it=σ(Wi·[ht-1,xt]+bi)
Ct=tanh(Wc·[ht-1,xt]+bc)
式中ht-1為前一個時間序列狀態(tài),xt為當前t時刻的輸入,也是經自注意力層處理的謠言序列詞向量;Ct是當前時刻輸入詞語和上一時刻輸出的語義信息,Wi,Wc,bi,bc是輸入門對謠言序列的解析矩陣;為了濾掉一些和分類無關的特征信息,保留關鍵特征,將Ct,xt輸入到遺忘門進行特征過濾,計算式為:
ft=σ(Wf·[ht-1,xt]+bf)
式中Wf,bf分別為遺忘門的權重矩陣;經過信息提取和過濾后,計算得到新的詞信息
得到要輸出的特征矩陣,LSTM控制這個狀態(tài)信息和輸入特征向量對當前時刻輸出ot的影響,接下來進入輸出門,最終得到此時序謠言詞向量ρt:
ot=σ(Wo[ht-1,xt]+bo)
式中Wo,bo分別是輸出門的權重矩陣,為LSTM正向或反向得到的序列向量,為LSTM正向得到的序列向量,為LSTM反向得到的序列向量;判別器的最后一層得到所有時序的輸出并在判別器輸出層引入注意力層;在輸入序列中,構造特征矩陣對每一個LSTM單元的輸出分別計算出影響因子
歸一化后得到每一時序的權重,然后按照權重對每一時序加權求和:
最后經過softmax層計算謠言和非謠言的類別概率。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于三峽大學,未經三峽大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202010850844.0/1.html,轉載請聲明來源鉆瓜專利網。





