[發明專利]一種基于深度學習的信息要素聯合抽取方法及系統在審
| 申請號： | 202110101370.4 | 申請日： | 2021-01-26 |
| 公開（公告）號： | CN112765994A | 公開（公告）日： | 2021-05-07 |
| 發明（設計）人： | 姬東鴻;徐康;費豪 | 申請（專利權）人： | 武漢大學 |
| 主分類號： | G06F40/30 | 分類號： | G06F40/30;G06F16/28;G06N3/04;G06N3/08 |
| 代理公司： | 武漢謙源知識產權代理事務所(普通合伙) 42251 | 代理人： | 王力 |
| 地址： | 430000*** | 國省代碼： | 湖北;42 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 深度 學習 信息 要素 聯合 抽取 方法 系統 | ||
1.一種基于深度學習的信息要素聯合抽取方法,其特征在于，包括如下步驟：
步驟1：利用基于文本上下文內容的預訓練語言模型和雙向長短期記憶網絡將輸入的目標文本轉換為目標詞向量表示；
步驟2：通過拼接目標詞向量表示左右端點的詞向量表示以及學習到的文本跨度寬度枚舉所述目標詞向量中每個句子的所有文本跨度，并基于所述目標詞向量表示得到目標文本跨度向量表示；
步驟3：基于所述文本跨度向量表示分別構建共指關系、實體關系、事件結構關系對應的文本跨度圖網絡，并通過所述文本跨度圖網絡傳遞和更新所述文本跨度向量表示；
步驟4：基于神經網絡構建打分函數，并對更新后的每個所述文本跨度向量表示進行多任務分類。
2.根據權利要求1所述的基于深度學習的信息要素聯合抽取方法,其特征在于，所述步驟1具體包括如下步驟：
利用預訓練Bert模型將輸入的訓練文本進行轉換,并得到對應的訓練詞向量；
將所述訓練詞向量輸入至雙向長短期記憶網絡并進行訓練，以對所述雙向長短期記憶網絡的參數進行調校；
將目標文本輸入預訓練Bert模型進行轉換，并得到目標詞向量，將所述目標詞向量輸入訓練后的所述雙向長短期記憶網絡，得到所述目標詞向量表示。
3.根據權利要求1所述的基于深度學習的信息要素聯合抽取方法,其特征在于，所述步驟3中，所述構建共指關系、實體關系、事件結構關系對應的文本跨度圖網絡具體包括如下步驟：
根據與所述文本跨度向量表示最有可能具有共指關系的文本跨度向量表示作為鄰接文本跨度向量表示構建共指關系對應的文本跨度圖網絡；
根據與所述文本跨度向量表示所處的同一個句子中的實體文本跨度向量表示作為鄰接文本跨度向量表示構建實體關系對應的文本跨度圖網絡；
根據文本跨度向量表示構建包含觸發詞節點和事件元素節點的事件結構關系對應的文本跨度圖網絡，其中，所述觸發詞結點傳遞信息給其可能的事件元素結點，事件元素結點傳遞信息給其可能的觸發詞結點。
4.根據權利要求3所述的基于深度學習的信息要素聯合抽取方法,其特征在于，所述步驟3中，通過所述文本跨度圖網絡傳遞和更新所述文本跨度向量表示的具體方法為：
對于任務x，在迭代次數為t時，第i個文本跨度向量表示g(i)的更新量的計算公式如下：
其中：j∈Bx(i)，Bx(i)代表在任務x下的所有文本跨度向量表示g(i)的所有先行詞的集合，是度量在任務x下文本跨度向量表示g(i)和g(j)之間相似度的矩陣，gt(j)代表第t次迭代時第j個文本跨度向量表示；
根據所述第i個文本跨度向量表示g(i)的更新量計算更新之后的文本跨度向量gt+1(i)，計算公式為：
其中，f代表門控函數，其大小滿足0≤f≤1；gt(i)代表第t次迭代時第j個文本跨度向量表示。
5.根據權利要求1所述的基于深度學習的信息要素聯合抽取方法,其特征在于，所述步驟4具體包括：
構建兩層前饋神經網絡作為打分函數分別完成實體識別任務和事件抽取任務，以及實體關系抽取和事件抽元素檢測任務；
針對實體識別任務和事件抽取任務，將更新后的所述文本跨度向量表示作為其中一層所述前饋神經網絡的輸入，并計算得到更新后的所述文本跨度向量表示的事件觸發詞預測結果和命名實體預測結果；
針對實體關系抽取和事件元素檢測任務，將任意兩個更新后的所述文本跨度向量表示進行拼接后作為另一層所述前饋神經網絡的輸入，并計算得到對應兩個更新后的所述文本跨度向量表示之間的關系預測結果和事件元素預測結果。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于武漢大學，未經武漢大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/202110101370.4/1.html，轉載請聲明來源鉆瓜專利網。
- 信息記錄介質、信息記錄方法、信息記錄設備、信息再現方法和信息再現設備
- 信息記錄裝置、信息記錄方法、信息記錄介質、信息復制裝置和信息復制方法
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄裝置、信息再現裝置、信息記錄方法、信息再現方法、信息記錄程序、信息再現程序、以及信息記錄介質
- 信息記錄設備、信息重放設備、信息記錄方法、信息重放方法、以及信息記錄介質
- 信息存儲介質、信息記錄方法、信息重放方法、信息記錄設備、以及信息重放設備
- 信息存儲介質、信息記錄方法、信息回放方法、信息記錄設備和信息回放設備
- 信息記錄介質、信息記錄方法、信息記錄裝置、信息再現方法和信息再現裝置
- 信息終端，信息終端的信息呈現方法和信息呈現程序
- 信息創建、信息發送方法及信息創建、信息發送裝置
