[發明專利]一種數據增強方法和裝置在審
| 申請號： | 201811093348.4 | 申請日： | 2018-09-19 |
| 公開（公告）號： | CN110929512A | 公開（公告）日： | 2020-03-27 |
| 發明（設計）人： | 安旭 | 申請（專利權）人： | 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司 |
| 主分類號： | G06F40/289 | 分類號： | G06F40/289;G06F40/30 |
| 代理公司： | 中原信達知識產權代理有限責任公司 11219 | 代理人： | 張一軍;李陽 |
| 地址： | 100195 北京市海淀區杏石口路6*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 數據 增強 方法 裝置 | ||
1.一種數據增強方法，其特征在于，包括：
采用分詞器對原始詞向量訓練數據中的標題進行分詞，得到多個分詞；
分別確定相鄰兩個分詞之間的關聯性，將具有強關聯性的兩個分詞作為一個短語加入到結果序列中，將具有弱關聯性的兩個分詞分別加入到結果序列中；
隨機打亂所述結果序列中的分詞和短語的位序，將打亂后的結果序列作為新的詞向量訓練數據。
2.根據權利要求1所述的方法，其特征在于，分別計算相鄰兩個分詞之間的關聯性，包括：
通過以下公式分別計算相鄰兩個分詞的點互信息，
其中，x、y分別表示相鄰的兩個分詞，PMI(x,y)表示分詞x、分詞y的點互信息，P(x,y)表示分詞x、分詞y共同出現的概率，P(x)表示分詞x出現的概率，P(y)表示分詞y出現的概率；
根據所述點互信息和超參數的乘積與隨機數的差值，確定所述相鄰兩個分詞之間的關聯性；其中，所述超參數大于0并且小于1，所述隨機數大于0并且小于1。
3.根據權利要求2所述的方法，其特征在于，根據所述點互信息和超參數的乘積與隨機數的差值，確定相鄰兩個分詞之間的關聯性，包括：
若所述點互信息和超參數的乘積大于所述隨機數，則確定所述兩個分詞之間具有強關聯性；
若所述點互信息和超參數的乘積小于等于所述隨機數，則確定所述兩個分詞之間具有弱關聯性。
4.根據權利要求1所述的方法，其特征在于，隨機打亂所述結果序列中的分詞和短語的位序，將打亂后的結果序列作為新的詞向量訓練數據，包括：
將每個所述結果序列中的分詞和短語的位序隨機打亂N次，將得到的N*M個打亂后的結果序列作為新的詞向量訓練數據；
其中，N為正整數，M為原始詞向量訓練數據中的標題數量，并且M為正整數。
5.根據權利要求1所述的方法，其特征在于，采用分詞器對標題進行分詞，得到多個分詞，包括：
采用條件隨機場模型作為分詞器，對原始詞向量訓練數據中的標題進行分詞，得到多個分詞。
6.一種數據增強裝置，其特征在于，包括：
分詞模塊，用于采用分詞器對原始詞向量訓練數據中的標題進行分詞，得到多個分詞；
關聯模塊，用于分別確定相鄰兩個分詞之間的關聯性，將具有強關聯性的兩個分詞作為一個短語加入到結果序列中，將具有弱關聯性的兩個分詞分別加入到結果序列中；
打亂模塊，用于隨機打亂所述結果序列中的分詞和短語的位序，將打亂后的結果序列作為新的詞向量訓練數據。
7.根據權利要求6所述的裝置，其特征在于，分別計算相鄰兩個分詞之間的關聯性，包括：
通過以下公式分別計算相鄰兩個分詞的點互信息，
其中，x、y分別表示相鄰的兩個分詞，PMI(x,y)表示分詞x、分詞y的點互信息，P(x,y)表示分詞x、分詞y共同出現的概率，P(x)表示分詞x出現的概率，P(y)表示分詞y出現的概率；
根據所述點互信息和超參數的乘積與隨機數的差值，確定所述相鄰兩個分詞之間的關聯性；其中，所述超參數大于0并且小于1，所述隨機數大于0并且小于1。
8.根據權利要求7所述的裝置，其特征在于，根據所述點互信息和超參數的乘積與隨機數的差值，確定相鄰兩個分詞之間的關聯性，包括：
若所述點互信息和超參數的乘積大于所述隨機數，則確定所述兩個分詞之間具有強關聯性；
若所述點互信息和超參數的乘積小于等于所述隨機數，則確定所述兩個分詞之間具有弱關聯性。
9.根據權利要求6所述的裝置，其特征在于，所述打亂模塊用于：
將每個所述結果序列中的分詞和短語的位序隨機打亂N次，將得到的N*M個打亂后的結果序列作為新的詞向量訓練數據；
其中，N為正整數，M為原始詞向量訓練數據中的標題數量，并且M為正整數。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司，未經北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201811093348.4/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種用于業務分析的數據處理方法和裝置
- 下一篇：一種微量物相定量分析方法
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
