[發(fā)明專利]一種語料生成裝置和方法在審
| 申請?zhí)枺?/td> | 201680001747.6 | 申請日: | 2016-06-29 |
| 公開(公告)號: | CN107004000A | 公開(公告)日: | 2017-08-01 |
| 發(fā)明(設(shè)計)人: | 王昊奮;邱楠;楊新宇 | 申請(專利權(quán))人: | 深圳狗尾草智能科技有限公司 |
| 主分類號: | G06F17/27 | 分類號: | G06F17/27;G06F17/30 |
| 代理公司: | 深圳市華優(yōu)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)44319 | 代理人: | 李麗君 |
| 地址: | 518000 廣東省深圳市南山區(qū)*** | 國省代碼: | 廣東;44 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 語料 生成 裝置 方法 | ||
1.一種基于知識驅(qū)動的語料生成裝置,其特征在于,包括:
分詞模塊,連接至少一個單語平行語料庫,用于對每一所述平行語料庫內(nèi)的語句進行分詞,并對分詞進行知識驅(qū)動以實現(xiàn)標簽化;
分類模塊,用于識別知識驅(qū)動處理后的語句,將標簽序列不同的相同含義的語句分類到同一語句簇;
映射模塊,用于分析每一所述單語平行語料庫中每一所述語句簇中的語句,確定所述語句簇中所有語句的句式結(jié)構(gòu)類別,確定并記錄存儲同一所述語句簇中不同所述句式結(jié)構(gòu)類別之間進行變換時,相應(yīng)的所述句式結(jié)構(gòu)之間的標簽變換的映射方式;
句式結(jié)構(gòu)生成模塊,用于查找所有單語平行語料庫中每一所述語句簇中相同的第一類別句式結(jié)構(gòu),并根據(jù)所述語句簇其中之一者的所述第一類別句式結(jié)構(gòu)與同一所述語句簇中其他類別句式結(jié)構(gòu)的第一類映射方式,在其余的所述語句簇中對所述第一類別句式結(jié)構(gòu)按照所述映射方式分別進行映射,生成相應(yīng)的句式結(jié)構(gòu)類別;以及,
語料生成模塊,用于對新生成的所述句式結(jié)構(gòu)嵌套所述語句簇中句式結(jié)構(gòu)的序列標簽對應(yīng)的詞語,生成新的單語平行語料庫。
2.根據(jù)權(quán)利要求1所述的語料生成裝置,其特征在于,所述分詞模塊包括:
分詞單元,用于對所有單語平行語料庫中的所述語句進行分詞;
第一標簽單元,用于按照詞語的詞性對分詞處理后的所述語句添加第一標簽;
第二標簽單元,用于按照詞語在句中成分對分詞處理后的所述語句添加第二標簽。
3.根據(jù)權(quán)利要求2所述的語料生成裝置,其特征在于,所述分詞模塊還包括第三標簽單元;
所述第三標簽單元用于對經(jīng)標簽化處理后標簽序列相同的不同含義的語句,按照詞語含義對所述語句添加第三標簽。
4.根據(jù)權(quán)利要求1所述的語料生成裝置,其特征在于,所述語料生成模塊包括:
標簽識別單元,用于識別所有單語平行語料庫中每一所述語句簇中全部句式結(jié)構(gòu)中的標簽;
語料生成單元,用于將每一所述語句簇中全部句式結(jié)構(gòu)中的標簽對應(yīng)的詞語嵌套到所述句式結(jié)構(gòu)中,生成新的單語平行語料庫。
5.根據(jù)權(quán)利要求4所述的語料生成裝置,其特征在于,所述語料生成單元按照所述分詞模塊的所述知識驅(qū)動標準對新生成的所述句式結(jié)構(gòu)進行嵌套。
6.一種語料生成方法,其特征在于,包括:
對至少一個單語平行語料庫中每一語句進行分詞,并對分詞進行知識驅(qū)動以實現(xiàn)標簽化;
識別知識驅(qū)動處理后的語句,將標簽序列不同的相同含義的語句分類到同一語句簇;
分析每一所述單語平行語料庫中每一所述語句簇中的語句,確定所述語句簇中所有語句的句式結(jié)構(gòu)類別,確定并記錄存儲同一所述語句簇中不同所述句式結(jié)構(gòu)類別之間進行變換時,相應(yīng)的所述句式結(jié)構(gòu)之間的標簽變換的映射方式;
查找所有單語平行語料庫中每一所述語句簇中相同的第一類別句式結(jié)構(gòu),并根據(jù)所述語句簇其中之一者的所述第一類別句式結(jié)構(gòu)與同一所述語句簇中其他類別句式結(jié)構(gòu)的第一類映射方式,在其余的所述語句簇中對所述第一類別句式結(jié)構(gòu)按照所述映射方式分別進行映射,生成相應(yīng)的句式結(jié)構(gòu)類別;
對新生成的所述句式結(jié)構(gòu)嵌套所述語句簇中句式結(jié)構(gòu)的序列標簽對應(yīng)的詞語,生成新的單語平行語料庫。
7.根據(jù)權(quán)利要求6所述的語料生成方法,其特征在于,在對平行語料庫內(nèi)的語句進行分詞的步驟中,包括步驟:
對所有單語平行語料庫中的語句進行分詞;
按照詞語的詞性對分詞處理后的所述語句添加第一標簽;
按照詞語在句中成分對分詞處理后的所述語句添加第二標簽。
8.根據(jù)權(quán)利要求7所述的語料生成方法,其特征在于,在對平行語料庫內(nèi)的語句進行分詞的步驟中,還包括步驟:
對經(jīng)標簽化處理后標簽序列相同的不同含義的語句,按照詞語含義對所述語句添加第三標簽。
9.根據(jù)權(quán)利要求6所述的語料生成方法,其特征在于,在對所有所述語句簇中生成的所述句式結(jié)構(gòu)嵌套所述語句簇中句式結(jié)構(gòu)的序列標簽對應(yīng)的詞語的步驟中,包括步驟:
分別所有單語平行語料庫中每一所述語句簇中全部句式結(jié)構(gòu)中的標簽;
將每一所述語句簇中全部句式結(jié)構(gòu)中的標簽對應(yīng)的詞語嵌套到所述句式結(jié)構(gòu)中,生成語料。
10.根據(jù)權(quán)利要求9所述的語料生成方法,其特征在于,在將所述標簽對應(yīng)的詞語嵌套到所述句式結(jié)構(gòu)的步驟中,按照所述知識驅(qū)動標準對新生成的所述句式結(jié)構(gòu)進行嵌套。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳狗尾草智能科技有限公司,未經(jīng)深圳狗尾草智能科技有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201680001747.6/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。





