[發(fā)明專利]一種信息處理方法及裝置有效
| 申請?zhí)枺?/td> | 201310574997.7 | 申請日: | 2013-11-15 |
| 公開(公告)號: | CN103593338A | 公開(公告)日: | 2014-02-19 |
| 發(fā)明(設(shè)計)人: | 賈高峰;龍江群;閆慧麗 | 申請(專利權(quán))人: | 北京銳安科技有限公司 |
| 主分類號: | G06F17/27 | 分類號: | G06F17/27;G06F17/30 |
| 代理公司: | 北京品源專利代理有限公司 11332 | 代理人: | 胡彬 |
| 地址: | 100044 北京市海*** | 國省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 信息處理 方法 裝置 | ||
1.一種信息處理方法,其特征在于,所述方法包括:
判斷待處理的文本中是否存在歧義詞;
當(dāng)所述待處理的文本中存在歧義詞時,從所述待處理的文本中拆分出歧義詞;
根據(jù)與所述拆分出的歧義詞對應(yīng)的分詞規(guī)則,對所述拆分出的歧義詞進行拆分。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,判斷待處理的文本中是否存在歧義詞,包括:
采用逆向最大匹配算法判斷所述待處理的文本中與歧義詞數(shù)據(jù)庫中是否有相同的詞;
當(dāng)所述待處理的文本中與歧義詞數(shù)據(jù)庫中有相同的詞時,所述待處理的文本中存在歧義詞;當(dāng)所述待處理的文本中與歧義詞數(shù)據(jù)庫中沒有相同的詞時,所述待處理的文本中不存在歧義詞。
3.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,判斷待處理的文本中是否存在歧義詞之前,還包括:
根據(jù)字符編碼、標(biāo)點符號、人名數(shù)據(jù)庫對接收的信息進行拆分,得到所述待處理的文本;
通過正向最大匹配算法將所述待處理的文本與詞語數(shù)據(jù)庫、擴展數(shù)據(jù)庫中的詞組匹配,得到第一種匹配結(jié)果;
通過逆向最大匹配算法將所述待處理的文本與詞語數(shù)據(jù)庫、擴展數(shù)據(jù)庫中的詞組匹配,得到第二種匹配結(jié)果;
根據(jù)所述第一種匹配結(jié)果拆分所述待處理的文本,得到第一子文本集合,所述第一子文本集合包括多個子文本;
根據(jù)所述第二種匹配結(jié)果拆分所述待處理的文本,得到第二子文本集合,所述第二子文本集合包括多個子文本;
當(dāng)所述第一子文本集合與所述第二子文本集合不相同,且所述第一子文本集合和所述第二子文本集合中具有相同字數(shù)的子文本的數(shù)量相同,且所述第一子文本集合中子文本的數(shù)量等于所述第二子文本集合中子文本的數(shù)量時,將所述第一子文本集合作為所述待處理文本的拆分結(jié)果,并觸發(fā)所述判斷待處理的文本中是否存在歧義詞。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,根據(jù)與所述拆分出的歧義詞對應(yīng)的分詞規(guī)則,對所述拆分出的歧義詞進行拆分之后,還包括:
合并所述拆分結(jié)果及對所述拆分出的歧義詞進行拆分后得到的結(jié)果,得到分詞集合,所述分詞集合中的分詞按照在所述待處理的文本中的位置排列;
當(dāng)所述分詞集合中含有連續(xù)的單字時,根據(jù)低概率單字數(shù)據(jù)庫判斷所述連續(xù)的單字中是否含有低概率單字,如果是,則將所述低概率單字左邊的連續(xù)單字合成為一個詞,所述低概率單字右邊的連續(xù)單字合成為一個詞。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,將所述低概率單字左邊的連續(xù)單字合成為一個詞,所述低概率單字右邊的連續(xù)單字合成為一個詞之后,還包括:
判斷合成的詞中是否存在長度大于預(yù)設(shè)值的詞,如果存在,則將所述長度大于預(yù)設(shè)值的詞添加到人工識別數(shù)據(jù)庫;
從所述人工識別數(shù)據(jù)庫中篩選出符合預(yù)設(shè)篩選條件的詞;
將篩選出的詞添加到所述擴展數(shù)據(jù)庫。
6.一種信息處理裝置,其特征在于,所述裝置包括:
第一判斷單元,用于判斷待處理的文本中是否存在歧義詞;
第一拆分單元,用于當(dāng)所述第一判斷單元判斷出所述待處理的文本中存在歧義詞時,從所述待處理的文本中拆分出歧義詞;
第二拆分單元,用于根據(jù)與所述第一拆分單元拆分出的歧義詞對應(yīng)的分詞規(guī)則,對所述拆分出的歧義詞進行拆分。
7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述第一判斷單元具體用于:
采用逆向最大匹配算法判斷所述待處理的文本中與歧義詞數(shù)據(jù)庫中是否有相同的詞;
當(dāng)所述待處理的文本中與歧義詞數(shù)據(jù)庫中有相同的詞時,所述待處理的文本中存在歧義詞;當(dāng)所述待處理的文本中與歧義詞數(shù)據(jù)庫中沒有相同的詞時,所述待處理的文本中不存在歧義詞。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京銳安科技有限公司,未經(jīng)北京銳安科技有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201310574997.7/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。





