本申請(qǐng)公開了一種基于深度神經(jīng)網(wǎng)絡(luò)文本自動(dòng)校對(duì)方法及裝置，方法通過獲取語料，并對(duì)語料進(jìn)行分詞，得到若干第一詞組；根據(jù)每個(gè)第一詞組的易混淆詞，自動(dòng)生成每個(gè)第一詞組的混淆集；獲取訓(xùn)練集，并通過訓(xùn)練集對(duì)N?gram模型進(jìn)行訓(xùn)練和對(duì)BiLSTM?CRF模型進(jìn)行訓(xùn)練；接收第一文本，并對(duì)第一文本進(jìn)行預(yù)處理得到第二文本；通過訓(xùn)練后的N?gram模型和BiLSTM?CRF模型以及混淆集對(duì)第二文本進(jìn)行文本查錯(cuò)和文本糾錯(cuò)。達(dá)到了自動(dòng)生成基于音似詞、形似詞和同義詞的混淆集的目的，從而實(shí)現(xiàn)了基于混淆集和BiLSTM?CRF模型的方法既引入上下文詞向量對(duì)目標(biāo)詞進(jìn)行校對(duì)，又通過混淆集對(duì)方法進(jìn)行一些限制的效果；且結(jié)合N?gram模型和BiLSTM?CRF模型進(jìn)行校對(duì)，比單一模型校對(duì)效果都好。

技術(shù)領(lǐng)域

本申請(qǐng)涉及文本識(shí)別及校對(duì)技術(shù)領(lǐng)域，具體而言，涉及一種基于深度神經(jīng)網(wǎng)絡(luò)文本自動(dòng)校對(duì)方法及裝置。

背景技術(shù)

文本校對(duì)指對(duì)文本進(jìn)行查錯(cuò)并提出修改建議，是出版工作的關(guān)鍵環(huán)節(jié)，在各個(gè)行業(yè)都有廣泛的應(yīng)用。隨著信息技術(shù)和出版業(yè)電子化的迅速發(fā)展，文本校對(duì)的工作量大大增加。目前的文本校對(duì)工作大部分還采用人工校對(duì)的方法，校對(duì)工作強(qiáng)度大、成本高、效率低。同時(shí)，在如今信息爆炸的時(shí)代，媒體的時(shí)效性越來越重要，各家媒體都需要第一時(shí)間出稿，這對(duì)于人工校對(duì)的及時(shí)性、準(zhǔn)確性、全面性是極大的挑戰(zhàn)，人工校對(duì)的方式已無法適應(yīng)迅速增長(zhǎng)的電子文本數(shù)量。

傳統(tǒng)的文本自動(dòng)校對(duì)技術(shù)大多分為查錯(cuò)和糾錯(cuò)兩部分進(jìn)行，常見的查錯(cuò)方法有基于規(guī)則的方法、基于統(tǒng)計(jì)的方法和規(guī)則與統(tǒng)計(jì)相結(jié)合的方法，常見的糾錯(cuò)方法則是結(jié)合混淆集和查錯(cuò)模型開展。在申請(qǐng)?zhí)枮?01710947261.8的中國(guó)專利申請(qǐng)中，提供一種中文交互式問答文本中錯(cuò)別字的識(shí)別和糾錯(cuò)的方法及裝置，根據(jù)依存分析和上下鄰接詞共現(xiàn)概率建立局部錯(cuò)誤模型和全局錯(cuò)誤模型進(jìn)行查錯(cuò)，建立基于音近詞和形近詞的混淆集詞典，根據(jù)目標(biāo)詞的混淆詞對(duì)目標(biāo)詞進(jìn)行改寫，比較改寫后的概率進(jìn)行糾錯(cuò)。基于傳統(tǒng)統(tǒng)計(jì)模型的方法主要依據(jù)局部上下文特征，沒有很好的利用詞與詞間的關(guān)系，當(dāng)上下文共現(xiàn)組合在訓(xùn)練集沒有出現(xiàn)時(shí)，是否錯(cuò)誤無法判斷，同時(shí)糾錯(cuò)依賴混淆集，當(dāng)錯(cuò)誤不屬于混淆集里的詞，錯(cuò)誤就無法召回。

近兩年來，隨著相關(guān)數(shù)據(jù)集規(guī)模的逐漸增大以及深度學(xué)習(xí)技術(shù)的不斷成熟，開始出現(xiàn)了基于seq2seq模型的端到端文本校對(duì)。在申請(qǐng)?zhí)枮?01710618374.3的中國(guó)專利申請(qǐng)中，公開了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的seq2seq文本糾正方法。在該文本糾正系統(tǒng)中，先利用編碼規(guī)則確定待糾正文本對(duì)應(yīng)的特征向量，再將特征向量輸入文本糾正模型通過解碼網(wǎng)絡(luò)輸出與待糾正文本對(duì)應(yīng)的標(biāo)準(zhǔn)文本。該方法的編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)均為循環(huán)神經(jīng)網(wǎng)絡(luò)，利用詞向量直接實(shí)現(xiàn)了一個(gè)端到端的文本糾正，涵蓋了查錯(cuò)和糾錯(cuò)兩部分，且不受混淆集的限制。但由于文本校對(duì)過程中完全通過上下文詞向量判斷，輸入輸出都是序列，可能會(huì)輸出一些語義奇怪且無法解釋的句子。比如對(duì)正確的句子“在與韓國(guó)隊(duì)的金牌爭(zhēng)奪戰(zhàn)中”，模型會(huì)輸出如“在與韓國(guó)隊(duì)的金牌金牌中”這種不符合語義的結(jié)果。所以該方法雖然引入了詞向量，但是由于端到端，不可控性較強(qiáng)。

此外，針對(duì)于中文文本翻譯還存在以下多個(gè)難點(diǎn)：

難點(diǎn)1中文語法表達(dá)多樣：

英文有比較嚴(yán)格的語法規(guī)則，規(guī)范時(shí)態(tài)、單復(fù)數(shù)等語言規(guī)則，所以對(duì)于英文文本，可以基于一些預(yù)先定義的規(guī)則來進(jìn)行校對(duì)；但中文的語法特征比較少，語言表達(dá)比較隨意，往往需要大規(guī)模的語料庫(kù)學(xué)習(xí)，對(duì)模型學(xué)習(xí)能力也有更高的要求；

難點(diǎn)2要結(jié)合長(zhǎng)短距離上下文詞判斷：

自動(dòng)校對(duì)往往需要依據(jù)目標(biāo)詞的上下文進(jìn)行考察；但有時(shí)候發(fā)生錯(cuò)誤的詞符合局部語言規(guī)則，但與全局語言規(guī)則發(fā)生沖突，所以需要考慮該詞與長(zhǎng)距離的詞是否搭配進(jìn)行判斷；

難點(diǎn)3現(xiàn)有的自動(dòng)校對(duì)方法沒有很好的結(jié)合詞向量：