本發(fā)明適用于數(shù)據(jù)處理技術(shù)領(lǐng)域，提供了一種實(shí)體識(shí)別模型的建立方法、系統(tǒng)、電子設(shè)備及介質(zhì)，其中，所述方法包括獲取目標(biāo)領(lǐng)域的文本數(shù)據(jù)，得到實(shí)體數(shù)據(jù)集，并將實(shí)體數(shù)據(jù)集劃分為待標(biāo)注數(shù)據(jù)集和待處理數(shù)據(jù)集；對(duì)待處理數(shù)據(jù)集進(jìn)行同義詞替換，得到處理數(shù)據(jù)集；根據(jù)待標(biāo)注數(shù)據(jù)集和處理數(shù)據(jù)集的詞義相似度確定處理數(shù)據(jù)集中的新詞數(shù)據(jù)集，對(duì)待標(biāo)注數(shù)據(jù)集和新詞數(shù)據(jù)集進(jìn)行標(biāo)注，得到標(biāo)注數(shù)據(jù)集；基于標(biāo)注數(shù)據(jù)集采用信息抽取方法對(duì)待處理數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練數(shù)據(jù)集；采用預(yù)訓(xùn)練數(shù)據(jù)集訓(xùn)練初始實(shí)體識(shí)別模型，輸出目標(biāo)實(shí)體識(shí)別模型，解決了現(xiàn)有技術(shù)中高質(zhì)量標(biāo)注語料規(guī)模小等問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種實(shí)體識(shí)別模型的建立方法、系統(tǒng)、電子設(shè)備及介質(zhì)。

背景技術(shù)

實(shí)體識(shí)別是自然語言處理領(lǐng)域的核心基礎(chǔ)任務(wù)之一，其任務(wù)是從文本中提取特定類型的實(shí)體。在信息檢索、問答系統(tǒng)、信息抽取、文本挖掘等下游自然語言處理任務(wù)中具有重要的科學(xué)意義和廣泛的應(yīng)用價(jià)值。從目前已有的研究成果來看，命名實(shí)體識(shí)別研究在某些領(lǐng)域識(shí)別的結(jié)果，受困于高質(zhì)量標(biāo)注語料規(guī)模小、識(shí)別速度慢和識(shí)別準(zhǔn)確度低的現(xiàn)狀，對(duì)比傳統(tǒng)領(lǐng)域性能更差。

發(fā)明內(nèi)容

本發(fā)明提供一種實(shí)體識(shí)別模型的建立方法、系統(tǒng)、電子設(shè)備及介質(zhì)，以解決現(xiàn)有技術(shù)中高質(zhì)量標(biāo)注語料規(guī)模小和識(shí)別速度慢等問題。

本發(fā)明提供的實(shí)體識(shí)別模型的建立方法，包括：獲取目標(biāo)領(lǐng)域的文本數(shù)據(jù)，得到實(shí)體數(shù)據(jù)集，并將所述實(shí)體數(shù)據(jù)集劃分為待標(biāo)注數(shù)據(jù)集和待處理數(shù)據(jù)集；

對(duì)所述待處理數(shù)據(jù)集進(jìn)行分詞處理和詞性標(biāo)注，根據(jù)詞性和詞共現(xiàn)度對(duì)所述待處理數(shù)據(jù)集進(jìn)行同義詞替換，得到處理數(shù)據(jù)集；

根據(jù)所述待標(biāo)注數(shù)據(jù)集和所述處理數(shù)據(jù)集的詞義相似度確定所述處理數(shù)據(jù)集中的新詞數(shù)據(jù)集，對(duì)所述待標(biāo)注數(shù)據(jù)集和所述新詞數(shù)據(jù)集進(jìn)行標(biāo)注，得到標(biāo)注數(shù)據(jù)集；

基于所述標(biāo)注數(shù)據(jù)集采用信息抽取方法對(duì)所述待處理數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練數(shù)據(jù)集；

采用所述預(yù)訓(xùn)練數(shù)據(jù)集訓(xùn)練初始實(shí)體識(shí)別模型，輸出目標(biāo)實(shí)體識(shí)別模型。

可選的，所述根據(jù)詞性和詞共現(xiàn)度對(duì)所述待處理數(shù)據(jù)集進(jìn)行同義詞替換，得到處理數(shù)據(jù)集，具體包括：

對(duì)經(jīng)過分詞處理和詞性標(biāo)注的待處理數(shù)據(jù)集進(jìn)行去停用詞，得到待分類數(shù)據(jù)集；

根據(jù)語義相似度對(duì)所述待分類數(shù)據(jù)集進(jìn)行聚類處理，得到若干個(gè)分類數(shù)據(jù)集；

根據(jù)詞性和詞共現(xiàn)度對(duì)所述分類數(shù)據(jù)集進(jìn)行同義詞替換，得到分類處理集，合并所述分類處理集生成處理數(shù)據(jù)集。

可選的，所述根據(jù)詞性和詞共現(xiàn)度對(duì)所述分類數(shù)據(jù)集進(jìn)行同義詞替換，得到分類處理集，具體包括：

根據(jù)所述分類數(shù)據(jù)集中詞所處的位置和預(yù)設(shè)位置權(quán)重確定詞的位置評(píng)價(jià)參數(shù)；

獲取所述分類數(shù)據(jù)集中同一詞性的詞，得到詞性數(shù)據(jù)集，獲取詞性數(shù)據(jù)集中位置評(píng)價(jià)參數(shù)相同的詞，根據(jù)所述位置評(píng)價(jià)參數(shù)相同的詞之間的上下文語義相似度確定詞共現(xiàn)度；

根據(jù)詞共現(xiàn)度對(duì)所述詞性數(shù)據(jù)集進(jìn)行同義詞替換，得到分類處理集。

可選的，所述根據(jù)所述待標(biāo)注數(shù)據(jù)集和所述處理數(shù)據(jù)集的詞義相似度確定所述處理數(shù)據(jù)集中的新詞數(shù)據(jù)集，具體包括：

根據(jù)同義關(guān)系和反義關(guān)系確定所述待標(biāo)注數(shù)據(jù)集和所述處理數(shù)據(jù)集的詞義相似度；

若所述待標(biāo)注數(shù)據(jù)集和所述處理數(shù)據(jù)集的詞義相似度小于相似度閾值，則得到新詞數(shù)據(jù)集。

可選的，所述根據(jù)同義關(guān)系和反義關(guān)系確定所述待標(biāo)注數(shù)據(jù)集和所述處理數(shù)據(jù)集的詞義相似度，具體包括：

根據(jù)所述待標(biāo)注數(shù)據(jù)集與所述處理數(shù)據(jù)集的同義關(guān)系和預(yù)設(shè)同義關(guān)系權(quán)重確定同義評(píng)價(jià)參數(shù)；