本發(fā)明的實施例提供了一種語料數(shù)據(jù)的處理方法、裝置、計算機可讀介質(zhì)及電子設(shè)備。該語料數(shù)據(jù)的處理方法包括：獲取目標(biāo)領(lǐng)域中的待處理語料數(shù)據(jù)；根據(jù)待處理語料數(shù)據(jù)中所包含的實體名稱，生成待處理語料數(shù)據(jù)對應(yīng)的第一語料模板；根據(jù)第一語料模板和目標(biāo)領(lǐng)域中已有的第二語料模板，計算第一語料模板和第二語料模板之間的相似度；根據(jù)第一語料模板和第二語料模板之間的相似度，對待處理語料數(shù)據(jù)進行過濾，得到處理后的語料數(shù)據(jù)。本發(fā)明實施例的技術(shù)方案能夠通過挖掘待處理語料數(shù)據(jù)對應(yīng)的語料模板及目標(biāo)領(lǐng)域中已有的語料模板來對待處理語料數(shù)據(jù)進行過濾處理，進而能夠過濾掉與目標(biāo)領(lǐng)域關(guān)聯(lián)性較差的語料數(shù)據(jù)，確保得到目標(biāo)領(lǐng)域中較為準(zhǔn)確的語料數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機及通信技術(shù)領(lǐng)域，具體而言，涉及一種語料數(shù)據(jù)的處理方法、裝置、計算機可讀介質(zhì)及電子設(shè)備。

背景技術(shù)

在智能問答場景中，領(lǐng)域語料的獲得和擴充是領(lǐng)域建設(shè)的重要問題，高質(zhì)量和多樣性的充足語料能夠訓(xùn)練得到更準(zhǔn)確的深度學(xué)習(xí)模型，進而能夠?qū)τ脩魡栴}的分類更加準(zhǔn)確。反之，如果一個領(lǐng)域的相關(guān)語料太少，則會導(dǎo)致深度學(xué)習(xí)模型學(xué)習(xí)到的與該領(lǐng)域相關(guān)的特征較少，進而很難與其它領(lǐng)域的語料進行區(qū)分?？梢?，語料的挖掘工作對于深度學(xué)習(xí)模型的效果具有決定性的意義。然而，相關(guān)技術(shù)中提出的語料挖掘方案存在召回數(shù)據(jù)較多，語料數(shù)據(jù)噪聲較大的問題，進而不僅會導(dǎo)致人工檢查耗時耗力，而且會影響深度學(xué)習(xí)模型的準(zhǔn)確性。

發(fā)明內(nèi)容

本發(fā)明的實施例提供了一種語料數(shù)據(jù)的處理方法、裝置、計算機可讀介質(zhì)及電子設(shè)備，進而至少在一定程度上可以獲取到領(lǐng)域中較為準(zhǔn)確的語料數(shù)據(jù)。

本發(fā)明的其他特性和優(yōu)點將通過下面的詳細(xì)描述變得顯然，或部分地通過本發(fā)明的實踐而習(xí)得。

根據(jù)本發(fā)明實施例的一個方面，提供了一種語料數(shù)據(jù)的處理方法，包括：獲取目標(biāo)領(lǐng)域中的待處理語料數(shù)據(jù)；根據(jù)所述待處理語料數(shù)據(jù)中所包含的實體名稱，生成所述待處理語料數(shù)據(jù)對應(yīng)的第一語料模板；根據(jù)所述第一語料模板和所述目標(biāo)領(lǐng)域中已有的第二語料模板，計算所述第一語料模板和所述第二語料模板之間的相似度；根據(jù)所述第一語料模板和所述第二語料模板之間的相似度，對所述待處理語料數(shù)據(jù)進行過濾，得到處理后的語料數(shù)據(jù)。

根據(jù)本發(fā)明實施例的一個方面，提供了一種語料數(shù)據(jù)的處理裝置，包括：獲取單元，用于獲取目標(biāo)領(lǐng)域中的待處理語料數(shù)據(jù)；生成單元，用于根據(jù)所述待處理語料數(shù)據(jù)中所包含的實體名稱，生成所述待處理語料數(shù)據(jù)對應(yīng)的第一語料模板；計算單元，用于根據(jù)所述第一語料模板和所述目標(biāo)領(lǐng)域中已有的第二語料模板，計算所述第一語料模板和所述第二語料模板之間的相似度；處理單元，用于根據(jù)所述第一語料模板和所述第二語料模板之間的相似度，對所述待處理語料數(shù)據(jù)進行過濾，得到處理后的語料數(shù)據(jù)。

在本發(fā)明的一些實施例中，基于前述方案，所述生成單元配置為：檢測所述待處理語料數(shù)據(jù)中所包含的預(yù)設(shè)實體名稱；根據(jù)實體名稱與實體標(biāo)簽之間的對應(yīng)關(guān)系，確定與所述預(yù)設(shè)實體名稱相對應(yīng)的目標(biāo)實體標(biāo)簽；通過所述目標(biāo)實體標(biāo)簽替換所述待處理語料數(shù)據(jù)中所包含的所述預(yù)設(shè)實體名稱，以生成所述待處理語料數(shù)據(jù)對應(yīng)的第一語料模板。

在本發(fā)明的一些實施例中，基于前述方案，所述計算單元配置為：根據(jù)所述第一語料模板和所述第二語料模板，確定所述第一語料模板和所述第二語料模板中的其中一個語料模板是否是另一個語料模板的子集；若所述第一語料模板和所述第二語料模板中的其中一個語料模板是另一個語料模板的子集，則確定所述第一語料模板和所述第二語料模板相似。

在本發(fā)明的一些實施例中，基于前述方案，所述計算單元配置為：若所述第一語料模板和所述第二語料模板中的其中一個語料模板所包含的字符覆蓋另一個語料模板所包含的字符，則確定所述第一語料模板和所述第二語料模板中的其中一個語料模板是另一個語料模板的子集。