技術領域

本發明涉及詞典編輯及信息檢索領域，具體而言，涉及使用多語信息生成詞典，以及在信息檢索裝置中使用該詞典構建特征向量的方法。

背景技術

隨著互聯網的發展和存儲技術的提高，計算機可讀的文本信息也越來越多。其海量的信息一方面給人們獲取自身感興趣信息帶來機會，另一方面也迫使人們往往要花費大量的人力和物力在信息的汪洋大海中查找有用信息。信息檢索技術正是為了解決這一需求而產生的。在信息檢索系統中，為了進行快速檢索，或者獲得更多的信息(如詞性、同現頻率、命名實體等)，或者對關鍵詞進行評估，通常使用詞典來輔助信息檢索過程。關于詞典的生成和編輯，有很多文獻，例如：

“Dictionary?memory?for?text?processing?using?word?frequency?and?wordrecency?occurrence?information”，美國專利公開號：US?5,652,898；

“System?for?creating?a?dictionary”，美國專利公開號：US?6,192,333；

“Dictionary?and?index?creating?system?and?document?retrieval?system”，美國專利公開號：US?6,493,713；

“Key?word?dictionary?producing?method?and?apparatus”，美國專利公開號：US?6,948,121；

“Method?and?apparatus?for?adapting?a?class?entity?dictionary?used?withlanguage?models”，美國專利公開號：US?7,124,080；

《詞典、分段和語言模型聯合優化的系統和迭代方法》(專利號：CN1387651A)；以及

《用于調試與語言模型一起使用的類實體詞典的方法和設備》(專利號：CN1419184A)。

在信息檢索中，使用合適的詞典，特別是使用和檢索模型密切相關的詞典將會對檢索系統的性能帶來很大的幫助。在信息檢索的向量空間模型中，詞典對于向量的構造更是起到了關鍵的作用。向量空間模型采用TF-IDF(Term-Frequency?Inverse-Document-Frequency)將文檔轉化為向量形式，通過計算相似度，得到與用戶檢索相關的結果。在構造向量的過程中，參與向量構造的詞匯將對系統的性能起很大的作用。關于向量空間模型，有很多現有的專利文獻進行了探討，如：

《信息檢索系統》(專利號：CN1324046A)；

《文檔和信息檢索方法及設備》(專利號：CN1507596A)；以及

《文本檢索裝置及方法》(專利號：CN1741012A)。

上述文獻主要集中在項的表示、權重的計算等方面。事實上，由于在構建文檔向量過程中，除少數禁用詞不參與向量構建以外。文檔中其它的詞都將參與向量的構建。這樣一方面給向量帶來了大量的噪聲，另一方面也會造成向量維數過高，在文檔較長的情況下會給運算造成困難。另外，向量中的噪聲過多，會造成檢索系統的性能下降，而且由于過多的噪聲導致的向量維數過高也嚴重影響了系統的速度。但是目前的信息檢索系統卻沒有有效的方法來解決這一問題。

發明內容

本發明鑒于以上情況作出，提出了一種詞典建立方法以及使用這種詞典的信息檢索裝置，用于解決或緩解現有技術中存在的一種或更多種缺點，至少提供一種有益的選擇。

為了實現上述目的，本申請提供了以下的發明：

發明1、一種詞典生成裝置，其特征在于，所述詞典生成裝置包括：詞頻統計部，用于統計在包括關注語言和對比語言的多語語料中，所述關注語言的關注詞條的詞頻以及所述關注詞條的對比詞條的詞頻，所述對比詞條是所述關注詞條的所述對比語言的翻譯詞；詞頻相似度計算單元，用于計算所述關注詞條的詞頻和所述對比詞條的詞頻的詞頻相似度；以及詞條選擇單元，根據所述詞頻相似度計算單元計算出的詞頻相似度，確定字典用詞條。

發明2、根據發明1所述的詞典生成裝置，其特征在于，所述雙語語料或多語語料是多語對齊語料。

發明3、根據發明1所述的詞典生成裝置，其特征在于，所述詞頻相似度計算單元依據以下方法之一計算所述詞頻相似度：

方法1：

將所述關注詞條的詞頻與所述對比詞條的詞頻之差作為所述詞頻相似度；

方法2：