一種包括在計算機儲存介質(zhì)上編碼的計算機程序的方法、系統(tǒng)和設(shè)備，以用于從輸入電子文檔選擇回答輸入問題的文本跨距。方法之一包括在輸入文檔中獲得文本跨距的相應(yīng)第一數(shù)值表示；對于文本跨距中的每一個：對于包含文本跨距的分段，確定問題?意識分段向量，對于問題，確定分段?意識問題向量，以及使用第二前饋神經(jīng)網(wǎng)絡(luò)處理文本跨距的第一數(shù)值表示、問題?意識分段向量和分段?意識問題向量以生成文本跨距的第二數(shù)值表示；對于多個文本跨距的每個唯一文本跨距：確定唯一文本跨距的聚合表示，且從聚合表示確定唯一文本跨距的最終得分；以及選擇唯一文本跨距。

相關(guān)申請的交叉引用

本申請要求在2017年10月27日提交的美國專利申請No.62/578,347的優(yōu)先權(quán)，其全部內(nèi)容通過引用由此并入本文。

背景技術(shù)

本說明書涉及使用如神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)模型來處理電子文檔。

電子文檔可以是各種文檔的任何一種，其可以用電子形式保存且可以由用戶在計算機上觀看，如網(wǎng)頁、文字處理文檔、文本文檔、電子表格等。

神經(jīng)網(wǎng)絡(luò)是機器學(xué)習(xí)模型，其采用非線性單元的一個或多個層以針對接收的輸入預(yù)測輸出。一些神經(jīng)網(wǎng)絡(luò)除了輸出層之外包括一個或多個隱藏層。每個隱藏層的輸出用作向網(wǎng)絡(luò)中的下一層(即，下一個隱藏層或輸出層)的輸入。網(wǎng)絡(luò)的每個層根據(jù)參數(shù)的相應(yīng)集合的當(dāng)前值從接收的輸入生成輸出。

一些神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)是接收輸入序列且從輸入序列生成輸出序列的神經(jīng)網(wǎng)絡(luò)。特別地，循環(huán)神經(jīng)網(wǎng)絡(luò)可以將來自先前時間步驟的網(wǎng)絡(luò)的內(nèi)部狀態(tài)的一些或全部用于計算當(dāng)前時間步驟時的輸出。

發(fā)明內(nèi)容

本說明書描述了在一個或多個位置中的一個或多個計算機上實現(xiàn)為計算機程序的系統(tǒng)，其從輸入電子文檔選擇回答輸入問題的文本跨距，該輸入問題包括多個問題標(biāo)記。

本說明書中所描述的主題可以在特定實施例中實現(xiàn)，以便實現(xiàn)如下優(yōu)點中的一個或多個。

通過采用以級聯(lián)進(jìn)行組合的輕量級(即有計算效率的)模型來找到對輸入問題的回答，描述的系統(tǒng)可以在輸入文檔中有效地定位回答輸入問題的文本。特別地，描述的系統(tǒng)可以勝任更加復(fù)雜、較低計算效率的架構(gòu)。因此，描述的系統(tǒng)可以有效地回答接收的問題，而與常規(guī)方法相比消耗更少的計算資源，例如更少的內(nèi)存和更低的處理能力，這當(dāng)系統(tǒng)在資源受限環(huán)境中(例如在移動裝置上)實現(xiàn)時是特別有利的。特別是，盡管與以前的先進(jìn)系統(tǒng)(例如使用計算密集型循環(huán)神經(jīng)網(wǎng)絡(luò)的系統(tǒng))相比消耗更加少的計算資源，但是該系統(tǒng)可以對許多問答任務(wù)獲得最新的結(jié)果以處理文檔標(biāo)記、問題標(biāo)記或兩者。

下面在所附附圖和描述中提出在本說明書中的主題的一個或多個實施例的細(xì)節(jié)。通過說明書、附圖和權(quán)利要求書，主題的其他特征、方面和潛在優(yōu)勢將變得顯而易見。

附圖說明

圖1A示出了示例的問答系統(tǒng)。

圖1B示出了級聯(lián)的機器學(xué)習(xí)系統(tǒng)的示例架構(gòu)。

圖2是訓(xùn)練級聯(lián)的機器學(xué)習(xí)系統(tǒng)的示例過程的流程圖。

圖3是從輸入文檔選擇回答跨距的示例過程的流程圖。

在各附圖中的相同的附圖標(biāo)記和命名指示相同的元件。

具體實施方式

本說明書總體上描述從電子文檔選擇回答接收的問題的文本跨距(text?span)的系統(tǒng)。文本跨距是電子文檔中的一個或多個連續(xù)單詞的序列。

一旦系統(tǒng)已經(jīng)選擇文本跨距作為對問題的回答，系統(tǒng)(或其他系統(tǒng))可以輸出選擇的文本跨距作為對問題的響應(yīng)的一部分。