1.一種基于分層循環神經網絡語言模型的語音識別方法，其特征在于，主要包括使用RNN的字符級語言建模(一)；用外部時鐘和復位信號擴展RNN結構(二)；具有分級RNN的字符級語言建模(三)；進行語音識別(四)。

2.基于權利要求書1所述的基于分層循環神經網絡的語言模型，其特征在于，它結合了字符級和詞級語言模型的有利特性；循環神經網絡(RNN)由低級RNNs和高級RNNs組成；低級RNN采用字符級輸入和輸出，并且向作為詞級RNN操作的高級RNN提供短期嵌入；高級RNN不需要復雜的輸入和輸出，因為它從低級網絡接收特征信息，并且以壓縮形式將字符預測信息發送回低級；因此，當考慮輸入和輸出時，所提出的網絡是一個字符級語言模型(CLM)，但它包含一個詞級模型；低級模塊使用字符輸入時鐘，而高級模塊使用分隔字的空格(<w>)運行；該分層語言模型可以被擴展，以處理更長時期的信息，例如句子，主題或其他上下文；分層語言模型可以用基于文本的字符來進行端對端訓練。

3.基于權利要求書1所述的使用RNN的字符級語言建模(一)，其特征在于，對于訓練RNN CLMs，訓練數據應首先轉換為獨熱編碼字符向量序列x_t，其中字符包括字邊界符號<w>，或空格，以及可選的句子邊界符號<s>；訓練RNN，通過使表示下一個字符的概率分布的softmax輸出的交叉熵損失最小化來預測下一個字符x_t+1。

4.基于權利要求書1所述的用外部時鐘和復位信號擴展RNN結構(二)，其特征在于，大多數類型的RNNs可以被概括為

s_t＝f(x_t,s_t-1) (1)

y_t＝g(s_t) (2)

其中，x_t是輸入，s_t是狀態，y_t是時間步驟t的輸出，f(·)是遞歸函數，g(·)是輸出函數；例如，Elman網絡可以表示為

s_t＝h_t＝σ(W_hxx_t+W_hhh_t-1+b_h) (3)

y_t＝h_t (4)

其中，h_t是隱層的激活，σ(·)是激活函數，W_hx和W_hh是權重矩陣，b_h是偏置向量；

具有遺忘門和窺視孔連接的LSTMs也可以轉換為泛化形式；LSTM層的前向方程如下：

i_t＝σ(W_ixx_t+W_ihh_t-1+W_imm_t-1+b_i) (5)

f_t＝σ(W_fxx_t+W_fhh_t-1+W_fmm_t-1+b_f) (6)

o_t＝σ(W_oxx_t+W_ohh_t-1+W_omm_t+b_o)(8)

h_t＝o_t tanh(m_t)(9)

其中，i_t，f_t和o_t分別是輸入門，遺忘門和輸出門的值，m_t是存儲器單元激活，h_t是輸出激活，σ(·)是邏輯S型函數，是元素智能乘法運算符；這些方程可以通過設置s_t＝[m_t,h_t]和y_t＝h_t來概括。