本發(fā)明提供一種基于lookup操作的多線程消息處理方法，包括：增加lookup消息處理線程池，并設(shè)置所述線程池的最少處理量；設(shè)置起始位置并遍歷消息隊(duì)列，根據(jù)所述最少處理量篩選出待處理消息隊(duì)列；將待處理消息隊(duì)列中的消息平均分配給所述線程池的線程；所述各個(gè)線程同時(shí)進(jìn)行l(wèi)ookup處理操作。本發(fā)明在消息隊(duì)列中主動(dòng)將集中發(fā)送至MDS的lookup消息轉(zhuǎn)移至對(duì)應(yīng)的線程池中，同時(shí)行執(zhí)行l(wèi)ookup處理操作，大大節(jié)約消息隊(duì)列整體的消息處理時(shí)間。

技術(shù)領(lǐng)域

本發(fā)明分布式文件處理技術(shù)領(lǐng)域，具體涉及一種基于lookup操作的多線程消息處理方法。

背景技術(shù)

目前的分布式文件系統(tǒng)中，很多場(chǎng)景下在執(zhí)行實(shí)際的操作前都需要執(zhí)行至少一次lookup操作，例如在某個(gè)目錄下創(chuàng)建文件或者刪除文件之前進(jìn)行l(wèi)ookup操作以確定文件是否真的存在，從而協(xié)助上層模塊是否可執(zhí)行實(shí)際的操作。在所有消息中，很多場(chǎng)景下的lookup操作只是為了獲取文件的基本屬性，而不會(huì)去寫(xiě)入改變?cè)撐募祟惒僮鞑⒉粫?huì)影響數(shù)據(jù)的一致性和準(zhǔn)確性。

此類lookup操作消息在實(shí)際應(yīng)用中經(jīng)常會(huì)在一個(gè)較短的時(shí)間段內(nèi)集中的發(fā)送到MDS的消息隊(duì)列中，而在MDS中，所有的消息必須等上一個(gè)消息處理完成后，才能從消息隊(duì)列中取出下一個(gè)消息進(jìn)行處理，以保證數(shù)據(jù)的一致性和正確性。假設(shè)消息隊(duì)列中同時(shí)存在n個(gè)消息要處理，即第n個(gè)消息的耗時(shí)可表示如下：耗時(shí)n＝本消息處理時(shí)間+前面n-1個(gè)消息的處理時(shí)間。如果在前面n-1消息中存在一個(gè)高耗時(shí)的消息處理操作，例如網(wǎng)絡(luò)延遲等，就會(huì)導(dǎo)致隊(duì)列中該消息后面的消息均出現(xiàn)高耗時(shí)，從未導(dǎo)致上層應(yīng)用連續(xù)多次的性能波動(dòng)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的上述不足，本發(fā)明提供一種基于lookup操作的多線程消息處理方法，以解決上述技術(shù)問(wèn)題。

本發(fā)明提供一種基于lookup操作的多線程消息處理方法，包括：

獲取分布式文件系統(tǒng)需進(jìn)行l(wèi)ookup處理操作的消息隊(duì)列；

在所述消息隊(duì)列中增加lookup消息處理線程池，設(shè)置達(dá)到所述線程池處理消息的最低處理量；

遍歷消息隊(duì)列，并根據(jù)所述最低處理量篩選出待處理消息隊(duì)列；

將待處理消息隊(duì)列中的lookup類型消息平均分配給所述線程池的線程，線程池中的多個(gè)線程同時(shí)處理所述lookup類型消息。

進(jìn)一步的，所述遍歷消息隊(duì)列，并根據(jù)所述最低處理量篩選出待處理消息隊(duì)列，包括：

配置當(dāng)前處理消息之后第M個(gè)消息為所述起始位置；

從起始位置開(kāi)始遍歷當(dāng)前消息隊(duì)列，將連續(xù)屬于lookup類型的消息數(shù)量達(dá)到最少處理量的消息作為待處理消息隊(duì)列。

進(jìn)一步的，所述方法還包括：

在所述待處理消息隊(duì)列的起點(diǎn)插入一個(gè)自定義類型消息；

監(jiān)控所述自定義類型消息的處理狀態(tài)：當(dāng)所述自定義類型消息被處理時(shí)，暫停原有消息處理線程，線程池中的多個(gè)線程同時(shí)處理所述lookup類型消息。

進(jìn)一步的，所述方法還包括：

增加一個(gè)新的線程，所述新的線程用于處理所述自定義類型消息。

進(jìn)一步的，所述方法還包括：

各線程處理完成后單獨(dú)向上層模塊返回處理結(jié)果。

進(jìn)一步的，在所述消息隊(duì)列中增加lookup消息處理線程池，包括：

增加一個(gè)線程池，所述線程池用于處理消息隊(duì)列中的lookup類型消息；

并設(shè)置所述線程池默認(rèn)休眠狀態(tài)；