[發(fā)明專利]分布式爬蟲系統(tǒng)中任務(wù)管理器的選舉方法及系統(tǒng)在審
| 申請?zhí)枺?/td> | 201710914015.2 | 申請日： | 2017-09-30 |
| 公開（公告）號： | CN107590284A | 公開（公告）日： | 2018-01-16 |
| 發(fā)明（設(shè)計）人： | 馬巖 | 申請（專利權(quán)）人： | 麥格創(chuàng)科技（深圳）有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30;G06F9/50 |
| 代理公司： | 深圳市科冠知識產(chǎn)權(quán)代理有限公司44355 | 代理人： | 王海駿 |
| 地址： | 518000 廣東省深*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 分布式 爬蟲 系統(tǒng) 任務(wù) 管理器 選舉 方法 | ||
1.一種分布式爬蟲系統(tǒng)中任務(wù)管理器的選舉方法，其特征在于，所述方法包括如下步驟：
分布式設(shè)備接收或發(fā)起選舉消息，所述選舉消息用于從分布式爬蟲系統(tǒng)中選舉出任務(wù)管理器；
分布式設(shè)備將設(shè)備參數(shù)通過廣播消息廣播至分布式爬蟲系統(tǒng)中的其他設(shè)備，接收其他設(shè)備發(fā)送的廣播消息，從廣播消息中提取設(shè)備參數(shù)最優(yōu)的第一分布式設(shè)備；
分布式設(shè)備接收其他設(shè)備發(fā)送的投票消息，該投票消息包括：票數(shù)以及投票的分布式設(shè)備，將票數(shù)最多的分布式設(shè)備確定為任務(wù)管理器；
如分布式設(shè)備為任務(wù)管理器，將本地處理的爬蟲任務(wù)分配給其他分布式設(shè)備。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
將票數(shù)第二多的分布式設(shè)備確定為備用任務(wù)管理器，降低備用任務(wù)管理器的任務(wù)處理閾值。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
如任務(wù)管理器故障，啟動備用任務(wù)管理器作為分布式系統(tǒng)的任務(wù)管理器。
4.一種分布式爬蟲任務(wù)分配系統(tǒng)，其特征在于，所述系統(tǒng)包括：多個分布式設(shè)備；
分布式設(shè)備，用于接收或發(fā)起選舉消息，所述選舉消息用于從分布式爬蟲系統(tǒng)中選舉出任務(wù)管理器；將設(shè)備參數(shù)通過廣播消息廣播至分布式爬蟲系統(tǒng)中的其他設(shè)備，接收其他設(shè)備發(fā)送的廣播消息，從廣播消息中提取設(shè)備參數(shù)最優(yōu)的第一分布式設(shè)備；接收其他設(shè)備發(fā)送的投票消息，該投票消息包括：票數(shù)以及投票的分布式設(shè)備，將票數(shù)最多的分布式設(shè)備確定為任務(wù)管理器；
如分布式設(shè)備為任務(wù)管理器，將本地處理的爬蟲任務(wù)分配給其他分布式設(shè)備。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，
所述分布式設(shè)備，還用于將票數(shù)第二多的分布式設(shè)備確定為備用任務(wù)管理器，降低備用任務(wù)管理器的任務(wù)處理閾值。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，
所述分布式設(shè)備，還用于如任務(wù)管理器故障，啟動備用任務(wù)管理器作為分布式系統(tǒng)的任務(wù)管理器。
7.一種分布式設(shè)備，包括：處理器、無線收發(fā)器、存儲器和總線，所述處理器、無線收發(fā)器、存儲器通過總線連接，其特征在于，
所述無線收發(fā)器，用于接收或發(fā)起選舉消息，所述選舉消息用于從分布式爬蟲系統(tǒng)中選舉出任務(wù)管理器；
所述處理器，用于將設(shè)備參數(shù)通過廣播消息廣播至分布式爬蟲系統(tǒng)中的其他設(shè)備，接收其他設(shè)備發(fā)送的廣播消息，從廣播消息中提取設(shè)備參數(shù)最優(yōu)的第一分布式設(shè)備；接收其他設(shè)備發(fā)送的投票消息，該投票消息包括：票數(shù)以及投票的分布式設(shè)備，將票數(shù)最多的分布式設(shè)備確定為任務(wù)管理器；如分布式設(shè)備為任務(wù)管理器，將本地處理的爬蟲任務(wù)分配給其他分布式設(shè)備。
8.根據(jù)權(quán)利要求7所述的服務(wù)器，其特征在于，所述處理器，用于將票數(shù)第二多的分布式設(shè)備確定為備用任務(wù)管理器，降低備用任務(wù)管理器的任務(wù)處理閾值。
9.根據(jù)權(quán)利要求7所述的服務(wù)器，其特征在于，所述處理器，用于如任務(wù)管理器故障，啟動備用任務(wù)管理器作為分布式系統(tǒng)的任務(wù)管理器。
10.一種計算機可讀存儲介質(zhì)，其特征在于，其存儲用于電子數(shù)據(jù)交換的計算機程序，其中，所述計算機程序使得計算機執(zhí)行如權(quán)利要求1-3任一項所述的方法。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于麥格創(chuàng)科技（深圳）有限公司，未經(jīng)麥格創(chuàng)科技（深圳）有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201710914015.2/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 檢測反爬蟲策略安全性的方法及裝置
- 一種監(jiān)控網(wǎng)絡(luò)爬蟲的方法、裝置和系統(tǒng)
- 一種通過爬蟲狀態(tài)機管理爬蟲的方法及裝置
- 爬蟲協(xié)議管理方法及裝置、爬蟲系統(tǒng)
- 基于APP客戶端的爬蟲及爬取方法
- 視頻業(yè)務(wù)處理方法、裝置及電子設(shè)備
- 一種爬蟲方法、裝置、系統(tǒng)、設(shè)備及可讀存儲介質(zhì)
- 分布式爬蟲系統(tǒng)架構(gòu)、爬取數(shù)據(jù)的方法和計算機設(shè)備
- 基于scrapy爬蟲框架的數(shù)據(jù)采集系統(tǒng)及方法
- 多中心綜合網(wǎng)絡(luò)爬蟲系統(tǒng)
