偷拍一区二区三区_亚洲欧美日韩偷拍_亚洲第一免费网站_99精品视频在线免费观看_久久亚洲精品国产_国产成人无码一二三区视频_欧美激情xxxxx_国产精品毛片高清在线完整版_一色道久久88加勒比一_一区二区欧美久久_五月婷婷六月婷婷_国产精品成人久久久久

[發明專利]一種網頁正文及要素提取的方法和系統有效

專利信息
申請號: 201911252927.3 申請日: 2019-12-09
公開(公告)號: CN110990738B 公開(公告)日: 2021-11-26
發明(設計)人: 李兆鈞;羅啟澤;雷小平 申請(專利權)人: 創優數字科技(廣東)有限公司
主分類號: G06F16/957 分類號: G06F16/957;G06F16/958
代理公司: 北京集佳知識產權代理有限公司 11227 代理人: 郭帥
地址: 516000 廣東省廣州市海珠區*** 國省代碼: 廣東;44
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 網頁 正文 要素 提取 方法 系統
【權利要求書】:

1.一種網頁正文及要素提取的方法,其特征在于,包括以下步驟:

S1:從同一平臺采集多個網頁,分別對單個網頁進行預處理;

S2:計算單個所述網頁的正文、發布時間、來源的提取候選路徑及其評分,得到所述網頁的網頁級提取候選路徑及評分;其中,所述網頁級提取候選路徑包括網頁級正文提取候選路徑、網頁級發布時間提取候選路徑和網頁級來源提取候選路徑;

其中,計算單個所述網頁的正文提取候選路徑及評分進一步包括:

遍歷所述網頁的DOM結構樹,對每個節點計算正文長度占比,根據所述正文長度占比降序排列,取出正文長度占比位于前K位的路徑,計算兩兩路徑之間的最大公共路徑及其綜合評分,取綜合評分最高的最大公共路徑作為所述網頁的網頁級正文提取候選路徑,K為整數;

S3:對多個網頁的所述網頁級提取候選路徑及評分進行綜合計算,得到平臺級提取候選路徑及評分;其中,所述平臺級提取候選路徑包括平臺級正文提取候選路徑、平臺級發布時間提取候選路徑和平臺級來源提取候選路徑;

S4:判斷所述平臺級提取候選路徑是否達到置信水平,如達到則作為平臺級提取路徑,生成所述平臺的要素提取器,如未達到則計算需要重新采集網頁的數量,轉去執行S1。

2.如權利要求1所述的網頁正文及要素提取的方法,其特征在于,對每個節點計算正文長度占比進一步包括,所述正文長度占比的計算公式可以為:

正文長度占比=去除HTML標簽的文本長度/節點原始文本長度。

3.如權利要求1所述的網頁正文及要素提取的方法,其特征在于,計算兩兩路徑之間的最大公共路徑進一步包括:從根節點開始逐個對比兩條路徑對應位置上的節點,直到出現第一個不一致的節點,取從根節點開始到當前位置前一個節點作為最大公共路徑。

4.如權利要求1所述的網頁正文及要素提取的方法,其特征在于,計算兩兩路徑之間的綜合評分進一步包括:計算兩兩路徑之間的的路徑評分,以最大公共路徑為關鍵字匯總,對應的路徑評分作為值進行聚合,聚合方式為求平均值和最大值,對平均值和最大值求和得到每個最大公共路徑的綜合評分。

5.如權利要求1所述的網頁正文及要素提取的方法,其特征在于,S2中計算單個所述網頁的發布時間提取候選路徑及評分進一步包括:遍歷所述網頁的DOM結構樹,對每個節點計算時間長度占比,取占比最高的路徑作為所述網頁的網頁級發布時間提取候選路徑。

6.如權利要求1所述的網頁正文及要素提取的方法,其特征在于,S2中計算單個所述網頁的來源提取候選路徑及評分進一步包括:在所述網頁的網頁級發布時間提取候選路徑內,利用模式匹配技術提取來源內容,如在當前節點提取不到所需內容,則向上一級節點進行提取,直至達到所述網頁的網頁級發布時間提取候選路徑與網頁級正文提取候選路徑的最大公共路徑為止;如提取到所需內容,取當前所在路徑作為所述網頁的網頁級來源提取候選路徑。

7.如權利要求1所述的網頁正文及要素提取的方法,其特征在于,S4中所述平臺級提取候選路徑的置信度進一步包括:所述平臺級正文提取候選路徑的置信度可以為:

其中,N為網頁級正文提取候選路徑的個數,NT為網頁級正文提取候選路徑與平臺級正文提取候選路徑一致的數量,Conf為平臺級正文提取候選路徑的置信度。

8.如權利要求1所述的網頁正文及要素提取的方法,其特征在于,S4中計算需要重新采集網頁的數量進一步包括:

其中,Nnew為需要重新采集網頁的數量,α為置信水平,N為網頁級正文提取候選路徑的個數,NT為網頁級正文提取候選路徑與平臺級正文提取候選路徑一致的數量。

9.一種應用了如權利要求1-8任意一項方法的網頁正文及要素提取的系統,其特征在于,包括以下部分:

網頁采集與預處理模塊:用于從同一平臺采集多個網頁,分別對單個網頁進行預處理;

網頁級處理模塊:用于計算單個所述網頁的正文、發布時間、來源的提取候選路徑及其評分,得到所述網頁的網頁級提取候選路徑及評分;其中,所述網頁級提取候選路徑包括網頁級正文提取候選路徑、網頁級發布時間提取候選路徑和網頁級來源提取候選路徑;

其中,所述網頁級處理模塊計算單個所述網頁的正文提取候選路徑及評分進一步包括:

遍歷所述網頁的DOM結構樹,對每個節點計算正文長度占比,根據所述正文長度占比降序排列,取出正文長度占比位于前K位的路徑,計算兩兩路徑之間的最大公共路徑及其綜合評分,取綜合評分最高的最大公共路徑作為所述網頁的網頁級正文提取候選路徑,K為整數;

平臺級處理模塊:用于對多個網頁的所述網頁級提取候選路徑及評分進行綜合計算,得到平臺級提取候選路徑及評分;其中,所述平臺級提取候選路徑包括平臺級正文提取候選路徑、平臺級發布時間提取候選路徑和平臺級來源提取候選路徑;

判斷模塊:用于判斷所述平臺級提取候選路徑是否達到置信水平,如達到則作為平臺級提取路徑,生成所述平臺的要素提取器,如未達到則計算需要重新采集網頁的數量,利用網頁采集與預處理模塊重新采集網頁及進行預處理。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于創優數字科技(廣東)有限公司,未經創優數字科技(廣東)有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.17sss.com.cn/pat/books/201911252927.3/1.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
日韩av电影国产| v天堂中文在线| 尤物在线观看一区| 91pony九色| 欧美浪妇xxxx高跟鞋交| 精品人妻一区二区三区四区| 亚洲欧洲一区二区三区在线观看| 五月天婷婷丁香| 午夜精品久久久久久久99热| 少妇喷水在线观看| 欧美日韩一区二区视频在线| 国产精品网曝门| 免费观看成人在线视频| 欧美亚洲国产怡红院影院| 免费毛片视频网站| 色小说视频一区| 国产乱叫456在线| 亚洲综合在线小说| hitomi一区二区三区精品| 精品久久久久久久久久中文字幕| 国产亚洲综合性久久久影院| 中文字幕第38页| 日韩午夜在线观看| √天堂中文官网8在线| 欧美大片网站在线观看| 天堂va蜜桃一区二区三区漫画版| 亚洲图片都市激情| 亚洲综合成人在线视频| 亚洲做受高潮无遮挡| 久久免费高清| 一级黄色免费网站| 国产一级片久久| 久久精品网站视频| 美脚丝袜脚交一区二区| 少妇高潮一区二区三区喷水| 亚洲一级av毛片| 999免费视频| av一区二区三| 国产性xxxx18免费观看视频| 蜜臀一区二区三区精品免费视频 | 午夜精品久久久久久久久久久久久| 国产在线拍偷自揄拍精品| 国产中文字幕视频在线观看| 超碰影院在线观看| 霍思燕三级露全乳照| 午夜精品久久久久久久99热影院| 下面一进一出好爽视频| 人妻视频一区二区| 精品一区二区三区毛片| 国产精品二区二区三区| 91精品视频国产| 醉酒壮男gay强迫野外xx| 中文字幕第69页| 中文字幕乱码中文字幕| 国产视频一区二区三区在线播放| 一区二区黄色片| 糖心vlog免费在线观看| 久久精品无码av| 精品写真视频在线观看| av色综合久久天堂av综合| 国产精品99久久久久久久女警 | 国产在线一区二区| 无码人妻丰满熟妇精品| 美女免费视频一区二区| 精品国产凹凸成av人网站| 欧美国产极速在线| 成人春色激情网| 丁香五月网久久综合| 在线观看福利一区| 国产v亚洲v天堂无码久久久| 免费高清视频在线观看| 91在线播放观看| 成人黄色在线网站| 久久国产精品亚洲| 亚洲欧美日韩中文字幕在线观看| 成人av在线播放网址| 日本黄色一区二区| 亚洲男女性事视频| 精品欧美黑人一区二区三区| 一色桃子一区二区| 欧美精品video| 免费av一区二区| 中文字幕国产精品| 亚洲第一av网站| 欧美激情精品久久久久久久变态 | 黑人无套内谢中国美女| 能免费看av的网站| av在线一区二区| 韩国一区二区电影| 国产探花在线观看视频| 麻豆传媒一区二区三区| 亚洲欧美国产另类| 国产精品福利在线观看网址| 99久久99久久精品国产片| 日本在线视频www| 日韩 欧美 精品| 天堂中文在线观看视频| 久久精品国产色蜜蜜麻豆| 国产精品欧美极品| 国产精品男女猛烈高潮激情| 免费看一级大黄情大片| 黄色av片三级三级三级免费看| 国产高清在线观看视频| 黄色资源网久久资源365| 久久久国际精品| 亚洲视频在线观看网站| 日韩成人手机在线| 久久综合九色| 国产精品欧美日韩| 日本三级2019| 日韩欧美国产三级| 日韩一级特黄毛片| 成人涩涩小片视频日本| 久操视频在线免费观看| 中文字幕在线视频一区| 欧美激情在线观看视频| 69堂免费视频| 久久精品女同亚洲女同13| 一区二区日韩在线观看| 日韩一级免费一区| 亚洲熟妇av一区二区三区漫画| 综合 欧美 亚洲日本| 成人在线视频一区| 欧美国产高跟鞋裸体秀xxxhd| 正在播放欧美视频| 免费看国产一级片| 免费在线观看黄色av| 国产黄色成人av| 精品性高朝久久久久久久| 日本少妇高潮喷水视频| 欧洲美熟女乱又伦| 在线免费不卡视频| 亚洲一级片网站| 亚洲天堂2014| 日韩欧美精品在线观看视频| 91在线视频免费91| 国产日韩av在线| 日本不卡一区二区在线观看| 亚洲最大成人av| 亚洲一区在线观看网站| 国产精品入口免费视| 完美搭档在线观看| zzijzzij亚洲日本少妇熟睡| 欧美成人video| 国产精品一 二 三| 久久久久久无码精品人妻一区二区| av女名字大全列表| 日韩欧美在线观看一区二区三区| 国产精品伦一区二区三区| 日韩 国产 欧美| 国产乱色国产精品免费视频| 欧美性xxxxx极品娇小| 日韩高清专区| 国产精品无码粉嫩小泬| 国产精品视频一二三| 亚洲一区二区三区乱码aⅴ| 国语对白在线播放| 国产精品久线观看视频| 在线成人av影院| 欧美成人在线免费视频| 日本不卡一区二区三区在线观看| 日韩免费在线观看av| 国精产品久拍自产在线网站| 中文字幕日韩欧美一区二区三区| 99中文字幕| 日本少妇aaa| 亚洲一级二级三级在线免费观看| 91精品国产91久久久久青草| 手机在线精品视频| 波多野结衣久草一区| 97人妻精品一区二区三区软件| 欧美xxxx做受欧美.88| 国产一级二级视频| 国产精品每日更新| 日本久久久久久久| 素人fc2av清纯18岁| 中文字幕一区二区三区视频| 亚洲一区二区少妇| 中文字幕免费在线不卡| 2019男人天堂| 国产伦精品一区二区三区免费| 欧美日韩一卡二卡| 伊人色综合影院| 国产一区二区在线电影| 欧美激情在线播放| 国产性生活毛片| 亚洲视频一区在线| 久久精品国产精品亚洲色婷婷| 在线电影院国产精品| 男女性高潮免费网站| 日韩视频免费看| 99热只有这里有精品| 国产suv精品一区二区| 日韩欧美视频在线免费观看| 欧美一级免费观看| 欧美一区二区三区在线免费观看| 黄色精品一二区| 欧美成人精品一区二区三区| 久久一二三四区| 99热这里都是精品| 国内免费精品永久在线视频| 日韩人妻无码一区二区三区| 精品欧美乱码久久久久久1区2区| 午夜激情视频在线播放| 午夜伦欧美伦电影理论片| 成年人免费大片| 亚洲欧美色综合| www国产精品视频| 亚洲 国产 日韩 综合一区| 国产伦精一区二区三区| 成人黄色片在线| 亚洲精品国产精品乱码不卡| 欧美黄色片视频| 中文在线第一页| 国产成人精品最新| 国产**成人网毛片九色| 四虎成人免费视频| 亚洲午夜女主播在线直播| 夜夜躁狠狠躁日日躁av| 日韩美女一区| 久久久久久免费网| 国产免费毛卡片| 在线观看日韩高清av| 国产在线视频综合| 欧美极品另类videosde| 国产精品小说在线| 亚洲av综合色区无码一区爱av| 亚洲欧美中文另类| 九九精品视频免费| 欧美中文字幕一二三区视频| 日本一区二区免费视频| 一区二区欧美在线观看| 日本精品一二三| 欧美影院一区二区| 国产7777777| 精品对白一区国产伦| 91欧美一区二区三区| 欧美性猛交一区二区三区精品| 在线视频这里只有精品| 91精品久久久久久久久中文字幕 | 男人插女人视频在线观看| 亚洲女人的天堂| 韩剧1988免费观看全集| 波多野结衣高清视频| 国产激情久久久久| 久久99久国产精品黄毛片色诱| 欧美性猛交久久久乱大交小说 | 成人免费三级在线| 欧美精品国产精品久久久| 成人丝袜18视频在线观看| 国产成人无码a区在线观看视频| 欧美性色19p| 国产欧美一区二区三区在线观看视频| 欧美在线一区二区三区| 亚洲熟妇无码一区二区三区导航| 国产欧美日韩卡一| 日本wwwcom| 国产蜜臀97一区二区三区| 欧美高清视频一区二区三区在线观看| 免费视频一区二区| 久久99精品久久久久久久青青日本| 成人激情小说网站| 三级a在线观看| 久久久久久9999| 午夜久久久久久久久久久| 亚洲欧美视频在线观看| 日本一区二区三区久久| 日韩一级片免费视频| 亚洲天堂成人网| 成人激情五月天| 国产精品亚洲一区二区三区| 美女视频一区二区| 99在线热播| 亚洲国产日韩一级| 性生交大片免费全黄| 国模精品一区二区三区| 欧美精品在线视频| 99国产精品久久久久久| 欧美日韩国产精品| 中文字幕av网址| xvideos亚洲| 国产手机精品视频| 日韩免费av在线| 国产亚洲欧美中文| 日本道在线观看| 亚洲精品一二三四五区| 成人毛片网站| 99久久国产免费看| 日本不卡一区视频| 欧美日韩一区二区三区免费| 欧美日韩精品一区二区三区蜜桃| 中文字幕在线观看视频网站| 亚洲自拍偷拍第一页| 91福利精品第一导航| 你懂的国产在线| 成人毛片100部免费看| 日韩二区三区在线| 欧美日韩综合一区二区三区| 精品一区在线播放| 亚洲成人av电影| 欧美自拍偷拍一区二区| 黄色录像a级片| 国产欧美日韩免费| 亚洲成av人片一区二区梦乃| 妺妺窝人体色www婷婷| 日本特级黄色大片| 精品国产精品网麻豆系列| 欧美a在线播放| 国内视频一区| 亚洲免费视频网站| 日本aⅴ精品一区二区三区| 亚洲天堂网2018| 久久av一区二区三区漫画| 亚洲毛片在线观看| 久热综合在线亚洲精品| 手机在线国产视频| 精品视频在线观看| 深夜福利日韩在线看| 岛国av在线不卡| 日批免费在线观看| 色哟哟网站在线观看| 欧美精品在线免费播放| 国产精品乱人伦中文| 日本少妇毛茸茸高潮| 日本高清视频免费在线观看| 婷婷久久综合九色国产成人| 亚洲第一第二区| 星空大象在线观看免费播放| 国产精品入口福利| 国产精品久久久久久久蜜臀 | 三级视频网站在线观看| 精品久久久久久中文字幕动漫| 午夜精品福利在线| 成人免费视频国产| 日韩精品一区二区免费| 国产亚洲精品va在线观看| 一区二区免费在线| 午夜av入18在线| 黑人狂躁日本娇小| 亚洲一区二区三区精品动漫| 久久久999精品| 午夜精品123| 成人精品免费视频| 538精品在线视频| 国产成人精品在线播放| 91麻豆精品国产综合久久久久久| 美女一区二区三区| 麻豆国产尤物av尤物在线观看| 国产日韩视频一区| 一路向西2在线观看| 中文字幕日韩精品无码内射| 国产美女精品在线观看| 国产美女精品在线观看| 日本成人激情视频| 欧美精品一区二区三区视频| 欧美日韩国产色视频| 97久久超碰国产精品| 日产精品久久久| 美女喷白浆视频| 亚洲综合色av| 国产视频精品一区二区三区| 中文字幕欧美一| 精品一区二区三区久久久| 污软件在线观看| 五月激情五月婷婷| 亚洲精品欧美精品| 亚洲男人天堂2024| 国产精品久久久爽爽爽麻豆色哟哟| 天天干,夜夜操| 免费无码毛片一区二区app| 日本精品一二三区| 亚洲视频在线不卡| 久久福利一区二区| 欧美激情第一页xxx| 在线视频精品一| 欧美一区二区三区播放老司机| 亚洲视频 欧洲视频| 激情综合色播激情啊| 国产高清一区二区三区四区| 日韩欧美在线播放视频| 欧美1o一11sex性hdhd| 成人午夜两性视频| 国产精品成人播放| 国产日韩在线精品av| 91精品国产高清久久久久久91裸体| 亚洲伊人久久大香线蕉av| 成人免费看片视频| 91在线看www| 97精品视频在线观看| 欧美大荫蒂xxx| 欧美成年人视频网站| 欧美xxxx18性欧美| 无码av免费一区二区三区试看| 中文字幕中文字幕一区| 亚洲综合精品在线| 日韩特黄一级片| 91麻豆免费视频网站| 午夜精品久久久久久久99热影院| 久久人妻无码一区二区| 青草网在线观看| 成人免费观看a| 久久久视频在线| 色综合久久精品亚洲国产| 在线精品播放av| 日韩成人中文字幕| 97精品免费视频| 国产精品国产三级国产专区53| 久久久精品免费视频| 日韩精品中文字幕久久臀| 亚洲精品国产精品久久清纯直播|