spider在(zài)抓(zhuā)取過(guò)程中麵對著復雜(zá)的網絡環境，為了使(shǐ)係統(tǒng)可(kě)以(yǐ)抓取(qǔ)到盡可(kě)能多的有價值資(zī)源(yuán)並(bìng)保(bǎo)持係統及實際環(huán)境中(zhōng)頁(yè)麵的一致(zhì)性(xìng)同時(shí)不(bù)給網(wǎng)站體驗(yàn)造(zào)成(chéng)壓(yā)力，會設(shè)計多(duō)種(zhǒng)復(fù)雜的(dí)抓取策略。以(yǐ)下(xià)簡單介紹(shào)一(yī)下抓取過(guò)程中涉及(jí)到的(dí)主(zhǔ)要策(cè)略(lüè)類型：
1，抓取(qǔ)友好(hǎo)性：抓取(qǔ)壓力調配降低(dī)對(duì)網站的訪問壓力
2，常用抓取返(fǎn)回(huí)碼(mǎ)示(shì)意(yì)
3，多種url重(zhòng)定向(xiàng)的識(shí)別
4，抓取優先(xiān)級調(tiáo)配(pèi)
5，重(zhòng)復url的過濾(lǜ)
6，暗網數據的(dí)獲取
7，抓(zhuā)取(qǔ)反(fǎn)作(zuò)弊
8，提高抓(zhuā)取效率，高效利(lì)用帶寬(kuān)
1，抓取友好性
互聯(lián)網資(zī)源龐(páng)大(dà)的數量(liáng)級，這就(jiù)要求(qiú)抓取(qǔ)係(xì)統盡(jìn)可能的高效(xiào)利用帶寬(kuān)，在有(yǒu)限的(dí)硬(yìng)件(jiàn)和(hé)帶寬(kuān)資源下(xià)盡可能多的抓(zhuā)取(qǔ)到有價值(zhí)資源。這(zhè)就造成了另一個問題，耗(hào)費(fèi)被抓網站的(dí)帶寬造成訪問壓力(lì)，如果程度(dù)過(guò)大將(jiāng)直(zhí)接影(yǐng)響(xiǎng)被抓網站(zhàn)的正常用(yòng)戶訪問行為(wéi)。因此，在抓取過程中(zhōng)就(jiù)要(yào)進(jìn)行一(yī)定的抓(zhuā)取壓(yā)力(lì)控(kòng)製，達(dá)到既(jì)不(bù)影響網站(zhàn)的(dí)正常用戶(hù)訪(fǎng)問又能(néng)盡量多(duō)的抓取(qǔ)到有價值資源(yuán)的目的(dí)。
通常(cháng)情況(kuàng)下(xià)，最基本的是基(jī)於ip的壓力控(kòng)製(zhì)。這是因為(wéi)如(rú)果(guǒ)基(jī)於(yú)域名(míng)，可能存在(zài)一(yī)個(gè)域名對多(duō)個ip（很(hěn)多大網站(zhàn)）或多(duō)個域名(míng)對應(yīng)同一個(gè)ip（小網(wǎng)站共享ip）的(dí)問題。實(shí)際中，往往根據(jù)ip及域(yù)名(míng)的多種條(tiáo)件進行壓力(lì)調配(pèi)控(kòng)製(zhì)。同(tóng)時，站長平台也(yě)推出了(liǎo)壓(yā)力反饋(kuì)工具，站(zhàn)長(cháng)可(kě)以人(rén)工調配對(duì)自己網站(zhàn)的抓取(qǔ)壓力(lì)，這(zhè)時(shí)百度(dù)spider將優先按照站長的要求進行(háng)抓取壓(yā)力控製。
對同一個(gè)站(zhàn)點(diǎn)的抓取速度控製一般(bān)分為兩類：其一，一段時(shí)間內的(dí)抓(zhuā)取(qǔ)頻(pín)率；其(qí)二(èr)，一(yī)段時(shí)間內(nèi)的抓取(qǔ)流量。同一站點不同的時間抓取(qǔ)速(sù)度(dù)也會不同，例(lì)如(rú)夜(yè)深(shēn)人靜月黑風(fēng)高時候抓(zhuā)取的(dí)可能就(jiù)會(huì)快一些，也(yě)視具體站(zhàn)點類型而定(dìng)，主(zhǔ)要思想是(shì)錯(cuò)開正常用戶訪(fǎng)問高(gāo)峰(fēng)，不斷(duàn)的(dí)調整(zhěng)。對(duì)於不(bù)同站點，也需(xū)要不同的抓(zhuā)取速度(dù)。
2，常用(yòng)抓取返(fǎn)回(huí)碼示意(yì)
簡(jiǎn)單(dān)介紹幾種(zhǒng)百度(dù)支持(chí)的(dí)返回碼：
1） 最(zuì)常見(jiàn)的(dí)404代表“NOT FOUND”，認為網(wǎng)頁已(yǐ)經失效，通常將在(zài)庫中刪除，同時(shí)短(duǎn)期(qī)內如果(guǒ)spider再(zài)次發現(xiàn)這條(tiáo)url也(yě)不會抓取；
2） 503代(dài)表“Service Unavailable”，認為網(wǎng)頁臨時不可訪(fǎng)問，通常(cháng)網站臨(lín)時(shí)關閉，帶寬(kuān)有限(xiàn)等會產生這種(zhǒng)情(qíng)況。對於(yú)網(wǎng)頁(yè)返回503狀態碼，百度(dù)spider不(bù)會把(bǎ)這條(tiáo)url直接刪除，同(tóng)時(shí)短期內(nèi)將(jiāng)會(huì)反復訪(fǎng)問幾次(cì)，如(rú)果(guǒ)網頁已恢復，則正(zhèng)常抓取；如(rú)果(guǒ)繼(jì)續(xù)返(fǎn)回(huí)503，那麼這(zhè)條url仍(réng)會被認為是(shì)失(shī)效(xiào)鏈接，從(cóng)庫中(zhōng)刪(shān)除。
3） 403代表“Forbidden”，認為網頁目(mù)前禁止訪問(wèn)。如果(guǒ)是新url，spider暫時不(bù)抓取，短(duǎn)期內(nèi)同樣會反(fǎn)復訪問(wèn)幾(jī)次；如(rú)果是已(yǐ)收(shōu)錄url，不會直接(jiē)刪(shān)除(chú)，短期(qī)內同樣反復(fù)訪(fǎng)問幾次。如果網頁正常(cháng)訪(fǎng)問(wèn)，則(zé)正常(cháng)抓取(qǔ)；如果(guǒ)仍然禁止(zhǐ)訪問，那(nà)麼(mó)這條(tiáo)url也會(huì)被(bèi)認為是失效鏈(liàn)接(jiē)，從(cóng)庫(kù)中刪除(chú)。
4）301 代表是(shì)“Moved Permanently”，認(rèn)為網頁重定向(xiàng)至新(xīn)url。當遇到站(zhàn)點(diǎn)遷移，域名更換(huàn)，站點改版(bǎn)的情況(kuàng)時，我們推薦使(shǐ)用(yòng)301返回碼，同(tóng)時使用站長(cháng)平台網(wǎng)站(zhàn)改版(bǎn)工具，以減少改版對網站流(liú)量造成的損(sǔn)失(shī)。
3，多種url重定(dìng)向的(dí)識別(bié)
互(hù)聯(lián)網中一(yī)部分(fēn)網頁(yè)因為(wéi)各種各樣(yàng)的(dí)原因存在url重定向狀(zhuàng)態(tài)，為了(liǎo)對這部分(fēn)資(zī)源正(zhèng)常抓(zhuā)取，就(jiù)要求(qiú)spider對(duì)url重定向(xiàng)進行(háng)識(shí)別判斷(duàn)，同(tóng)時(shí)防(fáng)止(zhǐ)作弊行為。重(zhòng)定(dìng)向可分(fēn)為三(sān)類(lèi)：http 30x重定(dìng)向，meta refresh重定(dìng)向和(hé)js重(zhòng)定向。另(lìng)外，百(bǎi)度(dù)也支(zhī)持Canonical標(biāo)簽，在(zài)效(xiào)果(guǒ)上(shàng)可(kě)以(yǐ)認為(wéi)也(yě)是(shì)一種間接的重(zhòng)定(dìng)向。
4，抓取優先級調(tiáo)配
由於(yú)互聯(lián)網(wǎng)資源(yuán)規模的巨大以(yǐ)及(jí)迅(xùn)速(sù)的變(biàn)化，對於(yú)搜索(suǒ)引(yǐn)擎(qíng)來(lái)說全部抓取(qǔ)到並合理(lǐ)的(dí)更新(xīn)保持一致(zhì)性幾乎是不可(kě)能的事(shì)情，因(yīn)此這(zhè)就要求抓(zhuā)取係統設計(jì)一(yī)套合理(lǐ)的抓(zhuā)取優先(xiān)級調(tiáo)配策(cè)略。主要(yào)包括：深(shēn)度(dù)優(yōu)先(xiān)遍(biàn)歷(lì)策(cè)略，寬(kuān)度優(yōu)先(xiān)遍歷(lì)策略，pr優先(xiān)策(cè)略，反鏈策(cè)略(lüè)，社(shè)會化(huà)分(fēn)享指(zhǐ)導策略等等(děng)。每(měi)個策(cè)略(lüè)各(gè)有優劣，在實際(jì)情況(kuàng)中(zhōng)往(wǎng)往是多種(zhǒng)策略(lüè)結(jié)合(hé)使(shǐ)用以(yǐ)達(dá)到最優的抓取效果。
5，重復(fù)url的(dí)過(guò)濾(lǜ)
spider在(zài)抓取(qǔ)過程中需要(yào)判斷一(yī)個頁(yè)麵是(shì)否已(yǐ)經抓(zhuā)取(qǔ)過了，如(rú)果還沒(méi)有(yǒu)抓(zhuā)取再進行抓取網(wǎng)頁(yè)的行為並(bìng)放(fàng)在已(yǐ)抓取(qǔ)網址(zhǐ)集合中(zhōng)。判(pàn)斷(duàn)是否(fǒu)已經抓(zhuā)取其中(zhōng)涉(shè)及到最核心(xīn)的是快(kuài)速(sù)查找並(bìng)對比(bǐ)，同(tóng)時(shí)涉及到url歸(guī)一化(huà)識別(bié)，例(lì)如(rú)一個url中(zhōng)包含大(dà)量(liáng)無效參(cān)數而(ér)實(shí)際是同(tóng)一個頁(yè)麵，這(zhè)將(jiāng)視(shì)為同一個(gè)url來(lái)對(duì)待(dài)。
6，暗網(wǎng)數(shù)據(jù)的(dí)獲取(qǔ)
互(hù)聯(lián)網(wǎng)中存在(zài)著(zhuó)大量(liáng)的搜索(suǒ)引(yǐn)擎暫時(shí)無法(fǎ)抓(zhuā)取到(dào)的(dí)數據，被(bèi)稱(chēng)為(wéi)暗網數據。一(yī)方(fāng)麵(miàn)，很多網站(zhàn)的大量(liáng)數據(jù)是存在(zài)於網絡(luò)數據庫中，spider難以(yǐ)采用(yòng)抓(zhuā)取(qǔ)網頁(yè)的方(fāng)式獲(huò)得完整內容；另(lìng)一方麵，由於網絡環(huán)境(jìng)，網站(zhàn)本(běn)身不(bù)符(fú)合(hé)規範(fàn)，孤(gū)島等(děng)等問題(tí)，也(yě)會造成搜索引(yǐn)擎無法抓取(qǔ)。目(mù)前來(lái)說，對於暗網(wǎng)數據的獲取(qǔ)主要思路仍(réng)然(rán)是(shì)通(tōng)過(guò)開(kāi)放(fàng)平(píng)台采(cǎi)用數(shù)據(jù)提交的方式來解決(jué)，例如“百度站長(cháng)平台(tái)”“百度開(kāi)放平台”等等。
7，抓(zhuā)取(qǔ)反(fǎn)作弊(bì)
spider在抓(zhuā)取(qǔ)過程(chéng)中往往會遇到(dào)所(suǒ)謂(wèi)抓取黑洞或(huò)者麵臨大(dà)量低(dī)質(zhì)量頁麵的(dí)困擾，這就(jiù)要求(qiú)抓取係統(tǒng)中同樣需(xū)要設(shè)計一套(tào)完(wán)善的(dí)抓取反作弊(bì)係(xì)統。例(lì)如(rú)分(fēn)析(xī)url特征，分析頁麵(miàn)大小及內容，分析(xī)站(zhàn)點(diǎn)規(guī)模對(duì)應抓(zhuā)取(qǔ)規模等等。
轉(zhuǎn)載(zǎi)請保留原文地(dì)址(zhǐ): https://antelcom.cn/show-538.html