有(yǒu)一些網頁(yè)，內(nèi)容優質(zhì)，用戶也(yě)可以(yǐ)正(zhèng)常訪問，但(dàn)是Baiduspider卻(què)無(wú)法(fǎ)正常訪(fǎng)問(wèn)並抓取，造成搜(sōu)索結(jié)果(guǒ)覆蓋率缺失，對百(bǎi)度搜(sōu)索引擎對站(zhàn)點都(dū)是(shì)一(yī)種損失，百(bǎi)度(dù)把這種情(qíng)況叫(jiào)“抓(zhuā)取異常”。對於大(dà)量內容無法(fǎ)正(zhèng)常抓取的網站，百度搜索引(yǐn)擎會(huì)認為網站(zhàn)存在(zài)用戶體(tǐ)驗上的缺(quē)陷(xiàn)，並降低對網站(zhàn)的評價，在(zài)抓取，索(suǒ)引，排(pái)序(xù)上(shàng)都會(huì)受到(dào)一(yī)定程(chéng)度(dù)的(dí)負(fù)麵影(yǐng)響(xiǎng)，最(zuì)終影響(xiǎng)到網(wǎng)站(zhàn)從百度獲(huò)取(qǔ)的(dí)流(liú)量(liáng)。
下麵向站長介(jiè)紹一(yī)些(xiē)常見的抓(zhuā)取(qǔ)異常(cháng)原因:
服(fú)務器連(lián)接異常會(huì)有(yǒu)兩(liǎng)種(zhǒng)情況(kuàng)：一(yī)種是站(zhàn)點(diǎn)不(bù)穩定，Baiduspider嘗試(shì)連接您網站的服務器(qì)時(shí)出現暫時(shí)無(wú)法(fǎ)連接(jiē)的(dí)情(qíng)況；一(yī)種是Baiduspider一直無法連接上您網站的服務器。
造成服(fú)務器(qì)連(lián)接異(yì)常的原因通(tōng)常(cháng)是您(nín)的網站服(fú)務器(qì)過(guò)大，超負(fù)荷運(yùn)轉。也(yě)有可能是您的網站運行(háng)不(bù)正常，請(qǐng)檢查網(wǎng)站的web服(fú)務器（如apache，iis）是否安裝且正常運行，並使用瀏覽器檢查(chá)主要頁麵能否正常訪(fǎng)問(wèn)。您(nín)的網站和主機還(huán)可能阻止了(liǎo)Baiduspider的(dí)訪問(wèn)，您需要檢(jiǎn)查(chá)網站(zhàn)和主機(jī)的防(fáng)火(huǒ)牆。
2，網絡(luò)運(yùn)營(yíng)商(shāng)異(yì)常：網絡運營商(shāng)分電(diàn)信和聯通兩種，Baiduspider通(tōng)過電信或(huò)網(wǎng)通無法(fǎ)訪(fǎng)問(wèn)您的網站。如(rú)果(guǒ)出(chū)現這(zhè)種(zhǒng)情(qíng)況，您(nín)需(xū)要與網(wǎng)絡(luò)服(fú)務運(yùn)營(yíng)商進(jìn)行(háng)聯(lián)係(xì)，或(huò)者購買擁有(yǒu)雙綫(xiàn)服(fú)務的空間或者(zhě)購買(mǎi)cdn服務。
3，DNS異常：當Baiduspider無法(fǎ)解析您(nín)網(wǎng)站的IP時，會(huì)出(chū)現DNS異(yì)常(cháng)。可(kě)能是(shì)您(nín)的網站IP地(dì)址錯(cuò)誤，或(huò)者域(yù)名服務(wù)商把(bǎ)Baiduspider封(fēng)禁(jīn)。請使用WHOIS或(huò)者host查(chá)詢(xún)自己網(wǎng)站IP地址(zhǐ)是(shì)否正確(què)且可解析(xī)，如(rú)果不正確或(huò)無法解析，請(qǐng)與域名注冊商聯(lián)係，更新您(nín)的IP地址。
4，IP封禁：IP封(fēng)禁為：限製網絡的出口IP地址，禁(jīn)止該(gāi)IP段的(dí)使(shǐ)用者進行內(nèi)容訪(fǎng)問(wèn)，在(zài)這裏特指(zhǐ)封禁了BaiduspiderIP。當(dāng)您(nín)的(dí)網站(zhàn)不希望(wàng)Baiduspider訪問(wèn)時，才需要(yào)該設(shè)置，如果您(nín)希(xī)望(wàng)Baiduspider訪(fǎng)問您(nín)的網(wǎng)站，請(qǐng)檢查相關設(shè)置(zhì)中(zhōng)是否誤添(tiān)加了BaiduspiderIP。也(yě)有(yǒu)可(kě)能是(shì)您網站所(suǒ)在(zài)的空間(jiān)服(fú)務商(shāng)把(bǎ)百(bǎi)度(dù)IP進行了(liǎo)封禁，這時(shí)您需要(yào)聯係(xì)服(fú)務(wù)商更(gēng)改設置(zhì)。
5，UA封禁：UA即為(wéi)用(yòng)戶代理（User-Agent），服務(wù)器(qì)通(tōng)過UA識別(bié)訪問者的(dí)身(shēn)份。當網站針對指(zhǐ)定(dìng)UA的訪問，返回異常頁(yè)麵(miàn)（如(rú)403，500）或跳轉到其(qí)他頁麵的情況，即為UA封(fēng)禁。當(dāng)您(nín)的網(wǎng)站不(bù)希(xī)望Baiduspider訪問時，才(cái)需要該設(shè)置(zhì)，如(rú)果您(nín)希(xī)望(wàng)Baiduspider訪(fǎng)問您(nín)的(dí)網(wǎng)站，useragent相關的(dí)設(shè)置中是否有(yǒu)Baiduspider UA，並(bìng)及時修(xiū)改。
6，死鏈(liàn)：頁麵(miàn)已經無(wú)效，無(wú)法(fǎ)對用(yòng)戶提供(gōng)任何有價值(zhí)信(xìn)息的(dí)頁麵(miàn)就(jiù)是死鏈(liàn)接，包括協(xié)議死(sǐ)鏈和(hé)內容死鏈兩種形式:
協議死鏈：頁(yè)麵的TCP協(xié)議狀(zhuàng)態/HTTP協(xié)議狀(zhuàng)態明確表示的(dí)死(sǐ)鏈，常(cháng)見的如404，403，503狀態(tài)等(děng)。
內容死(sǐ)鏈：服(fú)務器返回狀態是(shì)正常(cháng)的，但內容已經變更(gēng)為不存在(zài)，已(yǐ)刪除(chú)或(huò)需要權(quán)限等與(yǔ)原內容(róng)無(wú)關的信息(xī)頁(yè)麵。
對於(yú)死(sǐ)鏈，我們建(jiàn)議站(zhàn)點使用(yòng)協議死鏈，並(bìng)通過百(bǎi)度(dù)站長平台--死鏈工具向(xiàng)百度提交(jiāo)，以(yǐ)便百度更快(kuài)地(dì)發現(xiàn)死(sǐ)鏈，減(jiǎn)少死(sǐ)鏈(liàn)對(duì)用戶以及搜索引擎(qíng)造(zào)成(chéng)的(dí)負麵影響(xiǎng)。
7，異(yì)常跳(tiào)轉(zhuǎn)：將(jiāng)網絡請(qǐng)求重(zhòng)新指(zhǐ)向其他位(wèi)置(zhì)即(jí)為(wéi)跳轉。異常(cháng)跳轉指的(dí)是以(yǐ)下幾(jī)種(zhǒng)情況(kuàng)：
1）當(dāng)前(qián)該頁(yè)麵為無效(xiào)頁(yè)麵（內容(róng)已刪除，死鏈等），直接跳(tiào)轉(zhuǎn)到(dào)前(qián)一(yī)目錄或者首頁，百(bǎi)度(dù)建議(yì)站長將(jiāng)該無(wú)效頁麵的入口(kǒu)超鏈接(jiē)刪除(chú)掉
2）跳轉(zhuǎn)到出(chū)錯(cuò)或(huò)者(zhě)無(wú)效頁(yè)麵
注意(yì)：對(duì)於長時間跳轉到其他域(yù)名的(dí)情(qíng)況，如(rú)網(wǎng)站更換域名，百度(dù)建議使(shǐ)用(yòng)301跳(tiào)轉(zhuǎn)協議進(jìn)行設置。
8，其(qí)他異常(cháng)：
1）針對百度(dù)refer的(dí)異(yì)常：網(wǎng)頁針(zhēn)對(duì)來自百度的refer返(fǎn)回(huí)不同(tóng)於正常內容的(dí)行為(wéi)。
2）針對(duì)百(bǎi)度ua的異常：網頁(yè)對百度UA返回(huí)不同於(yú)頁麵原(yuán)內(nèi)容(róng)的(dí)行為(wéi)。
3）JS跳轉(zhuǎn)異常(cháng)：網頁加載(zǎi)了百(bǎi)度無法識別(bié)的JS跳轉代碼(mǎ)，使(shǐ)得(dé)用(yòng)戶(hù)通過搜(sōu)索(suǒ)結果(guǒ)進(jìn)入頁(yè)麵(miàn)後發(fā)生(shēng)了跳轉(zhuǎn)的情況(kuàng)。
4）壓力(lì)過大(dà)引起(qǐ)的偶(ǒu)然(rán)封(fēng)禁：百度(dù)會根據站(zhàn)點的(dí)規模(mó)，訪(fǎng)問量等信(xìn)息，自(zì)動設(shè)定一(yī)個(gè)合(hé)理(lǐ)的抓(zhuā)取壓力。但(dàn)是(shì)在異常情況下，如(rú)壓力(lì)控(kòng)製失(shī)常時，服務器會根(gēn)據自身負荷進(jìn)行保(bǎo)護性(xìng)的偶然(rán)封(fēng)禁。這種(zhǒng)情(qíng)況下，請在返(fǎn)回碼中返(fǎn)回(huí)503(其(qí)含(hán)義(yì)是“Service Unavailable”)，這樣Baiduspider會(huì)過段時間再來嘗試抓取這個鏈接，如果網(wǎng)站已(yǐ)空(kōng)閒，則會被成功抓取(qǔ)。
轉(zhuǎn)載(zǎi)請(qǐng)保留原(yuán)文(wén)地址: https://antelcom.cn/show-550.html