大(dà)量(liáng)死鏈(liàn)對(duì)搜(sōu)索引擎來講(jiǎng)，有什麼(mó)影(yǐng)響(xiǎng)?
1，幾乎(hū)很多(duō)站都(dū)避免(miǎn)不了存在死(sǐ)鏈(liàn)接，但死鏈率(shuài)過(guò)高，會影響(xiǎng)搜索(suǒ)引擎(qíng)對(duì)網(wǎng)站的(dí)評(píng)分。
2，搜索引(yǐn)擎(qíng)對每個網站每(měi)天抓取的頻次是限額的，若網站存在大量死鏈，會(huì)浪(làng)費掉(diào)抓(zhuā)取(qǔ)配(pèi)額並影(yǐng)響正常(cháng)頁麵的(dí)抓(zhuā)取。
3，過多(duō)死(sǐ)鏈(liàn)對(duì)網(wǎng)站用戶(hù)來講也是體驗不好的(dí)表(biǎo)現。
百度(dù)站長(cháng)工具中有一(yī)個(gè)抓取異常(cháng)，那麼這(zhè)個工(gōng)具裏麵的(dí)異常數據(jù)是(shì)如(rú)何(hé)產生的呢?
1，網站內部添加(jiā)了(liǎo)錯誤的(dí)內部(bù)鏈接
編輯失(shī)誤或者(zhě)程序員大意讓頁(yè)麵產生(shēng)了(liǎo)不(bù)存(cún)在(zài)頁(yè)麵的URL。
2，原(yuán)來正常頁麵(miàn)因為程(chéng)序或頁(yè)麵(miàn)調整或(huò)改(gǎi)版(bǎn)無(wú)法打開(kāi)
因為程序(xù)的一個(gè)改動(dòng)，導致了(liǎo)某些正(zhèng)常頁麵(miàn)無(wú)法打(dǎ)開。
3，網(wǎng)站(zhàn)短暫無(wú)法訪(fǎng)問
因為(wéi)服務(wù)器，空(kōng)間或程序(xù)問題(tí)導(dǎo)致(zhì)網(wǎng)站無法訪問，抓取(qǔ)異常(cháng)中會出(chū)現(xiàn)大量的500錯誤頁麵。
4，外(wài)部(bù)鏈接(jiē)錯(cuò)誤
用(yòng)戶或者站(zhàn)長(cháng)在站(zhàn)外發(fā)布(bù)了錯誤URL，蜘(zhī)蛛爬取後產(chǎn)生錯(cuò)誤頁麵(miàn);別的網站(zhàn)復製(zhì)或采集了你們含有錯誤(wù)鏈接的(dí)頁(yè)麵(miàn);有(yǒu)些垃圾網站自(zì)動生(shēng)成的靜態搜索結果頁，如 www.100181.com/desc/3715714444.html 這個頁(yè)麵(miàn)中出現的很多鏈接在(zài)html前麵有(yǒu)“...”。
5，爬(pá)蟲(chóng)提取了不(bù)完整(zhěng)的(dí)URL
個別(bié)爬(pá)蟲在提取頁(yè)麵(miàn)URL的(dí)時候(hòu)，隻(zhī)提(tí)取部分(fēn)URL或者把(bǎ)正(zhèng)常的(dí)URL後(hòu)麵(miàn)的(dí)文(wén)字(zì)或字符(fú)也(yě)提(tí)取進去(qù)了。
6，網站改版或管(guǎn)理(lǐ)員(yuán)刪除(chú)頁(yè)麵(miàn)
網(wǎng)站改(gǎi)版過程中(zhōng)處(chǔ)理(lǐ)不(bù)當(dāng)導(dǎo)致部分老(lǎo)頁(yè)麵(miàn)無(wú)法訪問(wèn)，或(huò)者網(wǎng)站(zhàn)管理(lǐ)員刪除(chú)被(bèi)黑，廣告，過(guò)時(shí)，被(bèi)灌水頁麵。
出現(xiàn)了(liǎo)上述情(qíng)況(kuàng)，我們該如何(hé)去解(jiě)決
1，修(xiū)復錯誤頁(yè)麵 抓取(qǔ)異常(cháng)中(zhōng)的(dí)很多錯誤(wù)頁麵(miàn)是因為程序員(yuán)大意(yì)或(huò)者(zhě)我(wǒ)們程(chéng)序(xù)問題導致的，本應該(gāi)是正常頁(yè)麵，因為失誤導致無法訪問，對(duì)於(yú)此類(lèi)頁麵(miàn)，第(dì)一(yī)時(shí)間進(jìn)行(háng)修(xiū)復。
2，提(tí)交死(sǐ)鏈(liàn)接(jiē) 但必定很多錯誤(wù)頁麵(miàn)是本(běn)不應該存(cún)在的(dí)，那麼(mó)我們(mén)要想辦(bàn)法獲取此(cǐ)類頁麵URL，獲取方式(shì)主要有(yǒu)三(sān)種：
（1） 百度站長工(gōng)具--抓(zhuā)取異常(cháng)--找不到的頁麵--復製(zhì)數(shù)據(jù) [修(xiū)正：此處(chǔ)死鏈(liàn)不需(xū)我們提交了(liǎo)，百度站(zhàn)長工具(jù)自動提(tí)交死鏈(liàn)];
（2） 管(guǎn)理(lǐ)員(yuán)在刪除頁(yè)麵的時候(hòu)手(shǒu)動或者(zhě)程(chéng)序(xù)自(zì)動保(bǎo)存被刪頁麵URL;
（3） 使用相(xiāng)關爬(pá)蟲軟件，爬取整(zhěng)站獲取死鏈(liàn)，如(rú)Xenu 。
然後(hòu)將上述數據合並並(bìng)刪除(chú)重(zhòng)復項(excel表(biǎo)格中能實(shí)現(xiàn)刪重，wps表(biǎo)格(gé)更(gēng)容易操作)，然後再(zài)復(fù)製所有URL通過(guò)HTTP狀態批量查詢工具查詢(xún)下[這個(gè)不(bù)錯pl.soshoulu.com/webspeed.aspx]，剔除掉(diào)非404返回(huí)碼頁(yè)麵(miàn)。
然(rán)後整理上麵處理好的數據粘貼(tiē)到網站(zhàn)根目錄(lù)中的一個文檔中(zhōng)，再把(bǎ)文檔地址提(tí)交(jiāo)到 百度站長工(gōng)具--網頁(yè)抓取--死(sǐ)鏈提交--添加新數(shù)據--填(tián)寫(xiě)死鏈文件(jiàn)地址。
3，在(zài)robots中屏(píng)蔽抓(zhuā)取(qǔ)
若(ruò)大量(liáng)的(dí)錯(cuò)誤URL存在(zài)一(yī)定的(dí)規律(lǜ)，可(kě)以在(zài)robots文件(jiàn)中(zhōng)寫一(yī)個規(guī)則禁(jīn)止(zhǐ)蜘(zhī)蛛程(chéng)序抓(zhuā)取此類(lèi)鏈接，但前(qián)提一定要照顧(gù)好正(zhèng)常頁麵(miàn)，避免屏蔽規則(zé)誤傷(shāng)正常(cháng)頁麵，比如你的(dí)網(wǎng)站全部是靜(jìng)態(tài)URL，那麼如(rú)果錯誤(wù)鏈接中含有?的(dí)話(huà)，規(guī)則寫成Disallow:/*?*，如果錯誤(wù)鏈接中有/id...html 的話(huà)，規則(zé)寫成(chéng)Disallow:/*...* 。
robots文件添加完規則(zé)後，一定要去(qù)百度站(zhàn)長的 robots工具 進行校驗(yàn)，將指定的(dí)錯(cuò)誤頁麵(miàn)放(fàng)進去，看看是否封禁成(chéng)功(gōng)，再把(bǎ)正(zhèng)常(cháng)的(dí)頁麵放(fàng)進去(qù)看(kàn)看是(shì)否(fǒu)被(bèi)誤(wù)封。
相(xiāng)關注意事項(xiàng)：
1，在百度(dù)站(zhàn)長工具中提交(jiāo)死(sǐ)鏈前(qián)，一(yī)定(dìng)要確(què)保提交的(dí)死鏈數(shù)據不(bù)存在(zài)活鏈接(jiē)，或者(zhě)存(cún)在HTTP狀態(tài)碼非(fēi)404頁(yè)麵(miàn)。一(yī)旦存在活鏈，會(huì)顯(xiǎn)示(shì)提(tí)交失敗導致(zhì)無法刪(shān)除(chú)。
2，由(yóu)於很多(duō)網站(zhàn)程序問(wèn)題，很多(duō)打不開(kāi)的(dí)頁麵(miàn)返回碼並非(fēi)404，這是(shì)一個大(dà)問題，比如明(míng)明(míng)是打(dǎ)不開(kāi)的(dí)頁(yè)麵返(fǎn)回(huí)碼(mǎ)是(shì)301，200，500，如果是200的話，會導(dǎo)致網站中出現(xiàn)不同URL獲(huò)取相同內容。比(bǐ)如(rú)我的(dí)一個(gè)站(zhàn)，社(shè)區的帖(tiè)子刪(shān)除(chú)後，返回碼卻(què)是500，後(hòu)期發(fā)現了，立(lì)馬進行(háng)了(liǎo)處理。大家盡量(liáng)找(zhǎo)出所有(yǒu)錯誤URL格(gé)式，.並設置打開(kāi)後(hòu)HTTP狀(zhuàng)態碼(mǎ)為(wéi)404。
3，把所有(yǒu)的錯誤頁(yè)麵找(zhǎo)到(dào)後，一定(dìng)要(yào)尋找此(cǐ)類頁麵(miàn)URL相同(tóng)特(tè)征，並且(qiě)和(hé)正常頁麵(miàn)的特(tè)征有區分(fēn)，寫對應規(guī)則到robots文(wén)件中，禁(jīn)止蜘蛛抓取，就(jiù)算你(nǐ)已(yǐ)經在站(zhàn)長(cháng)工具(jù)中提(tí)交了死鏈，也建議robots封(fēng)禁抓取(qǔ)。
4，robots隻能解決蜘蛛不再(zài)抓(zhuā)取(qǔ)此(cǐ)類(lèi)頁麵，但解(jiě)決不(bù)了已經(jīng)抓(zhuā)取(qǔ)頁麵的(dí)快(kuài)照(zhào)的刪除問(wèn)題(tí)，若你的網(wǎng)站被黑(hēi)，刪除(chú)了被(bèi)黑頁(yè)麵(miàn)，除了robots封(fēng)禁被黑頁(yè)麵(miàn)外(wài)，還應(yīng)該將(jiāng)這(zhè)些頁麵(miàn)提(tí)交(jiāo)死(sǐ)鏈。提交死(sǐ)鏈是刪除被黑頁麵快照的最快(kuài)辦法。
站長社區(qū) 版主(zhǔ)ccutu
轉載請(qǐng)保留(liú)原(yuán)文(wén)地址: https://antelcom.cn/show-481.html