首(shǒu)先(xiān)，小編(biān)要(yào)對各位站(zhàn)長(cháng)朋友說聲抱(bào)歉，VIP大(dà)講堂(táng)上海站已(yǐ)經過去N久，QA內容(róng)今天才發布(bù)出來(lái)。各位站長參(cān)加(jiā)VIP大講堂，除了(liǎo)聆聽(tīng)官(guān)方(fāng)聲(shēng)音外，更(gēng)重要的(dí)是可(kě)以與(yǔ)百度專(zhuān)家(jiā)進行麵對麵(miàn)的(dí)溝(gōu)通。VIP大講堂上海站請出(chū)了(liǎo)百度(dù)spider專(zhuān)家孫權，這是他第(dì)一(yī)次走出(chū)來與站(zhàn)長進行培訓(xùn)交(jiāo)流，課程中(zhōng)抖出(chū)幹(gān)貨(huò)無數，各位無法參與(yǔ)現場培(péi)訓的站長(cháng)除了申(shēn)請(qǐng)觀看培(péi)訓現(xiàn)場視(shì)頻外，還可以通過QA記錄看看(kàn)自己心(xīn)中的疑問是(shì)否已(yǐ)被(bèi)解答(dá)。
由於現(xiàn)場(cháng)QA環(huán)節(jié)火爆(bào)熱(rè)烈內(nèi)容超多(duō)，故(gù)本(běn)次(cì)僅放(fàng)出spider抓(zhuā)取(qǔ)建庫部(bù)分(fēn)，其它(tā)內(nèi)容(róng)請靜待下(xià)期(qī)。
問(wèn)：為(wéi)什麼收(shōu)錄(lù)量像(xiàng)坐過(guò)山(shān)車(chē)一樣(yàng)的(dí)，還有為什麼(mó)有些(xiē)網(wǎng)頁(yè)今天(tiān)在明(míng)天(tiān)就(jiù)沒了(liǎo)？
答：百度會(huì)周期建庫(kù)，且每(měi)個(gè)庫(kù)的收錄量是恒定(dìng)的，你老是(shì)有新增(zēng)，肯(kěn)定會再(zài)從庫裏淘汰一些，反(fǎn)正總是保(bǎo)持那(nà)個(gè)庫是(shì)滿(mǎn)的。在建(jiàn)庫的過(guò)程(chéng)中(zhōng)，你(nǐ)會感覺有(yǒu)波動。具體(tǐ)的怎麼篩，哪個頁麵(miàn)會(huì)留下哪(nǎ)個(gè)頁(yè)麵(miàn)會(huì)淘汰，這個(gè)策(cè)略是(shì)有(yǒu)很(hěn)多(duō)的(dí)，他隨(suí)著(zhuó)時(shí)間的變(biàn)化(huà)，收錄(lù)的(dí)標(biāo)準(zhǔn)策(cè)略(lüè)也是在發生(shēng)微(wēi)調。
問：我(wǒ)們站點(diǎn)使(shǐ)用(yòng)CDN加速會不會(huì)比(bǐ)較容易造(zào)成蜘蛛(zhū)無(wú)法抓取(qǔ)？因(yīn)為有時候修(xiū)改掉他綁(bǎng)定的什(shí)麼(mó)東西。
答(dá)：如果(guǒ)要修改掉一定(dìng)要通知(zhī)到上一級(jí)，現(xiàn)在(zài)不存在這(zhè)個問題，現在你如(rú)果修改(gǎi)掉也(yě)可(kě)以解(jiě)析(xī)掉(diào)，之(zhī)前可能會存在這(zhè)個(gè)問題。
問(wèn)：你(nǐ)們(mén)百度自己(jǐ)也(yě)有一個CDN加速，對抓錄排名(míng)有(yǒu)沒有(yǒu)影(yǐng)響？
答：在(zài)使(shǐ)用CDN加(jiā)速這(zhè)個(gè)問(wèn)題上，我們對所有站點一視同仁。但(dàn)我(wǒ)建(jiàn)議你(nǐ)使(shǐ)用(yòng)技術(shù)能(néng)力強(qiáng)的(dí)CDN服(fú)務商(shāng)，保證站點(diǎn)的穩定(dìng)和(hé)速度，百(bǎi)度會(huì)更(gēng)喜歡(huān)。
問：剛才(cái)您說(shuō)IP上的(dí)站點數(shù)不能太(tài)多(duō)，那CDN這種情況怎麼(mó)辦(bàn)？
答：CDN的情況另說，如(rú)果(guǒ)我(wǒ)們識別出(chū)來(lái)是(shì)CDN的話不(bù)會受(shòu)站(zhàn)點(diǎn)數(shù)量(liáng)的影響，如果你(nǐ)是提(tí)供獨立(lì)IP的話(huà)會有這(zhè)樣一些問(wèn)題(tí)。
問(wèn)：還是IP上站(zhàn)點數(shù)量(liáng)的問題(tí)，如果是(shì)主域跟二(èr)級(jí)域名呢(ní)？也(yě)受數(shù)量(liáng)限(xiàn)製？
答(dá)：我說(shuō)的(dí)是獨立域名。當然質量比較(jiào)好的(dí)二級(jí)域名也可以認為(wéi)是獨立(lì)域(yù)名(míng)
問(wèn)：多(duō)個域名，他有(yǒu)相(xiāng)同的一(yī)些(xiē)內容，怎麼建庫？
答(dá)：如果(guǒ)是(shì)多(duō)域名(míng)在同(tóng)一(yī)個主域(yù)下麵(miàn)有相同內容(róng)的話，不可能所(suǒ)有都建庫(kù)，而且被(bèi)建庫的(dí)那個(gè)可能不是你希(xī)望(wàng)的那(nà)個(gè)，所以盡(jìn)量不要有相(xiāng)同的內容(róng)。
問：剛才(cái)講的(dí)IP如(rú)果(guǒ)是多(duō)域(yù)名的話，好幾(jī)百個IP域名，現在(zài)我(wǒ)們也(yě)用了CDN，按(àn)照(zhào)剛(gāng)才的說(shuō)法，單個IP最多抓(zhuā)多少？1000萬(wàn)是說對(duì)站(zhàn)點(diǎn)還(huán)是對IP？
答(dá)：對IP，但(dàn)1000萬(wàn)是我舉例，不是實(shí)際(jì)的(dí)數(shù)據，這(zhè)個(gè)數(shù)據(jù)不會(huì)分享(xiǎng)出(chū)來(lái)的
問：現在我的(dí)網站(zhàn)被很多(duō)蜘蛛爬，我想隻(zhī)讓百(bǎi)度(dù)蜘蛛爬，百度蜘蛛IP多(duō)少？能設(shè)白(bái)名(míng)單(dān)麼？
答(dá)：百(bǎi)度蜘(zhī)蛛(zhū)IP是不(bù)斷變(biàn)的(dí)，現在(zài)網(wǎng)上的確(què)有一些(xiē)白名單(dān)的(dí)說法(fǎ)，暫時(shí)是(shì)有(yǒu)效的，但不(bù)保證(zhèng)今後不會變，所以建議站(zhàn)點還(huán)是通(tōng)過(guò)ua進(jìn)行判斷，我們(mén)百度站(zhàn)長(cháng)平台(tái)上(shàng)有相(xiāng)關的文(wén)章(zhāng)，你(nǐ)可以找一下(xià)。
問：如果(guǒ)我寫(xiě)robots隻想禁掉(diào)動(dòng)態鏈接的(dí)話，會不會(huì)影響動(dòng)態參(cān)數(shù)前麵正常鏈(liàn)接的(dí)抓取？
答(dá)：不會(huì)的(dí)，你(nǐ)原來(lái)的頁麵還在，肯定會抓。
問：比(bǐ)如我們一(yī)個域名www.100181.com，我(wǒ)們想把(bǎ)帶(dài)？號的url全(quán)部(bù)禁掉，首(shǒu)頁(yè)我們不要禁(jīn)掉，怎(zěn)麼弄(nòng)？
答：?前麵(miàn)有(yǒu)個(gè)*，後(hòu)麵(miàn)再(zài)有(yǒu)個*就(jiù)可(kě)以(yǐ)了。
問：我(wǒ)想了解(jiě)，如果(guǒ)我現在收錄(lù)有(yǒu)5萬，大概多長(cháng)時間(jiān)才能把我原來(lái)收錄5萬重新抓取一遍(biàn)？
答(dá)：不(bù)同站(zhàn)點(diǎn)不好說(shuō)，一個是你站點(diǎn)做的很(hěn)好(hǎo)，知(zhī)名(míng)度很響更(gēng)新(xīn)很快質量(liáng)很好(hǎo)就會(huì)快；如果(guǒ)你的站點默默無(wú)聞，貢獻很(hěn)少，可(kě)能就會很慢。
（接(jiē)上個(gè)問題(tí)）
問(wèn)：就是差(chà)不多(duō)的(dí)情況(kuàng)，大概。
答(dá)：這個(gè)沒(méi)有人能估(gū)出(chū)來(lái)。
問：百(bǎi)度站長(cháng)平台上(shàng)有數據(jù)提交的工具，我(wǒ)們實時提(tí)交，你們也(yě)會實時(shí)抓取(qǔ)嗎(má)？
答：不會，他(tā)會(huì)有一層判(pàn)斷(duàn)。現在隻是(shì)通(tōng)知(zhī)你提(tí)交(jiāo)成功(gōng)，後(hòu)麵什(shí)麼時候抓，什(shí)麼時(shí)候建庫沒有，我們正(zhèng)在(zài)研究要(yào)不(bù)要把這(zhè)個分享(xiǎng)出(chū)來。
問：我(wǒ)網站(zhàn)有一(yī)些列表頁，都沒有鏈接，擔心百度抓(zhuā)不到
答(dá)：現在百(bǎi)度站長(cháng)平(píng)台(tái)的站(zhàn)內搜索(suǒ)工具(jù)有一個綠(lǜ)色收錄通道，在那裏提(tí)交(jiāo)種子頁，我(wǒ)們就知(zhī)道(dào)的(dí)。
（接上個問題）
問：提(tí)交種(zhǒng)子(zǐ)頁麵(miàn)必須要用站搜？
答(dá)：是(shì)的。
問(wèn)：如果(guǒ)說(shuō)頁(yè)麵(miàn)裏(lǐ)url特別多(duō)的話，蜘蛛會(huì)不會(huì)有選擇性的進(jìn)行抓取？
答：不(bù)會，他(tā)都(dū)會(huì)一(yī)個不(bù)漏給你提出來，但(dàn)會把(bǎ)JS，CSS這(zhè)樣(yàng)的(dí)鏈接(jiē)給過濾(lǜ)掉(diào)。但請(qǐng)注(zhù)意，全部抓取(qǔ)過(guò)來之後會進(jìn)行篩選(xuǎn)，並不是所有(yǒu)都(dū)會建庫。
問(wèn)：現(xiàn)在很多(duō)網(wǎng)站都(dū)有(yǒu)自(zì)己的(dí)站內搜索(suǒ)，都(dū)會產生站(zhàn)內搜(sōu)索結果頁，百度(dù)不(bù)喜歡搜(sōu)索(suǒ)結(jié)果頁的話，我(wǒ)們(mén)用這個會(huì)不會(huì)對(duì)我們有(yǒu)影(yǐng)響？隻(zhī)是(shì)不喜(xǐ)歡還(huán)是對(duì)我們(mén)網站(zhàn)會(huì)有懲(chéng)罰(fá)
答：蜘蛛(zhū)會(huì)去(qù)抓(zhuā)，抓(zhuā)完之(zhī)後(hòu)重要是提(tí)取裏麵的鏈接(jiē)。如果隻有(yǒu)一(yī)兩(liǎng)條這樣(yàng)的(dí)頁麵質量不(bù)好(hǎo)問題不大，如(rú)果(guǒ)整體(tǐ)質(zhì)量較差，有(yǒu)可(kě)能(néng)受(shòu)到(dào)懲罰。
問：新出(chū)的時效性文章當時沒有被收錄，後(hòu)期(qī)是否(fǒu)還(huán)會被收(shōu)錄？
答：會(huì)
問：站點每天(tiān)最(zuì)高(gāo)爬(pá)蟲(chóng)多少(shǎo)次？
答(dá)：這(zhè)個(gè)其實說不好(hǎo)，有(yǒu)的(dí)站點我(wǒ)們一(yī)天(tiān)會抓一(yī)兩(liǎng)千萬(wàn)，有(yǒu)的站(zhàn)點(diǎn)隻(zhī)抓(zhuā)幾(jī)個(gè)，幾十個(gè)，看(kàn)你的(dí)規模和(hé)質量，而且這(zhè)個(gè)抓取(qǔ)量也是會根(gēn)據(jù)網站的(dí)情(qíng)況進(jìn)行調(tiáo)整(zhěng)的。
作(zuò)者(zhě)：百(bǎi)度站長(cháng)平台(tái)
轉(zhuǎn)載(zǎi)請(qǐng)保(bǎo)留原文地(dì)址: https://antelcom.cn/show-362.html