摘要：收集(jí)待(dài)索引(yǐn)網(wǎng)頁(yè)Internet上存在的網頁(yè)數量絕對是(shì)個(gè)天文數字(zì)，每天(tiān)新增的網(wǎng)頁(yè)也(yě)不計其(qí)數，搜索引擎需要首先(xiān)找到(dào)要索(suǒ)引收錄的對象(xiàng)。具(jù)體到Google而言，雖(suī)然對(duì)GoogleBot是否(fǒu)存(cún)在(zài)DeepBot與(yǔ)...
Internet上(shàng)存在(zài)的網(wǎng)頁數(shù)量絕對是個(gè)天文數字，每天新增(zēng)的網(wǎng)頁(yè)也不計其(qí)數，搜索引(yǐn)擎需要(yào)首先找到要(yào)索(suǒ)引收錄(lù)的對(duì)象。
具體(tǐ)到Google而言，雖然(rán)對(duì)GoogleBot是否存(cún)在DeepBot與FreshBot的(dí)區別存(cún)在(zài)爭議(yì)——至於是否叫(jiào)這(zhè)麼(mó)兩個(gè)名(míng)字(zì)更(gēng)是眾說(shuō)紛(fēn)紜(yún)。
主流(liú)的看(kàn)法(fǎ)是，在Google的(dí)robots中(zhōng)，的確存(cún)在(zài)著相(xiāng)當部分專(zhuān)門(mén)為(wéi)真(zhēn)正的(dí)索(suǒ)引(yǐn)收錄頁頁(yè)準(zhǔn)備“素材(cái)”的(dí)robots——在這(zhè)裏(lǐ)我(wǒ)們姑且仍(réng)稱之為FreshBot吧(bā)
它們(mén)的任務便是(shì)每天(tiān)不(bù)停地掃描(miáo)Internet，以發現並(bìng)維護一個龐大(dà)的(dí)url列(liè)表(biǎo)供DeepBot使用，換(huàn)言之，當(dāng)其訪問，讀(dú)取(qǔ)其(qí)一個網(wǎng)頁時，目的並(bìng)不(bù)在於索引這個(gè)網(wǎng)頁(yè)，而是找(zhǎo)出這(zhè)個網頁(yè)中的(dí)所(suǒ)有(yǒu)鏈(liàn)接。當然(rán)，這(zhè)樣(yàng)似乎在(zài)效(xiào)率(shuài)上存在(zài)矛(máo)盾(dùn)，有點(diǎn)不太可(kě)信(xìn)。不過(guò)，我們(mén)可(kě)以(yǐ)簡(jiǎn)單(dān)地通過(guò)以下(xià)方式判(pàn)斷：FreshBot在掃描網頁時(shí)不(bù)具(jù)備(bèi)“排(pái)它性”。也(yě)即是說，位(wèi)於Google不同的數據中(zhōng)心(xīn)的多個(gè)robots可(kě)能在某(mǒu)個(gè)很短(duǎn)的時(shí)間(jiān)周期(qī)，比如(rú)說一天(tiān)甚至(zhì)一小時(shí)，訪(fǎng)問同一個頁麵，而(ér)DeepBot在(zài)索(suǒ)引，緩(huǎn)存頁(yè)麵時(shí)則不會出現(xiàn)類似的(dí)情(qíng)況(kuàng)。即Google會限(xiàn)製(zhì)由某個(gè)數據(jù)中心的robots來完成這(zhè)項(xiàng)工作(zuò)的(dí)，而不(bù)會出現(xiàn)兩(liǎng)個數據中心同時(shí)索引(yǐn)網頁(yè)同一個(gè)版本(běn)的情況(kuàng)，如(rú)果這種說法沒有(yǒu)破綻的話(huà)，則(zé)似乎可(kě)以從服(fú)務(wù)器(qì)訪問日誌中時常可以看(kàn)到源(yuán)自(zì)不(bù)同IP的(dí)GoogleBot在很(hěn)短(duǎn)的時間內多次訪(fǎng)問(wèn)同一個網頁證明FreshBot的存在(zài)。
因(yīn)此(cǐ)，有時(shí)候(hòu)發現(xiàn)GoogleBot頻(pín)繁(fán)訪問網(wǎng)站也不(bù)要高興(xīng)得太早(zǎo)，也許其根本(běn)不是在(zài)索(suǒ)引(yǐn)網(wǎng)頁而隻是在掃(sǎo)描(miáo)url。
FreshBot記錄(lù)的信息包括(kuò)網頁(yè)的url，TimeStamp(網(wǎng)頁創(chuàng)建(jiàn)或更新(xīn)的(dí)時間(jiān)戳)，以及(jí)網頁(yè)的Head信息(注：這一點(diǎn)存(cún)在(zài)爭議，也有不(bù)少人(rén)相信(xìn)FreshBot不會去(qù)讀取目(mù)標網(wǎng)頁信(xìn)息的，而是將這部分工(gōng)作交由DeepBot完(wán)成。
不過(guò)，筆(bǐ)者傾(qīng)向(xiàng)於前一種(zhǒng)說(shuō)法，因為(wéi)在FreshBot向(xiàng)DeepBot提(tí)交的url列表中，會(huì)將(jiāng)網站設置(zhì)禁(jīn)止索(suǒ)引(yǐn)，收(shōu)錄(lù)的頁麵排(pái)除在(zài)外，以提(tí)高效(xiào)率(shuài)，而網站進行此(cǐ)類設(shè)置時(shí)除使用robots.txt外(wài)還(huán)有(yǒu)相當部分(fēn)是(shì)通過mata標簽中(zhōng)的“noindex”實(shí)現的(dí)，不讀取目標網頁的(dí)head似乎是無法實(shí)現(xiàn)這(zhè)一點的)，如果(guǒ)網頁不(bù)可訪問，比(bǐ)如(rú)說(shuō)網(wǎng)絡中(zhōng)斷或服(fú)務(wù)器故(gù)障(zhàng)，FreshBot則(zé)會(huì)記(jì)下該url並(bìng)擇機重試，但(dàn)在該url可訪(fǎng)問(wèn)之前，不會將其加入向(xiàng)DeepBot提交的url列表。
總的(dí)來說，FreshBot對(duì)服務器(qì)帶(dài)寬，資(zī)源的占用還是比較(jiào)小(xiǎo)的。最(zuì)後(hòu)，FreshBot對記錄信(xìn)息按不同的優(yōu)先級進(jìn)行(háng)分類，向DeepBot提交(jiāo)，根據優(yōu)先(xiān)級不(bù)同(tóng)，主要有(yǒu)以下(xià)幾(jī)種：
A：新建網頁(yè);B：舊網頁/新(xīn)的TimeStamp，即存(cún)在更新(xīn)的(dí)網(wǎng)頁(yè);C：使(shǐ)用301/302重定(dìng)向的(dí)網頁(yè);D：復(fù)雜(zá)的動態url：如使(shǐ)用多個參數(shù)的動態url，Google可能需要附加的(dí)工(gōng)作(zuò)才能(néng)正確(què)分析其(qí)內(nèi)容。
——隨(suí)著(zhuó)Google對動(dòng)態網(wǎng)頁(yè)支持(chí)能(néng)力的提高(gāo)，這一(yī)分(fēn)類可能已經取消(xiāo);E：其他類型(xíng)的(dí)文(wén)件(jiàn)，如(rú)指向PDF，DOC文件的(dí)鏈接(jiē)，對這(zhè)些文件的索引(yǐn)，也可能需要附加的工(gōng)作;
F：舊(jiù)網(wǎng)頁(yè)/舊的(dí)TimeStamp，即未更(gēng)新(xīn)的(dí)網頁，注(zhù)意(yì)，這裏的時(shí)間戳(chuō)不是以Google搜索結果中(zhōng)顯示的(dí)日(rì)期為(wéi)準(zhǔn)，而是與(yǔ)Google索引數(shù)據(jù)庫中的日期比對(duì);G：錯(cuò)誤(wù)的(dí)url，即訪問時(shí)返(fǎn)回404回(huí)應(yīng)的頁麵(miàn);
網頁的索引與(yǔ)收(shōu)錄(lù)
接下來才進(jìn)入(rù)真正的索引(yǐn)與(yǔ)收錄網(wǎng)頁過(guò)程。從上麵(miàn)的介紹(shào)可以看出，FreshBot提交(jiāo)的url列表是相當(dāng)龐(páng)大(dà)的，根據(jù)語言，網站位(wèi)置等不同，對特定(dìng)網(wǎng)站的索(suǒ)引(yǐn)工作將(jiāng)分配至(zhì)不(bù)同的數據中(zhōng)心完(wán)成。
整個(gè)索(suǒ)引過程，由於(yú)龐(páng)大的數據量(liáng)，可(kě)能(néng)需要幾周甚至更(gēng)長(cháng)時間才(cái)能(néng)完(wán)成(chéng)。
正如上文(wén)所(suǒ)言，DeepBot會(huì)首先(xiān)索引優先(xiān)級較高(gāo)的(dí)網(wǎng)站/網頁，優先級越(yuè)高(gāo)，出(chū)現在Google索(suǒ)引數據庫及至最終出現在(zài)Google搜索結(jié)果(guǒ)頁(yè)麵(miàn)中(zhōng)的(dí)速(sù)度便越(yuè)快。
對(duì)新(xīn)建網(wǎng)頁而言(yán)，隻要(yào)進(jìn)入(rù)到(dào)這個(gè)階段(duàn)，即使整(zhěng)個(gè)索(suǒ)引(yǐn)過程沒有(yǒu)完(wán)成，相(xiāng)應的網頁便已具備出現(xiàn)在(zài)Google索引庫中的(dí)可(kě)能，相信許多(duō)朋友在(zài)Google中使用“site”搜索時常常看(kàn)到標(biāo)注為補(bǔ)充結果隻顯示(shì)網頁(yè)url或隻顯(xiǎn)示網頁標(biāo)題與url但(dàn)沒有(yǒu)描(miáo)述(shù)的(dí)頁(yè)麵(miàn)，此(cǐ)即(jí)是處於這(zhè)一階(jiē)段網頁的正(zhèng)常結(jié)果。
當(dāng)Google真正讀取，分析，緩存了(liǎo)這個(gè)頁(yè)麵後，其便(biàn)會從(cóng)補充結(jié)果中(zhōng)逃出(chū)而顯(xiǎn)示正(zhèng)常(cháng)的信(xìn)息。
——當(dāng)然(rán)，前(qián)提是該(gāi)網頁(yè)具有(yǒu)足夠的鏈接(jiē)，特(tè)別(bié)是來自(zì)權威(wēi)網(wǎng)站的(dí)鏈接，並且，索引庫(kù)中(zhōng)沒有與(yǔ)該網(wǎng)頁(yè)內容(róng)相同或近似的記(jì)錄(lù)(DuplicateContent過(guò)濾)。
對動態url而言(yán)，雖(suī)然(rán)如(rú)今(jīn)Google宣(xuān)稱在(zài)對其處理方麵已(yǐ)不存在障礙，不(bù)過，可(kě)以觀察到的(dí)事(shì)實(shí)仍然(rán)顯(xiǎn)示動(dòng)態url出(chū)現在補充(chōng)結(jié)果(guǒ)中的(dí)幾(jī)率(shuài)遠大於(yú)使用靜(jìng)態url的(dí)網頁，往(wǎng)往(wǎng)需(xū)要更多，更有(yǒu)價值的鏈接才能從補(bǔ)充結(jié)果(guǒ)中逸出(chū)。
而對(duì)於上(shàng)文中之“F”類，即未更(gēng)新(xīn)的網頁，DeepBot會將其時間戳與Google索引數(shù)據(jù)庫(kù)中的日(rì)期(qī)比對，確(què)認(rèn)盡管可(kě)能(néng)搜(sōu)索(suǒ)結果(guǒ)中相應頁麵信(xìn)息未(wèi)來得及(jí)更新但(dàn)隻(zhī)要(yào)索引了(liǎo)最新版(bǎn)本即可(kě)——考慮(lǜ)網頁多(duō)次(cì)更新，修改(gǎi)的情況(kuàng)——;至於“G”類(lèi)即(jí)404url，則會查找(zhǎo)索引(yǐn)庫中(zhōng)是否(fǒu)存在相(xiāng)應的(dí)記錄，如果(guǒ)有(yǒu)，將其(qí)刪除(chú)。
數據中(zhōng)心間的(dí)同步
前(qián)文(wén)我們(mén)提(tí)到過(guò)，DeepBot索(suǒ)引某個網(wǎng)頁時(shí)會由特定的數據中(zhōng)心完成，而(ér)不(bù)會(huì)出(chū)現多個數(shù)據中心(xīn)同時讀取該(gāi)網頁，分(fēn)別獲得(dé)網頁(yè)最近(jìn)版本(běn)的情況，這(zhè)樣，在索引過程完成後，便(biàn)需要一個數據同(tóng)步(bù)過程(chéng)，將(jiāng)網(wǎng)頁(yè)的(dí)最新版本(běn)在多個(gè)數據中(zhōng)心(xīn)得(dé)到(dào)更(gēng)新。
這就(jiù)是之(zhī)前(qián)著名的(dí)GoogleDance。不(bù)過，在BigDaddy更(gēng)新(xīn)後，數(shù)據(jù)中心(xīn)間的同(tóng)步(bù)不(bù)再(zài)像(xiàng)那樣集中在特定的時(shí)間段，而是(shì)以(yǐ)一(yī)種(zhǒng)連續的，時(shí)效性更強的方式(shì)進(jìn)行(háng)。
轉(zhuǎn)載請保留原文地址(zhǐ): https://antelcom.cn/show-160.html