先上圖(tú)來簡(jiǎn)單(dān)看(kàn)下(xià)搜(sōu)索(suǒ)引(yǐn)擎(qíng)的(dí)“三板斧”：數據(jù)搜集—>預處(chǔ)理【索(suǒ)引】—>排名。
數(shù)據(jù)搜集(jí)
即(jí)數據的(dí)搜(sōu)集階段(duàn)，將(jiāng)網頁從(cóng)浩如瀚(hàn)海(hǎi)的互(hù)聯(lián)網世界(jiè)搜集(jí)到(dào)自(zì)己的數據庫中進(jìn)行(háng)存(cún)儲。
1，抓(zhuā)取維護(hù)策略(lüè)
麵(miàn)對(duì)大(dà)量需要(yào)處理的(dí)數據，很(hěn)多(duō)問題(tí)需要事先考慮好。比(bǐ)如是“即(jí)時(shí)抓(zhuā)取”數(shù)據還(huán)是(shì)“事先(xiān)抓取(qǔ)”？在(zài)對(duì)數據(jù)進行(háng)維(wéi)護時(shí)是(shì)“定(dìng)期抓(zhuā)取(qǔ)”（定期(qī)一(yī)次(cì)深(shēn)度大(dà)抓取，替代原有的數據）還是(shì)“增量(liáng)抓取”（以原(yuán)有數(shù)據為根(gēn)基(jī)，進行(háng)新舊交替）？
2，鏈接跟蹤(zōng)
我(wǒ)們都知(zhī)道，蜘(zhī)蛛(zhū)是(shì)順(shùn)著鏈(liàn)接(jiē)爬行和抓取(qǔ)頁麵(miàn)的。如何快(kuài)速抓取(qǔ)到對用戶來說相對(duì)重(zhòng)要的(dí)信息(xī)以及達到(dào)廣(guǎng)闊(kuò)的覆蓋無疑(yí)是搜(sōu)索引擎需要重(zhòng)點(diǎn)考慮的問(wèn)題。
先來說第一(yī)個(gè)，怎(zěn)麼(mó)抓(zhuā)取到(dào)重要(yào)的(dí)信息。
想要(yào)知(zhī)道這個，首頁要明白人(rén)們(mén)是怎麼樣主觀(guān)去判(pàn)斷(duàn)一個頁麵(miàn)是否(fǒu)重要(yào)的（自己先思(sī)考(kǎo)下）。其(qí)實無外乎以下幾(jī)種情況(kuàng)：
網頁有(yǒu)歷(lì)史(shǐ)權(quán)重(zhòng)積(jī)累(léi)（域名等時間(jiān)較長，質量高(gāo)，資(zī)格(gé)老），很(hěn)多(duō)人會(huì)提到這(zhè)個頁麵(miàn)（外鏈指向），很多(duō)人會引用(yòng)這個頁麵(miàn)（轉載或者鏡像(xiàng)），這個(gè)頁(yè)麵(miàn)便於用戶(hù)快速瀏覽(lǎn)（層級較(jiào)淺(qiǎn)），經常(cháng)有(yǒu)新(xīn)的(dí)內(nèi)容(róng)出現(xiàn)（更(gēng)新(xīn)）等等(děng)。
而在鏈接跟蹤(zōng)階段，其(qí)實(shí)能得到(dào)的信息隻(zhī)有(yǒu)“這(zhè)個頁(yè)麵(miàn)便於用戶快速(sù)瀏覽（層級較淺）”，其它信息還未獲取。
對於信息(xī)的覆(fù)蓋，其(qí)實(shí)就是(shì)蜘(zhī)蛛(zhū)在跟蹤鏈(liàn)接時的(dí)兩(liǎng)個策略(lüè)：深(shēn)度(dù)抓取與廣度抓取(qǔ)。
用(yòng)屁股(gǔ)想一下也知(zhī)道(dào)，廣度抓取(qǔ)有(yǒu)助(zhù)於獲取到更多的信息(xī)，深度(dù)抓(zhuā)取有(yǒu)助於得(dé)到(dào)更全(quán)麵的信(xìn)息。搜索引擎蜘蛛在(zài)抓取(qǔ)數據(jù)時，通常會兩種方(fāng)式(shì)都采用(yòng)，但(dàn)是相比較來(lái)說，廣度抓(zhuā)取(qǔ)要(yào)多於深(shēn)度(dù)抓取(qǔ)。
3，地(dì)址(zhǐ)庫
搜(sōu)索引擎在建立(lì)初期，必須(xū)是(shì)要有一個人(rén)工(gōng)錄入的種(zhǒng)子庫的(dí)，否則(zé)蜘蛛(zhū)將(jiāng)會在進(jìn)行連接跟蹤(zōng)時無從下(xià)手(shǒu)。順著(zhuó)這(zhè)些(xiē)種(zhǒng)子(zǐ)庫，蜘蛛可以(yǐ)發現更(gēng)多的鏈接(jiē)。
當然(rán)，多(duō)個搜(sōu)索(suǒ)引擎都會放出一個頁麵(miàn)的提交入(rù)口，以便於站(zhàn)長將站點進(jìn)行(háng)提交(jiāo)。
不過值得一提(tí)的是，搜索(suǒ)引(yǐn)擎更喜歡自己發現的(dí)鏈(liàn)接。
4，文件(jiàn)存儲
鏈(liàn)接(jiē)跟(gēn)蹤完畢，需要(yào)將(jiāng)跟蹤(zōng)到的(dí)信(xìn)息(xī)進行存儲。存(cún)儲(chǔ)的對象，第一(yī)是url，第(dì)二是頁(yè)麵內容(róng)（文件大(dà)小(xiǎo)，最後一(yī)次(cì)更新(xīn)時間，http狀(zhuàng)態碼，頁麵源(yuán)代碼等等）。
關於url，由於上(shàng)次看到(dào)一個(gè)泛端(duān)口作弊的站點，這裏(lǐ)簡(jiǎn)單(dān)的提(tí)一下。一(yī)個(gè)url是由傳輸協議(yì)，域名，端口，路徑，文件(jiàn)名等(děng)幾部分(fēn)組成的。
預(yù)處理【索引(yǐn)】
數據(jù)抓取完畢(bì)，就(jiù)需要進行預(yù)處理了（也(yě)有(yǒu)很(hěn)多人(rén)喜歡(huān)把(bǎ)這一步叫做(zuò)索引）。主要會(huì)從(cóng)提取(qǔ)文(wén)字(zì)，分(fēn)詞(cí)，建(jiàn)立索引，鏈接(jiē)分(fēn)析(xī)等幾(jī)個(gè)方麵(miàn)來(lái)進行。
1，提取(qǔ)文字
很好理(lǐ)解(jiě)的一部(bù)，將(jiāng)源(yuán)代碼中的文字提取出來(lái)。當然需要(yào)注(zhù)意的是(shì)，這(zhè)裏麵會(huì)包括meta信(xìn)息(xī)以(yǐ)及(jí)一些(xiē)替代(dài)文字(zì)（例如alt標(biāo)簽）。
2，分詞
每到這(zhè)一步，總(zǒng)是想感嘆下漢字的博大(dà)精深。啊(ā)！啊！啊(ā)！
感(gǎn)嘆完(wán)畢，繼(jì)續走起(qǐ)。
分(fēn)詞(cí)是中文特有(yǒu)的一個步驟，即(jí)根(gēn)據句(jù)子說要表達(dá)的意(yì)思將正文進(jìn)行(háng)拆分(fēn)。通常情(qíng)況下(xià)，分(fēn)詞會(huì)有基(jī)於詞典以(yǐ)及統計(jì)學兩(liǎng)種(zhǒng)方(fāng)式。
為了(liǎo)更(gēng)加有效的(dí)進行機器分詞(cí)，通(tōng)常會采用“正(zhèng)向(xiàng)匹(pǐ)配(pèi)”與(yǔ)“逆向(xiàng)匹配”兩種思路(lù)來進(jìn)行。值得一(yī)提的是(shì)，“逆(nì)向匹(pǐ)配(pèi)”的方式更容(róng)易(yì)獲得(dé)更多(duō)有(yǒu)價值的信(xìn)息（想想為(wéi)什麼）。
需(xū)要(yào)強(qiáng)調的一點(diǎn)是，為了(liǎo)便(biàn)於分詞之(zhī)後的詞(cí)組可以(yǐ)更好的表達文(wén)章的核心意(yì)思，會(huì)進行去停(tíng)頓(dùn)詞(cí)（的，啊(ā)，嗯之類(lèi)的詞(cí)）以(yǐ)及去噪(zào)（導航(háng)，版(bǎn)權，分類(lèi)等對主體(tǐ)意(yì)思(sī)表達木有影(yǐng)響分(fēn)的(dí)內容）的處(chǔ)理。
3，去重(zhòng)
經過去停頓，去噪(zào)之(zhī)後剩下的詞(cí)組，已(yǐ)經(jīng)可以(yǐ)很好的(dí)表達出(chū)頁麵的主體意思了。為(wéi)了便於使得內(nèi)容(róng)不(bù)被搜(sōu)索引(yǐn)擎重復(fù)收(shōu)錄(lù)，搜(sōu)索(suǒ)引擎需要(yào)一(yī)個算(suàn)法來進行去重(zhòng)處(chǔ)理(lǐ)。
比如比較知(zhī)名且常(cháng)用的為MD5算(suàn)法，請(qǐng)點(diǎn)擊(jī)鏈接到百度百科(kē)自(zì)行腦(nǎo)補。
4，建立索(suǒ)引(yǐn)
去重完(wán)畢，便是一個大家經(jīng)常說起的正(zhèng)向索(suǒ)引(yǐn)與倒(dǎo)排索(suǒ)引。
5，鏈接(jiē)算(suàn)法
排名
索引文件建(jiàn)立完(wán)畢，離(lí)排名就(jiù)不遠了。
1，搜索詞(cí)的(dí)處理
搜素(sù)引(yǐn)擎會對搜索(suǒ)詞同樣(yàng)進(jìn)行(háng)分詞處理(lǐ)（想想為什麼），說(shuō)到這(zhè)裏，又(yòu)不(bù)禁(jīn)想感慨下(xià)漢字的博大(dà)精(jīng)深之(zhī)處。
針(zhēn)對(duì)這裏，想補充(chōng)的是(shì)一個叫做(zuò)文本(běn)粒(lì)度的(dí)概念(niàn)。額，為(wéi)了避免誤認(rèn)子弟，還(huán)是(shì)給(gěi)出(chū)百(bǎi)度(dù)官方關(guān)於(yú)此(cǐ)處的(dí)解(jiě)釋(shì)。
2，文件(jiàn)匹配與(yǔ)子(zǐ)集(jí)選擇(zé)
按(àn)照百度官方的說法，將(jiāng)用(yòng)戶(hù)搜索(suǒ)的詞進(jìn)行(háng)分詞處(chǔ)理(lǐ)之後，便可以對(duì)索引庫進行(háng)召(zhào)回(huí)了(liǎo)。這裏(lǐ)需(xū)要考(kǎo)慮到(dào)的一點(diǎn)是(shì)，用戶查(chá)看的往往(wǎng)會是(shì)前(qián)幾頁的搜索(suǒ)結果(guǒ)。所以(yǐ)為了(liǎo)資源(yuán)計，搜索引擎往(wǎng)往(wǎng)會(huì)隻(zhī)返回部分的結果(guǒ)（百(bǎi)度顯示76頁(yè)，穀歌(gē)100頁(yè)），即(jí)召回的(dí)索引(yǐn)庫中的(dí)子集(jí)文件(jiàn)。
3，相(xiāng)關(guān)性(xìng)計(jì)算
通(tōng)常情況(kuàng)下，會(huì)有(yǒu)五種因(yīn)素(sù)會影響(xiǎng)到相(xiāng)關(guān)係(xì)。
關於此部分，也就是大(dà)家(jiā)經常(cháng)說(shuō)到的(dí)SEO優(yōu)化手(shǒu)段與(yǔ)方(fāng)法，這裏(lǐ)就不再贅(zhuì)述了。
4，排名(míng)過濾(lǜ)與調整
其實(shí)經過相關性計(jì)算(suàn)，結(jié)果已經(jīng)大體確定(dìng)了。隻是(shì)為了懲罰(fá)一些(xiē)有(yǒu)作弊嫌疑(yí)的站點，搜索(suǒ)引(yǐn)擎(qíng)會在(zài)此部分(fēn)進行(háng)結果的微(wēi)調。
比(bǐ)如(rú)百度(dù)的11位機製。
5，結果(guǒ)的(dí)顯示(shì)
深喘(chuǎn)一口(kǒu)氣，終於(yú)可以看到顯(xiǎn)示(shì)的(dí)結果了(liǎo)。
返(fǎn)回的結果會(huì)包含title，描(miáo)述(shù)，快(kuài)照入(rù)口(kǒu)，快照日(rì)期，url等幾個(gè)方(fāng)麵。
這(zhè)裏值得一(yī)提(tí)的是，不隻是描(miáo)述搜(sōu)索(suǒ)引擎(qíng)可(kě)以動(dòng)態抓(zhuā)取(qǔ)，或許在不久的(dí)將(jiāng)來，title也會(huì)進(jìn)行(háng)動態抓(zhuā)取。
轉(zhuǎn)載請(qǐng)保留原文地址: https://antelcom.cn/show-540.html