運(yùn)營(yíng)筆記：是時(shí)候了解蜘蛛爬取原理了！揭秘收錄難題！

蜘蛛爬取原理看不懂？看看這篇文章就明白了!揭秘收錄難題！

很多人在做SEO的時(shí)候，搞不清蜘蛛爬取的原理或者對(duì)收錄索引都搞不清關(guān)系，這篇文章主要針對(duì)實(shí)戰(zhàn)來(lái)講解蜘蛛和收錄的關(guān)系，不講原理，只講干貨和經(jīng)驗(yàn)。

首先我們提到蜘蛛可能就可能想到IP，比如以下這些；

220.181.108.89專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0代表未更新。

220.181.108.94專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0代表未更新。

220.181.108.97專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0代表未更新。

220.181.108.80專(zhuān)用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0代表未更新。

220.181.108.77 專(zhuān)用抓首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0代表未更新。

是不是很難理解？但是如果做過(guò)網(wǎng)絡(luò)維護(hù)、或者局域網(wǎng)組網(wǎng)的就能明白，其實(shí)每個(gè)IP對(duì)應(yīng)的就是一臺(tái)電腦，每組服務(wù)器組對(duì)應(yīng)的就是網(wǎng)段。

比如，220.181.108.x這個(gè)網(wǎng)段，我們暫且叫收錄服務(wù)器組，這個(gè)服務(wù)器組下面有電腦ABCDE，對(duì)應(yīng)的IP，每臺(tái)電腦上裝著相應(yīng)的收錄程序。

那么這樣是不是清楚了呢？比如你提交一個(gè)鏈接到百度，那么相當(dāng)于把這個(gè)鏈接提交到收錄服務(wù)器組的C號(hào)電腦。

比如你提交了1、2、3個(gè)鏈接，這三個(gè)鏈接分別提交到了收錄服務(wù)器組的C、D、E號(hào)電腦，所以你查看日志的時(shí)候會(huì)發(fā)現(xiàn)，這三條鏈接對(duì)應(yīng)不同的IP，也就是對(duì)應(yīng)著不同的電腦。

那為什么提交3條鏈接會(huì)提交到三臺(tái)不同電腦呢？我個(gè)人猜測(cè)，或許提交的數(shù)據(jù)太多，同一臺(tái)電腦處理不了，所以采取了分布處理方式。（個(gè)人猜測(cè)，并非是研究證明，或許是更高級(jí)的處理方式）。

我昨天針對(duì)這個(gè)做了一個(gè)測(cè)試，寫(xiě)了3篇原創(chuàng)文章，發(fā)布后，我以最短的時(shí)間查看蜘蛛爬取情況，結(jié)果這三篇文章，分別爬取的IP是；

116.179.32.135——服務(wù)器1

220.181.108.122——服務(wù)器2

220.181.108.180——服務(wù)器3

第一篇文章寫(xiě)完后，文章過(guò)幾分鐘秒收錄，然后我模仿第一篇寫(xiě)作框架，繼續(xù)寫(xiě)第二篇，第二篇也過(guò)幾分鐘秒收，然后接著寫(xiě)第三篇，可惜的是，第三篇沒(méi)有收錄。

但第二天，這三篇全部收錄，也就是說(shuō)，第三篇變成了隔天收錄。

我又查看了116.179.32.135這個(gè)IP，這個(gè)IP屬于山西省陽(yáng)泉市 聯(lián)通，目前很多人都奇怪現(xiàn)在出現(xiàn)了116.179.32.X網(wǎng)段的蜘蛛，現(xiàn)在可以確定 的是，這個(gè)網(wǎng)段就是百度蜘蛛，除了nslookup可以驗(yàn)證外，以下幾點(diǎn)也是證據(jù)；

另外百度李總裁老家也是陽(yáng)泉的，所以幾個(gè)證據(jù)足以說(shuō)明，搜索服務(wù)器一部分也搬到了山西。

結(jié)合上面實(shí)戰(zhàn)的經(jīng)驗(yàn)包括以往收錄爬取的蜘蛛分析，只要是鏈接提交到116.179.32.135，或者220.181.108.122、220.181.108.180等等，那么鏈接必定收錄，所以唯一解開(kāi)收錄密碼的難點(diǎn)在于，如果控制鏈接提交到這些服務(wù)器？

甚至有人戲謔稱(chēng)，220開(kāi)頭的是官方蜘蛛，而116開(kāi)頭是老家蜘蛛，呵呵，希望大佬一起來(lái)研究這個(gè)問(wèn)題。

文章首發(fā)運(yùn)營(yíng)正經(jīng)說(shuō):https://www.yyzjs.cn/zhanzhang/779.html