由此可見(jiàn)，雖然理論上蜘蛛能爬行和抓取所有頁(yè)面，但實(shí)際上不能、也不會(huì)這么做。SEO人員要想讓自己的更多頁(yè)面被收錄，就要想方設(shè)法吸引蜘蛛抓取。既然不能抓取所有頁(yè)面，蜘蛛所要做的就是盡量抓取重要頁(yè)面。哪些頁(yè)面被認(rèn)為比較重要呢?有幾方面影響因素。來(lái)自牧羊人深圳網(wǎng)站建設(shè)公司的小編分享：

　　網(wǎng)站和頁(yè)面權(quán)重。質(zhì)量高、資格老的網(wǎng)站被認(rèn)為權(quán)重比較高，這種網(wǎng)站上的頁(yè)面被爬行的深度也會(huì)比較高，所以會(huì)有更多內(nèi)頁(yè)被收錄。

　　1.網(wǎng)站權(quán)重問(wèn)題，權(quán)重越高的網(wǎng)站蜘蛛會(huì)爬取的更加深入，幾乎每個(gè)頁(yè)面都會(huì)爬取到，就會(huì)有更多的內(nèi)頁(yè)被收錄。

　　2.網(wǎng)站的更新頻率，蜘蛛會(huì)把每次爬取的網(wǎng)站存儲(chǔ)起來(lái)，方便第二次爬取，如果第二次爬取到你優(yōu)化的網(wǎng)站，發(fā)現(xiàn)頁(yè)面有更新，蜘蛛就會(huì)爬取到你的新內(nèi)容，如果之后每天更新，那么蜘蛛也會(huì)養(yǎng)成習(xí)慣，每天定時(shí)來(lái)爬取你的網(wǎng)站。

　　3.網(wǎng)站內(nèi)容質(zhì)量，質(zhì)量高、可讀性比較強(qiáng)的頁(yè)面，搜索引擎抓取到就更容易收錄，從而收錄之后，給我們的頁(yè)面權(quán)重也會(huì)有提高。下次也會(huì)繼續(xù)來(lái)爬取我們的網(wǎng)站，因?yàn)樗阉饕婢拖矚g有價(jià)值的頁(yè)面，可讀性強(qiáng)的頁(yè)面，語(yǔ)句符合邏輯的頁(yè)面。

　　4.導(dǎo)入鏈接。無(wú)論是外部鏈接還是同一個(gè)網(wǎng)站的內(nèi)部鏈接，要被蜘蛛抓取，就必須有導(dǎo)入鏈接進(jìn)入頁(yè)面，否則蜘蛛根本沒(méi)有機(jī)會(huì)知道頁(yè)面的存在。高質(zhì)量的導(dǎo)入鏈接也經(jīng)常使頁(yè)面上的導(dǎo)出鏈接被爬行深度增加。

　　5.頁(yè)面在首頁(yè)有鏈接，一般來(lái)說(shuō)我們?cè)谧约壕W(wǎng)站更新，更新的鏈接最好是要出現(xiàn)在首頁(yè)，因?yàn)槭醉?yè)是權(quán)重最高的，蜘蛛訪問(wèn)最多，最頻繁的也是我們的首頁(yè)，如果首頁(yè)有更新的鏈接，可以讓蜘蛛更快更好的爬取到我們更新的頁(yè)面，從而更好的收錄我們的頁(yè)面。

　　6.URL結(jié)構(gòu)。頁(yè)面權(quán)重是在收錄并進(jìn)行迭代計(jì)算后才知道的，那么前面說(shuō)的頁(yè)面權(quán)重高有利于被抓取，搜索引擎蜘蛛在抓取前怎么知道這個(gè)頁(yè)面的權(quán)重呢?所以蜘蛛要進(jìn)行預(yù)判，除了鏈接、與首頁(yè)距離、歷史數(shù)據(jù)等因素外，短的、層次淺的URL也可能被直觀認(rèn)為在網(wǎng)站上的權(quán)重相對(duì)較高.

閱讀本文的人還閱讀：SEO人員應(yīng)該具備哪些素養(yǎng)