1:蜘蛛本身就是模擬用戶行為進行爬行讀取,網(wǎng)站打開速度慢,影響實際用戶體驗的同時,肯定也同時會影響到模擬用戶體驗的蜘蛛。當一個網(wǎng)站打開速度慢的時候,蜘蛛會對這個網(wǎng)站的評分降低,進而影響到讀取、收錄等一系列行為。
2:蜘蛛抓取頁面數(shù)量=停留總時間/單個頁面停留時間先不管打開速度慢蜘蛛會不會提前撤退的問題,假若蜘蛛在網(wǎng)站的總停留時間固定,如果頁面打開時間變慢,則總停留時間除以單個頁面的停留時間即蜘蛛抓取的頁面數(shù)量就會變少,抓取的量變少,相應的被收錄的量肯定也會變少。
3:網(wǎng)站打開時間變慢之后,蜘蛛會對這個網(wǎng)站有抵觸意識,慢慢的就會來的次數(shù)變少甚至不再來爬取。當一個網(wǎng)站沒有蜘蛛爬取的時候,收錄量變少也是理所當然的事情了。