您現(xiàn)在的位置:首頁 >> spider >> 列表
spider
  • [頂]我設(shè)置了301跳轉(zhuǎn),多久可以生效? 2014-10-18 點(diǎn)擊:465
  • 目前百度無法承諾301跳轉(zhuǎn)的生效時(shí)間,因?yàn)檎鹃L感受到的生效時(shí)間會(huì)受多因素影響,比如Baiduspider再次抓取這個(gè)頁面發(fā)現(xiàn)其設(shè)置了301的時(shí)間、網(wǎng)頁的重要程度以及自身質(zhì)量等。...
  • [頂]移動(dòng)站內(nèi)容和PC站是一樣的,這樣需不需要屏蔽百度的PC搜索蜘蛛? 2014-03-22 點(diǎn)擊:495
  • 答:由于百度的PC搜索和移動(dòng)搜索共用同一個(gè)spider,都帶有baidu標(biāo)示,不要進(jìn)行屏蔽。Spider在抓取時(shí)會(huì)對頁面進(jìn)行識(shí)別,自動(dòng)判斷是PC頁還是mobile頁,因此建議站長使...
  • [頂]Baiduspider抓取造成的帶寬堵塞 2014-03-22 點(diǎn)擊:407
  • Baiduspider的正常抓取并不會(huì)造成您網(wǎng)站的帶寬堵塞,造成此現(xiàn)象可能是由于有人冒充Baiduspider惡意抓取。如果您發(fā)現(xiàn)有名為Baiduspider的agent抓取并且造...
  • [頂]怎么讓我的網(wǎng)站內(nèi)容被百度索引但不被保存快照? 2014-03-22 點(diǎn)擊:408
  • Baiduspider遵守互聯(lián)網(wǎng)meta robots協(xié)議。您可以利用網(wǎng)頁meta的設(shè)置,使百度顯示只對該網(wǎng)頁建索引,但并不在搜索結(jié)果中顯示該網(wǎng)頁的快照。和robots的更新一樣,...
  • [頂]為什么我的網(wǎng)站已經(jīng)加了robots.txt,還能在百度搜索出來? 2014-03-22 點(diǎn)擊:746
  • 因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫的更新需要時(shí)間。雖然Baiduspider已經(jīng)停止訪問您網(wǎng)站上的網(wǎng)頁,但百度搜索引擎數(shù)據(jù)庫中已經(jīng)建立的網(wǎng)頁索引信息,可能需要數(shù)月時(shí)間才會(huì)清除。另外也請檢查您的...
  • [頂]為什么Baiduspider不停的抓取我的網(wǎng)站? 2014-03-22 點(diǎn)擊:273
  • 對于您網(wǎng)站上新產(chǎn)生的或者持續(xù)更新的頁面,Baiduspider會(huì)持續(xù)抓取。此外,您也可以檢查網(wǎng)站訪問日志中Baiduspider的訪問是否正常,以防止有人惡意冒充Baiduspid...
  • [頂]Baiduspider對一個(gè)網(wǎng)站服務(wù)器造成的訪問壓力如何? 2014-03-22 點(diǎn)擊:547
  • 為了達(dá)到對目標(biāo)資源較好的檢索效果,Baiduspider需要對您的網(wǎng)站保持一定量的抓取。我們盡量不給網(wǎng)站帶來不合理的負(fù)擔(dān),并會(huì)根據(jù)服務(wù)器承 受能力,網(wǎng)站質(zhì)量,網(wǎng)站更新等綜合因素來進(jìn)...
  • [頂]百度快照為什么會(huì)更新? 2014-03-16 點(diǎn)擊:10740
  • 百度快照為什么會(huì)更新?首先,需要澄清一下網(wǎng)頁的抓取頻率和快照的更新頻率是完全不同的兩個(gè)概念。每一個(gè)被百度收錄的網(wǎng)站,baiduspider都會(huì)根據(jù)其網(wǎng)站內(nèi)容更新的頻率不斷的檢查有無...
  • [頂]如何判斷是否冒充Baiduspider的抓? 2014-03-15 點(diǎn)擊:323
  • 描述:220.181.51.* 這個(gè)ip段是百度蜘蛛嗎?官方回復(fù):如何判斷是否冒充Baiduspider的抓?在linux平臺(tái)下,您可以使用host ip命令反解ip來判斷是否來...
  • [頂]沒做競價(jià)網(wǎng)站會(huì)被K嗎? 2014-03-15 點(diǎn)擊:242
  • 描述:Baiduspider-sfkr 來過之后,當(dāng)天網(wǎng)站收錄就被K為0了,然后百度蜘蛛還是正常爬取,但就不收錄。請問這是怎么回事,沒有做競價(jià)的站,居然來了競價(jià)蜘蛛,發(fā)現(xiàn)沒做競價(jià)就...