怎樣查看網(wǎng)站有沒有屏蔽百度蜘蛛的抓取

2022-03-29 19:14:46

有些站長在優(yōu)化網(wǎng)站的過程中，會遇到這樣一個問題：我網(wǎng)站的關(guān)鍵詞布局沒問題、內(nèi)容質(zhì)量沒問題，并且規(guī)律性的更新網(wǎng)站內(nèi)容，同時也有持續(xù)在一些高權(quán)重平臺發(fā)布外鏈，為什么百度蜘蛛就是不收錄的的網(wǎng)頁？對于這樣的問題，筆者認(rèn)為首先要知道網(wǎng)站是否有屏蔽了百度蜘蛛的抓取，因?yàn)橛行┱鹃L在建站初期的無意識操作下屏蔽了百度蜘蛛，這也是比較常見的。下面筆者來教大家怎樣查看網(wǎng)站有沒有屏蔽百度蜘蛛的抓取。網(wǎng)站建設(shè)★網(wǎng)站設(shè)計★網(wǎng)站制作★網(wǎng)頁設(shè)計-599元全包;企業(yè)網(wǎng)絡(luò)推廣☆網(wǎng)站優(yōu)化☆seo☆關(guān)鍵詞排名☆百度快照-2200元全年展示;做網(wǎng)站優(yōu)化排名-網(wǎng)站建設(shè)公司

　　想知道網(wǎng)站有沒有屏蔽百度蜘蛛的抓取，有兩種方法

　　第一種：查看網(wǎng)站的robots.txt文件，此文件一般在網(wǎng)站的根目錄下，顯示如下：

　　User-agent:*

　　Disallow:/

　　這樣的表示是屏蔽所有搜索引擎蜘蛛的抓取。

　　User-agent:Baiduspider

　　Disallow:/

　　這樣就表示屏蔽了百度蜘蛛抓取。

　　那要怎樣才能讓百度蜘蛛抓取呢？筆者舉個例子，如下：

　　User-agent:*

　　Disallow:/wp-admin/

　　Disallow:/wp-content/