什么是robots?
robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當搜索來爬行網站時候,會先看網站里有沒有robots這個文件,如果有這個文件,會按照robots文件給的爬行規(guī)則進行網站的爬取。 為什么要用robots? 網站為了seo網站優(yōu)化肯定會有部分頁面不想被搜索抓取和收錄,如“聯(lián)系我們”“廣告合作”這時就會用到robots,來屏蔽搜索的爬取和收錄?! obots的基本寫法 1、允許所有搜索引擎訪問 User-agent: * Disallow: 或者 User-agent: * Allow: / 注意,可以最直接的建一個空文件 “robots.txt”然后放到網站的根目錄。 2、禁止所有搜索引擎訪問 User-agent: * Disallow: / 或者 User-agent: * allow: 3、禁止所有搜索引擎訪問網站中的幾個部分,在這里我用a、b、c目錄來代替 User-agent: * Disallow: /a/ Disallow: /b/ Disallow: /c/ 如果是允許,則是 Allow: /a/ Allow: /b/ Allow: /c/ 4、禁止某個搜索引擎的訪問,我用w來代替 User-agent: w Disallow: / 或 User-agent: w Disallow: /d/*.htm 在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL,包含子目錄?! ?、只允許某個搜索引擎的訪問,我用e來代替 User-agent: e Disallow: 在Disallow:后面不加任何東西,意思是僅允許e訪問該網站?! ?、使用”$”限制訪問url User-agent: * Allow: .htm$ Disallow: / 意思是僅允許訪問以”.htm”為后綴的URL 7、禁止訪問網站中所有的動態(tài)頁面 User-agent: * Disallow: /*?* 8、禁止搜索引擎F抓取網站上所有圖片 User-agent: F Disallow: .jpg$ Disallow: .jpeg$ Disallow: .gif$ Disallow: .png$ Disallow: .bmp$ 意思是只允許引擎抓取網頁,禁止抓取任何圖片(嚴格來說,是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。) 9、只允許搜索引擎E抓取網頁和.gif格式圖片 User-agent: E Allow: .gif$ Disallow: .jpg$ Disallow: .jpeg$ Disallow: .png$ Disallow: .bmp$ 意思是只允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片 針對seo的robots高級寫法 頂級seo高手robots.txt的寫法 robots使用時的注意點 robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫?! ♂槍π率质褂胷obots 百度站長平臺剛升級了robots 可以檢測你自己制作的robots規(guī)則是否能生效。當然基本的robots寫法你要懂,推薦中國推廣學院卡卡老師的視頻教程:robots.txt寫法 這樣只需掌握robots的基礎寫法,就能寫出高級robots。
猜你喜歡
聯(lián)絡方式:
電話:181-0734-0881
郵箱:1713521713@qq.com
-
什么是本地區(qū)關鍵詞全國性關鍵詞?
地區(qū)性關鍵詞:是指關鍵詞中帶有地區(qū)名稱,如:關鍵詞為“衡陽網站建設公司”,該詞為地區(qū)性關鍵詞,因為關鍵詞中出現了地區(qū)名稱“衡陽”。全國性關鍵詞:是指關鍵...
-
商家揭秘:讓你剁手的19個“潛規(guī)則”
很早之前就有一個說法,淘寶是女人的天下,京東是男人的天下,但目前崛起的很多電子商務網站,如聚美優(yōu)品、蘑菇街、唯品會卻更針對的是女性群體。有的人覺得女性購物好做,有的人覺得...
-
網站建設要花多少錢?做一個網站要多少錢?
網站建設要花多少錢?傳統(tǒng)的網站建設模式下,門檻太高,不是每個人都能做到的。很多企業(yè)對市場不了解,到外面找人建站很容易吃虧。實際上只要掌握了一些基本知識,就會知道建網站建設...
-
短視頻SEO排名,抖音搜索SEO
抖音搜索SEO排名算法是什么?很多人在做抖音搜索SEO排名時,對抖音搜索SEO排名算法了解不多,導致操作過程中關鍵詞優(yōu)化效果不是很好 一、抖音SEO搜索算法是什么。 抖音搜索SEO...
-
響應式(自適應)網站的優(yōu)點,缺點大PK
近年來,各種大屏幕移動設備的普及,響應式網站也受到了更多人的青睞。甚至大多數的人認為,響應式網站是實現友好移動目標,更好、更快、更省的方案。通俗的說,就是一個網站可以兼容...