robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當搜索來爬行網站時候，會先看網站里有沒有robots這個文件，如果有這個文件，會按照robots文件給的爬行規(guī)則進行網站的爬取。　　為什么要用robots?　　網站為了seo網站優(yōu)化肯定會有部分頁面不想被搜索抓取和收錄，如“聯(lián)系我們”“廣告合作”這時就會用到robots，來屏蔽搜索的爬取和收錄?！　obots的基本寫法　　1、允許所有搜索引擎訪問　　User-agent: *　　Disallow:　　或者　　User-agent: *　　Allow: /　　注意，可以最直接的建一個空文件 “robots.txt”然后放到網站的根目錄。　　2、禁止所有搜索引擎訪問　　User-agent: *　　Disallow: /　　或者　　User-agent: *　　allow:　　3、禁止所有搜索引擎訪問網站中的幾個部分，在這里我用a、b、c目錄來代替　　User-agent: *　　Disallow: /a/　　Disallow: /b/　　Disallow: /c/　　如果是允許，則是　　Allow: /a/　　Allow: /b/　　Allow: /c/　　4、禁止某個搜索引擎的訪問，我用w來代替　　User-agent: w　　Disallow: /　　或　　User-agent: w　　Disallow: /d/*.htm　　在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄?！　?、只允許某個搜索引擎的訪問，我用e來代替　　User-agent: e　　Disallow:　　在Disallow：后面不加任何東西，意思是僅允許e訪問該網站?！　?、使用”$”限制訪問url　　User-agent: *　　Allow: .htm$　　Disallow: /　　意思是僅允許訪問以”.htm”為后綴的URL　　7、禁止訪問網站中所有的動態(tài)頁面　　User-agent: *　　Disallow: /*?*　　8、禁止搜索引擎F抓取網站上所有圖片　　User-agent: F　　Disallow: .jpg$　　Disallow: .jpeg$　　Disallow: .gif$　　Disallow: .png$　　Disallow: .bmp$　　意思是只允許引擎抓取網頁，禁止抓取任何圖片(嚴格來說，是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。)　　9、只允許搜索引擎E抓取網頁和.gif格式圖片　　User-agent: E　　Allow: .gif$　　Disallow: .jpg$　　Disallow: .jpeg$　　Disallow: .png$　　Disallow: .bmp$　　意思是只允許抓取網頁和gif格式圖片，不允許抓取其他格式圖片　　針對seo的robots高級寫法　　頂級seo高手robots.txt的寫法　　robots使用時的注意點　　robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫?！　♂槍π率质褂胷obots　　百度站長平臺剛升級了robots　　可以檢測你自己制作的robots規(guī)則是否能生效。當然基本的robots寫法你要懂，推薦中國推廣學院卡卡老師的視頻教程：robots.txt寫法　　這樣只需掌握robots的基礎寫法，就能寫出高級robots。