SEO優(yōu)化提醒當(dāng)一個搜索引擎程序抓取網(wǎng)站時，其實我們可以通過相關(guān)文件進行引導(dǎo)的。簡單的理解搜索引擎蜘蛛會通過鏈接來了解您網(wǎng)站上的信息。但他們也在瀏覽網(wǎng)站代碼和目錄中的特定文件，標簽和元素。光輝SEO（）是一家專門從事關(guān)鍵詞優(yōu)化網(wǎng)站建設(shè)的公司,專注SEO優(yōu)化、關(guān)鍵詞排名、百度排名、網(wǎng)站建設(shè)等一站式全網(wǎng)整合營銷推廣我們主要做整站排名優(yōu)化,新站排名優(yōu)化,單詞排名優(yōu)化,網(wǎng)站建設(shè),網(wǎng)站設(shè)計,網(wǎng)站制作開發(fā),提升百度、搜狗、360、神馬等.

網(wǎng)站優(yōu)化seo" src="/uploads/allimg/200716/1-200G60S331I2.jpg" style="margin: 0px; padding: 0px; border: none; max-width: 100%; height: 600px; opacity: 1; width: 800px;" />

　　robots.txt

　　搜索引擎蜘蛛會在抓取網(wǎng)站時，第一件事就是先抓取robots.txt文件。對于復(fù)雜的網(wǎng)站，robots.txt文件是必不可少的。對于只有少數(shù)幾頁的小型網(wǎng)站，robots.txt文件可能不是必需的。沒有它，搜索引擎蜘蛛就會抓取網(wǎng)站上的所有內(nèi)容。

　　有兩種主要方法可以使用robots.txt文件指導(dǎo)搜素引擎蜘蛛。

　　首先，可以使用“禁止”指令。這會引導(dǎo)蜘蛛忽略特定的URL文件，文件擴展名甚至整個網(wǎng)站的部分：

　　User-agent: Googlebot

　　Disallow: /example/

　　雖然disallow指令會阻止蜘蛛爬取您網(wǎng)站的特定部分(因此節(jié)省抓取預(yù)算)，但它不一定會阻止該頁面被索引并顯示在搜索結(jié)果中，例如可以在此處看到：

　　另一種方法是使用 noindex 指令。Noindex某個頁面或文件不會阻止它被抓取，但是，它會阻止它被索引(或從索引中刪除它)。此robots.txt指令由Google非正式支持，并且完全不受Baidu/Bing支持：

　　User-agent：Googlebot

　　Noindex：/ example /

　　User-agent：*

　　Disallow：/ example /

　　顯然，由于這些網(wǎng)頁仍在被抓取，它們?nèi)詴褂媚淖ト☆A(yù)算。這是一個常常被忽略的問題：disallow指令實際上會撤消搜索引擎蜘蛛noindex標記的工作。這是因為disallow阻止蜘蛛訪問網(wǎng)頁的內(nèi)容，從而阻止了看到和遵守meta標簽。另一個使用robots.txt協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。當(dāng)然，并不是所有蜘蛛都行為良好，有的甚至?xí)雎阅愕闹噶?尤其是尋找漏洞的惡意機器人)。

　　XML站點地圖

　　XML站點地圖幫助蜘蛛了解站點的基礎(chǔ)結(jié)構(gòu)。在這請注意，蜘蛛使用站點地圖作為線索，而不是權(quán)威指南，了解如何為網(wǎng)站建立索引。機器人還會考慮其他因素(例如您的內(nèi)部鏈接結(jié)構(gòu))來弄清楚您的網(wǎng)站是關(guān)于什么的。使用可擴展標記語言(XML)站點地圖最重要的是確保發(fā)送給搜索引擎的消息與您的robots.txt文件一致。不要將已經(jīng)通過robots.txt阻止的文件內(nèi)容發(fā)送給搜素引擎; 考慮到網(wǎng)站的抓取預(yù)算，所以，我們千萬別在這里犯錯誤。第二重要的是確保XML站點地圖僅包含規(guī)范URL，因為Baidu/Google會將XML站點地圖視為規(guī)范化信號。

　　URL規(guī)范化

　　如果站點上有重復(fù)的內(nèi)容(我們應(yīng)該避免出現(xiàn)重復(fù)的內(nèi)容)，那么rel =”canonical”鏈接元素告訴蜘蛛哪個URL應(yīng)該被認為是主版本。如果不使用canonical標記，那么會導(dǎo)致網(wǎng)站上面不同URL但內(nèi)容相同的頁面被搜索引擎收錄，會讓搜索引擎誤認為網(wǎng)站上面有很多重復(fù)頁面，從而降低對網(wǎng)站的評價。

　　分頁

　　正確設(shè)置rel =”next”和rel =”prev”鏈接元素非常重要。如果一個電子商務(wù)網(wǎng)站每個類別都有很多產(chǎn)品，如果想避免陷入搜索引擎的重復(fù)內(nèi)容過濾器，那么rel = next和rel = prev就非常重要。

　　假設(shè)網(wǎng)站有50種不同的型號可供選擇。在主類別頁面上，用戶可以查看前10個產(chǎn)品，每個產(chǎn)品都有一個產(chǎn)品名稱和一個縮略圖。然后，他們可以點擊“下一頁”來查看下一個10個結(jié)果，依此類推。

　　這些頁面中的每一個都會具有相同或非常相似的標題，元描述和頁面內(nèi)容，因此主類別頁面的頭部應(yīng)該有一個rel =“next”(no rel =“prev”，因為它是第一頁)超文本標記語言(HTML)。將rel =“next”和rel =“prev”鏈接元素添加到每個后續(xù)頁面會告訴抓取工具您要將這些頁面用作序列?；蛘?，如果我們該內(nèi)容有“查看全部”頁面，則可以在所有分頁頁面上規(guī)范化為“查看全部”頁面，并完全跳過rel = prev / next。不足之處在于，“查看全部”頁面可能會在搜索結(jié)果中顯示。如果網(wǎng)頁加載時間過長，搜索訪問者的跳出率會很高，這不是一件好事。

　　如果沒有rel =“canonical”，rel =“next”和rel =“prev”鏈接元素，這些頁面將相互競爭排名，并且有重復(fù)的內(nèi)容過濾的風(fēng)險。正確實施，rel = prev / next將指示Google將序列視為一頁，或者rel = canonical將所有權(quán)重配給“查看全部”頁面。(關(guān)于分頁優(yōu)化技巧，各位同學(xué)可以查看這篇文章：頁面分頁優(yōu)化技巧)

　　常見的編碼問題

　　一個網(wǎng)站想要有很好的排名，是由很多因素共同決定的，其中，有一條很重要，那么就是：一個頁面擁有簡潔的代碼很重要(Google的移動優(yōu)先索引)。這樣會讓搜索引擎更容易辨別頁面重要的內(nèi)容。很有可能會因一個小錯誤導(dǎo)致蜘蛛使抓取者感到困惑，并導(dǎo)致搜索結(jié)果出現(xiàn)嚴重問題。

　　這里有幾個基本的要注意的：

　　無限空間(又名蜘蛛陷阱)。糟糕的編碼有時會無意中造成“無限空間”或“蜘蛛陷阱”。像指向相同內(nèi)容的無盡URL或以多種方式呈現(xiàn)相同信息的頁面等問題或包含不同日期無限日歷的日歷可能會導(dǎo)致蜘蛛卡住循環(huán)，從而可能很快耗盡您的爬取預(yù)算。在404錯誤頁面的超文本傳輸協(xié)議安全(HTTP)標頭中錯誤地提供200狀態(tài)碼是另一種呈現(xiàn)方式，所以，正確的頁面狀態(tài)碼也是非常重要，也可以節(jié)約爬取預(yù)算。當(dāng)一個蜘蛛遇到大量精簡或重復(fù)的內(nèi)容時，它最終會放棄，這可能意味著它永遠無法獲得最佳內(nèi)容，并且會在索引中產(chǎn)生一堆無用的頁面。

　　嵌入式內(nèi)容。如果希望蜘蛛有效抓取網(wǎng)站的內(nèi)容，最好讓事情變得簡單。搜索引擎蜘蛛經(jīng)常遇到JavaScript，框架，F(xiàn)lash和異步JavaScript和XML(AJAX)的問題。盡管Baidu/Google在抓取Javascript和AJAX等格式方面做得越來越好，但使用HTML是最安全的。一個常見的例子是使用無限滾動的網(wǎng)站。雖然它可能會提高可用性，但它可能會讓搜索引擎難以正確抓取您的內(nèi)容并將其編入索引。確保每篇文章或產(chǎn)品頁面都有唯一的URL，并且通過傳統(tǒng)的鏈接結(jié)構(gòu)連接，即使它以滾動格式顯示。