一般來說，阻止搜索引擎收錄也可能成為一個(gè)SEO問題，盡量讓搜索引擎抓取和索引更多內(nèi)容是SEO們經(jīng)常頭疼的一個(gè)問題，沒有收錄、索引就無從談排名。尤其對(duì)達(dá)到一定規(guī)模的網(wǎng)站來說，使上海seo的網(wǎng)站充分收錄是個(gè)頗令人費(fèi)神的SEO技術(shù)，當(dāng)頁面達(dá)到比如說幾十萬，無論網(wǎng)站架構(gòu)怎么設(shè)計(jì)、多么優(yōu)化，收錄都是不可能的，只能盡量提高收錄率。

但有時(shí)候怎么阻止搜索引擎收錄也可能成為一個(gè)問題，網(wǎng)站不收錄近幾年越來越成為SEO問題。需要阻止收錄的情況如保密信息、復(fù)制內(nèi)容、廣告鏈接等。過去常用的阻止收錄方法包括密碼保護(hù)、把內(nèi)容放在表格后面、使用JS/Ajax、使用Flash等。

使用Flash

Google幾年前就開始嘗試抓取Flash內(nèi)容了，簡單文字性內(nèi)容已經(jīng)能抓取。Flash里面的鏈接也能被跟蹤。

表格

Google蜘蛛也能填表，也能抓取POST請求頁面。這個(gè)早就能從日志中看到。

JS/Ajax

使用JS鏈接一直以來被當(dāng)作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但兩三年前我就看到JS鏈接不能阻止Google蜘蛛抓取，不僅JS中出現(xiàn)的URL會(huì)被爬，簡單的JS還能被執(zhí)行找到更多URL。

上圖為：阻止搜索引擎收錄的原因

前幾天有人發(fā)現(xiàn)很多網(wǎng)站優(yōu)化使用的Facebook評(píng)論插件里的評(píng)論被爬、被收錄，插件本身是個(gè)AJAX。這是個(gè)好消息。我的一個(gè)實(shí)驗(yàn)電子商務(wù)網(wǎng)站產(chǎn)品評(píng)論功能就因?yàn)檫@個(gè)費(fèi)了不少心思，用Facebookcomments插件好處大大的，具體什么好處以后有時(shí)間再說，的問題就是評(píng)論是AJAX實(shí)現(xiàn)的，不能被抓取，而產(chǎn)品評(píng)論被收錄是目的之一(產(chǎn)生原創(chuàng)內(nèi)容)。我當(dāng)時(shí)想了半天也沒有解決方法，只好先傻傻地既放上Facebookcomments插件又打開購物車本身的評(píng)論功能?，F(xiàn)在好了，F(xiàn)acebookcomments里的評(píng)論能被收錄，就不用兩套評(píng)論功能了。

Robots文件

目前確保內(nèi)容不被收錄的方法是robots文件禁止。但也有個(gè)壞處，會(huì)流失權(quán)重，雖然內(nèi)容是不能收錄了，但頁面成了只接受鏈接權(quán)重、不流出權(quán)重的無底洞。

Nofollow

Nofollow并不能保證不被收錄。就算自己網(wǎng)站所有指向頁面的鏈接都加了NF，也不能保證別人高等網(wǎng)站建設(shè)不給這個(gè)頁面弄個(gè)鏈接，搜索引擎還是能發(fā)現(xiàn)這個(gè)頁面。

MetaNoindex+Follow

為防止收錄又能傳遞權(quán)重，可以在頁面上使用metanoindex和metafollow，這樣頁面不收錄，但能流出權(quán)重。確實(shí)如此，也是個(gè)比較好的方法。也有一個(gè)問題，還是會(huì)浪費(fèi)蜘蛛爬行時(shí)間。哪位讀者有能防止收錄、又沒有權(quán)重流失、又不浪費(fèi)爬行時(shí)間的方法，請留言，對(duì)SEO界功德無量。SEO（Search Engine Optimization）：漢譯為搜索引擎優(yōu)化。是一種方式：利用搜索引擎的規(guī)則提高網(wǎng)站在有關(guān)搜索引擎內(nèi)的自然排名。目的是讓其在行業(yè)內(nèi)占據(jù)領(lǐng)先地位，獲得品牌收益。很大程度上是網(wǎng)站經(jīng)營者的一種商業(yè)行為，將自己或自己公司的排名前移。搜索引擎優(yōu)化，又稱為SEO，即Search Engine Optimization，它是一種通過分析搜索引擎的排名規(guī)律，了解各種搜索引擎怎樣進(jìn)行搜索、怎樣抓取互聯(lián)網(wǎng)頁面、怎樣確定特定關(guān)鍵詞的搜索結(jié)果排名的技術(shù)。搜索引擎采用易于被搜索引用的手段，對(duì)網(wǎng)站進(jìn)行有針對(duì)性的優(yōu)化，提高網(wǎng)站在搜索引擎中的自然排名，吸引更多的用戶訪問網(wǎng)站，提高網(wǎng)站的訪問量，提高網(wǎng)站的銷售能力和宣傳能力，從而提升網(wǎng)站的品牌效應(yīng)。網(wǎng)站搜索引擎優(yōu)化任務(wù)主要是認(rèn)識(shí)與了解其它搜索引擎怎樣緊抓網(wǎng)頁、怎樣索引、怎樣確定搜索關(guān)鍵詞等相關(guān)技術(shù)后，以此優(yōu)化本網(wǎng)頁內(nèi)容，確保其能夠與用戶瀏覽習(xí)慣相符合，并且在不影響網(wǎng)民體驗(yàn)前提下使其搜索引擎排名得以提升，進(jìn)而使該網(wǎng)站訪問量得以提升，最終提高本網(wǎng)站宣傳能力或者銷售能力的一種現(xiàn)代技術(shù)?；谒阉饕鎯?yōu)化處理，其實(shí)就是為讓搜索引擎更易接受本網(wǎng)站，搜索引擎往往會(huì)比對(duì)不同網(wǎng)站的內(nèi)容，再通過瀏覽器把內(nèi)容以最完整、直接及最快的速度提供給網(wǎng)絡(luò)用戶。網(wǎng)站優(yōu)化是指通過對(duì)網(wǎng)站功能、網(wǎng)站結(jié)構(gòu)、網(wǎng)頁布局、網(wǎng)站內(nèi)容等要素的合理設(shè)計(jì)，使得網(wǎng)站內(nèi)容和功能表現(xiàn)形式達(dá)到對(duì)用戶友好并易于宣傳推廣的最佳效果，充分發(fā)揮網(wǎng)站的網(wǎng)絡(luò)營銷價(jià)值，是一項(xiàng)系統(tǒng)性和全局性的工作，包括對(duì)用戶的優(yōu)化、對(duì)搜索引擎的優(yōu)化、對(duì)運(yùn)營維護(hù)的優(yōu)化。網(wǎng)站優(yōu)化已經(jīng)成為網(wǎng)絡(luò)營銷經(jīng)營策略的必然要求。