百度的致命抓取異常?你重視過(guò)嗎?在這些年的SEO診斷中,我這里發(fā)現(xiàn)不低于20%的網(wǎng)站都存在著一個(gè)嚴(yán)重的抓取問(wèn)題,但是奇怪的是,卻始終得不到大多數(shù)人的重視。而研究透徹并分享這個(gè)問(wèn)題的人,更是沒(méi)有發(fā)現(xiàn)。今天這篇文章,我們就來(lái)看一下這個(gè)問(wèn)題。網(wǎng)站建設(shè)★網(wǎng)站設(shè)計(jì)★網(wǎng)站制作★網(wǎng)頁(yè)設(shè)計(jì)-599元全包;企業(yè)網(wǎng)絡(luò)推廣☆網(wǎng)站優(yōu)化☆seo☆關(guān)鍵詞排名☆百度快照-2200元全年展示;做網(wǎng)站優(yōu)化排名-網(wǎng)站建設(shè)公司
什么問(wèn)題呢?
連接超時(shí),或者抓取超時(shí),如果你的網(wǎng)站出現(xiàn)過(guò)這個(gè)問(wèn)題,至今沒(méi)有處理到位的,就把這篇文章轉(zhuǎn)載一下吧。
很多人說(shuō),不就是幾十次的超時(shí)嗎?有什么大不了的,如果這樣認(rèn)為,那么真的是活該網(wǎng)站做不好了,正常的網(wǎng)站是什么樣的呢?我們來(lái)舉個(gè)例子:
這是一個(gè)權(quán)重4的站點(diǎn),哪怕十多萬(wàn)次的抓取,卻仍舊沒(méi)有出現(xiàn)過(guò)一次的抓取錯(cuò)誤!如果你的每日抓取錯(cuò)誤量超過(guò)10次(十天半個(gè)月就出現(xiàn)一次錯(cuò)誤,或者連續(xù)多天出現(xiàn)的),就真的應(yīng)該嚴(yán)肅處理一下這個(gè)問(wèn)題了,因?yàn)楫?dāng)前問(wèn)題的存在,已經(jīng)長(zhǎng)期的制約了網(wǎng)站的發(fā)展上限,甚至因?yàn)檫@個(gè)問(wèn)題,誘發(fā)網(wǎng)站的降權(quán),都一點(diǎn)不奇怪。
為什么會(huì)出錯(cuò)?
有人說(shuō),不用理會(huì),這就是一個(gè)BUG,因?yàn)槲以诰W(wǎng)站的LOG日志中,并沒(méi)有發(fā)現(xiàn)這個(gè)問(wèn)題。之前在百度站長(zhǎng)的VIP群里,有人這樣解釋過(guò)。但是我想說(shuō)的是:百度無(wú)法抓取到網(wǎng)站,你的網(wǎng)站LOG日志,能統(tǒng)計(jì)到這樣的錯(cuò)誤嗎?所以,上述解釋是完全說(shuō)不過(guò)去的。
那么,為什么會(huì)出現(xiàn)這樣的錯(cuò)誤呢?
A,DNS問(wèn)題,無(wú)論是蜘蛛還是用戶訪問(wèn)網(wǎng)站,首先就需要域名的DNS做了正確的解析,然而解析是解析了,你能確定DNS真的穩(wěn)定嗎?不少站點(diǎn)的錯(cuò)誤,正是因?yàn)镈NS不穩(wěn)定而造成的。尤其是那些又做域名注冊(cè),又搞‘域名搶注’的平臺(tái),這樣的平臺(tái),更容易出現(xiàn)DNS解析不穩(wěn)定的情況,尤其是在搶注高峰期。具體哪些品牌,這個(gè)就不點(diǎn)名了,如果你的域名在這些平臺(tái)中,賀貴江強(qiáng)烈建議你將其轉(zhuǎn)出。
B,頁(yè)面太大,有一些網(wǎng)站的部分頁(yè)面達(dá)到了四五六七八兆的情況,甚至還見(jiàn)過(guò)極少的網(wǎng)站出現(xiàn)過(guò)一個(gè)頁(yè)面有10MB大小。這樣的頁(yè)面,更容易出現(xiàn)鏈接超時(shí)。正常情況,并不建議網(wǎng)站的頁(yè)面大小超過(guò)3MB,同時(shí)建議網(wǎng)站服務(wù)器啟用GZIP壓縮。
C,帶寬不足,這是一個(gè)很常見(jiàn)的情況,不少站點(diǎn)出現(xiàn)鏈接超時(shí)都是因?yàn)閹挷蛔愣l(fā)的。我們知道1M的帶寬峰值下載是128KB,如果網(wǎng)站是1M接入,頁(yè)面大小是256KB,如果同時(shí)2個(gè)人在打開(kāi)頁(yè)面,那么就需要4秒才可以下載完畢。如果帶寬是2MB,頁(yè)面大小是1024KB,一個(gè)人打開(kāi)網(wǎng)站需要8秒,可如果是10個(gè)人同時(shí)打開(kāi)呢?所以帶寬這里,一定要做足。站長(zhǎng)或者企業(yè)都應(yīng)當(dāng)觀察一下站點(diǎn)的平均帶寬,以及峰值帶寬情況,如果經(jīng)常出現(xiàn)‘帶寬峰值’類型的訪問(wèn),那么就一定要升級(jí)帶寬了。
D,首字節(jié)時(shí)間,可能很多同學(xué)沒(méi)有聽(tīng)說(shuō)過(guò)這個(gè)問(wèn)題,它指的是從發(fā)送請(qǐng)求到WEB服務(wù)器的時(shí)間+WEB服務(wù)器處理請(qǐng)求并生成響應(yīng)花費(fèi)的時(shí)間。有一些站點(diǎn),首字節(jié)時(shí)間居然都可以達(dá)到5MS,這樣的情況,網(wǎng)站還能正常嗎?
1、對(duì)于首字節(jié)時(shí)間這里,我們應(yīng)當(dāng)注意:避免網(wǎng)站與其他網(wǎng)站共享同一個(gè)服務(wù)器其他網(wǎng)站會(huì)占用自身網(wǎng)站服務(wù)器處理時(shí)間。
2、CDN減少內(nèi)容和訪問(wèn)者之間的“距離”將靜態(tài)內(nèi)容分發(fā)到CDN,CDN的內(nèi)容自動(dòng)復(fù)制到各個(gè)位置,在地理上更接近用戶,從而減少TTFB的時(shí)間。注意的是,已定要設(shè)置‘緩存時(shí)間’針對(duì)于網(wǎng)站訪問(wèn)較慢的頁(yè)面或欄目。
3、避免網(wǎng)站使用虛擬主機(jī)系統(tǒng)如網(wǎng)站在一段時(shí)間未有流量產(chǎn)生,系統(tǒng)會(huì)推遲或暫停虛擬服務(wù)器,當(dāng)新訪客進(jìn)入時(shí),將重新進(jìn)行服務(wù)器備份處理(10s或更長(zhǎng)時(shí)間);
4、后端優(yōu)化軟件性能減少服務(wù)器生成的響應(yīng)到瀏覽器的時(shí)間,比如:操作碼緩存、服務(wù)器端緩存、本地緩存、W3總緩存等。
最后,我們總結(jié)一下:
首先是為網(wǎng)站找一家靠譜的DNS服務(wù)商,我們建議是阿里云,其次是穩(wěn)定的CDN服務(wù)商,阿里、百度智能云、騰訊云,都可以。最后就是網(wǎng)站服務(wù)器,盡量不要選擇使用虛擬主機(jī),且盡量避免多個(gè)站點(diǎn)使用相同服務(wù)器。
猜你喜歡
- 1網(wǎng)站建設(shè)要花多少錢?做一個(gè)網(wǎng)站要多少錢?
- 2響應(yīng)式(自適應(yīng))網(wǎng)站的優(yōu)點(diǎn),缺點(diǎn)大PK
- 3什么是本地區(qū)關(guān)鍵詞全國(guó)性關(guān)鍵詞?
- 4短視頻SEO排名,抖音搜索SEO
- 5提高網(wǎng)站收錄的實(shí)用方法
- 6網(wǎng)站關(guān)鍵詞排名大量下滑到底有哪些因素
- 7域名知多少,淺析域名
- 8抖音seo怎么做的
- 9衡陽(yáng)企業(yè)建設(shè)網(wǎng)站有哪些作用?
- 10衡陽(yáng)企業(yè)如何做好網(wǎng)站建設(shè)?
聯(lián)絡(luò)方式:
電話:181-0734-0881
郵箱:1713521713@qq.com
-
抖音seo怎么做的
最近,許多朋友問(wèn),什么是抖音seo優(yōu)化?所以在抖音seo優(yōu)化之前,先和你談?wù)勈裁词嵌兑魋eo優(yōu)化。你會(huì)理解抖音搜索引擎優(yōu)化的! SEO漢譯為搜索引擎優(yōu)化。顧名思義,抖音搜索引擎優(yōu)化就是...
-
內(nèi)容收錄不好排名下滑怎么辦
文章收錄不好,排名總是下滑該怎么辦,這是許多人在做seo初期都會(huì)遇到的問(wèn)題。這里分析的幾方面的原因供大家參考...
-
響應(yīng)式(自適應(yīng))網(wǎng)站的優(yōu)點(diǎn),缺點(diǎn)大PK
近年來(lái),各種大屏幕移動(dòng)設(shè)備的普及,響應(yīng)式網(wǎng)站也受到了更多人的青睞。甚至大多數(shù)的人認(rèn)為,響應(yīng)式網(wǎng)站是實(shí)現(xiàn)友好移動(dòng)目標(biāo),更好、更快、更省的方案。通俗的說(shuō),就是一個(gè)網(wǎng)站可以兼容...
-
衡陽(yáng)企業(yè)如何做好網(wǎng)站建設(shè)?
1.網(wǎng)站域名和空間服務(wù)器要選擇好,網(wǎng)站內(nèi)容要豐富,內(nèi)容要為原創(chuàng),網(wǎng)站內(nèi)容質(zhì)量要高,網(wǎng)站頁(yè)面要設(shè)計(jì)得好看,頁(yè)面設(shè)計(jì)得要與別的網(wǎng)站與眾不同,要采用自適應(yīng)網(wǎng)站設(shè)計(jì)或者響應(yīng)式網(wǎng)站設(shè)計(jì)...
-
刷屏朋友圈的“跳一跳” 小程序究竟有多火熱?
這兩天想必大家在刷朋友圈時(shí)都看到了一款名為“跳一跳”的游戲,2017年12月28日,微信通過(guò)旗下多個(gè)公眾號(hào)宣布上線“小游戲”,目前,iOS和安卓的用戶,只需升級(jí)...