作為站長而言,百度世界的風云變幻,在很大程度上會影響到千家萬戶網(wǎng)站的細節(jié)變化,或許一個不小心,就會與蜘蛛禁忌碰觸。大連網(wǎng)絡(luò)公司小編為您介紹網(wǎng)站建設(shè)如何巧妙避免與蜘蛛黑洞碰觸。
就像360新推出的Urlink,對網(wǎng)站建設(shè)的利與弊。百度的終目的就是為了讓用戶能夠得到更好的體驗,所以在考核每個網(wǎng)站的時候,都希望在短的時間內(nèi)獲取有效的信息,從而節(jié)儉時間。
時間就是金錢,在這個快節(jié)奏生活的社會,用戶都希望在有效的時間內(nèi)獲取更多的利潤,從而高效率的工作。百度蜘蛛也不希望太多的時間抓取不到有效的信息,從而給蜘蛛帶來黑洞。
對于新站長而言,蜘蛛黑洞這個詞還有點陌生,因為有的網(wǎng)站可能希望通過較低的成本運營網(wǎng)站,通過制造過多相同或者內(nèi)容雷同的參數(shù),給蜘蛛在搜索網(wǎng)站信息的時候,編織了一個巨大的“黑洞”,使Baiduspider花費了太多的時間在網(wǎng)站,但是沒有抓取到有效的信息,從而網(wǎng)站給蜘蛛留下了不良印象。從長遠角度發(fā)展來看,不利于網(wǎng)站收錄,以及相關(guān)的排名情況。
我們在相關(guān)的招聘或者電商網(wǎng)站來看的話,可以按照用戶的需求,根據(jù)篩選功能篩選相關(guān)的信息,但是并不是所有的信息都是用戶需要的,所以這也會造成公共資源的一種浪費,如何有效運用robots避免這種情況發(fā)生呢?
1,對于一些簡單的篩選結(jié)果,網(wǎng)站可采取靜態(tài)鏈接。
2,對于條件比較多的篩選,為更精準的篩選,網(wǎng)站可以采取在用戶篩選的時候,采取靜動態(tài)相結(jié)合的鏈接形式。例如在搜索信息之后,網(wǎng)站給予多個動態(tài)鏈接選擇,從而減少參數(shù)相同的鏈接。為用戶以及搜索引擎節(jié)省時間。
對于robots而言,在robots.txt文件中有這樣一種規(guī)則:Disallow: /*?* ,換句話而言,就是蜘蛛不會抓取到網(wǎng)站的所有靜態(tài)頁面,這樣為蜘蛛抓取有效頁面的時候節(jié)省了太多時間,,也增強了對百度蜘蛛的友好度,減少了黑洞的形成。
掃一掃
關(guān)注新圖聞科技
全國咨詢熱線
186-0984-0880