不要讓你的網站Sitemap誤導了Google蜘蛛打賞

最近眾所周知的因素,博客除了固有的幾個訪客外,基本沒有來自百度的訪客了,索性趁勢修改博客關鍵字等信息了(因為之前也有大動的想法一直沒有實施),也因此導致Google過來的流量也下降了,雖然前幾天Google抽的收錄直接三萬以上,好在現在恢復到了3000左右,但是收錄再多,被索引到還是沒有一點用,可謂收錄不在于多,而在于精啊。

查看Google的收錄信息,很大一部分是標簽、分類、歸檔之類的。最近閑來無聊就在robots.txt里面限制了標簽、分類、歸檔之類沒必要收錄的內容,但是一直沒有效果,今天登陸Google的“網站管理員工具”,才恍然大悟,原來是我自己讓Google糾結了。大家在發布一個新網站的時候,一般會配合一個最基本的XML Sitemap以更好的被搜索引擎索引,我的博客也不例外的從建立初期就安裝了一個名為“XML地圖生成器”的插件,主要用于生成Google可以認識的XML形式站點地圖,這里我默認設置了標簽、分類、歸檔、頁面、文章和首頁都包含,這樣生成的站點地圖就會包含博客所有全部的符合條件的內容了,并且之前我也在Google的“網站管理員工具”中提交過Sitemap了,Google的爬蟲自然優先去爬Sitemap包含的內容了(個人認為)。

直至今天登陸工具,我才發現,原來robots.txt里面限制了標簽、歸檔等不能收錄,但是在Sitemap里面有這些內容,這樣以來就讓Google糾結了,到底是收錄好呢?還是不收錄好呢?于是,在網站管理員工具的站點地圖詳情中便看到了警告,就是Sitemap contains urls which are blocked by robots.txt.很明顯,警告就是因為你的設置讓爬蟲不知所措,找到原因趕緊下手了,把Sitemap更新下,現在等待Google反應中。

其實Sitemap對于小網站來說沒啥必要,Google的John Mueller在Google Webmaster Help里也回答了大家的疑慮:
1、要看網站的規模大小,你不是非要有一個Sitemap文件,我們也會自己索引到所有的內容。
2、當然,如果有一個Sitemap文件的話,你可以隨時查看獨立的URL地址是否已經正確被索引了。

也就是說對于小站來說,Google完全有能力在沒有Sitemap的情況下索引到整個網站。如果你只是想查看URL地址是否被正確索引了的話,Sitemap當然可以做到,但對于小網站來說這樣有點多此一舉,因為你完全可以將自己的地址輸入到Google去搜索來看看被收錄的情況,因為你的網站壓根也沒幾頁嘛。

相反,不合理的Sitemap則會讓Google收錄不正常,小子認為,即使你設置robots.txt限制了某些目錄等,Google還是會優先根據Sitemap爬網頁的,不然網站管理員工具里面也不會出現警告Sitemap里的內容被robots.txt禁止的警告了。

不要讓你的網站Sitemap誤導了Google蜘蛛
文章《不要讓你的網站Sitemap誤導了Google蜘蛛》二維碼
  • 微信打賞
  • 支付寶打賞

已有64條評論

  1. 呱唧社區

    我對一個框架改版改版之后沒有改sitemap生成規則,也是好好坑了自己一把。

    2018-08-08 15:03 回復
  2. 劉金平網賺博客

    問個小白問題撒 谷歌都退出中國市場了要是流量都在國內還用得著谷歌SITEMAP么

    2013-01-04 10:13 回復
  3. 網絡茶館-IT起步者博客

    說了這么多還是沒有解決辦法嗎?

    2012-12-21 13:24 回復
  4. HuLi.IT

    右邊欄的自動跟隨很好

    2012-12-15 13:51 回復
  5. 中國統計年鑒網

    我用點點輕博客,怎么弄sitemap呢?貌似沒wp舒服

    2012-09-26 15:57 回復
    • 樸人博客

      這個不清楚,貌似沒有吧。你可以自己找找看有沒有類似的模板

      2012-09-26 20:18 回復
  6. Surpet

    你博客的AD設置的真巧妙

    2012-07-31 16:50 回復
  7. Surpet

    你博客的AD設置的真巧妙

    2012-07-31 16:50 回復
  8. 數學學習

    這樣看來,SITEMAP用不用也就無所謂了,不知對于百度又會是怎樣?

    2012-07-30 12:06 回復
    • 樸人博客

      對百度還不知道,這幾天折騰太多,百度流量幾乎沒了,也不見有什么起色

      2012-07-30 14:03 回復
  9. 數學學習

    這樣看來,SITEMAP用不用也就無所謂了,不知對于百度又會是怎樣?

    2012-07-30 12:06 回復
    • 樸人博客

      對百度還不知道,這幾天折騰太多,百度流量幾乎沒了,也不見有什么起色

      2012-07-30 14:03 回復
  10. 搜趣軟件

    用robots.txt禁止收錄一些重復頁面還是很有用處的。

    2012-07-29 11:38 回復
  11. 搜趣軟件

    用robots.txt禁止收錄一些重復頁面還是很有用處的。

    2012-07-29 11:38 回復
  12. 深藍

    這一說倒是提醒了我,果斷試下!!!謝謝博主!

    2012-07-23 12:12 回復
  13. 深藍

    這一說倒是提醒了我,果斷試下!!!謝謝博主!

    2012-07-23 12:12 回復
  14. CocoVPN

    你好博主,請您幫忙寫一篇CocoVPN評測文章,我們會給你20%銷售提成,并提供一枚終身9折優惠碼。客服QQ:877529212

    2012-07-22 16:35 回復
    • 樸人博客

      不好意思,對這個不大感興趣,如果有ssh還可以考慮。

      2012-07-22 18:59 回復
  15. CocoVPN

    你好博主,請您幫忙寫一篇CocoVPN評測文章,我們會給你20%銷售提成,并提供一枚終身9折優惠碼。客服QQ:877529212

    2012-07-22 16:35 回復
    • 樸人博客

      不好意思,對這個不大感興趣,如果有ssh還可以考慮。

      2012-07-22 18:59 回復
  16. 死亡之鷹

    我也是,基本木有百度來的,只有谷歌和搜狗……

    2012-07-22 09:20 回復
    • 窮小子

      我最近更新了sitemap和robots。現在google的來路也少得可憐了。

      2012-07-22 17:03 回復
  17. 死亡之鷹

    我也是,基本木有百度來的,只有谷歌和搜狗……

    2012-07-22 09:20 回復
    • 窮小子

      我最近更新了sitemap和robots。現在google的來路也少得可憐了。

      2012-07-22 17:03 回復
  18. 易優資源

    google現在基本上處于癱瘓狀態,經常無法訪問

    2012-07-21 20:47 回復
    • 窮小子

      dns換換吧。我一般不會出現不能訪問哦。

      2012-07-22 06:17 回復
      • 易優資源

        沒用,我們這的DNS就是時好時壞,電信就這樣

        2012-07-24 10:15 回復
        • 樸人博客

          貌似我最近也出現這樣的情況,有時候ip通,就是解析不上

          2012-07-24 14:05 回復
  19. 易優資源

    google現在基本上處于癱瘓狀態,經常無法訪問

    2012-07-21 20:47 回復
    • 窮小子

      dns換換吧。我一般不會出現不能訪問哦。

      2012-07-22 06:17 回復
      • 易優資源

        沒用,我們這的DNS就是時好時壞,電信就這樣

        2012-07-24 10:15 回復
        • 樸人博客

          貌似我最近也出現這樣的情況,有時候ip通,就是解析不上

          2012-07-24 14:05 回復
  20. ShelWee

    我很納悶,以前從搜索引擎來的流量基本靠谷歌,現在基本靠度娘了,從谷歌來的越來越少了,不知道怎么搞的。

    2012-07-21 12:38 回復
    • 窮小子

      網站改版了么?

      2012-07-21 15:39 回復
      • ShelWee

        沒改,而且最近收錄也有點不正常。

        2012-07-21 16:34 回復
        • 窮小子

          我的也是不正常,前幾天飆到3萬多,現在robots限制了下,貌似正在下降。收錄剛好是我文章數目的話最好了。不必那么多,呵呵

          2012-07-21 16:58 回復
    • 周良

      google對大陸用戶不是很好,經常鏈接重置。比如你到google搜索周良博客,直接就鏈接重置了,有的時候在谷歌里面搜索,出現了內容,點擊進入,很多都打不開,因為跳轉鏈接也被墻了

      2012-07-21 18:58 回復
  21. ShelWee

    我很納悶,以前從搜索引擎來的流量基本靠谷歌,現在基本靠度娘了,從谷歌來的越來越少了,不知道怎么搞的。

    2012-07-21 12:38 回復
    • 窮小子

      網站改版了么?

      2012-07-21 15:39 回復
      • ShelWee

        沒改,而且最近收錄也有點不正常。

        2012-07-21 16:34 回復
        • 窮小子

          我的也是不正常,前幾天飆到3萬多,現在robots限制了下,貌似正在下降。收錄剛好是我文章數目的話最好了。不必那么多,呵呵

          2012-07-21 16:58 回復
    • 周良

      google對大陸用戶不是很好,經常鏈接重置。比如你到google搜索周良博客,直接就鏈接重置了,有的時候在谷歌里面搜索,出現了內容,點擊進入,很多都打不開,因為跳轉鏈接也被墻了

      2012-07-21 18:58 回復
      • 樸人博客

        嗯。確實啊。沒辦法,身在天朝不得已了

        2012-07-22 19:15 回復
  22. 籃球比分

    原來還那么多講究啊

    2012-07-21 10:40 回復
  23. 籃球比分

    原來還那么多講究啊

    2012-07-21 10:40 回復
  24. 窮小子

    手機評論測試

    2012-07-21 04:29 回復
  25. 窮小子

    手機評論測試

    2012-07-21 04:29 回復

(必填)

(必填)

(可選)

黑龙江22选5开奖