屏蔽Google蜘蛛還需留意meta形式的noindex打賞

之前一直使用All in one SEO pack,也一直知道這個插件的優缺點,這段時間在家沒事,就索性卸載了插件,不但效率高起來了,后臺主題列表也一下子清爽了許多,之后通過修改代碼處理了title、description等,將近半個月時間過去了,Google、百度的收錄還算穩定,但是在Google、百度的搜索結果中就是不出現關于、鏈接等頁面的收錄。

開始一直以為是因為最近設置了robots.txt屏蔽tag和歸檔頁的收錄,屏蔽了相關的收錄,使用Google的在線管理平臺測試也是通過的,沒有任何問題,設置了robots.txt屏蔽后也確實不少不希望收錄的頁面收錄受到影響,但在Sitemap.xml里面出現的網址很多是robots.txt里面所不允許的,這樣就出現了Google站長平臺的警告,詳見《不要讓你的網站Sitemap誤導了Google蜘蛛》。

修改了Sitemap.xml的相關生成選項,警告是沒有了,但還是遲遲不見關于頁等出現在搜索結果中,今天細條相關參數,終于發現了問題,原來在關掉All in one SEO pack之后,曾嘗試性的在模板的meta里面添加了<meta name="Googlebot" content="noindex,follow"/>項,為了避免首頁和文章也收錄受影響,通過php判斷語句根據不同條件選擇是否打印此meta值,而條件只有!is_single()和!is_home(),這樣以來,我希望收錄的分類目錄頁和關于頁等頁面都會出現<meta name="Googlebot" content="noindex,follow"/>,對于百度,可能是反應慢的結果,但對于Google,這卻是條嚴格的限制。

查了資料,好像現在完美支持meta的抓取限制的搜索引擎沒幾個,而Google就是其中之一,雖然沒有了Sitemap.xml與robots.txt的沖突,但卻出現頁面meta不允許抓取,這樣,還是不會出現在搜索結果中的,所以說,屏蔽Google蜘蛛還需留意meta形式的noindex,如果你設置了meta來屏蔽,就要保證你的判斷全面一點,這樣才能夠保證需要收錄的頁面都能夠收錄。

對于修改meta后的生效時間,暫時未知,小子也是剛剛修正過來,等待生效中,不過,在沒有必要的情況下,如果設置了robots.txt,把相關的meta取消也是一樣的。畢竟實現的都是一個效果而已,何必多此一舉呢?當然,這里小子只是為了測試,所以另當別論了。

屏蔽Google蜘蛛還需留意meta形式的noindex
文章《屏蔽Google蜘蛛還需留意meta形式的noindex》二維碼
  • 微信打賞
  • 支付寶打賞

已有38條評論

  1. 土木壇子

    這些東西我是不管的,聰明的搜索引擎會知道如何處理。

    2012-08-04 22:42 回復
    • 樸人博客

      我也有打算不做限制了,限制搞的google收錄降了很多

      2012-08-04 22:45 回復
  2. 搜趣軟件

    我就沒用這插件,好像現在就算寫了keywords,description也沒什么用。

    2012-08-02 11:51 回復
    • 樸人博客

      現在百度貌似反應很慢,收錄還是不見提高,估計我更換幾次cdn,加上博客被攻擊,導致現在的情況了

      2012-08-02 14:17 回復
  3. 搜趣軟件

    我就沒用這插件,好像現在就算寫了keywords,description也沒什么用。

    2012-08-02 11:51 回復
    • 樸人博客

      現在百度貌似反應很慢,收錄還是不見提高,估計我更換幾次cdn,加上博客被攻擊,導致現在的情況了

      2012-08-02 14:17 回復
  4. 大蔥

    沒用過這插件,全是手動修改滴。

    2012-08-01 20:44 回復
  5. 大蔥

    [吃驚] 沒用過這插件,全是手動修改滴。

    2012-08-01 20:44 回復
  6. 夜央

    。。。這種東西有那么復雜么。什么都沒搞,本來用all in one的,后來發現主題自帶 seo功能了。兩者會重復。索性就寫在了。收錄什么的,百度貌似剛開始一個星期突然不收錄了。不過現在恢復了

    2012-08-01 15:49 回復
    • 樸人博客

      都一樣額。主題自己做了seo優化就省事多了。修改主題加代碼效率就是比插件高點。

      2012-08-01 17:49 回復
      • 夜央

        額。我用了一個月是ALL IN ONE 某天發現我的任何頁面都有相同的兩個…

        2012-08-01 20:13 回復
        • 樸人博客

          重復了吧。呵呵

          2012-08-01 21:09 回復
          • 夜央

            向百度學習~!重復~

            2012-08-01 21:39 回復
            • 樸人博客

              百度怎么了,重復?

              2012-08-01 23:44 回復
              • 夜央

                百度最愛重復收錄了。管你寫不寫robots.txt

                2012-08-01 23:46 回復
                • 樸人博客

                  這樣額,還真不清楚。

                  2012-08-01 23:48 回復
                  • 夜央

                    我一個月前改了robots.txt寫了disallow: replytocom 的語句,到現在照收不誤。煩死了。不過貌似收的少了

                    2012-08-01 23:59 回復
                    • 樸人博客

                      呵呵。有人直接disallow:/據說可以限制收錄

                      2012-08-02 00:02
                    • 夜央

                      這個是真的

                      2012-08-02 00:59
  7. 夜央

    。。。
    這種東西有那么復雜么。
    什么都沒搞,本來用all in one的,后來發現主題自帶 seo功能了。兩者會重復。索性就寫在了。收錄什么的,百度貌似剛開始一個星期突然不收錄了。不過現在恢復了

    2012-08-01 15:49 回復
    • 樸人博客

      都一樣額。主題自己做了seo優化就省事多了。修改主題加代碼效率就是比插件高點。

      2012-08-01 17:49 回復
      • 夜央

        額。我用了一個月是ALL IN ONE 某天發現我的任何頁面都有相同的兩個…

        2012-08-01 20:13 回復
        • 樸人博客

          重復了吧。呵呵

          2012-08-01 21:09 回復
          • 夜央

            向百度學習~!重復~

            2012-08-01 21:39 回復
            • 樸人博客

              百度怎么了,重復?

              2012-08-01 23:44 回復
              • 夜央

                百度最愛重復收錄了。管你寫不寫robots.txt

                2012-08-01 23:46 回復
                • 樸人博客

                  這樣額,還真不清楚。

                  2012-08-01 23:48 回復
                  • 夜央

                    我一個月前改了robots.txt寫了disallow: replytocom 的語句,到現在照收不誤。煩死了。不過貌似收的少了

                    2012-08-01 23:59 回復
                    • 樸人博客

                      呵呵。有人直接disallow:/據說可以限制收錄

                      2012-08-02 00:02
                    • 夜央

                      這個是真的

                      2012-08-02 00:59
  8. 即時比分

    貌似在哪看過這篇文章

    2012-08-01 13:13 回復
  9. 即時比分

    貌似在哪看過這篇文章

    2012-08-01 13:13 回復

(必填)

(必填)

(可選)

黑龙江22选5开奖