現在位置:主頁 > SEO技術分享 > 搜索引擎真的遵守robots.txt協議嗎?

搜索引擎真的遵守robots.txt協議嗎?

阿里瑞SEO2020年03月07日SEO技術分享

簡介? ? 我們都知道文件是搜索引擎遵守的一個抓取協議,但是是不是真的有效果呢? ? ? 搜索引擎真的會遵循這個協議嗎...

搜索引擎真的遵守robots.txt協議嗎?

共享

搜索引擎真的遵守robots.txt協議嗎?

評價

搜索引擎真的遵守robots.txt協議嗎?

贊0

眾所周知文檔是搜索引擎遵守的一個抓取協議,可是是否確實有實際效果呢?


搜索引擎確實會遵照這一協議嗎?


我們一起最先討論一下


下邊這一段 [這就是我南昌市seo網站的設定:容許GG 百度搜索、ALEXA 抓取,屏蔽了別的一切模塊嚴禁!]


User-agent:Googlebot


Disallow:


User-agent:baiduspider


Disallow:


User-agent:ia_archiver


Disallow:


User-agent:*


Disallow:/


從基礎理論上而言 那樣的設定就屏蔽了別的一切模塊,可事實上這類方式 并不可以徹底屏蔽掉SOSO YAHOO MSN這類的爬蟲,在YAHOO上鍵入site:還是能夠看見內容及其數據庫索引的! 遵守robots協議是否自然是由她們自身來定的!因此要想徹底屏蔽掉搜索引擎的爬蟲,必須在.htaccess中添加限定句子才行,這兒人們詳細介紹2種有效的方法: 1:


RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC] RewriteRule .* - [F]


2:


SetEnvIfNoCase User-Agent "^MSNBOT" bad_bot


<Limit GET POST> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>


注:MSNBOT 為MSN蜘蛛機器人編碼 ,假如要想真實屏蔽掉某一搜索引擎 把在其中的鮮紅色一部分[MSNBOT] 換為你要想屏蔽掉的蜘蛛機器人編碼就可以! 請不必隨便添寫 不然導致損害與自己不相干! seo小泉公布,轉截請標明出自:江西省南昌seo


上一篇:借助外部鏈接的總數得到不錯的排行 下一篇:2018年百度搜索優化排名SEO的實際操作構思

搜索引擎真的遵守robots.txt協議嗎?

熱門推薦

評價(0人參加,0條評價)

公布評價

, 福州市SEO

評論

說點什么吧
  • 全部評論(0
    還沒有評論,快來搶沙發吧!