現在位置:主頁 > SEO技術分享 > robots協議的認識與寫法

robots協議的認識與寫法

阿里瑞SEO2017年04月30日SEO技術分享

簡介Robots是網站與搜索引擎的之間的一種協議,通俗講就是網站的一把鎖,它規定了搜索引擎在網站內可以爬取的內容。在制作Robots協議時,必須先了解程序內文件目錄的結構,這里與剛學...

Robots是網站與搜索引擎的之間的一種協議,通俗講就是網站的一把鎖,它規定了搜索引擎在網站內可以爬取的內容。在制作Robots協議時,必須先了解程序內文件目錄的結構,這里與剛學seo的朋友一起分享。
什么是robots協議呢?

robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。比如說我們網站的會員數據,那是我們的個人隱私,是不想給所有的搜索引擎去抓取的,那我們就要用到這個robots協議去告訴搜索引擎,你不能來抓取我這部分數據。那它就不會抓取了。我們網站如過沒有這個robots協議,那默認情況下,就是全站都會去抓取的。


怎么去查看我們的網站有沒有robots協議呢?
很多人肯定會有疑問,robots這么重要,那么我們怎么去查看它呢?robots協議只能放在我們網站的根目錄下面,放到別的地方蜘蛛會無法識別,這里杭州SEO優化教大家最簡單的幾種robots的查看方法。
1.在我們的域名后面加上robots.txt,例如我的網站的robots查看,就輸入: http://www.mickeyjupp.com/robots.txt  。
        
2.利用我們的FTP 看看我們的根目錄下是不是有robots.txt這個文件。


織夢

“a”:  默認HTML文件存放目錄
“data”: 系統緩存或其它可寫入數據存放目錄
“dede”: 默認后臺管理目錄
“images”: 系統默認模板圖片存放目錄
“include”: 類庫文件目錄
“install”: 安裝程序目錄,安裝完后可刪除
“member”: 會員目錄
“plus”: 附助程序目錄
“special”: 專題目錄
“templets”: 系統默認內核模板目錄
“uploads”: 默認上傳目錄
“index.php”: 網站默認首頁
“robots.txt”: 搜索控制文件
“tags.php”: 標簽頁


   帝國

d : 附件和數據庫存放目錄(data)

d/file : 附近存放目錄

d/js  : js調用及生成目錄

d/txt :文本內容目錄

e :系統文件存放目錄,存放如、后臺登陸系統、系統核心部分、在線支付安裝目錄、新聞模塊、評論等這是整個系統的心臟目錄。

html :自定義的內容頁面存放目錄

images :系統默認模板圖片存放目錄

s :專題目錄

search:搜索頁面目錄

skin :模板及圖片存放目錄

index.html: 首頁

e/class/connect.php 數據庫參數配置文件

e/member/cp/       前臺會員控制面板地址

知道以上文件目錄結構,我們才能確定允許蜘蛛爬取什么,不爬取什么。

Robots寫法

包含:

      User-agent允許哪種搜索引擎爬取)

       Disallow:(不允許爬取的內容)

       Allow:(允許爬取的)

       sitemap:(網站地圖)

評論

說點什么吧
  • 全部評論(0
    還沒有評論,快來搶沙發吧!