現在位置:主頁 > SEO技術分享 > Robots

Robots

阿里瑞SEO2021年04月04日SEO技術分享

簡介? ? 近期有很多站長咨詢,怎樣正確設置文件.為了解決廣大站長朋友們的疑問,我們對《 協議標準》進行了翻譯,希望此...

Robots

分享

Robots

評論

Robots

贊0

最近有很多站長咨詢,如何恰當設置"文檔.為了更好地處理眾多站長小伙伴們的疑惑,大家對《 協議標準》開展了漢語翻譯,期待此篇譯文翻譯可以協助大伙兒對"文檔有更加深入的掌握.


是儲放在網站根目錄下的一個純文本文檔.盡管它的設置非常簡單,可是功效卻很強勁.它能夠 特定百度搜索引擎搜索引擎蜘蛛只爬取特定的內容,或是是嚴禁百度搜索引擎搜索引擎蜘蛛爬取網址的一部分或所有內容.


下邊大家就來詳解一下它的操作方法:


文檔應當放到網址根目錄下,而且該文件是能夠 根據互聯網技術開展瀏覽的.


比如:


假如您的網址是


那麼,該文件務必可以根據 開啟并見到里邊的內容.


文件格式:


User-agent:


用以敘述百度搜索引擎搜索引擎蜘蛛的姓名,在" "文檔中,如果有好幾條User-agent紀錄表明有好幾個百度搜索引擎搜索引擎蜘蛛會遭受該協議書的限定,對該文件而言,最少要有一條User-agent紀錄.假如此項的值設為*,則該協議書對一切百度搜索引擎搜索引擎蜘蛛均合理,在" "文檔中,"User-agent:*"那樣的紀錄只有有一條.


Disallow:


用以敘述不期待被瀏覽到的一個URL,這一URL能夠 是一條詳細的途徑,還可以是一部分的,一切以Disallow開始的URL均不容易被Robot瀏覽到.


舉例說明:


例一:"Disallow:/help"


就是指/ 和/help/都不允許百度搜索引擎搜索引擎蜘蛛爬取.


例二:"Disallow:/help/"


就是指容許百度搜索引擎搜索引擎蜘蛛爬取/,而不可以爬取/help/.


例三:Disallow紀錄為空


表明該網址的全部網頁頁面都容許被百度搜索引擎爬取,在"/文檔中,最少要有一條Disallow紀錄.


假如"/是一個空文檔,則針對全部的百度搜索引擎搜索引擎蜘蛛,該網址全是對外開放的能夠 被爬取的.


#: 協議書中的注解符.


舉例說明:


例一:根據"/嚴禁全部百度搜索引擎搜索引擎蜘蛛爬取"/bin/cgi/"文件目錄,及其 "/tmp/"文件目錄和 / 文檔,設置方式以下:


下列為引入的內容:User-agent: *Disallow: /bin/cgi/ Disallow: /tmp/ Disallow: /


例二:根據"/只容許某一百度搜索引擎爬取,而嚴禁別的的百度搜索引擎爬取.


如:只容許名叫"slurp"的百度搜索引擎搜索引擎蜘蛛爬取,而回絕別的的百度搜索引擎搜索引擎蜘蛛爬取 "/cgi/" 文件目錄下的內容,設置方式以下:


下列為引入的內容:


User-agent: *Disallow: /cgi/


User-agent: slurpDisallow:


例三:嚴禁一切百度搜索引擎爬取站長統計,設置方式以下:


下列為引入的內容:User-agent: *Disallow: /


例四:只嚴禁某一百度搜索引擎爬取站長統計


如:只嚴禁名叫"slurp"的百度搜索引擎搜索引擎蜘蛛爬取,設置方式以下:


下列為引入的內容:User-agent: slurpDisallow: /

, 港閘SEO

評論

說點什么吧
  • 全部評論(0
    還沒有評論,快來搶沙發吧!