?快速了解robot文件
1、搜索技術(shù)應(yīng)服務(wù)于人類，同時(shí)尊重信息提供者的意愿，并維護(hù)其隱私權(quán)；
2、網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。
何為robot文件？robots.txt是限制搜索引擎spider（或稱為蜘蛛）收錄或爬取您網(wǎng)站內(nèi)容的一種文件。搜索引擎蜘蛛在網(wǎng)站中首先訪問(wèn)的文件就是robot文件，當(dāng)然，也可以沒(méi)有robot文件，不過(guò)spider會(huì)訪問(wèn)您的網(wǎng)站的所有頁(yè)面。
robot文件有何作用？屏蔽您網(wǎng)站的死鏈接，限制spider爬取您的網(wǎng)站內(nèi)容，保護(hù)您網(wǎng)站的隱私內(nèi)容。例如您的后臺(tái)目錄，或者存有您個(gè)人信息的頁(yè)面或目錄。
如果您網(wǎng)站的重復(fù)頁(yè)面或死鏈接過(guò)多，搜索引擎蜘蛛會(huì)認(rèn)為您的網(wǎng)站不行，價(jià)值較低，就會(huì)降低您網(wǎng)站的權(quán)重，網(wǎng)站排名就會(huì)下降，如果創(chuàng)建了robot文件并寫入了相應(yīng)的規(guī)則，那么搜索引擎蜘蛛就不會(huì)爬取您限制的頁(yè)面，您網(wǎng)站的權(quán)重與排名也就不會(huì)降低了。
如何構(gòu)建robot文件？robot文件也沒(méi)什么特殊的地方，就是一文本文件（txt）。新建一個(gè)文本文件，然后重命名為robots并在此文件中編寫相應(yīng)的規(guī)則，醉后上傳到網(wǎng)站跟目錄就行了，注意一定要放置到跟目錄且文件名一定要小寫，不然就失效了。
如何編寫robot文件規(guī)則？
或許您沒(méi)有太多的時(shí)間來(lái)了解并學(xué)會(huì)robot文件規(guī)則，那么您可以生成robot文件規(guī)則，當(dāng)然，您需要一定的英語(yǔ)基礎(chǔ)，并了解特定的名詞。假設(shè)您有時(shí)間來(lái)學(xué)習(xí)的話，就往下看下面的規(guī)則。
現(xiàn)假設(shè)一個(gè)robot文件里面規(guī)則有：
User-agent: *
Disallow: /admin/
Disallow: /user/
規(guī)則解讀為：所有的搜索引擎蜘蛛都不允許訪問(wèn)根目錄的admin目錄與user目錄。
現(xiàn)在你可能就明白了，user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱，*為全部限制，baiduspider為限制百度搜索引擎蜘蛛不可以訪問(wèn)。
disallow:后面追加的是欲限制蜘蛛訪問(wèn)的目錄名稱。
注意，不管你有多少個(gè)disallow，只要有一個(gè)后面為空或者只有一個(gè)/符號(hào)的，就是所以目錄都可以訪問(wèn)。符號(hào)一定是英文符號(hào)。
robot文件只是一種規(guī)則，并不是強(qiáng)制約束搜索引擎蜘蛛，需要搜索引擎蜘蛛配合才有用，有些spider會(huì)不顧您的robot文件,擅自訪問(wèn)您的限制頁(yè)面。不過(guò)，就目前而且，大部分spider是遵守的robots.txt規(guī)則的。
猜你喜歡
聯(lián)絡(luò)方式：
電話：18905275581
郵箱：1700970777@qq.com
-
從商家角度來(lái)分析為什么要開(kāi)發(fā)手機(jī)APP
智能手機(jī)的出現(xiàn)讓我們的生活變得越來(lái)越便利，直接就可以通過(guò)手機(jī)來(lái)解決相應(yīng)的需求，通過(guò)微信小程序就能夠滿足相關(guān)的需求，而這促使不少商家都開(kāi)發(fā)了相應(yīng)的微信小程序。雖然說(shuō)小程序的便捷性獲得了不少用戶的青睞，但是它的短板也漸漸顯露出來(lái)，無(wú)法牢牢抓住用戶成為...
-
HTTPS協(xié)議藏著巨大的秘密
什么是https協(xié)議? https協(xié)議是ssl證書加上http協(xié)議構(gòu)建的可進(jìn)行加密傳輸、身份認(rèn)證的網(wǎng)絡(luò)協(xié)議。 https協(xié)議相比與http協(xié)議的優(yōu)點(diǎn)有哪些? 一、在安全方面上： https是在現(xiàn)在網(wǎng)絡(luò)技術(shù)中，安全的網(wǎng)絡(luò)傳輸協(xié)議。...
-
疫情之下，網(wǎng)絡(luò)推廣該如何做
隨著國(guó)際疫情的加劇，中國(guó)成為了目前全球安全的國(guó)家之一。老外的訂單暫停了、原材料供應(yīng)不上了，那么國(guó)內(nèi)的貿(mào)易競(jìng)爭(zhēng)就加劇了，畢竟每家企業(yè)都希望在疫情當(dāng)下能夠存活下來(lái)。內(nèi)貿(mào)競(jìng)爭(zhēng)加劇，企業(yè)如何處理？ 1、搶先布局，如果你的企業(yè)目前還沒(méi)有開(kāi)展網(wǎng)...
-
APP開(kāi)發(fā)市場(chǎng)中如何防止被坑
在App的開(kāi)發(fā)市場(chǎng)，大多數(shù)人抱著對(duì)技術(shù)敬畏的心情與技術(shù)外包公司進(jìn)行商務(wù)聯(lián)絡(luò)，往往會(huì)被技術(shù)外包公司狠狠地坑上一筆。APP開(kāi)發(fā)需要投入大量資金，對(duì)于中小企業(yè)如何分辨APP制作的關(guān)鍵因素。 一、需求細(xì)分:我們可以先提出需求，并讓技術(shù)外包提...
-
網(wǎng)站優(yōu)化應(yīng)注意的四大因素
揚(yáng)州網(wǎng)站推廣一、網(wǎng)站打開(kāi)速度 我把網(wǎng)站的打開(kāi)速度放在了首位，因?yàn)榫W(wǎng)站打不開(kāi)的時(shí)候客戶就流失了，百度近期大力推出的MIP網(wǎng)頁(yè)加速器，以及給出的公告，移動(dòng)端網(wǎng)站抄過(guò)三秒打不開(kāi)會(huì)給予網(wǎng)站處...
