什么是robots.txt文件
robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱網(wǎng)絡(luò)蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎蜘蛛獲取的，哪些是可以被（蜘蛛）獲取的。
因為一些系統(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。
如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設(shè)置合并到根目錄下的robots.txt，或者使用robots元數(shù)據(jù)。
robots.txt協(xié)議并不是一個規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。注意robots.txt是用字符串比較來確定是否獲取URL，所以目錄末尾有與沒有斜杠“／”表示的是不同的URL。robots.txt允許使用類似"Disallow: *.gif"這樣的通配符。
Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規(guī)范，基于以下原則建立：1、搜索技術(shù)應(yīng)服務(wù)于人類，同時尊重信息提供者的意愿，并維護其隱私權(quán)；2、網(wǎng)站有義務(wù)保護其使用者的個人信息和隱私不被侵犯。
robots.txt文件內(nèi)容
搜索引擎蜘蛛的是否可訪問性或者說可爬行性。
搜索引擎蜘蛛針對目錄或者文件的可訪問性。
網(wǎng)站站點地圖sitemap路徑定義。
搜索引擎蜘蛛爬行的時間間隔限制。
關(guān)于robots.txt文件生成器
通過web界面設(shè)置好要配置的數(shù)據(jù)， 點擊生成器的生成即可在最下方的文本輸入框獲得robots.txt的文件內(nèi)容。
現(xiàn)在，你創(chuàng)建一個空白的文本文件，命名為：“robots.txt”，然后把上面的內(nèi)容，復(fù)制并粘貼到“robots.txt”中去。
把“robots.txt”放在你網(wǎng)站的根目錄，訪問robots.txt，確保他能讓訪問者（如搜索引擎）訪問到。