今天百度站长东西更新了robots提示功能，站长在robots.txt建造后，经过过程站长平台可以直不雅的体味到那些是搜刮引擎可抓取、那些是被樊篱的，避免因忽视而樊篱蜘蛛，导致收录削减。由于我之前一向用Google的robots东西建造，比起Google网管东西的来更直不雅，不会建造robots的站长伴侣可利用此东西，以下图所示：小常识：robots.txt可以奉告搜刮引擎您的网站哪些页面可以被收录，哪些页面不成以被收录，若是您不想让搜刮引擎收录您网站的某些内容，请用robots.txt文件指定搜刮引擎在您网站上的抓取范围。robots.txt建造好后放到网站「根目次」便可以拉。