百度站长平台下午发出公告称:robots工具全新升级,升级后能够实时查看网站在百度中已生效的的robots文件,并支持对robots进行语法及逻辑校验,有助于站长更清晰的管理网站的robots文件,避免错误的封禁搜索引擎。
功能亮点:
1、实时查看网站在百度中已生效的robots文件内容并可通知百度更新。
2、支持对robots文件进行语法及逻辑校验。
其实呢,我认为对中小站长来说百度的robots工具,适合不会写的人,用户如果不想让某些URL被收录,那么可以使用一下。
相关阅读:百度:巧用robots避免蜘蛛黑洞