Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

在工程中生成robots.txt文件或者通过路由模拟这个文件，帮助搜索引擎正确处理报表工程中的内容。