【仅供内部供应商使用，不提供对外解答和培训】
【仅供内部供应商使用，不提供对外解答和培训】
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
在工程中生成robots.txt文件或者通过路由模拟这个文件，帮助搜索引擎正确处理报表工程中的内容。
Overview
Content Tools
【仅供内部供应商使用，不提供对外解答和培训】
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
在工程中生成robots.txt文件或者通过路由模拟这个文件，帮助搜索引擎正确处理报表工程中的内容。