Robots.txt 生成

规则配置

User-agent（留空表示 *）允许的路径 Allow（每行一个，可选）禁止的路径 Disallow（每行一个，可选） Sitemap 地址（可选）

生成的 robots.txt

配置上方规则后点击「生成」

工具说明

通过配置 User-agent、Allow、Disallow 和 Sitemap 生成 robots.txt 内容。将结果保存为 robots.txt 并上传到网站根目录即可指导爬虫抓取范围。本地生成，不上传数据。