robots.txt 生成器
可视化配置爬虫抓取规则，一键生成 robots.txt
快速模板
快速插入 UA 到最后一组：
站点与 Sitemap
站点根 URL
额外 Sitemap
抓取规则分组
分组 #1
Google/Bing 会忽略 Crawl-delay；Yandex 等支持。
robots.txt 预览
# robots.txt —— Generated by 云海工具箱 # 规范：RFC 9309 https://datatracker.ietf.org/doc/html/rfc9309 User-agent: * Allow: / Disallow: /admin Disallow: /private Disallow: /login Disallow: /cart Disallow: /checkout Disallow: /search? Disallow: /*.php$ Disallow: /*.bak$ Disallow: /~ Sitemap: https://example.com/sitemap.xml Sitemap: https://example.com/sitemap-index.xml
部署位置：https://你的域名/robots.txt（大小写敏感，通常小写）。生效范围以「最长前缀匹配」为准，规则之间互不合并。修改后可用 Search Console / Bing Webmaster 的 robots 测试工具二次核验。
关于 robots.txt 生成器 工具
robots.txt 生成器 是云海百宝箱提供的一个免费在线工具。可视化配置爬虫抓取规则，一键生成 robots.txt 该工具完全在浏览器中运行，无需下载安装任何软件，跨平台支持 Windows、Mac、Linux 及移动设备，数据在本地处理不上传服务器。
与 robots.txt 生成器 配合常用的同类工具： Cron表达式生成器、正则表达式生成器、API文档生成器、Markdown编辑器、HTML预览器、图标查找器
robots.txt 生成器 使用方法
- 在输入框中输入或粘贴需要处理的内容
- 选择相应的处理选项或参数
- 点击"处理"或"转换"按钮获取结果
- 点击"复制"按钮可一键复制结果到剪贴板