Robots.txt 生成器

工具介绍

Robots.txt 生成器提供直观的可视化界面来创建自定义 robots.txt 文件。通过彩色编码按钮配置搜索引擎权限，设置抓取延迟，管理受限目录，即时生成符合标准的 robots.txt 文件。

使用步骤

第一步：配置基础设置

• 在 Sitemap 字段中输入您的站点地图 URL（可选）
• 选择默认爬虫行为："Allowed"（允许）或"Refused"（拒绝）
• 选择抓取延迟：0秒、5秒、10秒、20秒、60秒或120秒

第二步：设置搜索引擎权限

• 点击搜索引擎按钮在3种状态间切换：
  • 透明（默认）：遵循通用规则
  • 绿色（允许）：明确允许此搜索引擎
  • 红色（拒绝）：阻止此搜索引擎
• 配置15+个搜索引擎，包括谷歌、百度、雅虎、必应等

第三步：添加受限目录

• 在"Restricted Directories"字段中输入目录路径
• 点击"添加"按钮创建目录标签
• 点击标签上的X删除不需要的目录

第四步：生成并下载

• 点击"生成 robots.txt"创建您的文件
• 在显示框中预览生成的内容
• 使用"复制"或"下载"按钮保存您的 robots.txt

功能亮点

• 搜索引擎可视化三态按钮控制
• 支持15+个主流搜索引擎（谷歌、百度、雅虎等）
• 交互式受限目录管理与标签功能
• 可配置抓取延迟设置（0秒至120秒）
• 可选站点地图URL集成
• 实时 robots.txt 生成和预览
• 一键复制到剪贴板和文件下载
• 简洁直观的用户界面

输出规则

生成的 robots.txt 文件遵循标准格式：

• 为设置为"允许"或"拒绝"的搜索引擎生成特定用户代理规则
• 基于您的通用设置生成默认规则（User-agent: *）
• 为您添加的每个受限目录生成 Disallow 条目
• 当设置超过0秒时包含 Crawl-delay 值
• 提供时包含 Sitemap URL 引用
• 清晰、格式正确的输出，无额外注释

最佳实践

• 将 robots.txt 放在网站根目录中
• 尽可能使用具体路径而非通配符
• 在 robots.txt 中包含 sitemap.xml URL
• 定期测试 robots.txt 文件
• 保持规则简单清晰
• 避免意外阻止重要页面

使用场景

• 阻止特定搜索引擎同时允许其他搜索引擎
• 保护管理后台和私有目录不被所有爬虫访问
• 设置不同的抓取延迟以管理服务器负载
• 允许谷歌但阻止图像搜索爬虫
• 控制开发或测试环境的访问权限
• 为多语言或区域性网站创建 robots.txt

常见问题

彩色按钮是什么意思？

透明按钮使用默认规则，绿色按钮明确允许该搜索引擎，红色按钮阻止该搜索引擎。点击按钮可在状态间循环切换。

如果我不设置任何搜索引擎怎么办？

只会根据您的"Default - All Robots are"设置（允许或拒绝）生成默认的"User-agent: *"规则。

可以添加多个受限目录吗？

可以，输入每个目录路径并点击"添加"创建标签。您可以通过点击每个标签上的X来删除目录。

我需要包含站点地图吗？

不需要，站点地图字段是可选的。如果提供，它将被添加到您的 robots.txt 文件末尾。

如果我将抓取延迟设置为0秒会怎样？

当设置为0秒时，不会在您的 robots.txt 文件中添加 crawl-delay 指令。