robots.txt生成器

这款 robots.txt 生成器让你可视化地生成一份干净、有效的 robots.txt 文件 —— 不用死记语法。选择一个 User-agent，设置允许或禁止的路径，添加你的 Sitemap，然后复制或下载即可使用的文件。它专为想要控制搜索引擎和 AI 爬虫如何访问站点的站长、开发者和 SEO 人员打造。

robots.txt 文件位于你域名的根目录下（例如 https://example.com/robots.txt），是爬虫在索引你的页面之前最先检查的文件之一。你可以从预设开始、粘贴现有文件来编辑，或从零搭建自定义规则组 —— 实时预览会随你的操作同步更新。

隐私优先：整个文件都在你的浏览器中生成。你输入、导入或下载的内容绝不会被发送到任何服务器。

如何生成 robots.txt 文件

从预设开始

点击一个预设即可载入常见配置：标准、全部允许、全部屏蔽、屏蔽 AI 爬虫、电商，或选择空白从零开始搭建。

选择 User-agent

为每个规则组从下拉框中选一个爬虫（Googlebot、Bingbot、GPTBot 等），或选择自定义输入任意爬虫名称。用添加规则组为多个爬虫设置不同的规则。

设置规则与抓取延迟

添加允许或禁止路径 —— 输入路径并从常见目录的建议中挑选。还可为每个组单独设置以秒为单位的抓取延迟。

添加你的 Sitemap

用添加 Sitemap 网址把爬虫指向你的 Sitemap 文件，让它们更快发现你的内容。你可以按需添加任意多个 Sitemap 网址。

复制或下载

检查实时预览，然后用复制获取文本，或用下载保存 robots.txt。把它上传到你站点的根目录即可。

要编辑现有文件？点击导入现有文件，粘贴你当前的 robots.txt 并应用。工具会把它解析成可编辑的规则组，让你可视化地调整规则。

功能特性

可视化规则生成器

通过规则组来搭建规则，每个组包含一个 User-agent、允许/禁止路径以及可选的抓取延迟。一键添加或删除组与规则。

内置 19 个爬虫

从 19 个预设 User-agent 中选择，覆盖搜索引擎、社交平台和 AI 爬虫，也可输入任意自定义爬虫名称。

屏蔽 AI 爬虫

一个预设即可屏蔽 GPTBot、ChatGPT-User、Google-Extended、CCBot、anthropic-ai 和 Bytespider，同时仍允许普通搜索引擎。

6 套预设模板

标准、全部允许、全部屏蔽、屏蔽 AI 爬虫、电商和空白，一键给你一个可用的起点。

允许与禁止路径

把任意路径设为允许或禁止，包括现代爬虫能识别的通配符模式，例如 /*.pdf$。

路径智能建议

输入时，工具会自动建议常见目录，如 /admin/、/wp-admin/、/api/ 和 /cart/。

抓取延迟控制

为每个 User-agent 设置以秒为单位的抓取延迟，缓解激进爬虫对服务器造成的压力。

多个 Sitemap

添加一个或多个 Sitemap 网址，让爬虫更快找到并索引你的内容。

导入与编辑

粘贴一份现有 robots.txt，解析器会把它转成可视化规则组，方便你优化后重新导出。

实时语法预览

输出会实时更新，并对指令、值和 Sitemap 网址进行配色高亮，方便阅读。

复制与下载

把文件复制到剪贴板，或下载为 robots.txt，可直接上传到你的站点根目录。

在浏览器中运行

所有生成、导入和导出都在本地完成 —— 你的规则绝不会离开你的设备。

常见问题

robots.txt 文件是什么？

robots.txt 文件告诉搜索引擎爬虫，站点的哪些部分可以访问、哪些不能访问。它位于你域名的根目录下，是爬虫在索引你的页面之前最先检查的文件之一。

如何生成一份 robots.txt 文件？

从一个预设或空白模板开始，选择 User-agent，添加你的允许或禁止路径，添加 Sitemap 网址，然后点击复制或下载。无需安装任何东西 —— 可视化地搭建文件，预览会展示精确的输出。

robots.txt 文件该放在哪里？

把它上传到你网站的根目录，使其可通过 https://yourdomain.com/robots.txt 访问。爬虫只会查找这个确切的网址，因此它不能放在子目录里。

如何在 robots.txt 中禁止所有爬虫？

使用全部屏蔽预设，它会设置 User-agent: * 配合 Disallow: /。这会告诉所有爬虫不要抓取你站点上的任何页面，请谨慎使用。

robots.txt 能阻止页面被收录吗？

并不完全能。robots.txt 阻止的是爬虫访问页面，但如果其他页面链接到了某个被屏蔽的网址，它仍可能出现在搜索结果中。要彻底让一个页面不出现在搜索结果里，应改用 noindex 元标签。

如何在 robots.txt 中添加 Sitemap？

点击添加 Sitemap 网址，输入你 Sitemap 的完整地址（例如 https://example.com/sitemap.xml）。它会作为一行 Sitemap: 加入输出。你可以添加多个 Sitemap 网址。

如何阻止 AI 爬虫抓取我的内容？

使用屏蔽 AI 爬虫预设。它允许普通搜索引擎，但为 GPTBot、ChatGPT-User、Google-Extended、CCBot、anthropic-ai 和 Bytespider 添加禁止规则。

抓取延迟是什么？可以用通配符吗？

抓取延迟告诉爬虫每次请求之间要等待多少秒，这可以缓解服务器压力（注意 Googlebot 会忽略它 —— 请改用 Search Console）。在路径方面，大多数现代爬虫支持用 * 匹配任意字符序列、用 $ 匹配网址结尾，因此 /*.pdf$ 会屏蔽所有 PDF 文件。