Tạo File Robots.txt

Công cụ tạo file robots.txt này giúp bạn dựng một file robots.txt sạch, hợp lệ một cách trực quan — không cần nhớ cú pháp. Chọn một user-agent, đặt đường dẫn Allow hoặc Disallow, thêm sitemap, rồi sao chép hoặc tải file đã sẵn sàng dùng về. Công cụ dành cho chủ website, lập trình viên và người làm SEO muốn kiểm soát cách công cụ tìm kiếm và crawler AI truy cập trang của mình.

File robots.txt nằm ở thư mục gốc của tên miền (ví dụ https://example.com/robots.txt) và là một trong những thứ đầu tiên crawler kiểm tra trước khi lập chỉ mục các trang của bạn. Hãy bắt đầu từ một mẫu sẵn, dán một file có sẵn để chỉnh sửa, hoặc dựng các nhóm quy tắc tùy chỉnh từ đầu — bản xem trước cập nhật ngay khi bạn thao tác.

Riêng tư theo thiết kế: toàn bộ file được dựng ngay trong trình duyệt của bạn. Mọi thứ bạn gõ, nhập hay tải xuống đều không bao giờ được gửi tới máy chủ.

Cách tạo file robots.txt

Bắt đầu từ một mẫu sẵn

Nhấn vào một mẫu sẵn để nạp cấu hình phổ biến: Tiêu chuẩn, Cho phép tất cả, Chặn tất cả, Chặn bot AI, Bán hàng, hoặc Để trống để dựng từ đầu.

Chọn một user-agent

Với mỗi nhóm quy tắc, chọn một crawler từ danh sách thả xuống (Googlebot, Bingbot, GPTBot và nhiều hơn nữa) hoặc chọn Tùy chỉnh để tự gõ tên bot bất kỳ. Dùng Thêm nhóm quy tắc để nhắm tới nhiều bot với những quy tắc khác nhau.

Đặt quy tắc và crawl-delay

Thêm đường dẫn Allow hoặc Disallow — gõ một đường dẫn và chọn từ các gợi ý cho thư mục phổ biến. Tùy chọn đặt crawl-delay tính bằng giây cho mỗi nhóm.

Thêm sitemap của bạn

Dùng Thêm URL sitemap để chỉ crawler tới các file sitemap của bạn, giúp chúng tìm thấy nội dung nhanh hơn. Thêm bao nhiêu URL sitemap tùy nhu cầu.

Sao chép hoặc tải xuống

Xem lại bản xem trước trực tiếp, rồi dùng Sao chép để lấy nội dung văn bản hoặc Tải xuống để lưu robots.txt. Tải file lên thư mục gốc của website.

Đang chỉnh sửa file có sẵn? Nhấn Nhập file có sẵn, dán file robots.txt hiện tại của bạn, rồi áp dụng. Công cụ sẽ phân tích nó thành các nhóm quy tắc chỉnh sửa được để bạn điều chỉnh quy tắc một cách trực quan.

Tính năng

Trình tạo quy tắc trực quan

Dựng quy tắc qua các nhóm quy tắc, mỗi nhóm có một user-agent, đường dẫn Allow/Disallow và crawl-delay tùy chọn. Thêm hoặc xóa nhóm và quy tắc chỉ với một cú nhấp.

19 bot dựng sẵn

Chọn từ 19 user-agent dựng sẵn gồm công cụ tìm kiếm, nền tảng mạng xã hội và crawler AI, hoặc nhập tên bot tùy chỉnh bất kỳ.

Chặn crawler AI

Một mẫu sẵn chặn GPTBot, ChatGPT-User, Google-Extended, CCBot, anthropic-ai và Bytespider trong khi vẫn cho phép các công cụ tìm kiếm thông thường.

6 mẫu sẵn

Tiêu chuẩn, Cho phép tất cả, Chặn tất cả, Chặn bot AI, Bán hàng và Để trống cho bạn một điểm xuất phát có sẵn chỉ với một cú nhấp.

Đường dẫn Allow & Disallow

Đặt bất kỳ đường dẫn nào là Allow hoặc Disallow, kể cả các mẫu ký tự đại diện như /*.pdf$ mà crawler hiện đại hiểu được.

Gợi ý đường dẫn

Khi bạn gõ, công cụ gợi ý các thư mục phổ biến như /admin/, /wp-admin/, /api/ và /cart/.

Kiểm soát crawl-delay

Đặt crawl-delay tính bằng giây cho từng user-agent để giảm tải máy chủ trước những bot truy cập dồn dập.

Nhiều sitemap

Thêm một hoặc nhiều URL sitemap để crawler tìm và lập chỉ mục nội dung của bạn nhanh hơn.

Nhập & chỉnh sửa

Dán một file robots.txt có sẵn và bộ phân tích biến nó thành các nhóm quy tắc trực quan để bạn tinh chỉnh rồi xuất lại.

Xem trước cú pháp trực tiếp

Kết quả cập nhật theo thời gian thực với các chỉ thị, giá trị và URL sitemap được tô màu để dễ đọc.

Sao chép & tải xuống

Sao chép file vào clipboard hoặc tải về dưới dạng robots.txt, sẵn sàng tải lên thư mục gốc của website.

Chạy trong trình duyệt

Mọi thao tác tạo, nhập và xuất file đều diễn ra cục bộ — các quy tắc của bạn không bao giờ rời khỏi thiết bị.

Câu hỏi thường gặp

File robots.txt là gì?

File robots.txt cho các crawler của công cụ tìm kiếm biết phần nào trên website chúng được phép hoặc không được phép truy cập. Nó nằm ở thư mục gốc của tên miền và là một trong những file đầu tiên crawler kiểm tra trước khi lập chỉ mục các trang của bạn.

Cách tạo file robots.txt cho website?

Bắt đầu từ một mẫu sẵn hoặc một mẫu để trống, chọn một user-agent, thêm đường dẫn Allow hoặc Disallow, thêm các URL sitemap, rồi nhấn Sao chép hoặc Tải xuống. Không cần cài đặt gì — bạn dựng file một cách trực quan và bản xem trước hiển thị đúng kết quả đầu ra.

Đặt file robots.txt ở đâu?

Tải nó lên thư mục gốc của website để truy cập được tại https://yourdomain.com/robots.txt. Crawler tìm chính xác URL đó, nên nó không được nằm trong thư mục con.

Làm sao chặn tất cả bot bằng robots.txt?

Dùng mẫu Chặn tất cả, mẫu này đặt User-agent: * với Disallow: /. Cách này báo mọi crawler không thu thập bất kỳ trang nào trên website, vì vậy hãy dùng cẩn thận.

robots.txt có ngăn trang bị lập chỉ mục không?

Không hẳn. Robots.txt chặn crawler truy cập một trang, nhưng một URL bị chặn vẫn có thể hiển thị trong kết quả tìm kiếm nếu các trang khác liên kết tới nó. Để giữ một trang hoàn toàn khỏi kết quả tìm kiếm, hãy dùng thẻ meta noindex thay vì cách này.

Thêm sitemap vào robots.txt thế nào?

Nhấn Thêm URL sitemap và nhập địa chỉ đầy đủ của sitemap (ví dụ https://example.com/sitemap.xml). Nó được thêm vào dưới dạng một dòng Sitemap: trong kết quả. Bạn có thể thêm nhiều URL sitemap.

Làm sao chặn bot AI thu thập nội dung của tôi?

Dùng mẫu Chặn bot AI. Mẫu này cho phép các công cụ tìm kiếm thông thường nhưng thêm quy tắc Disallow cho GPTBot, ChatGPT-User, Google-Extended, CCBot, anthropic-ai và Bytespider.

Crawl-delay là gì và có dùng được ký tự đại diện không?

Crawl-delay cho bot biết phải chờ bao nhiêu giây giữa các lần yêu cầu, giúp giảm tải máy chủ (lưu ý Googlebot bỏ qua chỉ thị này — hãy dùng Search Console thay thế). Với đường dẫn, hầu hết crawler hiện đại hỗ trợ * để khớp chuỗi bất kỳ và $ để khớp phần cuối URL, nên /*.pdf$ chặn tất cả file PDF.