Robots.txt Generator

Robots.txt generator ini membantu Anda menyusun file robots.txt yang rapi dan valid secara visual — tanpa perlu menghafal sintaksnya. Pilih user-agent, atur jalur Allow atau Disallow, tambahkan sitemap, lalu salin atau unduh file yang siap pakai. Alat ini dibuat untuk pemilik situs, developer, dan praktisi SEO yang ingin mengatur cara mesin pencari dan crawler AI mengakses situs mereka.

File robots.txt berada di akar domain Anda (contohnya https://example.com/robots.txt) dan menjadi salah satu hal pertama yang dicek crawler sebelum mengindeks halaman Anda. Mulai dari sebuah preset, tempel file lama untuk diedit, atau bangun grup aturan kustom dari nol — pratinjau langsung diperbarui seiring Anda mengetik.

Privat sejak awal: seluruh file dibangun di browser Anda. Apa pun yang Anda ketik, impor, atau unduh tidak pernah dikirim ke server.

Cara Membuat File Robots.txt

Mulai dari preset

Klik sebuah preset untuk memuat pengaturan umum: Standar, Izinkan Semua, Blokir Semua, Blokir Bot AI, E-commerce, atau Kosong untuk membangun dari nol.

Pilih user-agent

Untuk tiap grup aturan, pilih crawler dari dropdown (Googlebot, Bingbot, GPTBot, dan lainnya) atau pilih Kustom untuk mengetik nama bot apa pun. Pakai Tambah Grup Aturan untuk menargetkan beberapa bot dengan aturan berbeda.

Atur aturan dan crawl-delay

Tambahkan jalur Allow atau Disallow — ketik sebuah jalur dan pilih dari saran untuk direktori yang umum. Anda juga bisa mengatur crawl-delay dalam detik untuk setiap grup.

Tambahkan sitemap Anda

Pakai Tambah URL Sitemap untuk mengarahkan crawler ke file sitemap Anda agar mereka menemukan konten lebih cepat. Tambahkan sebanyak URL sitemap yang Anda perlukan.

Salin atau unduh

Tinjau pratinjau langsung, lalu gunakan Salin untuk mengambil teksnya atau Unduh untuk menyimpan robots.txt. Unggah ke direktori akar situs Anda.

Mengedit file yang sudah ada? Klik Impor File Lama, tempel robots.txt Anda saat ini, lalu terapkan. Alat ini menguraikannya menjadi grup aturan yang bisa diedit sehingga Anda dapat menyesuaikan aturan secara visual.

Fitur

Penyusun Aturan Visual

Bangun aturan melalui grup aturan, masing-masing dengan user-agent, jalur allow/disallow, dan crawl-delay opsional. Tambah atau hapus grup dan aturan dengan satu klik.

19 Bot Bawaan

Pilih dari 19 user-agent preset yang mencakup mesin pencari, platform sosial, dan crawler AI, atau masukkan nama bot kustom apa pun.

Blokir Crawler AI

Satu preset memblokir GPTBot, ChatGPT-User, Google-Extended, CCBot, anthropic-ai, dan Bytespider sambil tetap mengizinkan mesin pencari biasa.

6 Template Preset

Standar, Izinkan Semua, Blokir Semua, Blokir Bot AI, E-commerce, dan Kosong memberi Anda titik awal yang siap pakai dalam satu klik.

Jalur Allow & Disallow

Atur jalur apa pun sebagai Allow atau Disallow, termasuk pola wildcard seperti /*.pdf$ yang dipahami crawler modern.

Saran Jalur

Saat Anda mengetik, alat ini menyarankan direktori umum seperti /admin/, /wp-admin/, /api/, dan /cart/.

Kontrol Crawl-delay

Atur crawl-delay dalam detik per user-agent untuk meringankan beban server akibat bot yang agresif.

Banyak Sitemap

Tambahkan satu atau beberapa URL sitemap agar crawler dapat menemukan dan mengindeks konten Anda lebih cepat.

Impor & Edit

Tempel robots.txt yang sudah ada dan pengurai mengubahnya menjadi grup aturan visual yang bisa Anda perbaiki lalu ekspor ulang.

Pratinjau Sintaks Langsung

Output diperbarui secara real-time dengan direktif, nilai, dan URL sitemap berkode warna agar mudah dibaca.

Salin & Unduh

Salin file ke clipboard atau unduh sebagai robots.txt, siap diunggah ke akar situs Anda.

Berjalan di Browser Anda

Semua proses membuat, mengimpor, dan mengekspor terjadi secara lokal — aturan Anda tidak pernah keluar dari perangkat.

Pertanyaan yang Sering Diajukan

Apa itu file robots.txt?

File robots.txt memberi tahu crawler mesin pencari bagian situs mana yang boleh atau tidak boleh mereka akses. File ini berada di akar domain Anda dan menjadi salah satu file pertama yang dicek crawler sebelum mengindeks halaman Anda.

Bagaimana cara membuat file robots.txt?

Mulai dari preset atau template kosong, pilih user-agent, tambahkan jalur Allow atau Disallow Anda, tambahkan URL sitemap apa pun, lalu klik Salin atau Unduh. Tidak ada yang perlu diinstal — bangun filenya secara visual dan pratinjau menampilkan output persisnya.

Di mana file robots.txt diletakkan?

Unggah ke direktori akar situs Anda agar dapat diakses di https://yourdomain.com/robots.txt. Crawler mencari URL persis itu, jadi file tidak boleh berada di dalam subfolder.

Bagaimana cara memblokir semua bot di robots.txt?

Pakai preset Blokir Semua, yang mengatur User-agent: * dengan Disallow: /. Itu memberi tahu setiap crawler agar tidak merayapi halaman mana pun di situs Anda, jadi gunakan dengan hati-hati.

Apakah robots.txt mencegah halaman terindeks?

Tidak sepenuhnya. Robots.txt memblokir crawler agar tidak mengakses sebuah halaman, tetapi URL yang diblokir tetap bisa muncul di hasil pencarian jika ada halaman lain yang menautkannya. Untuk benar-benar menjauhkan halaman dari hasil pencarian, pakai meta tag noindex sebagai gantinya.

Bagaimana cara menambahkan sitemap ke robots.txt?

Klik Tambah URL Sitemap dan masukkan alamat lengkap sitemap Anda (contohnya https://example.com/sitemap.xml). URL itu ditambahkan sebagai baris Sitemap: di output. Anda bisa menambahkan beberapa URL sitemap.

Bagaimana cara memblokir bot AI agar tidak mengambil konten saya?

Pakai preset Blokir Bot AI. Preset ini mengizinkan mesin pencari biasa tetapi menambahkan aturan Disallow untuk GPTBot, ChatGPT-User, Google-Extended, CCBot, anthropic-ai, dan Bytespider.

Apa itu Crawl-delay dan bisakah saya memakai wildcard?

Crawl-delay memberi tahu bot berapa detik harus menunggu di antara permintaan, yang dapat meringankan beban server (perhatikan bahwa Googlebot mengabaikannya — pakai Search Console sebagai gantinya). Untuk jalur, sebagian besar crawler modern mendukung * untuk mencocokkan rangkaian apa pun dan $ untuk mencocokkan akhir URL, sehingga /*.pdf$ memblokir semua file PDF.