Apa itu Robots.txt?

Robots.txt adalah file kecil di dalam website yang memberi petunjuk kepada mesin pencari seperti Google, halaman mana yang boleh diakses (di-crawl) dan mana yang tidak. File ini penting dalam SEO karena membantu mengarahkan Googlebot agar fokus ke halaman-halaman yang benar-benar relevan.

Bayangkan seperti papan petunjuk: “Silakan masuk ke sini, tapi jangan ke ruangan sebelah.” Itulah fungsi robots.txt di balik layar website kamu.

Fungsi Robots.txt

1. Mengatur akses mesin pencari

Kamu bisa melarang Googlebot untuk mengakses halaman-halaman sensitif atau yang belum siap tampil di hasil pencarian, seperti folder admin atau halaman uji coba.

2. Menghemat beban server

Dengan membatasi area yang di-crawl, kamu bisa mengurangi aktivitas bot yang tidak perlu dan menjaga performa website tetap stabil.

3. Membantu prioritas crawl halaman penting

Kalau kamu punya banyak halaman, robots.txt membantu Google fokus ke halaman utama seperti halaman jasa atau artikel pilar SEO, bukan halaman yang nggak relevan.

Contoh Isi Robots.txt

User-agent: *
Disallow: /admin/
Disallow: /draft/
Allow: /

Penjelasan:

User-agent: * artinya aturan ini berlaku untuk semua robot.
Disallow: /admin/ melarang akses ke folder admin.
Allow: / mengizinkan akses ke semua halaman lainnya.

Catatan Penting: Robots.txt Bukan Alat Privasi

Banyak yang salah paham. Robots.txt tidak menyembunyikan halaman dari publik. Jika ada tautan dari luar menuju halaman yang diblokir, URL-nya tetap bisa muncul di Google. Kalau ingin menyembunyikan konten, gunakan metode seperti noindex atau proteksi password.

Apakah Semua Website Perlu Robots.txt?

Ya, terutama kalau kamu:

Punya banyak halaman uji coba, admin, atau halaman sementara.
Ingin mengatur prioritas crawl halaman penting.
Ingin mencegah Googlebot membuang waktu dan sumber daya pada konten yang tidak relevan.

Untuk website kecil dengan struktur sederhana, robots.txt tetap disarankan — tapi isinya bisa sangat minimal.

Cara Mengecek dan Membuat Robots.txt

Cek apakah website kamu sudah punya

Cukup buka https://namadomain.com/robots.txt di browser. Jika muncul isi file, artinya sudah aktif. Jika kosong atau error, berarti belum dibuat.

Membuat robots.txt secara manual

Gunakan Notepad, simpan sebagai robots.txt, lalu upload ke folder root website melalui cPanel atau File Manager.

Mengatur via plugin (untuk WordPress)

Kalau pakai WordPress, kamu bisa mengelola robots.txt langsung dari dashboard dengan plugin seperti Yoast SEO atau All in One SEO.

Kesalahan Umum Penggunaan Robots.txt

1. Memblokir halaman penting tanpa sengaja

Misalnya, menulis Disallow: /blog/ padahal blog adalah halaman utama yang ingin kamu optimalkan untuk SEO.

2. Tidak memperbarui setelah perubahan struktur URL

Jika kamu mengubah struktur permalink atau melakukan migrasi website, robots.txt juga perlu dicek ulang agar tetap relevan.

3. Berpikir robots.txt bisa menyembunyikan informasi rahasia

Robots.txt tidak dirancang untuk keamanan. Jangan mengandalkannya untuk menyembunyikan data sensitif seperti folder login atau file internal.

Layanan Optisio Terkait

Jasa SEO – Audit teknikal lengkap termasuk pengaturan robots.txt, sitemap, dan crawl budget.
Jasa Maintenance Website – Termasuk monitoring dan perbaikan rutin robots.txt dan struktur teknikal lainnya.
Jasa Pembuatan Website WordPress – Setup awal SEO teknikal seperti robots.txt dan sitemap sudah termasuk.

Penutup

Robots.txt adalah bagian kecil dari SEO teknikal, tapi dampaknya besar. Dengan file ini, kamu bisa memberi arah yang jelas ke mesin pencari tentang bagian mana dari website yang layak ditampilkan, dan mana yang tidak perlu diakses.

Kalau kamu ingin performa SEO website makin rapi dan terkontrol, robots.txt adalah salah satu hal pertama yang wajib dicek.

Robots.txt