Mungkin banyak dari anda yang belum memahami dengan jelas tentang robots.txt, padahal pengaruhnnya sangat besar terhadap SEO. Pada dasarnya, robots.txt berfungsi untuk membatasi indexing halaman dan mencegah terjadinya duplikat konten.

Mengenal robots.txt

Yuk, cari tau lebih dalam lagi mengenai robots.txt berikut ini!

Pengertian

Sederhananya, robots.txt adalah sebuah file text (ekstensi .txt) yang wajib dimiliki setiap situs web yang telah didaftarkan pada mesin pencari seperti google, yahoo, dan bing. Jadi robots.txt sangat erat hubungannya dengan SEO, karena kita bisa mengatur halaman yang akan dilakukan crawl oleh mesin pencari.

Biasanya file ini ditempatkan pada path /robots.txt. Contohnya https://www.prinsh.com/robots.txt

Fungsi

robots.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.

Artinya, anda bisa mengatur halaman mana yang boleh diindex mesin pencari, dan mana yang tidak boleh diindex mesin pencari melalui robots.txt. Lebih jelasnya, berikut fungsi utama robots.txt:

• Membatasi kegiatan robot
• Mengontrol kegiatan robot
• Bisa mengkustomisasi penempatan sitemap
• Memblokir halaman yang tidak ingin diindex
• Menghindari terjadinya duplikati konten ketika diindex mesin pencari
• Dapat mengontrol mesin pencari seperti google untuk bagaimana memasuki website yang anda kelola

Contoh Dan Penjelasan

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /
Disallow: /search

Sitemap: https://www.prinsh.com/sitemap.xml

• User-agent: Mediapartners-Google

  Artinya blog merupakan salah satu partner dari google, jika didalam blog terdapat iklan adsense maka akan membantu dalam menampilkan konten iklan yang sesuai dengan topik blog atau artikel yang dibuat.
• Disallow:

  Berarti ada yang tidak boleh dirayapi mesin pencari.
• User-agent: *

  Berarti semua robot mesin pencari seperti google,bing,yahoo,dll, yang akan melakukan perintah dibawahnya.
• Allow: /

  Artinya path directory root, atau halaman utama, diizinkan untuk dirayapi dan diindeks mesin pencari.
• Disallow: /search

  Artinya semua halaman yang ada di path /search, tidak boleh dirayapi oleh semua mesin mencari.
• Sitemap: https://www.prinsh.com/sitemap.xml

  Letak peta situs khusus untuk robot search engine.

Pengaruh Untuk SEO

robots.txt berpengaruh penting terhadap SEO, terutama untuk memberikan instruksi sesuai aturan yang ada di file robots.txt kepada robot mesin pencari agar indexing halaman web anda akan lebih cepat. Hal ini membuat file robots.txt menjadi kewajiban setiap situs web yang ada diinternet.

"robots.txt adalah sebuah kode atau file yang digunakan untuk memberi instruksi pada robot search engine. Instruksi tersebut adalah untuk menjalankan web crawling menggunakan spider, agar situs dan URL yang ada di dalamnya dapat terindeks."

—Dikutip dari MOZ