Cara Kustom robots.txt SEO Friendly Untuk Blogger

Kode robots.txt SEO Friendly dan paling aman digunakan di blogger.

Cara Kustom robots.txt SEO Friendly Untuk Blogger

Kali ini saya akan share mengenai cara setting robots.txt SEO Friendly dan aman untuk para blogger agar blog anda lebih optimal di mesin pencari.

Apa Itu robots.txt?

robots.txt atau yang biasa dikenal sebagai protokol pengecualian robot atau protokol robots.txt adalah sebuah ketentuan para pengguna blog untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web yang tidak di izinkan untuk di index.

Fungsi robots.txt

robots.txt berfungsi untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter

Pengaruh robots.txt

Dengan mengganti aturan bawaan dasar pengaturan robots.txt , maka hal ini membuat artikel yang kita upload menjadi lebih SEO friendly. Karena Dengan mengganti robots.txt bawaan blogger, Kita bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak boleh.

Baca Juga: Memahami robots.txt, Pengertian, Fungsi, Contoh, & Pengaruh Untuk SEO 

Cara Ubah robots.txt Di Blogger

Berikut cara mengganti kode robots.txt bawaan blogger.
  1. Login ke akun blogger anda
  2. Klik Setelan
  3. Scroll kebawah, cari Crawler dan pengindeksan
  4. Klik Aktifkan robots.txt kustom
  5. Dan klik bagian robots.txt kustom

Setting robots.txt

Setelah memahami dan mengetahui cara ubah robots.txt pada blogger, saat nya untuk kustom kode robots.txt, berikut ini!
  1. robots.txt Default Blogger

    Sebenarnya settingan default robots.txt blogger sudah lumayan aman untuk penggunaan blog sesuai dengan yang sering digunakan banyak orang. Berikut kode nya:
    User-agent: Mediapartners-Google
    Disallow: 
    
    User-agent: *
    Disallow: /search
    Allow: /
    
    Sitemap: https://www.prinsh.com/sitemap.xml

    Catatan:
    Ganti www.prinsh.com Dengan Domain Blog Anda.

  2. Custom robots.txt Paling Aman

    Jika anda ingin agar halaman seperti disclaimer, privacy, about, atau halaman lainnya yang tidak ingin diindeks mesin pencari, silakan gunakan kode robots.txt kustom paling aman dibawah ini:
    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Disallow: /p/about.html
    Disallow: /p/contact.html
    Disallow: /search?updated-min=
    Disallow: /search?updated-max=
    Disallow: /search/label/*?updated-min=
    Disallow: /search/label/*?updated-max=
    Allow: /
    Sitemap: https://www.prinsh.com/atom.xml?redirect=false&start-index=1&max-results=500

    Catatan:
    Ganti www.prinsh.com Dengan Domain Blog Anda.