Cara Terbaik Setting Robot.txt Blogger Terbaru

Cara Terbaik Setting Robot.txt Blogger Terbaru - Setting robot.txt blogger ini digunakan untuk mengatur halaman mana saja yang diijinkan untuk ditelusuri/di-index oleh google bot. Pada umumnya platform blogger telah mempunyai default robot.txt, hanya saja perlu penambahan untuk mengoptimalkan kinerja blog kita. Hal tersebut dikarena setiap halaman suatu blog berbeda-beda, sehingga kita harus menambahkan beberapa code untuk mem-filter google bot agar tidak menelusuri halaman yang tidak penting atau halaman non public. Sedikit berbeda dengan robot header tags, robot.txt ini lebih dikhususkan untuk filterisasi content, dan robot header tags lebih dikhususkan untuk link filter link. Silakan baca artikel tentang "costum robot tag header blogger terbaik" untuk mengetahui perbedaan keduanya.

Apa robots.txt itu?

Pada umumnya Robots.txt adalah sebuah text file yang berisi perintah untuk robot penelusur (ex: googlebot, mediapatrner, bingbot, dll) untuk menelusuri atau tidak menelusuri halaman pada sebuah blog. 

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://nama-blog/feeds/posts/default?orderby=UPDATED

Keterangan kode robot.txt diatas 

User-agent: Mediapartners-Google
Kode ini berfungsi digunakan untuk mengijinkan / tidak mengijinkan adsense bot merayapi situs anda.
User-agent: *
Kode ini berfungsi digunakan untuk mengijinkan / tidak mengijinkan semua robot mesin pencarian merayapi situs anda.
Disallow:  *
Kode ini adalah kode yang berfungsi untuk tidak mengijinkan robot merayapi halaman situs anda.
Allow:/
Kode ini adalah kode yang berfungsi untuk mengijinkan robot merayapi halaman situs anda.
Sitemap:
Kode ini adalah kode yang berfungsi untuk memberitahukan Acuan Peta Situs/Sitemap valid telah terdeteksi blog kita ke googlebot
Apakah setiap blog mempunyai robots.txt?

Pada umumnya setiap blog/situs mempunyai robot.txt. Pada Platform blog yang menggunakan self hosting, robot.txt ini bisanya hanya sebuah text file yang kita upload untuk kepentingan filter search engine, Akan tetapi pada platform blogger robot.txt sudah terdapat dalam menu dashboard sehingga setting bisa dilakukan dengan lebih mudah.

Apakah ada hubungan robot.txt dengan SEO?

Ketika webcrawler datang untuk merayapi blog kita, webcrawler akan merayapi semua konten di blog kita untuk mencari informasi apa saja yang akan ditampilkan pada mesin pencarinya. Robot.txt ini dibuat untuk memfilter/memblokir halaman - halaman yang tidak seharusnya dirayapi oleh mesin pencari. Dengan begitu kinerja situs kita bisa lebih optimal pada mesin pencarian.

Apa saja manfaat dan kegunaan robot.txt?

• Robot.txt sangat banyak manfaatnya, berikut manfaat dan kegunaan robot.txt : 
• Memblokir halaman - halaman duplikat, halaman low content, dan halaman error 404. Dengan begitu situs/blog kita akan dinilai sebagai halaman high content oleh mesin pencari. 
• Membantu untuk penghapusan halaman error, kesalahan perayapan pada webmaster tools.
• Memblokir konten yang tidak layak untuk iklan adsense
• Memblokir gambar yang tidak layak untuk ditayangkan pada mesin pencarian gambar.
• dll

Bagaimana Cara Setting Robot.txt Blogger Terbaru?

Berikut cara setting robot.txt pada Dashboard blogger :

Bahasa Indonesia 

Setelan > Preferensi Penelusuran > Perayap dan pengindeksan > pada menu Robots.txt silahkan klik Edit dan setting sesuai dengan preferensi yang diinginkan, kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan

English

Setting > Search preferences > Crawlers and indexing > Click "edit" on the menu robots.txt and adjust as needed > Save

Sekian artikel saya tentang cara terbaik setting robot.txt blogger terbaru. Untuk contoh - contoh kode dan cara penggunaan robot.txt ini silahkan ikuti artikel saya selanjutnya.