Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. File tersebut disimpan di website atau server blog yang menginstruksikan web crawler bagaimana untuk indeks dan merayapi blog sobat dalam hasil pencarian di search engine.
Itu berarti sobat dapat membatasi setiap halaman web di blog sobat dari web crawler/perayapan sehingga tidak bisa diindeks di mesin pencari seperti halaman label blog sobat, halaman demo blog atau halaman lain yang tidak begitu penting untuk dapatk diindeks. Selalu ingat bahwa crawler/perayap pencari memindai file robots.txt sebelum merangkak setiap halaman web.
Cara custom Robot.txt pada blogger merupakan salah satu cara supaya mesin perayap dari search engine seperti google dapat terindex dengan baik. Selain cara tersebut juga dapat menggunakan teknik backlink. Tetapi disini kita akan membahas tentang cara custom robot.txt pada blogger.
1. Masuk ke dashboard terlebih dahulu.
2. Klik setting-> search and preference -> click custom robot.txt
3. Stelah di klik, centang atau tandai bagian robot.txt yang ada pilihan "ya" (tanpa tanda kutip)
4. Masukkan kode berikut ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow:
Sitemap: http://aboutseoblogger.blogspot.com/feeds/posts/default?orderby=updated
Keterangan :
Yang berwarna merah ganti dengan alamat blog sobat.
5. Save pengaturan tadi.
Selesai dech, custom robot.txt pada blogger sudah selesai. Setelah itu nantikan saja para mesin perayap dari search engine akan merayapi blog sobat. Tetapi supaya proses perayapan lebih cepat, silahkan submit dulu blog sobat ke search engine. Baca disini.
Sekian yang bisa Kupas tuntas tentang SEO bahas kali ini, semoga Cara custom Robot.txt pada blogger bermanfaat untuk meningkatkan blog sobat ke halaman satu google.
0 komentar:
Post a Comment