Cara menggunakan robot.txt pada blogger

Robots.txt berfungsi untuk mencegah web crawler bekerja dengan robot web mengakses semua atau bagian dari sebuah situs web jika dilihat secara terbuka. Pada dasarnya file robots.txt di situs web akan berfungsi sebagai permintaan agar robot tertentu mengabaikan file tertentu atau direktori ketika melakukan pencarian situs.

Jika Anda menggunakan platform wordpress.org Blog, file robots.txt dapat membuat sendiri melalui manajer file di cpanel, tetapi jika Anda adalah pengguna blogspot maka ada langkah-langkah yang perlu anda lakukan sebelum mengaktifkannya robots.txt (dinonaktifkan secara default).

1. Login ke Blogger account 

2. Click Settings >> Search preferences

3. Edit Custom robots.txt, pilih Yes untuk mengaktifkan custom robots.txt

4. Kemudian copas code berikut pada form tersebut

User-agent: Mediapartners-GoogleAllow:/User-agent: GooglebotDisallow: /?m=1Disallow: /?m=0Disallow: /*?m=1Disallow: /*?m=0User-agent: *Disallow: /search?*User-agent: TwitterbotAllow:/User-agent: *Disallow: /searchDisallow: /p/*Disallow: /view/*Allow: /Sitemap: http://sochibu.blogspot.com/feeds/post/default?orderby=UPDATED

Nb: huruf warna merah diganti dengan alamat web/blog anda

5. Click save change