Robots.txt berguna untuk mencegah duplikat konten dalam sebuah blog.
cara mengatur robots.txt sebagai berikut:
pertama masuk ke akun blogger
lalu masuk ke
SETELAN >> PREFENSI PENULUSURAN >> AKTIFKAN ROBOTS.TXT
kemudian copy script berikut
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://www.blogparta.com/feeds/posts/default?orderby=UPDATED
Ganti URL yang berwarna merah dengan URL Blog Sobat
Simpan, Nah sekarang Robots.txt sudah aktif