Fungsi robots.txt - Fungsi dari robots.txt adalah untuk mencekal, memblokir, membatasi mesin pencari ketika merambani halaman blog / website kita.
Halaman mana yang ingin kita publikasikan dan halaman mana yang ingin kita cekal, kita bisa mengatur hal tersebut melalui robots.txt ini.
Untuk apa dicekal?
Agar tidak terdapat duplikat konten di hasil pencarian, jadi yang muncul adalah satu postingan saja, bukan halaman archive ataupun halaman yang lain.

Cara memasang robots.txt

Untuk cara pemasangan pada blog selain blogspot, semisal wordpress, sobat bisa menggunakan plugin (cari di google..) dan menuliskannya seperti perintah default seperti contoh di bawah, begitu juga untuk blog yang lain selain wordpress sobat harus meng-uploadnya terlebih dulu ke root directory server yang sobat gunakan.
Caranya, tulislah perintahnya pada notepad, jadi filenya berupa txt dengan nama robots.txt
Untuk blogspot, sobat bisa menggunakannya dengan cara tidak mengaktifkan opsi robots.txt tersebut, jadi biarkan nonaktif (dinonaktifkan).
Untuk melihatnya, sobat bisa dengan menuliskan /robots.txt dibelakang URL,
Contoh http://blogger-perak.blogspot.com/robots.txt
Lalu tekan enter, dan sobat akan melihat perintah tersebut walaupun sobat tidak mengaktifkan opsi robots.txt ini.
Tapi bila sobat menginginkan pencekalan yang lain, sobat bisa mengaktifkan opsi ini, kemudian menuliskan perintah seperti defaut lalu menambahkan beberapa baris perintah yang diinginkan.
Untuk mengaturnya di blogspot:
Setelan > Preferensi Penelusuran > Pilih robots.txt khusus

Fungsi robots.txt
Fungsi robots.txt

Seperti inilah, perintah umum dari robots.txt (default dari google) tersebut,
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search/
Allow: /

Sitemap: http://blogger-perak.blogspot.com/sitemap.xml

Perintah robots.txt

Berikut ini penulis akan mencoba mengulas agar lebih jelas tentang arti dan beberapa perintah yang digunakan untuk penulisan robots.txt

User-agent:*
Nama bot yang dipanggil
Tanda * menandakan semua bot crawler

Disallow:
Tidak ada halaman yang dicekal

Disallow: /
Semua halaman dicekal
*bila terdapat nama path dibelakang / berarti kita melakukan pencekalan pada path tersebut, contoh
Disallow: /search
berarti kita melakukan pencekalan pada path search, atau dengan kata lain mesin pencari tidak diperbolehkan untuk merambani halaman yang dibelakang url nya bertuliskan /search seperti contoh http://blogger-perak.blogspot.com/search/label/Tutorial%20blog?max-results=4
Karena halaman tersebut tidak perlu untuk dirambani dan tidak perlu untuk dipublikasikan.
Baca juga: Cara penulisan pencekalan Disallow:/pAkan tetapi bila menuliskan Disallow: / terus tanpa ditambahi nama path, maka kita telah mencekal semua halaman blog. (nah.. untuk apa kita mencekal semua halaman?)

Allow: /
Semua halaman diperbolehkan untuk dirambani, sama seperti Disallow:

Sitemap:
Alamat sitemap kita.
Masukkan alamat sitemap yang valid dan sama dengan alamat sitemap yang kita submit di google webmaster tools.

Selanjutnya, sobat bisa mencekal halaman yang lain seperti:
Disallow: /?m=0
Disallow: /?m=1
Disallow: /*archive.html
Disallow: /p/

Ada yang mau nambahi?
Silahkan tulis komentar dibawah..

Semoga artikel tentang fungsi robots.txt ini bermanfaat bagi blogger semua..
Happy Blogging!