Inilah Fungsi Robot.Txt Pada Blogger - Fezarzone

Fungsi Robot.txt Pada Blogger - Robot.txt pada blogger memang sangat penting yang berkhasiat untuk membantu perayapan dan pengindeks'an blog di SE (Search Engine).

Secara sederhana Robot.txt ini yaitu sebuah konvensi untuk memerintah robot mesin pencari atau web crawler atau juga mencegah semua halaman untuk di indeks.

Misalnya Anda tidak ingin halaman tertentu ditampilkan kepada mesin pencari! dan dengan Robot.txt inilah kita sanggup memanfaatkan fungsi dari robot.txt biar sanggup memblokir halaman tersebut.

Semua blogspot sudah ada fitur robot txt yang telah diberikan oleh blogger, secara default robot.txt menyerupai dibawah ini :

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://fezarzone.blogspot.com/sitemap.xml

Pastinya Anda akan bingung, apa bahwasanya arti-arti dari isyarat diatas, sepakat Saya akan menjelaskannya satu-persatu.

Keterangan
User-agent: Mediapartners-Google	User agent milik Google membuktikan bahwa blog ini yaitu milik Google
Disallow	Tidak diperbolehkan tidak ada
User-agent: *	Semua Robot Search Engine
Disallow: /search	Tidak diperbolehkan merayapi folder search dan seterusnya
Allow: /	Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow.
Sitemap: http://fezarzone.blogspot.com/sitemap.xml	Alamat feed blog/sitemap blog Anda

Mungkin itu saja sedikit klarifikasi perihal fungsi dari Robot.txt semoga artikel ini sanggup bermanfaat.