Lompat ke konten Lompat ke sidebar Lompat ke footer
Beranda / AMP SEO / Non-AMP

Setting Robots.Txt Dan Header Tags Di Blogger Terbaru 2018

Cara Mengaktifkan dan Setting Robots.txt Untuk SEO Friendly [2018], URL Mana yang Tidak Perlu Dirayapi oleh Google?

File robots.txt merupakan salah satu element yang sangat penting bagi sebuah website. File ini untuk memperbolehkan serta membatasi mesin pencari dalam merayapi setiap halaman di website.

Dengan mengaktfikan custom robots.txt inilah, kita akan memberitahu kepada robot mesin pencari google, bing, yandex dan lainnya, mana sajakah halaman yang boleh ditunjukan di hasil penelusuran.

Tapi perlu diketahui, file robots.txt ini sangat sensitif dan dihentikan sembarang ketika menginputnya. Agar mesin pencari sanggup merayapi dan memunculkan hasil pencarian dengan sempurna, inilah SEO Friendly.

Pada platform Blogger sendiri, dalam menciptakan file kustom robots.txt sangatlah mudah. Tidak seribet jikalau kita memakai wordpress, yang notabene banyak direktori web yang pemilikinya tidak ingin  dirayapi google.

Direktori URL Blogger Yang Sederhana



Di blogger, menyerupai yang kita ketahui hanya ada beberapa direktori address/link yang ada, antara lain: /search, /p, /year/month. Dan hanya ada 2 parameter URL yaitu m=1 untuk tampilan mobile dan m=0 untuk tampilan non-mobile view.

Dari beberapa direktori address itu, juga 'dipecah' menjadi beberapa jenis. Contohnya:

 www.amp-blogger.com/search/label/AMP
 /* URL diatas merupakan URL untuk Label atau kategori */


 www.amp.blogger.com/2018/08/seo-seo-google.html
 /* URL diatas merupakan URL untuk Label atau kategori */


 www.amp.blogger.com/2018/08/seo-seo-google.html
 /* URL diatas merupakan link untuk Article*/


 www.amp.blogger.com/2018/08/
 /* URL diatas merupakan Link untuk Archive Tahun dan Bulan. Biasanya archive tahun dan bulan ini link-nya sudah 'dimatikan'  */

Dari beberapa direktori address Blogger dan rujukan URL di atas, saya merekomendasikan beberapa direktori URL yang harus anda block dari mesin pencari. Hal ini untuk mencegah mesin pencari Google merayapi halaman yang menciptakan anda mendapat persoalan dalam hasil penelusuran nantinya.

Karena hal tersebut sanggup menciptakan munculnya persoalan perayapan menyerupai duplicate title dan meta. Maka untuk itulah robot.txt pada blogger wajib anda ubah, biar lebih SEO Friendly.

Mari kita lanjutkan ke tahap Setting Robots.txt and Header Tags For Better Google Crawling.

Setting Robots.txt and Custom Robots Header Tag in Blogger [AMP and Non AMP]


Setting robots.txt 
Ada beberapa cara yang akan saya jelaskan. Pertama ialah setting robots.txt pada blogger blog. Silahkan pegi ke dashboard Blogger kemudian klik Setting. Kemudian akan terbuka beberapa tab, pilih Search Preferences. 

Jika anda pertama kali setting robots.txt, maka akan ada goresan pena disable. Klik untuk aktifkan Custom Robots.txt . Maka akan muncul text area, dan masukan arahan untuk robots.txt di bawah ini:

 User-agent: *
 Disallow: /search
 Allow: /
 
 Sitemap: https://www.yourblog.com/sitemap.xml

Ganti mark kuning dengan alamat blog anda.

Setelah anda memasukan arahan untuk robots.txt Blogger di atas, silahkan klik save.

Penjelasan:
  • User-agent: *, akan meliputi keseluruhan robot googleboot Google. Diantaranya Googleboot, Mediapartner Google, googlebot-images, googleboot-Video, Googleboot-News, dan Googleboot-mobile.
  • Allow:/ : artinya robots.txt membiarkan mesin pencari untuk merayapi keseluruhan URL atau Link yang ada pada direktori website. Dengan pengecualian apabila diterapkan row Disallow pada robots.txt.
  • Disallow: /search, artinya semua url yang berada pada direktori /search tidak akan dirayapi mesin pencari. Untuk blogger sendiri, row Dissalow: /search sangat direkomendasikan biar tidak terjadi duplikat judul dan deskripsi di hasil penelusuran.

Setting Custom Robots Header Tags

Robots header tags bekerja hampir sama dengan robots, namun pada interface Blogger lebih gampang digunakan, alasannya ialah tidak perlu memasukan arahan apapun. 

Silahkan lihat gambar di atas untuk setting custom robots header tags yang sempurna.

Harap diperhatikan bahwa, kesalahan sedikitpun pada robots.txt sanggup besar lengan berkuasa pada hasil penelusuran blog anda. Anda sanggup memantau kinerja penelusuran di Google Search Console.