√ Cara Setting Robot.Txt Tag Tajuk Khusus Yang Benar, Biar Lebih Seo Dan Cepat Di Index Oleh Google
Setting Robot.txt atau custom Robot.txt sangatlah penting, tentunya Agar Postingan Yang ada di Blog/website kita lebih cepat di index oleh Google dan juga seluruh mesin pencari yang lain menyerupai Bing, Yandex, dll.
sedangkan kalau settingan Robot.txt-nya salah akan menyebabkan di abaikanya postingan anda, atau sistem crawl akan mengabaikan Postingan di blog/website anda, sehingga postingan yang berada di blog akan sulit di index oleh mesin pencari Google dan search engine yang lainnya.
Jika tag tajuk Robot.txt ini di setting dengan baik dan benar, maka akan berdampak sangat baik pada blog anda, dimana sistem crawl ini akan lebih gampang merayapi semua postingan yang ada di blog anda, sehingga postingan anda akan lebih cepat muncul di search engine.
Sebenarnya, pada ketika anda pertama kali daftar blogg untuk settingan Robot.txt ini sudah secara default, dan settingan default inilah yang paling recomended dan sangat di anjurkan.
Namun kalau anda ingin lebih tahu settingan Robot.txt ini secara default lebih jelasnya dapat simak uraian berikut ini.
Penjelasan:
- User-agent: Mediapartners-Google ialah Nama mesin pencari Google (mengizinkan google untuk merayapinya).
- Disallow: halaman yang tidak akan di rayapi.
- User-agent: * nama mesin robot web crawl (seluruh jenis search engine).
- Disallow : /search seluruh halaman yang mempunyai tag /search tidak di izinkan untuk dirayapi oleh user-agent:*
- Sitemap : memberitahukan kepada sistem Crawl untuk di rayapi.
Cara Setting Custom semoga Cepat di index dan SEO friendly.
1. Login ke Blog
2. pilih Setting
3. Pilih > preferensi (penelusuran)
4. Pilih perayapan dan Pengindexan >> Robot.txt khusus >> Edit
Silakan pada Kolom isi dengan berikut ini:
PENJELASAN:
- User-agent: Mediapartners-Google ialah Nama mesin pencari Google (mengizinkan google untuk merayapinya).
- Disallow: halaman yang tidak akan di rayapi.
- User-agent: * nama mesin robot web crawl (seluruh jenis search engine).
- Disallow : /search seluruh halaman yang mempunyai tag /search tidak di izinkan untuk dirayapi oleh user-agent:*
Misalnya:
- https://www.blog anda.com /search?q=cara+membuat+website.
- https://www.blog anda.com /search/label/adsense.
- https://www.blog anda.com /search?updated-max=2019-04-36%3o5853B0746oB07%3A0&max-results=8#PageNo=3
- Sitemap : memberitahukan kepada sistem Crawl untuk di rayapi.
Selanjutnya kalau ada halaman yang tidak ingin di rayapi oleh mesin Crawl atau tidak ingin di index, maka silakan isi menyerupai berikut ini:
Cara Setting Tag Tajuk Robot.txt
Masih di sajian yang sama yaitu di perayapan dan pengindexan>> Edit, Kemudian pada tag tajuk robot.txt khusus >> pilih YA.
Setting menyerupai berikut ini:
Homepage : >> All
Archive and pages:
√ noindex
√ nofollow
√ none
√ noarchive
√ nosnippet
√ noodp
√ notranslate
√ noimageindex
Default for posts and pages : All
Keterangan:
1.Mengizinkan semua search engine untuk crawl semua direktori pada homepage (beranda), post, dan juga pages (halaman).
2. Tidak mengizinkan search engine untuk merayapi/crawl pada direktori archive (arsip) dan search (pencarian) pada template blog, lantaran tidak diperlukan dalam pengindexan.
3. Kenapa direktory search dan archive tidak diizinkan untuk dirayapi?
Karena pada kedua halaman tersebut mempunyai url yang depannya sama.
Misalnya menyerupai yang sudah aku jelaskan diatas.
- https://www.nama blog.com /search?q=cara+membuat+website.
- https://www.nama blog.com /search/label/adsense.
- https://www.nama blog.com /search?updated-max=2019-04-36%3o5853B0746oB07%3A0&max-results=8#PageNo=5.
Kaprikornus format url yang di awali dengan home page www.bog anda.com/search melarang Sistem Crawl untuk merayapi halaman yang diikuti oleh /search bertujuan untuk mengecualikan semoga tidak terjadinya Duplikat yang menyebabkan Pinalti dari search engine.
Itulah klarifikasi terkait cara setting Robot.txt dan custom tag tajuk Robot.txt semoga lebih seo fiendly dan juga gampang di rayapi oleh mesin pencari.
Untuk lebih jelasnya anda dapat lihat keterangan dari Google. >> Support Google Webmasters
Sumber https://syilent.blogspot.com/
sedangkan kalau settingan Robot.txt-nya salah akan menyebabkan di abaikanya postingan anda, atau sistem crawl akan mengabaikan Postingan di blog/website anda, sehingga postingan yang berada di blog akan sulit di index oleh mesin pencari Google dan search engine yang lainnya.
Jika tag tajuk Robot.txt ini di setting dengan baik dan benar, maka akan berdampak sangat baik pada blog anda, dimana sistem crawl ini akan lebih gampang merayapi semua postingan yang ada di blog anda, sehingga postingan anda akan lebih cepat muncul di search engine.
Sebenarnya, pada ketika anda pertama kali daftar blogg untuk settingan Robot.txt ini sudah secara default, dan settingan default inilah yang paling recomended dan sangat di anjurkan.
Namun kalau anda ingin lebih tahu settingan Robot.txt ini secara default lebih jelasnya dapat simak uraian berikut ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://iartikelindo.blogspot.comsitemap.xml
Penjelasan:
- User-agent: Mediapartners-Google ialah Nama mesin pencari Google (mengizinkan google untuk merayapinya).
- Disallow: halaman yang tidak akan di rayapi.
- User-agent: * nama mesin robot web crawl (seluruh jenis search engine).
- Disallow : /search seluruh halaman yang mempunyai tag /search tidak di izinkan untuk dirayapi oleh user-agent:*
- Sitemap : memberitahukan kepada sistem Crawl untuk di rayapi.
Cara Setting Custom semoga Cepat di index dan SEO friendly.
1. Login ke Blog
2. pilih Setting
3. Pilih > preferensi (penelusuran)
4. Pilih perayapan dan Pengindexan >> Robot.txt khusus >> Edit
Silakan pada Kolom isi dengan berikut ini:
User-agent: Mediapartners-GoogleDan silakan SAVE.
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://blog anda.com/sitemap.xml
PENJELASAN:
- User-agent: Mediapartners-Google ialah Nama mesin pencari Google (mengizinkan google untuk merayapinya).
- Disallow: halaman yang tidak akan di rayapi.
- User-agent: * nama mesin robot web crawl (seluruh jenis search engine).
- Disallow : /search seluruh halaman yang mempunyai tag /search tidak di izinkan untuk dirayapi oleh user-agent:*
Misalnya:
- https://www.blog anda.com /search?q=cara+membuat+website.
- https://www.blog anda.com /search/label/adsense.
- https://www.blog anda.com /search?updated-max=2019-04-36%3o5853B0746oB07%3A0&max-results=8#PageNo=3
- Sitemap : memberitahukan kepada sistem Crawl untuk di rayapi.
Selanjutnya kalau ada halaman yang tidak ingin di rayapi oleh mesin Crawl atau tidak ingin di index, maka silakan isi menyerupai berikut ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Disallow: /p/my-contact.html
Disallow: /2019/04/tentang-blog-ku.html
Sitemap: https://www.blog anda.com
/sitemap.xml
Cara Setting Tag Tajuk Robot.txt
Masih di sajian yang sama yaitu di perayapan dan pengindexan>> Edit, Kemudian pada tag tajuk robot.txt khusus >> pilih YA.
Homepage : >> All
Archive and pages:
√ noindex
√ nofollow
√ none
√ noarchive
√ nosnippet
√ noodp
√ notranslate
√ noimageindex
Default for posts and pages : All
Keterangan:
1.Mengizinkan semua search engine untuk crawl semua direktori pada homepage (beranda), post, dan juga pages (halaman).
2. Tidak mengizinkan search engine untuk merayapi/crawl pada direktori archive (arsip) dan search (pencarian) pada template blog, lantaran tidak diperlukan dalam pengindexan.
3. Kenapa direktory search dan archive tidak diizinkan untuk dirayapi?
Karena pada kedua halaman tersebut mempunyai url yang depannya sama.
Misalnya menyerupai yang sudah aku jelaskan diatas.
- https://www.nama blog.com /search?q=cara+membuat+website.
- https://www.nama blog.com /search/label/adsense.
- https://www.nama blog.com /search?updated-max=2019-04-36%3o5853B0746oB07%3A0&max-results=8#PageNo=5.
Kaprikornus format url yang di awali dengan home page www.bog anda.com/search melarang Sistem Crawl untuk merayapi halaman yang diikuti oleh /search bertujuan untuk mengecualikan semoga tidak terjadinya Duplikat yang menyebabkan Pinalti dari search engine.
Itulah klarifikasi terkait cara setting Robot.txt dan custom tag tajuk Robot.txt semoga lebih seo fiendly dan juga gampang di rayapi oleh mesin pencari.
Untuk lebih jelasnya anda dapat lihat keterangan dari Google. >> Support Google Webmasters
Sumber https://syilent.blogspot.com/
