Cara Membuat Robots.txt yang Mudah di Index Google dengan Yoast SEO

0
103

Cara Membuat Robots.txt yang Mudah di Index Google dengan Yoast SEO

Cara Membuat Robots.txt yang Mudah di Index Google dengan Yoast SEO

Pada kesempatan ini saya akan memberikan tips ampuh agar website kita mudah di index google, di mana google akan lebih mudah merayap ke sitemap (peta situs) postingan yang ada di blog / artikel website kamu.

Perlu dicatat bahwa, cara ini hanya digunakan untuk website wordpress dengan plugin Yoast SEO, karena sitemap-nya khusus digenerate oleh Yoast SEO. Bagi yang belum menginstalnya silahkan instal plugin Yoast SEO disini, namun saya sarankan untuk menginstal versi premiumnya, kamu dapat membelinya di website yoast seo premium disini.

Baca juga : Tutorial Lengkap Membuat Website SEO Friendly

Cara Membuat Robots.txt yang Mudah di Index Google dengan Yoast SEO

  1. Pastikan sitemap pada Yoast SEO kamu sudah diaktifkan, normalnya link sitemap wordpress yang menggunakan yoast seo menggunakan link berikut https://alamatweb.com/sitemap_index.xml (jika tidak menggunakan https, ganti dengan http karena ini akan berpengaruh ke index sitemap-nya).
    Contoh sitemap yang menggunakan yoast seo seperti pada situs saya ini.
    Cara Membuat Robots.txt yang Mudah di Index Google dengan Yoast SEO
  2. Sekarang edit file robots.txt nya di pengaturan yoast, bisa diakses pada menu dashboard admin wordpress yaitu di SEO > Tools, lalu pilih File Editor
  3. Masukkan pada bagian Robots.txt dengan kode dibawah. (ganti ardiyansyah.com sesuai dengan website kamu, perhatikan juga protokol yang diginakan, menggunakan https atau http)
    Sitemap: https://ardiyansyah.com/sitemap_index.xml
    Sitemap: https://ardiyansyah.com/post-sitemap.xml 
    Sitemap: https://ardiyansyah.com/page-sitemap.xml 
    Sitemap: https://ardiyansyah.com/category-sitemap.xml 
    Sitemap: https://ardiyansyah.com/post_tag-sitemap.xml 
    
    User-agent: *
    # disallow all files in these directories
    Disallow: /cgi-bin/
    Disallow: /archives/
    Disallow: /*?*
    Disallow: *?replytocomDisallow: /author
    Disallow: */trackback/Disallow: /*?*
    
    User-agent:Mediapartners-Google*
    Allow:/User-agent:Googlebot-Image
    Allow:/wp-content/uploads/
    User-agent:Adsbot-Google
    Allow:/User-agent:Googlebot-Mobile
    Allow:/
    Allow: /wp-admin/admin-ajax.php
  4. Klik save changes to Robots.txt
  5. Selesai, tunggu beberapa menit agar google menyesuaikannya.

Semoga bermanfaat 🙂

Baca juga : Cara Memperbaiki Sitemap Yoast SEO yang Error (404 Page Not Found)

Kata kunci artikel ini :
Cara Membuat Robots.txt yang Mudah di Index Google Cara Membuat Robots.txt yang Mudah di Index Google Cara Membuat Robots.txt yang Mudah di Index Google Cara Membuat Robots.txt yang Mudah di Index Google Cara Membuat Robots.txt yang Mudah di Index Google Cara Membuat Robots.txt yang Mudah di Index Google