Gue yakin beberapa dari kita udah gak asing dengan robots.txt, terlebih untuk kalian yang punya profesi sebagai SEO Specialist, termasuk gue.
Tapi ternyata, robots.txt ga cuma sekedar perintah allow dan disallow aja. Lebih dari itu, tiap framework atau CMS harus bisa benar-benar memahami cara kerja dari robots.txt itu sendiri.
Singkatnya gini, beberapa hari lalu gue baru aja apply sebagai SEO Specialist di salah satu agency Digital Marketing di Jakarta.
Setelah interview, gue diminta untuk mengerjakan semacam use case yang cukup menarik menurut gue. Dan seperti biasa, gue kerjakan sampai selesai.
Tapi, gue sempat berhenti di satu poin pertanyaan yang cukup menarik, yakni:
Yap, pada bagian “Robots.txt blocking a JS-rendered section, and the dev team says that it is “important for the Q4 campaign”.”
Secara singkat, gue berpikir kaya “Oh yaudah, orang ini kan cuma ngeblock JS-rendered section aja, ga sampai ke URL nya”, jadi harusnya ga pengaruh.
Tapi ntah kenapa gue sedikit ragu dengan hal tersebut, hingga akhirnya gue coba validasi lagi mengenai hal ini ke beberapa AI seperti claude dan ChatGPT. Sampai akhirnya gue menemukan jawaban dari masalah ini.
Hal ini bisa lo abaikan, Jika …
Platform yang digunakan adalah Wordpress. Kenapa demikian? Karena secara structure daripada robots.txt yang digunakan di Wordpress itu cuma sebatas gini aja:
User-agent: *
Allow: /
Allow: /ads.txt
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */disclaimer/*
Disallow: *?attachment_id=
Disallow: /privacy-policy
Disallow: /feed/
Disallow: /feed/$
Disallow: /comments/feed
Disallow: /trackback/
Disallow: */?author=*
Disallow: */author/*
Disallow: /author*
Disallow: /author/
Disallow: */comments$
Disallow: */feed
Disallow: */feed$
Disallow: */trackback
Disallow: */trackback$
Disallow: /?feed=
Disallow: /wp-comments
Disallow: /wp-feed
Disallow: /wp-trackback
Disallow: */replytocom=
Sitemap: https://site.com/sitemap.xml
Sitemap: https://site.com/post-sitemap.xmlYang mana artinya, bagian atau part yang di allow dan disallow berasal dari slug yang emang digunakan atau ada di Wordpress tersebut. Jadi, secara structure website, untuk file dengan jenis JS atau extension lain, secara gak langsung sudah di hardcode dan masuk ke dalam struktur html tersebut.
Dan tentunya;
Ini tidak boleh diabaikan, jika …
Website yang lu bangun menggunakan Next.js, laravel, vue.js, dan lain sebagainya. Kenapa begitu? Karena kalau kita lihat dari contoh website yang dibangun dengan menggunakan next.js misalnya; strutktur websitenya kurang lebih akan seperti ini:
<div id="root"></div>Dan elemen ini berada di dalam bagian main.js
Lalu, dev sendiri memblocking “main.js” ke dalam robots.txt nya, maka yang terjadi adalah
Google tidak boleh mengambil main.js, Google mungkin hanya melihat <div id="root"></div>
Dari penjelasan ChatGPT yang singkat dan menurut gue akan banyak kontroversial (karena sebelumnya gue sempet berdebat juga)
Akhirnya pandangan gue soal Robots.txt ini muali terbuka.
Alhasil, langkah yang perlu dilakukan adalah:
- Validasi dulu, platform atau CMS apa yang digunakan - Karena ini penting buat kita mengimplementasikan robots.txt yang tepat untuk campaign yang akan berjalan
- Koordinasi dengan developer terkait blocking JS rendered section ini - Sebab jika dev hanya melakukan blocking pada element seperti animation.js yang tidak sama sekali berpengaruh, maka kita bisa tetap lanjut.
Tapi, kalau ternyata developer melakukan blocking pada main.js yang merupakan elemen penting pada website tersebut, maka ini perlu diubah kembali, sebab nantinya Google tidak akan melihat bagian tersebut di dalam website kita.
Dari situlah gue sendiri sadar bahwa use case ini ga cuma sekedar menanyakan apakah gue tau robots.txt atau tidak, melaikan apakah gue mengerti bagaimana cara kerja dari relasi antara robots.txt dan optimasinya.
Dan mungkin itu aja dulu untuk cerita dan artikel gue kali ini, mungkin di lain kesempatan gue update lagi terkait hal ini. See ya!