Apakah Anda pernah mendengar istilah “Crawl Budget” sebelumnya? Istilah Crawl Budget adalah salah satu faktor yang membantu dalam mengoptimasi kinerja sebuah website. Crawl Budget erat kaitannya dengan kerja sebuah Googlebot, kedua hal ini adalah faktor yang bisa mengetahui apakah konten yang ada di dalam website, sudah terindeks oleh Google ataupun belum. Untuk memahami lebih dalam cara kerja Crawl Budget dan seberapa penting perannya dalam SEO, yuk kita cari tahu lewat ulasan dari Badr Interactive berikut ini!

Apa Itu Crawl Budget?

Crawl Budget adalah jumlah halaman atau URL yang akan di crawl (dirayapi) oleh Googlebot pada periode waktu tertentu. “Budget” di dalam istilah Crawl Budget ini bergantung pada ukuran website yang Anda miliki. Dilansir melalui Yoast, Googlebot bisa dengan bebas melakukan crawling, bisa jadi 6 halaman, 5,000 halaman atau bahkan 6,000,000 halaman setiap harinya.

Perlu Anda ketahui jika jumlah ini juga bisa dipengaruhi dari banyaknya jumlah error yang ditemukan saat proses crawling. Jadi, jika kita berbicara mengenai seberapa banyak halaman yang akan di-crawling oleh Googlebot, jawaban terbaiknya adalah tidak menentu. Semakin besar dan banyak halaman serta backlink yang ada di website Anda, tentu akan memperbesar jumlah Crawl Budget.

Bagaimana Cara Kerja Crawl Budget?

Agar keberadaan website bisnis Anda diketahui oleh SERP (Search Engine Result Page), ada beberapa tahapan yang wajib Anda pahami.

• Crawling

Crawling adalah proses pertama yang akan dilakukan oleh Googlebot atau biasa disebut “Crawler” untuk mencari tahu apa isi website tersebut. Crawler akan merayapi situs Anda terbagi ke dalam 2 tipe, yaitu Googlebot Desktop dan Googlebot Smartphone. Keduanya akan bekerja dengan waktu yang berbeda dan tidak dapat dipastikan kapan saja.

Namun, Anda bisa menentukan prioritas untuk Crawler mana yang harus merayapi situs Anda. Cara yang bisa Anda lakukan untuk menentukan crawler tersebut di robots.txt, tag meta robot, dan perintah HTTP X-Robots-Tag.

• Indexing

Jika tidak ada proses crawling maka tidak akan ada indexing pada sebuah URL. Kedua proses ini  saling berkaitan dan pastinya tidak bisa dipisahkan satu sama lainnya. Indexing adalah sebuah proses dimana Googlebot mencoba memahami konten yang ada di website dan hal ini akan diatur secara otomatis oleh search engine. Tahap indexing hanyalah penanda untuk search engine bahwa konten Anda masuk ke dalam query pencarian tertentu, namun belum konten Anda bisa muncul di halaman pertama setelah proses indexing terjadi. 

Lalu, bagaimana cara kita tahu apakah sebuah website sudah terindeks? Anda bisa ketik kata ini di kolom pencarian:

Site: [alamat website yang ingin dicari]

Berikut ini adalah contoh yang bisa Anda tiru:

Apabila SERP menampilkan website yang Anda cari dengan sesuai, maka bisa dipastikan jika website tersebut sudah diindeks oleh Googlebot. Untuk website baru, biasanya akan memerlukan waktu untuk bisa berhasil diindeks oleh Googlebot. Namun, jika website Anda tidak muncul di mesin pencari, berarti website tersebut belum diindeks.

Ada beberapa hal yang mempengaruhi proses cepat-lamanya sebuah website di-crawling dan diindeks oleh Googlebot. Salah satunya adalah menggunakan platform gratis seperti WordPress (Free)  ataupun Blogger. 

Cara terbaik untuk mengatasinya adalah dengan mempromosikan konten pada website Anda dengan cross-promotion di platform lain seperti Twitter, Instagram, TikTok, agar pengunjung datang ke website dan bisa sesegera mungkin di-crawl oleh Googlebot.

• Ranking

Tahap terakhir adalah proses ranking yang akan dilakukan oleh mesin pencari. Pada proses ini, mesin pencari akan mencari website yang paling populer serta relevan dengan kueri pencarian pengguna pada halaman pertama. Website yang tampil di halaman pertama ini pun biasanya sudah memiliki banyak konten dengan jumlah traffic yang cukup tinggi. Namun hal ini tidak menutup kemungkinan untuk Anda pemilik website baru untuk muncul di halaman pertama, Anda harus memastikan bahwa konten yang dimuat sudah memiliki kata kunci yang sesuai dan pastinya isi konten tersebut relevan dengan apa yang dicari.

Pada dasarnya, cara kerja sebuah Crawl Budget adalah dengan merayapi berbagai URL yang sudah diberikan tag untuk bisa diindeks. Untuk melihatnya lebih detail, Anda bisa mengeceknya langsung melalui sitemap sebuah website. Apabila terdapat URL yang tidak ingin diindeks oleh Googlebot, Anda bisa langsung memberikan tag robots.txt pada halaman tersebut.

Biasanya, website yang diberi tag robots.txt berisi dokumen bersifat rahasia atau confidential sehingga mereka tidak ingin mempublikasikannya. Lalu, kapan Googlebot akan melakukan crawl pada website Anda? Hal ini tergantung pada jumlah traffic yang dimiliki oleh website Anda. Ada website yang hanya memerlukan beberapa jam untuk di crawl, ada juga website yang memerlukan beberapa hari hingga berminggu-minggu untuk bisa diindeks oleh Google.

Formula Crawl Budget

Google merilis bahwa terdapat 2 formula yang bisa mempengaruhi sebuah Crawl Budget dalam website, berikut ini penjelasan selengkapnya:

1. Crawl Demand

Crawl Demand adalah jumlah permintaan untuk mengindeks halaman yang memiliki traffic populer atau sedang tinggi. Formula ini biasanya digunakan oleh Googlebot pada website-website baru,

2. Crawl Rate Limit

Sementara Crawl Rate Limit adalah sebuah jumlah maksimal dalam mengakses data dari website. Googlebot akan melakukan crawling pada website tersebut, sehingga pengunjung memiliki experience yang baik saat mengaksesnya.

Faktor Apa Saja yang Mempengaruhi Crawl Budget?

Berikut ini adalah beberapa faktor yang akan berpengaruh pada Crawl Budget di website Anda:

1. Session Identifiers

Session Identifiers adalah fitur yang digunakan untuk membuat banyak URL berbeda, untuk dikunjungi ke halaman yang sama. Fitur ini biasa Anda temukan pada sebuah e-commerce, contoh sederhananya, Anda sedang mencari “jasa pembuat aplikasi” dengan URL utama adalah “badr.co.id/jasa-pembuat-aplikasi”. Fitur ini akan membuat beberapa URL baru seperti:

• badr.co.id/jasa-pembuat-aplikasi?id=1
• badr.co.id/jasa-pembuat-aplikasi?id=2
• badr.co.id/jasa-pembuat-aplikasi?id=3 

Hal ini akan berpengaruh besar pada Crawl Budget Anda karena akan crawler akan menghabiskan waktu yang lama hanya untuk merayapi halaman dengan tujuan yang sama, atau biasanya akan dianggap URL tersebut tidak memiliki value.

2. Faceted Navigation

Sama seperti fitur sebelumnya, Faceted Navigation biasanya digunakan di website e-commerce untuk mempermudah kita dalam memfilter sebuah barang yang sesuai dengan keinginan. Meskipun fitur ini bagus untuk experience pengguna, ternyata dapat berpengaruh pada Crawl Budget website.

Hal ini dikarenakan faktor-faktor dari kombinasi URL yang dimiliki oleh Faceted Navigation menimbulkan duplikat konten yang banyak, sehingga akan membuat Crawl Budget jadi tidak efisien.

3. Infinity Spaces

Infinity Spaces adalah sebuah link dalam jumlah besar, namun hanya meminta sedikit dari halamannya untuk diindeks oleh Google. Hal ini tentu akan membuat Crawl Budget pada website jadi sia-sia dan pastinya tidak efektif, bisa jadi justru halaman penting pada website tersebut menjadi tidak terindeks oleh Google.

4. Website Terkena Hack

Pengaruh sebuah website yang terkena hack pada Crawl Budget adalah salah satu yang harus diantisipasi. Apabila website Anda terkena hacking, hal ini akan berpengaruh pada arsitektur website dan juga akan berdampak pada Crawl Budget yang menjadi tidak efisien.

5. Soft Error

Konten berkualitas rendah juga bisa mempengaruhi Crawl Budget Anda. Terutama, jika halaman pada website Anda mengalami soft error atau biasa dikenal dengan “Soft 404”. Hal ini bisa menjadi faktor yang memperburuk kinerja Crawl Budget dalam website.

Soft 404 biasanya ditemukan saat server sebuah website memberikan respons HTTP 200 OK pada halaman yang sebenarnya tidak ada. Anda perlu melakukan pengecekan secara berkala agar halaman di website Anda terhindar dari Soft 404.

Seberapa Penting dalam SEO?

Apakah Crawl Budget memiliki dampak besar dalam nilai SEO Website kita? Jawabannya adalah berpengaruh, ini menjadi faktor penentu pada SEO sebuah website sehingga bisa mendapatkan banyak traffic. Sementara untuk jumlah Crawl Budget yang ada pada website kita, Google pun tidak bisa dapat memastikannya. 

Karena jumlahnya yang tidak diketahui, kita sebagai pemilik website tentu harus memikirkan strategi lainnya agar Crawl Budget bisa jadi lebih efisien dan pastinya bisa mengoptimasi konten-konten yang dibuat bisa muncul di halaman SERP. 

Faktor utama yang membatasi crawl budget adalah kondisi server Anda dan batasan budget yang telah Anda tentukan sendiri. Jika server Anda dapat merespons dengan cepat permintaan dari Googlebot, maka batas crawl budget akan naik sehingga lebih banyak koneksi dapat digunakan untuk melakukan crawl.

Namun, jika server Anda melambat atau mengirimkan pesan error, maka batas crawl budget akan turun dan Googlebot akan mengurangi jumlah crawl yang dilakukan. Pastikan untuk memantau kesehatan server Anda secara rutin untuk memastikan crawl budget yang optimal. Jangan lupakan konten-konten lama Anda! Jika perlu, Anda bisa melakukan update berkala sehingga konten Anda masih tetap relevan pada audiens dan tidak kadaluarsa.

Cara Membuatnya Lebih Efisien

Ada berbagai cara yang bisa Anda lakukan untuk mengoptimalkan Crawl Budget, berikut ini penjelasannya!

1. Gunakan Internal Link

Memanfaatkan internal link maupun eksternal menjadi salah satu cara yang bisa Anda gunakan. Anda bisa mengaitkan halaman satu dengan lainnya melalui internal link,sehingga  memudahkan crawler dalam mengindeks halaman lainnya. 

Namun perlu Anda perhatikan kembali saat memilih URL yang akan menjadi internal link untuk tidak menggunakan Orphan Page (halaman yang tidak terhubung dengan seluruh halaman di website) karena akan berpengaruh pada SEO.

2. Hati-Hati dengan Konten Duplikat

Seperti yang sudah dibahas sebelumnya, konten duplikat adalah hal yang menjadi salah satu musuh Googlebot. Konten ini akan membuang Crawl Budget Anda, sehingga proses crawling menjadi tidak efisien. 

Hindari untuk membuat konten duplikat pada website atau Anda bisa langsung menghapus halaman yang terindikasi isu duplikasi. Setiap konten yang ada di halaman website harus berbeda dan unik, hal ini akan memudahkan proses crawling dan pastinya bisa membantu ranking SEO Anda.

Lakukan Promosi Konten Anda

Cara lain untuk membuat efisien Crawl Budget adalah melakukan promosi ke platform lainnya. Hal ini ternyata efektif untuk membuat Googlebot menemukan website Anda dan bisa langsung melakukan crawling.

Cara kerjanya adalah semakin banyak pengunjung yang klik URL website Anda, maka hal ini akan memberikan sinyal pada Googlebot bahwa terdapat banyak traffic pada website Anda, dan dengan segera mereka akan merayapinya.

3. Perbaiki Arsitektur Website

Tak bisa dipungkiri jika arsitektur website juga berpengaruh pada Crawl Budget Anda. Sebisa mungkin Anda memiliki sistem navigasi website yang terstruktur dan rapi sehingga memudahkan crawler saat memasuki website Anda.

Harus Anda ketahui apabila Google membaca peta situs Anda secara berkala. Pastikan untuk menyertakan semua konten yang ingin di-crawl oleh Google. Jika situs Anda menyertakan konten yang diperbarui, sebaiknya disertakan tag <lastmod>.

4. Optimasi Kecepatan Website

Terdapat statement resmi disampaikan oleh Google bahwa semakin cepat kecepatan sebuah website untuk loading maka akan membantu meningkatkan jumlah Crawl Budget. Anda bisa mengoptimasi kecepatan website dengan mengompres ukuran gambar serta memaksimalkan ukuran database agar tidak terlalu besar. 

Anda juga bisa mengaktifkan fitur caching pada website sehingga akan mempermudah pengunjung untuk mengakses kembali website Anda. Selain itu, kurangi penggunaan plugin  yang berlebihan, sehingga loading time bisa lebih cepat.

5. Blokir URL yang Tidak Ingin Diindeks

Tak semua konten yang ada di website harus diindeks oleh Google. Anda bisa memberikan tanda pada konten tertentu yang bersifat teknikal maupun rahasia sehingga tidak bisa di-crawl oleh Googlebot. Salah satunya dengan memblokir URL dengan robots.txt.

6. Pantau Melalui Google Search Console

Lakukan pemantauan secara rutin melalui Google Search Console Anda mengenai status crawling yang ada di website Anda. GSC akan memberikan update secara berkala untuk berbagai isu halaman seperti Soft 404, Error 404, konten duplikasi, hingga halaman yang belum diindeks. 

7. Hilangkan Kode Error

Apabila terdapat website yang terbukti memiliki kode error, Anda bisa langsung menghapus atau memperbaikinya dengan waktu cepat. Jika terbukti terdapat banyak halaman dengan tag 404 pada website, hal ini akan mempengaruhi jumlah Crawl Budget, sehingga menjadi tidak efisien.

Kini Anda Sudah Paham Mengenai Crawl Budget!

Hal lainnya yang harus Anda pahami mengenai Crawl Budget adalah saat melakukan update pada sebuah konten di website. Google memberikan panduan mengenai kapasitas pemilik website untuk melakukan update konten yang ada di websitenya:

• Situs besar (lebih dari 1 juta halaman unik) dengan konten yang cukup sering berubah (seminggu sekali).
• Situs sedang atau lebih besar (lebih dari 10.000 halaman unik) dengan konten yang berubah sangat cepat (setiap hari).
• Situs dengan sebagian besar total URL-nya diklasifikasikan oleh Search Console sebagai Ditemukan – saat ini tidak diindeks.

Jadi, Google tidak menyarankan untuk terlalu sering melakukan update pada konten yang sudah Anda unggah, karena juga akan berpengaruh pada Crawl Budget Anda. 

Crawl Budget adalah sebuah hal yang tidak terlihat namun memiliki dampak besar pada visibilitas website Anda di mesin pencarian Google. Untuk pemilik website baru, Anda tidak perlu mengkhawatirkan mengenai Crawl Budget pada website Anda.

Dampak Crawl Budget ini akan mulai terasa jika Anda sudah memiliki ribuan atau lebih halaman pada website. Pada saat inilah Anda bisa menerapkan berbagai cara optimasi Crawl Budget di atas untuk bisa mendapatkan traffic organik melalui mesin pencari. 

Sekali lagi, jangan lupa untuk melakukan update sitemap secara berkala, agar Googlebot mengetahui keseluruhan struktur website Anda. Demikian ulasan mengenai Crawl Budget dari Badr Interactive. Semoga bermanfaat, ya!