AhrefsBot: Difference between revisions
No edit summary |
No edit summary |
||
| Line 17: | Line 17: | ||
Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda: | Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda: | ||
<syntaxhighlight lang="apache"> | |||
User-agent: AhrefsBot | |||
Crawl-Delay: [value] | |||
</syntaxhighlight> | |||
Dimana nilai Crawl-Delay adalah waktu dalam detik. | Dimana nilai Crawl-Delay adalah waktu dalam detik. | ||
| Line 24: | Line 26: | ||
Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda: | Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda: | ||
<syntaxhighlight lang="apache"> | |||
User-agent: AhrefsBot | |||
Disallow: / | |||
</syntaxhighlight> | |||
Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memilih perubahan pada file <code>robots.txt</code> Anda. Ini akan dilakukan sebelum setiap perayapan terjadwal berikutnya. | Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memilih perubahan pada file <code>robots.txt</code> Anda. Ini akan dilakukan sebelum setiap perayapan terjadwal berikutnya. | ||