AhrefsBot: Difference between revisions
No edit summary Tag: Manual revert |
|||
| Line 16: | Line 16: | ||
Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda: | Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda: | ||
{{Example|robots.txt}} | |||
User-agent: AhrefsBot | User-agent: AhrefsBot | ||
Crawl-Delay: [value] | Crawl-Delay: [value] | ||
| Line 22: | Line 23: | ||
Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda: | Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda: | ||
{{Example|robots.txt}} | |||
User-agent: AhrefsBot | User-agent: AhrefsBot | ||
Disallow: / | Disallow: / | ||