AhrefsBot: Difference between revisions
No edit summary |
No edit summary |
||
| (One intermediate revision by the same user not shown) | |||
| Line 1: | Line 1: | ||
'''AhrefsBot''' adalah Web Crawler yang mendukung database tautan 12 triliun untuk perangkat pemasaran online Ahrefs. Itu terus-menerus merayapi web untuk mengisi basis data kami dengan tautan baru dan memeriksa status tautan yang ditemukan sebelumnya untuk memberikan data paling komprehensif dan terkini kepada pengguna kami. | |||
Data tautan yang dikumpulkan oleh Ahrefs Bot dari web digunakan oleh ribuan pemasar digital di seluruh dunia untuk merencanakan, melaksanakan, dan memantau kampanye pemasaran online mereka. | Data tautan yang dikumpulkan oleh Ahrefs Bot dari web digunakan oleh ribuan pemasar digital di seluruh dunia untuk merencanakan, melaksanakan, dan memantau kampanye pemasaran online mereka. | ||
| Line 17: | Line 17: | ||
Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda: | Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda: | ||
<syntaxhighlight lang="apache"> | |||
User-agent: AhrefsBot | |||
Crawl-Delay: [value] | |||
</syntaxhighlight> | |||
Dimana nilai Crawl-Delay adalah waktu dalam detik. | Dimana nilai Crawl-Delay adalah waktu dalam detik. | ||
| Line 24: | Line 26: | ||
Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda: | Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda: | ||
<syntaxhighlight lang="apache"> | |||
User-agent: AhrefsBot | |||
Disallow: / | |||
</syntaxhighlight> | |||
Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memilih perubahan pada file <code>robots.txt</code> Anda. Ini akan dilakukan sebelum setiap perayapan terjadwal berikutnya. | Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memilih perubahan pada file <code>robots.txt</code> Anda. Ini akan dilakukan sebelum setiap perayapan terjadwal berikutnya. | ||
| Line 37: | Line 41: | ||
[[Category:Bot]] | [[Category:Bot]] | ||
[[Category:Internet]] | [[Category:Internet]] | ||