AhrefsBot: Difference between revisions

No edit summary
No edit summary
 
(One intermediate revision by the same user not shown)
Line 1: Line 1:
<div style="max-width:60em; margin:auto;">'''AhrefsBot''' adalah Web Crawler yang mendukung database tautan 12 triliun untuk perangkat pemasaran online Ahrefs. Itu terus-menerus merayapi web untuk mengisi basis data kami dengan tautan baru dan memeriksa status tautan yang ditemukan sebelumnya untuk memberikan data paling komprehensif dan terkini kepada pengguna kami.
'''AhrefsBot''' adalah Web Crawler yang mendukung database tautan 12 triliun untuk perangkat pemasaran online Ahrefs. Itu terus-menerus merayapi web untuk mengisi basis data kami dengan tautan baru dan memeriksa status tautan yang ditemukan sebelumnya untuk memberikan data paling komprehensif dan terkini kepada pengguna kami.


Data tautan yang dikumpulkan oleh Ahrefs Bot dari web digunakan oleh ribuan pemasar digital di seluruh dunia untuk merencanakan, melaksanakan, dan memantau kampanye pemasaran online mereka.
Data tautan yang dikumpulkan oleh Ahrefs Bot dari web digunakan oleh ribuan pemasar digital di seluruh dunia untuk merencanakan, melaksanakan, dan memantau kampanye pemasaran online mereka.
Line 17: Line 17:
Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda:
Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda:


User-agent: AhrefsBot
<syntaxhighlight lang="apache">
Crawl-Delay: [value]
User-agent: AhrefsBot
Crawl-Delay: [value]
</syntaxhighlight>


Dimana nilai Crawl-Delay adalah waktu dalam detik.
Dimana nilai Crawl-Delay adalah waktu dalam detik.
Line 24: Line 26:
Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda:
Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda:


User-agent: AhrefsBot
<syntaxhighlight lang="apache">
Disallow: /  
User-agent: AhrefsBot
Disallow: /  
</syntaxhighlight>


Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memilih perubahan pada file <code>robots.txt</code> Anda. Ini akan dilakukan sebelum setiap perayapan terjadwal berikutnya.
Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memilih perubahan pada file <code>robots.txt</code> Anda. Ini akan dilakukan sebelum setiap perayapan terjadwal berikutnya.
Line 37: Line 41:
[[Category:Bot]]
[[Category:Bot]]
[[Category:Internet]]
[[Category:Internet]]
</div>