AhrefsBot: Difference between revisions
No edit summary Tag: Manual revert |
No edit summary |
||
| (8 intermediate revisions by the same user not shown) | |||
| Line 1: | Line 1: | ||
AhrefsBot adalah Web Crawler yang mendukung database tautan 12 triliun untuk perangkat pemasaran online Ahrefs. Itu terus-menerus merayapi web untuk mengisi basis data kami dengan tautan baru dan memeriksa status tautan yang ditemukan sebelumnya untuk memberikan data paling komprehensif dan terkini kepada pengguna kami. | '''AhrefsBot''' adalah Web Crawler yang mendukung database tautan 12 triliun untuk perangkat pemasaran online Ahrefs. Itu terus-menerus merayapi web untuk mengisi basis data kami dengan tautan baru dan memeriksa status tautan yang ditemukan sebelumnya untuk memberikan data paling komprehensif dan terkini kepada pengguna kami. | ||
Data tautan yang dikumpulkan oleh Ahrefs Bot dari web digunakan oleh ribuan pemasar digital di seluruh dunia untuk merencanakan, melaksanakan, dan memantau kampanye pemasaran online mereka. | Data tautan yang dikumpulkan oleh Ahrefs Bot dari web digunakan oleh ribuan pemasar digital di seluruh dunia untuk merencanakan, melaksanakan, dan memantau kampanye pemasaran online mereka. | ||
| Line 16: | Line 16: | ||
Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda: | Untuk mengubah frekuensi AhrefsBot mengunjungi situs Anda, Anda dapat menentukan penundaan minimum yang dapat diterima antara dua permintaan berturut-turut dari bot kami di file <code>robots.txt</code> Anda: | ||
<syntaxhighlight lang="apache"> | |||
User-agent: AhrefsBot | |||
Crawl-Delay: [value] | |||
</syntaxhighlight> | |||
Dimana nilai Crawl-Delay adalah waktu dalam detik. | Dimana nilai Crawl-Delay adalah waktu dalam detik. | ||
Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda: | Jika karena alasan tertentu Anda ingin mencegah AhrefsBot mengunjungi situs Anda, masukkan dua baris berikut ke dalam file <code>robots.txt</code> di server Anda: | ||
<syntaxhighlight lang="apache"> | |||
User-agent: AhrefsBot | |||
Disallow: / | |||
</syntaxhighlight> | |||
Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memilih perubahan pada file <code>robots.txt</code> Anda. Ini akan dilakukan sebelum setiap perayapan terjadwal berikutnya. | Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memilih perubahan pada file <code>robots.txt</code> Anda. Ini akan dilakukan sebelum setiap perayapan terjadwal berikutnya. | ||
| Line 29: | Line 35: | ||
Harap perhatikan juga bahwa jika <code>robots.txt</code> Anda berisi kesalahan dan AhrefsBot tidak akan dapat mengenali perintah Anda, ia akan terus merayapi situs web Anda seperti sebelumnya. | Harap perhatikan juga bahwa jika <code>robots.txt</code> Anda berisi kesalahan dan AhrefsBot tidak akan dapat mengenali perintah Anda, ia akan terus merayapi situs web Anda seperti sebelumnya. | ||
== | ==Source== | ||
*[https:// | *[https://ahrefs.com/robot ahrefsdotcom] | ||
[[Category:Crawler]] | |||
[[Category:Bot]] | |||
[[Category:Internet]] | |||