Menurut Cloudflare, 52% permintaan crawler pada Juni 2026 berasal dari bot pelatih AI. Pemilik website kini bisa memilih: izinkan mesin pencari, tolak pelatihan AI.
Siapa yang paling sering membaca website Anda? Menurut laporan Cloudflare per 1 Juli 2026, jawabannya kemungkinan besar bukan manusia. 52% permintaan crawler pada Juni 2026 berasal dari bot yang mengumpulkan data untuk melatih model AI — naik dari sekitar 22% pada musim semi 2025. Secara keseluruhan, lebih dari separuh trafik internet kini bukan manusia.
Tiga jenis bot yang perlu dibedakan
| Jenis | Contoh tujuan | Manfaat bagi Anda |
|---|---|---|
| Search | Mengindeks halaman untuk hasil pencarian. | Pengunjung datang dari Google/Bing. |
| Agent | Asisten AI membuka halaman atas permintaan pengguna. | Bisa membawa calon pelanggan, tergantung asistennya. |
| Training | Mengambil konten untuk melatih model AI. | Umumnya tidak ada kunjungan balik. |
Kendali yang kini tersedia
| Tanggal | Perubahan |
|---|---|
| 1 Jul 2025 | Cloudflare mulai memblokir crawler AI secara bawaan untuk situs baru dan memperkenalkan *Pay Per Crawl* (pengumuman). |
| 1 Jul 2026 | Sakelar tunggal dipecah menjadi tiga — Search, Agent, Training — di semua paket termasuk gratis (changelog). |
| 15 Sep 2026 | Domain baru otomatis menolak Training dan Agent di halaman beriklan, sementara Search tetap diizinkan. |
Cloudflare juga menyediakan opsi menolak pelatihan AI sambil tetap mengizinkan Googlebot dan Bingbot untuk pencarian (penjelasan crawler serbaguna).
Bagaimana dengan llms.txt?
llms.txt adalah usulan file berisi ringkasan situs untuk model AI. Google menegaskan Penelusuran Google tidak memakainya — memasangnya tidak membantu maupun merugikan peringkat (panduan Google). Yang tetap dihormati crawler adalah robots.txt dan pengaturan di penyedia CDN Anda.
Dampak bagi website kecil
- Beban server: lonjakan bot bisa memperlambat website dan menghabiskan kuota bandwidth hosting.
- Statistik bias: kunjungan bot yang tidak tersaring membuat angka analitik tampak lebih tinggi dari kenyataan.
- Konten dipakai tanpa kunjungan balik: artikel dan foto produk bisa diringkas AI tanpa pembaca membuka situs Anda.
Tentukan sikap Anda
- Putuskan: apakah konten Anda boleh dipakai melatih AI? Apakah asisten AI boleh membaca halaman Anda?
- Atur di
robots.txtdan/atau dasbor CDN. Jangan memblokir mesin pencari bila Anda masih ingin ditemukan di Google. - Pantau log server atau analitik hosting untuk melihat bot mana yang paling sering datang.
- Tinjau ulang keputusan tiap beberapa bulan — kebijakan bot AI berubah cepat.
Sumber
- The agentic internet: bot report — Cloudflare — blog.cloudflare.com
- AI traffic options changelog (1 Jul 2026) — Cloudflare — developers.cloudflare.com
- Content Independence Day: no AI crawl without compensation — Cloudflare — blog.cloudflare.com
- Accountable mixed-use AI crawlers — Cloudflare — blog.cloudflare.com
- AI optimization guide — Google Search Central — developers.google.com
Ditulis berdasarkan sumber di atas per 31 Oktober 2026. Kebijakan dan angka dari pihak ketiga bisa berubah — periksa sumber aslinya untuk kabar terbaru.
Semua berita