Veb saytlar juda vaqt crawler bot hücumlarına (və ya pis bot trafiki) məruz qalır. Bunlar normal “search engine crawler”lərdən (Googlebot, Bingbot və s.) fərqli olaraq təhlükəli şəkildə istifadə olunan avtomatlaşdırılmış skriptlərdir.

Crawler Bot Hücumlarının Məqsədləri

• Məzmun oğurluğu (məzmunu kazıma): Saytın məqalələri, şəkillərini və ya məhsul məlumatlarını avtomatik yükləyib başqa yerdə istifadə etmək.
• Rəqib analizi: Qiymət, məhsul, və ya bazar məlumatlarını toplamaq.
• Spam və DoS hücumları: Eyni anda çoxlu sorğu göndərərək server resurslarını tükəndirmək.
• Zəiflik axtarışı: Botlar saytının kodunda SQL injection, XSS və ya admin panel girişləri kimi zəiflikləri avtomatik axtara bilər.
• Form doldurma və spam: Əlaqə formaları, qeydiyyat sistemləri və ya şərh bölmələrinə spam göndərmək.

Hücumların Əlamətləri

• Qısa müddətdə çoxlu sorğu gəlməsi.
• Server yüklənməsinin üzərinə və saytın yayılması.
• Gecə saatlarında və ya qeyri-adi saatlarda çoxlu trafik.
• Qeyri-adi User-Agent və IP-lər.
• Log fayllarında eyni IP-dən təkrar sorğular.

Qarşısını Almaq Üsulları

1. robots.txt məhsulları – Yaxşı botlar buna əməl edir, amma təhlükəli botlar çox vaxt almır.
2. Rate Limiting (saniyədə sorğu limiti) – IP əsaslı addımlar.
3. WAF (Veb Tətbiq Firewall) – Bot trafik filtrasiya sistemi. (Cloudflare, Sucuri, AWS WAF və s.)
4. CAPTCHA tədbiri – Form doldurma və login girişlərində insan yoxlaması.
5. User-Agent və IP bloklama – Şübhəli botları siyahıya almaq bloklamaq.
6. Davranış Təhlili – İstifadəçilərin hərəkət sürəti və səhifə keçidlərinin insan davranışına uyğun olub-olmadığını yoxlamaq.
7. Bal qabı tarlaları – Gizli forma əlavə etmək; botlar dolduranda ifşa olur.

Tövsiyə

saytınızda belə aşkar edirsinizsə:

• Əvvəlcə giriş qeydi fayllarınızı analiz edin.
• Ən çox soruşulan IP və İstifadəçi-Agentləri müəyyənləşdirin.
• Cloudflare və ya Oxşar CDN-dən istifadə əlavə əlavə qoruma təmin edin.