Veb saytlar çox vaxt crawler bot hücumlarına (və ya bad bot traffic) məruz qalır. Bunlar normal “search engine crawler”lərdən (Googlebot, Bingbot və s.) fərqli olaraq zərərli məqsədlərlə istifadə olunan avtomatlaşdırılmış skriptlərdir.

Crawler Bot Hücumlarının Məqsədləri

• Məzmun oğurluğu (content scraping): Saytın məqalələrini, şəkillərini və ya məhsul məlumatlarını avtomatik yükləyib başqa yerdə istifadə etmək.
• Rəqib analizi: Qiymət, məhsul, və ya bazar məlumatlarını toplamaq.
• Spam və DoS hücumları: Eyni anda çoxlu sorğu göndərərək server resurslarını tükəndirmək.
• Zəiflik axtarışı: Botlar saytın kodunda SQL injection, XSS və ya admin panel girişləri kimi zəiflikləri avtomatik axtara bilər.
• Form doldurma və spam: Əlaqə formaları, qeydiyyat sistemləri və ya şərh bölmələrinə spam göndərmək.

Hücumların Əlamətləri

• Qısa müddətdə çoxlu sorğu gəlməsi.
• Server yüklənməsinin artması və saytın yavaşlaması.
• Gecə saatlarında və ya qeyri-adi saatlarda çoxlu trafik.
• Qeyri-adi User-Agent və IP-lər.
• Log fayllarında eyni IP-dən təkrar sorğular.

Qarşısını Almaq Üsulları

1. robots.txt məhdudiyyətləri – Yaxşı botlar buna əməl edir, amma zərərli botlar çox vaxt nəzərə almır.
2. Rate Limiting (saniyədə sorğu limiti) – IP əsaslı məhdudiyyətlər.
3. WAF (Web Application Firewall) – Bot traffic filtrasiya sistemi. (Cloudflare, Sucuri, AWS WAF və s.)
4. CAPTCHA tətbiqi – Form doldurma və login girişlərində insan yoxlaması.
5. User-Agent və IP bloklama – Şübhəli botları siyahıya alıb bloklamaq.
6. Behavioral Analysis – İstifadəçilərin hərəkət sürəti və səhifə keçidlərinin insan davranışına uyğun olub-olmadığını yoxlamaq.
7. Honeypot fields – Gizli form sahələri əlavə etmək; botlar dolduranda ifşa olur.

Tövsiyə

Əgər saytınızda belə problemlər müşahidə edirsinizsə:

• Əvvəlcə access log fayllarınızı analiz edin.
• Ən çox sorğu göndərən IP və User-Agentləri müəyyənləşdirin.
• Cloudflare və ya Oxşar CDN-dən istifadə etməklə əlavə qoruma təmin edin.