Daugelis interneto svetainių savininkų turbūt nė neįtaria, jog didžioji dalis duomenų srauto į jų svetaines sugeneruoja įvairaus pobūdžio robotai. Savo ruožto, įvertinti nereikalingo ir netgi kenksmingo duomenų srauto mastus įvertinti gana keblu, kadangi nei „Google Analytics“, nei kitos priemonės tokio pobūdžio duomenų srauto nevertina.
Vis tik šia problema pabandė užsiimti kompanija „Incapsula“, kuri atliko maždaug 1000 interneto svetainių monitoringą. Kiekvieną iš jų kasdien aplankydavo nuo 50 000 iki 100 000 žmonių. Jei tikėti gautais duomenimis, apie 51 % tinklalapių duomenų srauto sugeneruoja įvairūs robotai, tuo tarpu net iki 31 % sugeneruoja potencialiai pavojingos programos.
Tinklalapiai, priklausantys didelėms ir mažoms kompanijoms, gana dažnai atakuojamos įvairiais automatizuotais įsilaužimo instrumentais. Taip siekiama surasti pažeidžiamumų, kurių dėka pavyktų įsilaužti ir perimti tinklalapio valdymą, pavogti konfidencialius duomenis ir išplatinti kenkėjišką kodą. „Incapsula“ duomenimis, įsilaužimo instrumentų generuojamas duomenų srautas vidutiniškai sudaro apie 5 % viso srauto.
Dar 5 % srauto sugeneruoja „scraper“ tipo programos, renkančios el. pašto adresus ir turinį. Dauguma tokių instrumentų reguliariai peržiūri forumus, naujienų puslapius ir svetaines, skirtas kelionėms. Surinkti el. pašto adresai vėliau naudojami el. šiukšlėms (spam) siuntinėti, o tinklalapių turinys – automatiniam kitų puslapių užpildymui.
Tinklalapiai, leidžiantis komentuoti, ypatingai populiarūs tarp automatizuotų robotų. Jei svetainėje nėra jokios apsaugos nuo el. šiukšlių, kur talpinami komentarai, arba ji labai silpna, interneto puslapis po truputį užsipildo el. šiukšlėmis, kol galiausiai jis gali būti visiškai išbrauktas iš paieškos rezultatų, pavyzdžiui, „Google Search“, „Bing“, „Yahoo!“ ir t. t. El. šiukšles siuntinėjančių robotų generuojamas duomenų srautas vidutiniškai sudaro apie 2 % viso srauto.
Gana žymią dalį duomenų srauto generuoja robotai, užsiimantys marketingine žvalgybe ir įvairios tematinės informacijos rinkimu – tokie robotai atsakingi už maždaug 19 % viso duomenų srauto.
Taigi, kompanijos „Incapsula“ tyrimas byloja, jog tinklalapių savininkams ir administratoriams derėtų atidžiau analizuoti „negyvą“ duomenų srautą ir blokuoti nepageidaujamus robotus.
