Ha webáruházat üzemeltetsz, jó eséllyel nap mint nap látogatják az oldaladat olyan "vendégek", akik sosem vásárolnak, mégis rengeteg adatot olvasnak be – ezek a robotok, más néven botok. De közel sem minden robot rosszindulatú vagy kártékony: akadnak köztük olyanok is, amelyek segítik a keresőoptimalizálásodat vagy éppen az általad igénybe vett külső szolgáltatást szolgálják ki. Ebben a cikkben bemutatjuk, kik ezek a láthatatlan látogatók, miért jönnek, hol találsz róluk statisztikát és mit tehetsz ellenük, ha egyáltalán szükséges.
Mi az a robot?
A robot ebben a kontextusban egy automatizált számítógépes program, amely emberi beavatkozás nélkül hajt végre feladatokat a világhálón. Működhet egy előre beállított séma szerint (például végigjár egy oldalt és összegyűjti a linkeket) vagy mesterséges intelligencia által vezérelve, bonyolultabb döntéseket hozva vagy speciális adatokat kinyerve egy weboldalról.
Az e-kereskedelem világában a robotok leginkább a webshopokban található termékeket térképezik fel - árakat, készletet, termék információkat olvasnak be különféle célokkal. Néhány ezek közül segíti a boltod sikerét, mások viszont visszaélnek a nyíltan elérhető információkkal. Az is lehet, hogy sebezhetőségeket keresnek pl. Woocommerce webshopok esetén, nyílt forráskód lévén szoktak is találni.
Jóindulatú robotok
A robotok nagyobb része valójában jóindulatú, kifejezetten a te hasznodat szolgálja. Az ilyen robot látogatásoknak örülnöd kell, semmiképp ne próbálj meg harcolni ellenük!
Keresőrobotok, például a Googlebot vagy a Bingbot
Ezek a keresőmotorokhoz tartozó robotok (crawler-ek) felelősek azért, hogy az oldalaid megjelenjenek a keresési találatokban. Amikor a Googlebot bejárja a webáruházadat, feltérképezi a termékeket, kategóriákat, linkeket és indexeli azokat – így ha valaki rákeres egy adott termékre, jó eséllyel eljuthat hozzád. A jól strukturált oldalt, keresőbarát URL-eket és megfelelő metaadatokat használó webshopokat különösen szeretik.
Sokan nem is gondolnák, de kisebb webshopokban általában több oldalt megnéz a Googlebot, mint a valódi látogatók összesen. Ennek egyszerű oka van: igyekszik minden oldalt átnézni, a tartalmát indexelni, az idő múltával pedig ellenőrizni, hogy változtak-e a tartalmak a webáruházban. Szakértő olvasók szeme előtt máris a "Crawler budget" kifejezés jelenik meg, ami dióhéjban annyit jelent, hogy mára már a Google nem fordít minden oldalra ugyanannyi erőforrást. Az oldal minősége, külső linkjei által határozza meg a weboldal fontosságát és annak függvényében küldi el a robotjait a munkára. Tehát minél több Googlebot jár az oldaladon, minél több oldalt indexel, annál fontosabbnak, hitelesebbnek tartja a tartalmaidat.
AI robotok
Manapság már nem lehet elmenni a mesterséges intelligencia mellett, szinte minden témához kapcsolódik. Gondolj csak bele, ha megkérdezed a ChatGPT-t, hogy melyik webáruházban kapható a legjobb kutyaeledel, egy pillanatra felvillan egy felirat: internet böngészése. Ilyenkor az AI tárolt háttérinformációin felül különböző webáruházakat is pásztázni fog a megfelelő válasz megfogalmazása érdekében. Az ilyen átfésüléseket is robotok végzik, tehát robotforgalmat eredményezhet nálad is. Természetesen vannak fejlettebb Chatbotok is, amelyek pl. API-n keresztül nyerik ki az adatokat egy webáruházból, ők nem feltétlen térképezik fel kívülről az egyes aloldalakat.
Egyéb jóindulatú botok
A fentieken felül számtalan olyan szolgáltatás létezik, amelyek további látogatásokat eredményeznek egy weboldalon. Ilyenek lehetnek a SEO ellenőrző programok, amelyek arra hivatottak, hogy keresőoptimalizálási szempontból vizsgálják át az aloldalak tartalmait. Rendszeresen találkozunk az ügyfélszolgálatunkon olyan megkereséssel, amikor egy ügyfél elindít egy ilyen ellenőrző szoftvert, majd megkérdezi, hogy miért nőtt meg az oldalletöltés a webáruházban.
Hasonlóan működnek a rendelkezésre állás figyelő rendszerek, amelyek bizonyos időközönként megnézik az adott weboldalt, hogy elérhető-e. Mivel ezeknél rendszerint néhány perces időintervallumok állíthatók be, havi szinten ezres mennyiségű oldalletöltést eredményezhetnek.
Ha használsz közösségi médiát és például a Facebookon is szoktál megosztani a webáruházadból különböző tartalmakat, akkor a Meta erre hivatott robotja kiolvassa az OG adatokat és egyéb tartalmakat a weboldalról, amelyek szerepelni fognak a megosztásban.
Kártékony, rosszindulatú robotok
A robotok másik csoportja a fentiekkel ellentétben rosszindulatú, kifejezetten károkozás, adatlopás vagy tartalmak másolása miatt érkezik hozzád.
Túlterheléses támadás (DDOS)
Amitől mindenki a leginkább tart: a túlterheléses támadás, amikor egy úgynevezett botnetről olyan mennyiségű kérést küldenek a webshop felé, hogy azt a szerverek már nem tudják kiszolgálni, ezáltal elérhetetlenné válik a webáruház. A botnetben általában fertőzött telefonok, számítógépek vesznek részt, amelyekről központilag egyszerre indítanak látogatásokat egy weboldalra. Ha esetleg a te mobiltelefonodon is található ilyen jellegű vírus, akkor tudtodon kívül akár te is egyszerűen lehetsz robot egy ilyen támadásnál.
Árfigyelés és készletfigyelés
Kereskedelmi tevékenységek esetén előfordulhatnak kémkedés jellegű látogatások. Ilyen esetben a robotok árakat, készleteket figyelnek, amelyek alapján igazítják a saját áraikat. Mivel vannak ilyen fizetős szolgáltatások is, ez a tevékenység igazából attól függően kártékony, hogy melyik oldalon állsz.
Tartalom másolása (scraping)
Hasonlóan az előbbihez a robotok termékfotókat, leírásokat, bemutatókat, egyéb kidolgozott termékinformációkat is lophatnak. A tartalmakat a szerzői jogot sértve használhatják fel ilyenkor.
Sérülékenységek keresése
Nyílt forráskódú rendszerek esetén (Woocommerce, Opencart stb.) rendszeresen figyelik a verziókat a robotok, hiszen mindenki számára ismert, hogy melyik verzió milyen hibákat tartalmaz. Ha olyan webshopot találnak, amely ismert biztonsági rést tartalmazó webshopmotor verziót használ azt megpróbálják feltörni. Zárt rendszereknél ez kevésbé fordul elő.
Kell-e védekezned?
Fontos tudnod, hogy a rosszindulatú robotokat, amelyek szerepelnek nemzetközi adatbázisokban vagy a tevékenységük arra utal, hogy a szándékuk kártékony, eleve kiszűri az Unas rendszer az összes webshopból. Ők nem jutnak át a tűzfalon, nem is fognak semmilyen oldalt elérni a te webáruházadban sem. A jóindulatú robotokkal pont ellenkező a helyzet, ők szabad utat és kiemelt figyelmet kapnak, a biztonsági protokoll semmiképp sem szűrheti ki őket. Ezek mellett kis százalékban vannak ismeretlen robotok is, amelyeknél nem beazonosítható a pontos szándék, ezek ellen - ha biztos vagy a rossz szándékban - saját magad védekezhetsz.
Hol látod robotok tevékenységeit?
Általában sehol, kivéve ha Unas webshopod van. A külső statisztikai szolgáltatások (p. Google Analytics) arra hivatottak, hogy a valódi humán látogatókról készítsenek áttekintést. Ezért eleve kiszűrik az ismert robotokat. Emellett valójában technikailag sem tudják őket észlelni, mivel javascript futtatásával történik a mérés a felhasználó böngészőjében, ahol még cookie-kat is el kell fogadni a működéshez. Értelemszerűen a robotok ritkán futtatnak javascript-et, főleg nem egyeznek bele cookie-k használatába.
Gépi látogatókról csak szerver oldali statisztika készülhet, ahol a valódi oldal letöltéseket számolja a rendszer, attól függetlenül hogy azt ember vagy gép kezdeményezte. Az igazi nehézség az, hogy szerveroldali statisztikánál jól azonosítsa a rendszer, hogy milyen látogatóról van szó. Az elmúlt időszakban új alapokra helyeztük a belső statisztikát és nemzetközi megoldásokat ötvöztünk saját fejlesztéseinkkel, így hatékonyabban tudjuk azonosítani a webshopok oldalletöltéseit.
Új statisztika az Unas rendszerben
A belső statisztikát a Marketing / Statisztika, Napló, Elemzés / Látogatási statisztika menüben éred el. Sok esetben eddig nem volt jól átlátható ha különböző adatok egy diagramon szerepeltek, ezért ezentúl minden adat külön szerepel. Új információk is kerültek be, eddig nem volt látható ilyen formában a megrendelések száma, ezt is betettük napi és havi bontásban. Térjünk vissza a robotok témájára: különböző robotokkal kapcsolatos diagramokat is láthatsz ezentúl:
- Robot oldal letöltések (havi)
- Robot oldal letöltések (napi)
- Oldal letöltések robot típusok szerint
- Ismeretlen robotok oldal letöltései IP címek szerint
Talán már egyértelmű, hogy a robot látogatók oldal letöltéseit látod az első két charton, ezek azok a látogatások, amelyeket pl. az Analytics nem mér. A harmadik tortadiagramon azt fogod látni, hogy ezek milyen robotok. Ahogy a képen is látod, normál esetben nagy valószínűséggel a Google robotja kapja a legnagyobb részt, emellett még jelentős forgalmat bonyolít a Bing, a Meta vagy az Apple robotja. Kisebb szelet lehet az ismeretlen robot (unknown), őket külön diagramon IP cím szerint is szerepeltetjük. A példa kedvéért, a képen látható webshopban a legfelső IP cím egy németországi szerverteremben található szerver IP címe, ami közel 4000 oldalt tekintett meg ebben a webáruházban. Az IP cím alapján eldöntheted, hogy szükséged van-e erre a forgalomra, esetleg valamilyen saját szolgáltatásod robotja és ez alapján nem bántod vagy a Beállítások / Tartalom védelem / IP tiltás menüben ki is tilthatod az onnan érkező forgalmat.
Ne ijedj meg!
A fentiek értelmében előfordulhat, hogy az a látogató statisztika, amit eddig néztél esést fog mutatni, de valójában csupán az történik, hogy a jobb azonosítás miatt átkerültek a gépi látogatók a másik diagramra a robotok közé.
Cloudflare pro és kontra
Sokan ajánlják a Cloudflare szolgáltatásait a robotok elleni védekezés érdekében. A szolgáltató valóban magas minőségű hálózati megoldásokat nyújt, mi is ajánljuk ha valakit rendszeresen robotok támadnak. Esetünkben átküldheted rajta a webáruházad forgalmát, különböző beállítások lévén pedig kiválogathatod, hogy pontosan kik érjék el a webshopodat. Tehát a külső rendszer szűrőként funkcionál a látogató és webáruházad között. Kiszűrhetsz különböző viselkedésű látogatókat, levághatsz különböző országokból érkező forgalmat stb.
Mi lehet a gond ezzel? Egyrészt a Cloudflare beállítása nagy körültekintést igényel, könnyedén kizárhatsz hasznos forgalmat, másrészt további hálózati útvonalat ad a forgalomnak. Képzeld el, hogy a látogató el akar menni Sopronból Budapestre, de előtte elküldöd Frankfurtba, hogy megnézzék mehet-e. A lenti példákon két Unas webshop útvonala látszik Telekom internetkapcsolatról. Az elsőn látszik, hogy 18 hálózati csomóponton át érkezett meg, különböző nemzetközi vonalakon keresztül. A másodikon pedig 6 lépésben, közvetlenül a magyar gerinchálózaton. Az első hálózati késleltetése 21ms a másodiké pedig 7ms volt, ami nem annyira látványos különbség de mégis érdemes figyelembe venni.
Útvonal a látogatótól a Cloudflare-en keresztül:
- Telekom internet (192.168.111.1)
- 145.236.238.17
- line-128-17.dial.net.telekom.hu (145.236.128.17)
- 195.191.97.62
- Request timed out.
- Request timed out.
- bpt-b5-link.ip.twelve99.net (62.115.40.105)
- win-bb1-link.ip.twelve99.net (62.115.138.194)
- cloudflare-ic-356168.ip.twelve99-cust.net (213.248.95.45)
- cloudflare-ic-356168.ip.twelve99-cust.net (213.248.95.45)
- 172.68.48.12
- webshop Cloudflare IP címe (188.114.96.11)
- 172.68.48.14
- 172.68.48.2
- ae2-7.rt.irx.vie.at.retn.net (87.245.233.137)
- et510.rt.bix.bud.hu.retn.net (87.245.242.204)
- HGBE-1-201.CR0.VH.BUD.rackforest.net (185.187.73.253)
- cluster4.unas.hu (185.187.73.58)
Útvonal a látogatótól közvetlenül:
- Telekom internet (192.168.111.1)
- 145.236.238.17
- 81.183.3.6
- 81.183.3.135
- 81.183.3.31
- cluster4.unas.hu (185.187.73.58)
Végszó
Reméljük hogy ezzel a cikkel sikerült közelebb vinni minden ügyfelünket a robotok világához. Sokszor felbukkan a Facebook csoportunkban a témába vágó bejegyzés, miszerint valaki megijedt egy ilyen robot tevékenységtől. A statisztika megújításával jobban analizálható lett számodra is a forgalmad. Attól pedig egyáltalán nem kell félned, hogy ha valamilyen robot tevékenységet észlelsz, attól lassulni fog a webshopod vagy hátrányosan érinti a normál vásárlók tevékenységeit.
