ROBOTS.TXT kezelés
A
robots.txt fájl korlátozza a webhelyéhez való hozzáférést az internetet feltérképező keresőrobotok számára. A keresőrobotok automatizált eszközök és mielőtt hozzáférnének egy webhely oldalaihoz, ellenőrzik a robots.txt fájl jelenlétét, amely megakadályozza őket abban, hogy megnyissanak bizonyos oldalakat. Akkor lehet szükséged a robots.txt fájl módosítására, ha nem szeretnéd, hogy a keresőmotorok a webhelyen megjelenő bizonyos tartalmat feltérképezzék.
Sitemap - Ha ide írsz Sitemap-ot, akkor az felülírja az alap sitemap URL-t, de ha nem, akkor hozzáfűződik az alap URL a robots.txt-hez.
Kizárólag akkor módosítsd a ROBOTS.TXT fájl alaptartalmát, ha teljesen biztos vagy benne, hogy helyes beállítást használsz.
