robots.txt: hol legyen, mit írhatunk, és hogyan találja meg a Google

A robots.txt egy egyszerű szövegfájl, amely azt jelzi a keresőrobotoknak, hogy milyen útvonalakat nem szabad letölteniük egy webhelyről. A Google Crawling Infrastructure útmutatója, a Create a robots.txt file, írja le, hová kerül, hogyan épül fel, és hogyan lesz érvényes a Google számára. Az alábbiakban ezt foglaljuk össze weboldal-üzemeltetői szemmel.

Hová kerül a robots.txt?

A fájlnak a webhely gyökerében kell lennie, és a neve pontosan robots.txt. Ha a webhely címe például https://www.example.com/index.html, akkor a fájlnak itt kell lennie: https://www.example.com/robots.txt. Az útmutató szerint a robots.txt UTF-8 kódolású szövegfájl.

Egy hostname-hez egy robots.txt tartozik, és a fájl csak arra érvényes: a protokoll, a hostname és a port egyaránt számít. Ha a webhely más protokollon, más hostname-en vagy más porton is elérhető, mindegyikhez külön fájl kell.

Hogyan épül fel a fájl?

A robots.txt csoportokból áll. Minden csoport egy User-agent sorral jelöli meg, hogy melyik robotnak szól, és Allow, illetve Disallow sorokkal írja elő, melyik útvonalak tölthetők le, melyik nem. Az útvonalak /-nal kezdődnek. Az olyan sorok, mint a Sitemap:, nem csoporttagsorok, hanem a fájl egészére vonatkozó előírások.

Az alapértelmezés egyszerű: bármi, amit nem tiltottunk le, az elérhető a robotok előtt. A fájl tehát nem azt sorolja fel, ami szabad, hanem azt, ami nem az; az Allow sorok a kivételek jelölésére kellenek.

Az útmutató egy egyszerű robots.txt tartalmát így mutatja be:

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Ez a példa a Googlebotnak tiltja le a /nogooglebot/ útvonalat, minden más robotnak megengedi az oldal elérését, és egy Sitemap: sorral egy teljes URL-en megadott sitemapre mutat. A sitemap megadása nem kötelező, a robots.txt anélkül is érvényes – a sor csak abban segíti a robotokat, hogy megtalálják a sitemapet.

Mire figyeljünk a szerkesztéskor?

• A fájl UTF-8 kódolású legyen.
• Ne szövegszerkesztővel írjuk: az ilyen programok gyakran íves idézőjeleket vagy egyéb formázást tesznek a szövegbe, amitől a robots.txt tönkremehet.
• Az Allow és Disallow sorok útvonalai /-nal kezdődjenek.
• A Sitemap: sor teljes, protokolllel és hostname-nel ellátott URL-t tartalmazzon; több ilyen sor is szerepelhet.
• Feltöltés után nézzük meg a fájlt a böngészőben is: a webhely gyökerében el kell érhetőnek lennie.

Hogyan lesz érvényes a Google számára?

Ha a fájl a webhely gyökerében elérhető, a Google robotai maguktól megtalálják: a robots.txt beküldése nem kötelező. A Google azonban a fájlról gyorsítótárazott másolatot tart, és az útmutató szerint ezt nagyjából 24 óránként frissíti. Ha a módosítást hamarabb szeretnénk érvényesíteni, a Search Console robots.txt jelentésében újrafeltérképezést lehet kérni.

A Search Console robots.txt jelentése a jelölés ellenőrzésére is szolgál: a fájl akkor tesztelhető benne, ha a webhelyen már publikusan elérhető. A jelentés azt mutatja meg, hogy a Google hogyan értelmezi a szabályokat, és egy-egy útvonal le van-e tiltva.

Üzemeltetői ellenőrzőlista

• A robots.txt a webhely gyökerében van, és a böngészőben is betölthető.
• A fájl UTF-8, és nem szövegszerkesztővel készült.
• Minden csoport User-agent sorral kezdődik, az útvonalak /-nal kezdődnek.
• Amit nem akartunk letiltani, az nem szerepel Disallow sorban – az alapértelmezés megengedő.
• A sitemap a Sitemap: sorban teljes URL-lel szerepel, több sor is megadható.
• Más protokoll, más hostname vagy más port esetén külön robots.txt van.
• Módosítás után a Search Console robots.txt jelentésében tesztelünk, és szükség esetén újrafeltérképezést kérünk.

Gyakori kérdések

Be kell küldeni a robots.txt-et a Google-nek?

Nem: a beküldés nem kötelező, a Google robotai megtalálják a fájlt, ha a webhely gyökerében elérhető. A Search Console robots.txt jelentése a tesztelésre és a gyorsabb frissítés kérésére kell.

Mikor lép életbe a módosítás?

A Google a fájlról gyorsítótárazott másolatot tart, amely nagyjából 24 óránként frissül. Ha ez túl lassú, a Search Console robots.txt jelentésében kérhető újrafeltérképezés.

Hány robots.txt kell egy webhelyre?

Egy hostname-hez egy fájl tartozik. Ha a webhely más protokollon, más hostname-en vagy más porton is elérhető, mindegyikhez külön robots.txt kell.

Kell a sitemap a robots.txt-ben?

Nem kötelező: a Sitemap: sor csak egy kiegészítő lehetőség, amely segít a robotoknak a sitemap megtalálásában.

Források

Google Crawling Infrastructure – Create a robots.txt file; Google Search Central – Submit an updated robots.txt file to Google.