Robots.txt – styr søgemaskinernes adgang til dit website
En korrekt opsat robots.txt-fil er en vigtig del af teknisk SEO og kontrol over, hvordan søgemaskiner gennemsøger dit website.
Robots.txt er en simpel tekstfil, der fortæller søgemaskinernes robotter (”crawlere” eller ”spidere”), hvilke dele af dit website de må – og ikke må – tilgå. Den bruges til at styre indekseringen og sikre, at sider, mapper eller filer, der ikke skal vises i søgeresultaterne, holdes ude.
Hvad er robots.txt – og hvor placeres den?
Filen robots.txt oprettes som en almindelig tekstfil (ASCII eller UTF-8) og placeres i roden af dit website – fx:
https://www.ditdomæne.dk/robots.txt
Hvis filen placeres andre steder, ignoreres den. Når en søgerobot besøger dit site, leder den altid efter denne fil først for at se, hvilke regler der gælder.
Bemærk: Robots.txt forhindrer kun søgerobotter i at indeksere dele af dit site – ikke mennesker. Filens indhold er offentligt tilgængeligt, så brug den ikke til at ”skjule” fortrolige data eller mapper. For reelt at beskytte filer skal du bruge adgangskontrol (passwordbeskyttelse eller serverrettigheder).
Eksempler på opsætning (Robots Exclusion Protocol)
Blokér hele websitet:
User-agent: * Disallow: / Ovenstående forhindrer alle robotter i at tilgå nogen del af websitet.
Blokér en specifik mappe:
User-agent: * Disallow: /dokumenter/ Blokér en undermappe:
User-agent: * Disallow: /dokumenter/2020/ Blokér én bestemt fil:
User-agent: * Disallow: /regnskab.php Blokér kun for Googlebot:
User-agent: Googlebot Disallow: /testmappe/ Denne regel forhindrer kun Google i at crawle den angivne mappe – andre søgemaskiner (som Bing, Yahoo, Yandex eller AI-crawlere) kan stadig få adgang.
Moderne brug
I dag bruges robots.txt ikke kun til klassisk søgemaskinekontrol, men også til at administrere adgang for AI crawlere og automatiserede dataindsamlere. Du kan fx blokere OpenAI’s GPTBot, Common Crawl (CCBot) eller PerplexityBot, hvis du ikke ønsker, at dine tekster bruges til træning af AI-modeller:
User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: / Google anbefaler fortsat, at du ikke bruger robots.txt til at skjule sider, du vil have besøgende til, men blot ikke vil have indekseret. Brug i stedet eller en HTTP-header med noindex-attributten for fuld kontrol.
Test din robots.txt
I Google Search Console kan du teste og validere din robots.txt for at sikre, at opsætningen fungerer korrekt. Her kan du også se, hvilke sider Googlebot aktuelt blokeres fra, og hvordan dine indekseringsindstillinger påvirker søgningerne.
Husk forskellen mellem kontrol og sikkerhed
Robots.txt styrer søgemaskinernes adgang – ikke brugernes. Ønsker du at beskytte følsomme områder (fx /admin/, /backup/ eller dokumenter med kundedata), skal du bruge adgangskontrol via webserveren (htaccess, password eller IP-begrænsning). Robots.txt er ikke et sikkerhedsværktøj, men et signal til velopdragne robotter om, hvor de må og ikke må gå.
Vil du sikre, at din robots.txt er korrekt opsat og optimeret i forhold til moderne SEO-standarder? Kontakt os for en teknisk gennemgang og opdateret konfiguration.