TEKNIK VIDEN • ROBOTS.TXT • INDEKSERING

Robots.txt

Styr hvilke dele af dit website søgemaskiner og AI-crawlere må besøge. En korrekt robots.txt er en vigtig del af teknisk SEO.

Få en gratis vurdering Teknisk SEO

Robots.txt – styr søgemaskinernes adgang til dit website

Robots.txt er en af de mest oversete filer på et website – men samtidig en af de vigtigste inden for teknisk SEO.

Filen fortæller søgemaskiner, AI-crawlere og andre automatiserede systemer, hvilke områder af dit website de må besøge, og hvilke områder de skal holde sig fra.

En korrekt opsat robots.txt kan forbedre crawl-effektiviteten, reducere unødvendig indeksering og hjælpe søgemaskinerne med at fokusere på dit vigtigste indhold.

Hvad bruges robots.txt til?

  • Styring af søgemaskiners adgang til mapper og filer.
  • Kontrol af crawl-budget på større websites.
  • Blokering af irrelevante systemområder.
  • Håndtering af AI-crawlere og dataskrabere.
  • Henvisning til XML-sitemap.

Hvor placeres robots.txt?

Robots.txt skal altid placeres i roden af domænet.

Eksempel:

https://www.ditdomaene.dk/robots.txt

Hvis filen ligger andre steder, bliver den ignoreret af søgemaskinerne.

Sådan fungerer robots.txt

Når Googlebot, Bingbot eller andre crawlere besøger et website, forsøger de først at hente robots.txt.

Filen indeholder instruktioner om, hvilke områder der må crawles.

Et eksempel:


User-agent: *
Disallow: /admin/

Her får alle crawlere besked på ikke at besøge mappen /admin/.

Robots.txt er ikke sikkerhed

En almindelig misforståelse er, at robots.txt beskytter indhold.

Det gør den ikke.

Filen fortæller kun velopdragne robotter, hvor de ikke bør gå hen. Mennesker og ondsindede bots kan stadig tilgå indholdet, hvis de kender adressen.

Følsomme områder skal beskyttes med login, adgangskontrol eller serverregler.

Robots.txt og SEO

På moderne websites bruges robots.txt ofte til at forhindre crawl af tekniske områder, filtre, søgesider og andre URL'er, der ikke skaber SEO-værdi.

Det hjælper søgemaskinerne med at bruge deres ressourcer på de sider, der faktisk skal rangere i Google.

Typiske områder der ofte blokeres:

  • CMS-systemmapper.
  • Interne søgesider.
  • Filter- og parameter-URL'er.
  • Testmiljøer.
  • Tekniske backend-funktioner.

Robots.txt og noindex er ikke det samme

Mange forveksler robots.txt med noindex.

Robots.txt styrer crawling.

Noindex styrer indeksering.

Hvis Google ikke må besøge siden, kan Google heller ikke se et noindex-tag på siden.

Derfor bør sider, der skal fjernes fra søgeresultaterne, normalt bruge noindex frem for robots.txt.

AI-crawlere og robots.txt

Efter introduktionen af generativ AI er robots.txt blevet endnu vigtigere.

Mange virksomheder ønsker i dag at kontrollere, om deres indhold må bruges til AI-træning eller AI-søgning.

Eksempel:


User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

Disse regler signalerer, at crawlerne ikke må hente indhold fra websitet.

XML Sitemap og robots.txt

En robots.txt bør normalt også indeholde en henvisning til XML-sitemap.

Eksempel:


Sitemap: https://www.ditdomaene.dk/sitemap.xml

Det hjælper søgemaskinerne med hurtigere at finde nyt og opdateret indhold.

Typiske fejl i robots.txt

  • Blokering af hele websitet ved en fejl.
  • Blokering af CSS- eller JavaScript-filer.
  • Manglende XML-sitemap.
  • Forkert brug af noindex og robots.txt.
  • Gamle regler efter redesign eller CMS-skift.
  • Testmiljø-regler der flyttes til produktion.

Vi ser ofte websites, hvor en enkelt forkert robots-regel har fjernet store dele af sitet fra Googles indeks.

Robots.txt på Joomla, WordPress og Shopify

De fleste moderne CMS-systemer genererer en robots.txt automatisk.

Men standardopsætningen er sjældent optimal.

På større websites bør robots.txt gennemgås som en del af enhver teknisk SEO-analyse, så søgemaskinerne fokuserer på de sider, der skaber værdi.

Relaterede emner

Om Online Marketing

Online Marketing har arbejdet med teknisk SEO siden 1999 og hjælper virksomheder med robots.txt, indeksering, crawl-analyse, Google Search Console og optimering af større websites. Vi gennemgår løbende robots.txt-filer for at sikre, at søgemaskiner og AI-crawlere håndteres korrekt.

🎯 Er din robots.txt korrekt opsat?

Vi gennemgår robots.txt, XML-sitemap, indeksering og crawl-fejl og vurderer, om søgemaskinerne får adgang til de rigtige dele af dit website.

Få en gratis vurdering

Teknik