Ring

 

Skriv

Googlebot - crawleren der indekserer de enkelte sider

Googlebot er Googles crawling robot, der anvendes til at finde og indeksere nye og opdaterede sider og tilføje dem i Google´s index (Serps).

Når Googlebot besøger et website, "crawler" den de enkelte sider ved at følge links på siderne og i evt. sitemaps og indsamler information om de pågældende sider. Denne information sendes derefter tilbage til Googles servere, hvor den bliver indekseret. Dette gør det muligt for Google at vise resultater fra sider indenfor de forskellige områder, som de enkelte websites indeholder. (Brance, ydelser, produkter etc.) i sine søgeresultater, når brugere foretager en søgning på et eller flere keyword.

Her er nogle nøglepunkter for Googles webcrawlere:

  1. Crawling: Googlebot starter med en liste over webadresser fra tidligere crawlprocesser og tilføjer nye URL'er, som den opdager undervejs. Når crawleren besøger en side, ser den efter links på den side og føjer dem til sin liste over sider, der skal crawles.

  2. Indeksering: Efter at have crawlet en side, sender Googlebot siden tilbage til Googles servere. Indholdet på siden bliver derefter analyseret og tilføjet til Googles indeks, så det kan vises i søgeresultaterne.

  3. Frekvens: Googlebot besøger ikke alle sider med samme frekvens og i forskellige perioder. Hvor ofte en side bliver crawlet, afhænger af mange faktorer, bla.hvor ofte de enkelte sider bliver opdateret, og hvor vigtig den er i forhold til andre sider på websitet. Der er ligeledes andre faktorer, der har indvirkning på indekseringsfrekvensen og besøg fra Googlebot.

  4. Robots.txt: Webmastere kan bruge en fil kaldet "robots.txt" til at give instruktioner om, hvilke sider eller dele af deres website de ikke ønsker, at Googlebot skal crawle.

  5. Brugeragent: Googlebot identificerer sig selv som en useragent, når den besøger et website og de enkelte websider.

Mobilversionen:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Desktopversionen:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Der er flere forskellige useragenter og de anvendes fra mange forskellige Ip adresser. Læs mere her:

Det er muligt for webmastere at se, hvornår de enkelte bot har besøgt deres website og de enkelte sider ved at tjekke deres serverlogs på webserveren.

Selvom en side bliver crawlet af Googlebot, så er det ikke en garanti for, at den vil blive indekseret og vist i søgeresultaterne (SERPS). Der er flere faktorer i Googles algoritmer, som Google anvender, når de vurderer de enkelte sider, der bliver indekseret og hvordan de skal rangeres efterfølgende i søgeresultaterne.

F.eks. et website programmeret med JavaScript teknologi kan have det svært i forhold til indeksering på Google. Googlebot kan ikke læse JavaScript og når den møder disse, så sendes besked til Googles servere om at siderne skal gennemgås med en variantcrawler, der minder om Google chrome.  Det kan give udfordringer i forhold til indeksering. Læs mere om indekseringsbarrierer og JavaScript i forbindelse med SEO.

 

Google

Google Algoritmer