Det her skrev jeg i 2011. Noget af det holder stadig, og noget af det er overhalet af virkeligheden. Det nyeste fra mig handler om AI, og det finder du på bloggen.
Jeg tror Panduro Hobby undrer sig meget over hvorfor der ikke kommer mere trafik til deres side end der gør. Det kunne se ud som om, at de lige har fået ny webshop platform – og det er formentlig det de giver årsagen til at de får 0 besøgende fra Google.
Det er desværre bare ikke den fulde sandhed. Årsagen findes i en ganske lille, men meget magtfuld fil hvis brugt forkert.
Robots.txt står til disallow
En lille robots.txt fil kan bruges til at holde søgemaskinerne væk fra at indeksere ens side – eller sider. Typisk bruges den til at sørge for Google eller andre søgemaskiner ikke indekserer sider som administrationen, dokumentmapper eller andet. Nogle webbureauer bruger den også til at sørge for Google ikke indekserer et demo-domæne mens man arbejder på en ny platform eller nyt design.
Panduro Hobby’s robots.txt fil ser således ud:
Linien
Disallow: /
fortæller søgemaskinerne, herunder også Google, at det ikke er tilladt at indeksere nogle sider, på hele websitet, overhovedet. Jeg har svært ved at tro på, at det har været Panduro Hobby’s intention.
En robots.txt fil der ser således, giver et billede i Google når man laver en site-søgning der ser sådan her ud:
Det der formentlig er sket, er at det webbureau der har lavet PanduroHobby.dk sikkert har arbejdet på et demo-domæne, og sat en robots.txt op for at undgå indeksering. Det er som sådan fint nok – men meget uheldigt at de så har glemt at fjerne den igen, da det er gået live.
Bedre blokering af Google ved demo-domæne
Normalt ville jeg nok have gemt et demo-domæne bag et login – eller brugt et “noindex” tag i stedet. Google indekserer faktisk en smule af sitet ved brug af robots.txt, som du kan se på ovenstående billede. Så hvis du har et demo-domæne, kan den rent faktisk optræde i Google stadigvæk. Der er “noindex” ofte en bedre løsning.
Jeg håber da at dette indlæg kan være med til at Panduro Hobby får løst deres problemer – men ligeså meget at du forstår der rent faktisk findes sådan en fin lille robots.txt fil, som kan skade dit website i meget store dimensioner.
Gad vide hvor meget Panduro Hobby har mistet i fortjeneste på sådan en “lille” fejl ?.
Så kommer der ingen trafik til dit website – så blokerer du nok Google på den ene eller anden måde.
12 kommentarer
Tør man spørge, hvordan du opdagede dette? Du har vel ik søgt efter dem på Google eller ?
Ja, og så på det værst tænkelige tidspunkt – midt i julehandlen!
Man må da håbe at de har en ansat der interesserer sig lidt for deres Analytics data og kigger lidt på trafikkilder. Ellers kan der jo godt gå lang tid før sådan en fejl bliver opdaget…
Ser ud til de har fixet det. Uret på dit site er iørvigt stadig på sommertid!?
Nej – jeg tror ikke de har fixet det, ikke i den robots.txt jeg lige så på.
Det var en af mine kollegaer der fortalte om det over frokost, og tænkte jeg lige måtte blogge om det 🙂
@Brian
Ja okay på den måde… Det er satme en sur julefejl, som koster!
@Morten – det er meget brugt at kigge på folks robots.txt filer. Mange store firmaer bruger robots.txt til at “gemme” nye projekter. Ved at ta’ et kig i robots.txt kan man se, hvad de fifler med. For flere år siden kunne man se nye interessant sider på whitehouse.gov ved at kigge i deres robots.txt
@Vadskær
Okay det vidste jeg ik… Men jeg er heller ik den største IT interesserede 🙂
Men så lærte jeg da noget nyt idag.
@Morten – det var sådan en måde at se, hvad konkurrenten havde “under opsejling” – men det var kun de store, der brugte det (og de har næsten lært, at det ikke er nok at lave en robots.txt-fil). Det hænder at du stadig kan finde interessante ting i robots.txt. God jagt 😉
Hej,
Ja, det stämmer att vi medvetet har blockerat GoogleBot med hjälp av robots.txt. Anledningen är helt enkelt att precis som du skriver bytt till en ny webbplattform. Den gamla plattformen var inte indexerad av Google pga. tekniska begränsingar, därav ett magert sökresultat när du söker.
Vi har under de senaste veckorna förberett sajten ur ett SEO-perspektiv med bland annat korrekta URL:ar etc, innan det jobbet är klart fanns det ingen fördel med att släppa in sökmotorerna, då alla URL:er ändras dagligen.
I det närmaste kommer dock robots.txt att ändras och då får vi se resultatet.
Mvh,
Cristoffer,
Omegapoint (leverantör av webbplattformen)
Satme godt spottet. Jeg vil ikke være personen der har lavet den robots fil 😀
Shit det må have kostet dem dyrt. – Men de har så lært det den dyre vej 🙂 – Gad vide om deres IT afdeling eller webbureau ikke lige har fået en reprimande
Kommentarfeltet er lukket. Fang mig på LinkedIn i stedet.