Jeg tror Panduro Hobby undrer sig meget over hvorfor der ikke kommer mere trafik til deres side end der gør. Det kunne se ud som om, at de lige har fået ny webshop platform – og det er formentlig det de giver årsagen til at de får 0 besøgende fra Google.
Det er desværre bare ikke den fulde sandhed. Årsagen findes i en ganske lille, men meget magtfuld fil hvis brugt forkert.
Robots.txt står til disallow
En lille robots.txt fil kan bruges til at holde søgemaskinerne væk fra at indeksere ens side – eller sider. Typisk bruges den til at sørge for Google eller andre søgemaskiner ikke indekserer sider som administrationen, dokumentmapper eller andet. Nogle webbureauer bruger den også til at sørge for Google ikke indekserer et demo-domæne mens man arbejder på en ny platform eller nyt design.
Panduro Hobby’s robots.txt fil ser således ud:
Linien
Disallow: /
fortæller søgemaskinerne, herunder også Google, at det ikke er tilladt at indeksere nogle sider, på hele websitet, overhovedet. Jeg har svært ved at tro på, at det har været Panduro Hobby’s intention.
En robots.txt fil der ser således, giver et billede i Google når man laver en site-søgning der ser sådan her ud:
Det der formentlig er sket, er at det webbureau der har lavet PanduroHobby.dk sikkert har arbejdet på et demo-domæne, og sat en robots.txt op for at undgå indeksering. Det er som sådan fint nok – men meget uheldigt at de så har glemt at fjerne den igen, da det er gået live.
Bedre blokering af Google ved demo-domæne
Normalt ville jeg nok have gemt et demo-domæne bag et login – eller brugt et “noindex” tag i stedet. Google indekserer faktisk en smule af sitet ved brug af robots.txt, som du kan se på ovenstående billede. Så hvis du har et demo-domæne, kan den rent faktisk optræde i Google stadigvæk. Der er “noindex” ofte en bedre løsning.
Jeg håber da at dette indlæg kan være med til at Panduro Hobby får løst deres problemer – men ligeså meget at du forstår der rent faktisk findes sådan en fin lille robots.txt fil, som kan skade dit website i meget store dimensioner.
Gad vide hvor meget Panduro Hobby har mistet i fortjeneste på sådan en “lille” fejl ?.
Så kommer der ingen trafik til dit website – så blokerer du nok Google på den ene eller anden måde.