3.3.9 Använd metadata för sökmotorinstruktioner

Prioritet: 3

De flesta sökmotorer respekterar instruktioner om att vissa sidor inte ska indexeras. Det finns två alternativ för att ge en sökmotor information om vilka sidor som inte ska indexeras:

Sökmotorinstruktioner i en textfil

Sökmotorinstruktionerna bör kompletteras med en robot.txt-fil som anger vilka delar av webbplatsen som inte ska indexeras. Sökmotorns instruktioner placeras i en textfil, ”robots.txt” –filen placeras i webbplatsens rotkatalog. Sidor som inte innehåller direkt information till användaren, som inloggningssidor, bör anges i denna fil. Strukturen i filen anges nedan:

User-agent: *
Disallow: /login/
Disallow: /error.htm

Dessa instruktioner säger att inga filer i katalogen login ska indexeras samt att filen error.htm också ska exkluderas från indexeringen.

Sökmotorinstruktioner på enskilda sidor

Elementet nedan kan användas i metadata på enskilda sidor för att förhindra indexering.

<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />

Uppdatering

Låt sökmotorer indexera så mycket som möjligt

Att undanta material från indexering bör bara göras om det finns mycket starka skäl. Ju fler sökmotorer som kunna ta del av innehållet, desto fler medborgare har möjlighet att hitta rätt på din webbplats. Genom att undanta information minskar du möjligheterna till insyn i verksamheten och försvårar för många att ta reda på det material ni tillhandahåller.

För mer information se artikeln e-Exclusion and Bot Rights: Legal aspects of the robots exclusion standard for public agencies and other public sector bodies with Swedish examples av Nicklas Lundblad.

Slut på uppdatering

Exempel

W3C:s robot.txt-fil.

Fördjupning

Metadata för externa sökmotorer.


Senast uppdaterad 2009-01-31