robots.txt - Sivujen indeksointi hakukoneissa

robots.txt - Sivujen indeksointi hakukoneissa

robots.txt tiedostolla tai metatageilla voi kieltää hakukoneita indeksoimasta haluttuja sivuja. Kaikki hakukoneet eivät kuitenkaan näitä noudata, mutta yleisimmät hakukoneet kyllä, kuten esim. www.google.fi
Yksinkertaisesti luot robots.txt tiedoston, jonka sisältö on seuraavanlainen:

User-Agent: *
Disallow: /

Ja lopuksi siirrä tiedosto kotisivusi juurihakemistoon, jossa sijaitseen myös aloitussivun tiedosto (kuten: index.html)

User-Agent rivi kertoo, mitä hakukoneita "käsky" koskee. Tähti (*) tarkoittaa kaikkia hakukoneita.
Disallow rivi taas kertoo kohteen, mitä ei indeksoida.
Esim. pelkkä Disallow: / estää koko sivustosi indeksoinnin kun taas Disallow: /testihakemisto/ estää vain testihakemistossa olevan materiaalin indeksoinnin.

Saman voi tehdä myös sivukohtaisesti metatagia käyttäen.
Yksinkertaisesti <HEAD> </HEAD> tagien väliin luo allaoleva rivi.

Takaisin etusivulle | Palaa ylös