Ikke mange web-master ta tid å bruke en robots.txt-fil for deres nettsted. Robots.txt-filen kan være svært nyttig i å holde spiders indekserer faktiske sidene og ikke annen informasjon, for eksempel søker gjennom din statistikk for søkemotoredderkopper bruke robots.txt til å se hvilke mapper du vil søke gjennom!
Robots.txt-filen er nyttig inne holder din edderkopper fra å få tilgang til deler mapper og filer i katalogen for hosting som er helt urelaterte til din faktiske nettsted innhold. Du kan velge å ha edderkoppene holdt ut av områder som inneholder programmering at søk motorer ikke kan analysere riktig, og for å holde dem ute av web statistikk-delen av nettstedet.
Mange søkemotorer kan ikke vise dynamisk generert innhold riktig, hovedsakelig laget av programmeringsspråk, for eksempel PHP eller ASP. Hvis du har en Internett-butikk programmert i din hosting konto, og det ligger i en egen mappe, ville du være klokt å blokkere spiders from denne mappen slik at den bare finner relevant informasjon.
Robots.txt-filen skal plasseres i mappen der de viktigste filene for vertsleverandøren er plassert. Slik du ville rådes til å opprette en tom tekstfil og lagre den som robots.txt og laste den opp til din web er hosting i samme katalog index.htm-filen plassert.
Her er eksempler på bruk av robots.txt-filen:
Til å blokkere ut en katalog i en robots.txt-fil som kalles en undermappe for online-butikken /store/ du vil gjøre følgende:
Ikke Tillat: /store/
Et annet eksempel til å blokkere ut statistikk-mappen:
Ikke Tillat: /stats/
Du kan også vil forby individuelle filer som du ikke vil søkte av søkemotorer. Du dont vil for eksempel search.php analyseres av søkemotorer. Dette gjør type inne fulgte på en egen linje:
Ikke Tillat: /search.php
Etter reglene beskrevet og oppretting av robots.txt-filen, vil du holde søkemotoredderkopper ut av uønskede filer og kataloger, og la dem gå gjennom viktig-filene for å se hva webområdet handler om!
No comments:
Post a Comment