Alexa bot engelleme
Alexa botu takip ettiği sitedeki robotx.txt dosyasındaki kurallara saygılıdır ve uyar.
Genel olarak tüm botları engellemek için User-agent: *
Disallow: /
Seçtiğiniz belirli dizinleri engellemek için (genelde resimler images klasöründedir) User-agent: *
Disallow: /images/
alexa botu engellemek isterseniz ismi "ia_archiver" dır ve alltaki satırları robots txt nize eklerseniz alexa bot sitenizi gezmeyecektir. User-agent: ia_archiver
Disallow: / |