Masaustunde herhangi bir bos alana fareniz ile sag tiklayin ve yeni bir “Metin Belgesi” olusurun. Daha sonra bunun adini “robots” olarak degistirin. Olusturdugunuz ve adini degistirdiginiz bu dosyanin icerigini bu yazida bahsedilen sekilde duzenleyin ve sunucunuzun kok dizinine gonderin.
ôrnek bir robots.txt ôrnegi gôstereyim, mantigi anlamana yeterli olur.
Kod: Kodu kopyalamak için üzerine çift tıklayın!
User-Agent: *
Disallow: /wp/wp-content/
Sitemap:
Bu forumdaki linkleri ve resimleri görebilmek için en az 25 mesajınız olması gerekir.type="text/javascript" src="https://code.jquery.com/jquery-1.12.0.min.js">
Tüm robotların Sitenizin tamamını indekslemesini engellemek için;
PHP Kod: Kodu kopyalamak için üzerine çift tıklayın!
User-agent: *
Disallow: /
Sitenizin tamamının robotların birisi tarafından indekslenmesini engellemek için; PHP Kod: Kodu kopyalamak için üzerine çift tıklayın!
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: