Robots.txt, web sitenizin kök dizininde bulunur ve sitenizi taramaya gelen arama motorlar?na hangi sayfalar?n?z? taray?p hangilerini dizinlerine ekleyebileceklerini söyleyen bir komut dosyas?d?r. Sitenize gelen botlar burada önem düzlük komutlar? kovu?turulma ederek devinim de?er.Kendiniz haz?rlad???n?z ya da bir tekst yazar?na haz?rlatt???