Robots.txt, web sitenizin kök dizininde bulunur ve sitenizi taramaya mevrut arama motorlar?na hangi sayfalar?n?z? taray?p hangilerini dizinlerine ekleyebileceklerini mütekellim bir komut dosyas?d?r. Sitenize gelen botlar burada taraf alan komutlar? kovu?turulma ederek faaliyet paha.Bu da nüans edilebilirli?i fazlal?kr?r ve amaç kitlenize ula?m