Robots.txt
Robot (ou robô) é um programa de computador que percorre automaticamente as páginas da Internet em busca de documentos, a fim de indexá-los, validá-los ou monitorar alterações de conteúdo. Para controlar as atividades desses robots durante suas buscas, opcionalmente, webmasters podem criar um arquivo chamado robots.txt no diretório raíz de um determinado endereço web. Robots.txt é um arquivo no formato texto (.txt) que funciona como “filtro” para os Crawlers e robots dos motores de busca da Internet, permitindo ou bloqueando o acesso a partes ou à totalidade de um determinado site.
Fonte: Wikipédia
