O que é Robots.txt
Robots.txt é o arquivo na raiz do site que diz aos buscadores o que rastrear e o que ignorar. É instrução de acesso, não de indexação.
Na prática
Erro clássico e caro: bloquear no robots.txt uma página que já estava indexada. O Google para de ver o conteúdo, mas o endereço pode continuar aparecendo, agora sem descrição.