5 formas de como criar o arquivo robots.txt

Como configurar o robots.txt

Nesse tutorial sobre o robots.txt vou abordar cinco formas de como criar esse arquivo. O robots.txt e sitemap são arquivos obrigatórios quando falamos em SEO (Otimização de mecanismos de pesquisa), mas a principal função do robots.txt é bloquear ou permitir a indexação de páginas, vídeos, imagens do seu site nos buscadores sendo o Google o Rei do buscadores e o Bing e Yahoo serviçais. O Google representa em média 95% dos acessos no Brasil e o Bing e Yahoo em média 2% cada.

Se você esta publicando diversos conteúdos no seu site e não precisa bloquear nada, então o robots.txt não se faz necessário, isso por que, os robôs dos buscadores quando chegar no seu site e não encontrar o arquivo eles vão considerar que todos as páginas do site esta livre para ser indexada.

Para efeito de curiosidade, o robots.txt é de acesso livre sendo possível ser acessado de qualquer site que utiliza ele, e para poder visualizar basta seguir esse exemplo: google.com/robots.txt

como-configurar-o-robot-txt

 

Para ter mais informações, assista o vídeo que estou explicando cinco situações diferentes de como configura-lo.

Se esse tutorial foi útil para você, compartilha o vídeo e se escreva no canal clicando na imagem abaixo.

banner-se-inscreva-no-canal-72890