O Google afirma que a melhor maneira de ocultar um site dos resultados de pesquisa é com uma senha, mas existem outras opções que você pode considerar.
Este assunto é abordado no episódio mais recente da série de vídeos "Ask Googlebot" no YouTube.
John Mueller, do Google, responde a uma pergunta sobre como impedir que o conteúdo seja indexado nos resultados de busca e se isso é algo que os sites têm permissão para fazer.
“Resumindo, sim, você pode”, diz Mueller.
Existem três maneiras de ocultar um site dos resultados de pesquisa:
- Use uma senha
- rastejando em quarteirões
- Indexação de blocos
Os sites podem optar por não serem indexados completamente ou podem ser indexados e ocultar o conteúdo do Googlebot usando uma senha.
Bloquear conteúdo para o Googlebot não infringe as diretrizes para webmasters, desde que o mesmo conteúdo seja bloqueado para os usuários ao mesmo tempo.
Por exemplo, se o site estiver protegido por senha quando rastreado pelo Googlebot, ele também deverá estar protegido por senha para os usuários.
Alternativamente, o site deve ter diretrizes implementadas para impedir que o Googlebot rastreie ou indexe o site.
O problema pode surgir se o seu site exibir conteúdo diferente para o Googlebot em comparação com o conteúdo exibido para os usuários.
Isso se chama "cloaking" e viola as diretrizes do Google.
Feita essa distinção, aqui estão as maneiras corretas de ocultar conteúdo dos mecanismos de busca.
3 maneiras de ocultar conteúdo dos mecanismos de busca
1. Proteção por senha
Proteger um site com senha costuma ser a melhor abordagem se você deseja manter a privacidade do seu site.
Uma senha garantirá que nem mecanismos de busca nem usuários aleatórios da internet consigam ver seu conteúdo.
Essa é uma prática comum para sites em desenvolvimento. Publicar o site online é uma maneira fácil de compartilhar o trabalho em andamento com os clientes, ao mesmo tempo que impede que o Google acesse um site que ainda não está pronto para ser visualizado.
2. Rastejamento em Blocos
Outra forma de impedir que o Googlebot acesse seu site é bloqueando a indexação. Isso é feito com o arquivo robots.txt.
Com esse método, as pessoas podem acessar seu site por meio de um link direto, mas ele não será indexado pelos mecanismos de busca "bem-comportados".
Essa não é a melhor opção, diz Mueller, porque os mecanismos de busca ainda podem indexar o endereço do site sem acessar o conteúdo.
É raro isso acontecer, mas é uma possibilidade da qual você deve estar ciente.
3. Indexação de Blocos
A terceira e última opção é bloquear a indexação do seu site.
Para isso, você adiciona uma meta tag robots noindex às suas páginas.
A tag noindex informa aos mecanismos de busca para não indexarem essa página até que... depois de Eles rastejam por ali.
Os usuários não veem a meta tag e ainda conseguem acessar a página normalmente.
Considerações finais de Mueller
Mueller conclui o vídeo dizendo que a principal recomendação do Google é optar pelo uso de senhas:
De forma geral, para conteúdo privado, nossa recomendação é usar proteção por senha. É fácil verificar se está funcionando e impede que qualquer pessoa acesse seu conteúdo.
Bloquear a indexação ou o rastreamento é uma boa opção quando o conteúdo não é privado. Ou se houver apenas partes de um site que você gostaria de impedir que apareçam nos resultados de pesquisa.
___
by Matt Sul
fonte: SEJ
