Como conceder acesso aos rastreadores do Google no robots.txt
Para garantir o rastreamento dos seus sites, verifique se você concedeu acesso aos rastreadores do Google. Lembre-se de que é preciso ativá-los no robots.txt. Para ver instruções sobre como fazer isso, consulte o artigo Permitir que nosso rastreador acesse seu arquivo robots.txt.
Como conceder acesso a qualquer conteúdo protegido por login
Se você tem um conteúdo protegido por login, configure um login do rastreador. Se você não tiver fornecido um login aos nossos rastreadores, eles poderão ser redirecionados para uma página que solicita informações de acesso. Isso resulta na violação da política de “Nenhum conteúdo” ou em um erro 401 (Não autorizado) ou 407 (Autenticação de proxy necessária), impossibilitando o rastreamento do conteúdo.
Como substituir URLs
Se você estiver substituindo o URL da página em tags de anúncios, os rastreadores do Google não conseguirão buscar o conteúdo da página que está solicitando um anúncio, principalmente se o URL da página substituída estiver incorreto. De modo geral, o URL enviado ao Google na solicitação de anúncio deve corresponder ao URL real da página monetizada para garantir que o Google processe as informações contextuais certas.
Problemas na veiculação de nomes
Se os servidores de nomes do seu domínio ou subdomínio não direcionarem corretamente nossos rastreadores ao seu conteúdo ou se tiverem alguma restrição quanto à origem das solicitações, os rastreadores não encontrarão o conteúdo.
Como implementar redirecionamentos
Se seu site tiver redirecionamentos, o rastreador poderá ter dificuldade para acessá-los. Por exemplo, se houver muitos deles e os redirecionamentos intermediários falharem, ou se parâmetros importantes (como cookies) forem perdidos durante o processo, a qualidade do rastreamento diminuirá. Verifique se os redirecionamentos foram implementados corretamente e considere reduzir o uso desse recurso em páginas com códigos de anúncio.
Problemas de hospedagem
Às vezes, quando os rastreadores do Google tentam acessar o conteúdo do site, os servidores dele não conseguem responder a tempo. Isso acontece porque os servidores estão inoperantes, lentos ou sobrecarregados de solicitações. Verifique se seu site está hospedado em um servidor ou provedor de serviços confiável.
Restrições geográficas, de rede ou de IP
Alguns sites protegem o conteúdo com redes ou intervalos de IP restritos (por exemplo, 127.0.0.1) ou definem restrições que limitam as regiões geográficas ou os intervalos de IP com permissão para acessar o conteúdo. Se essas restrições impedirem os rastreadores do Google de acessar todas as suas páginas, considere remover as limitações ou deixar seu conteúdo acessível ao público em geral para permitir o rastreamento dos URLs.
Conteúdo recém-publicado
Ao publicar uma página nova, você pode fazer solicitações de anúncios antes que os rastreadores do Google tenham tempo de rastrear o conteúdo. Entre alguns exemplos de sites que publicam muitos conteúdos novos estão aqueles com conteúdo gerado pelos usuários, artigos de notícias, grandes inventários de produtos e informações sobre o clima. Geralmente, quando a solicitação de anúncio é feita em um URL novo, o conteúdo é rastreado em alguns minutos. No entanto, nesses primeiros minutos, o volume de anúncios pode ser baixo porque seu conteúdo ainda não foi rastreado.
Páginas personalizadas (usando parâmetros de URL ou caminhos de URL gerados dinamicamente)
Alguns sites têm parâmetros adicionais nos URLs, indicando quem é o usuário conectado (por exemplo, um ID de sessão) ou outras informações únicas de cada visita. Quando isso acontece, os rastreadores do Google podem tratar o URL como uma nova página, mesmo que o conteúdo seja igual. Essa ação pode resultar em um atraso de alguns minutos entre a primeira solicitação de anúncio e o rastreamento da página, além de um aumento na carga do rastreador nos servidores. De modo geral, se o conteúdo da página é idêntico, considere remover os parâmetros do URL e enviar essas informações de outra forma. Uma estrutura de URL mais simples facilita o rastreamento do site.
Como usar dados POST
Se seu site envia dados POST com os URLs (por exemplo, dados de formulários enviados em uma solicitação POST), ele pode recusar solicitações que não contêm esses dados. Como os rastreadores do Google não fornecerão dados POST, essa configuração impedirá que eles acessem sua página. Se o conteúdo da página é determinado pelos dados que o usuário insere no formulário, considere usar uma solicitação GET.
