A essa altura do campeonato quase todo mundo já sabe que os buscadores (como Google, Yahoo, etc) se utilizam de robôs (spiders) para vasculhar a web e alimentar seus bancos de dados.
O que nem todos sabem é que diferentes robôs de um mesmo buscador, neste caso o Google, podem ter uma influência diferente na maneira como o Google vê, indexa e dá relevância para seu site ou páginas do site.
Vamos conhecer os diferentes robôs de indexação do Google:
Google Image Bot (agente: Googlebot-Image)
Como o próprio nome já diz, este robô é responsável pela indexação de imagens no Google Images. A periodicidade deste robô é muito menor que a do robô de indexação de páginas, visitando as páginas apenas algumas vezes ao ano, portanto é comum que leve muito mais tempo para ver suas imagens indexadas no Google Images.
Para quem prefere não indexar as imagens de seu site, é possível utilizar o seguinte arquivo robots.txt no index do site…
User-agent: Googlebot-Image
Disallow: /
Google Mobile Bot (agente: Googlebot-Mobile)
Não é bem um robô de indexação, mas sim um robô que ajuda um usuário de mobile na navegação; portanto é um robô, mas significa uma visita (usuário real). Este robô pega o conteúdo da página e tenta transformá-lo num formato mais compatível para as telinhas dos telefones (XHTML).
Muitos webmasters preferem coibir a ação deste robô para que não haja interferência no formato do conteúdo disponibilizado nas páginas. Para excluir no robot.txt, basta incluir o código:
User-agent: Googlebot-Mobile
Disallow: /
Google AdSense Bot (agente: Mediapartners-google)
Este robô rastreia o código dos parceiros de publicidade do Google (AdSense) especialmente para entender o conteúdo das páginas para melhor direcionar os anúncios de sua rede de conteúdo.
Uma coisa muito importante é que o Google (na pessoa do lendário Matt Cutts) já confirmou que o robô do AdSense ajuda o robô de indexação do Google (Googlebot) a encontrar novas páginas. Portanto disponibilizar anúncios do Google nas páginas de seu site pode ajudar e acelerar a indexação de seu conteúdo nos resultados de busca orgânica do Google.
Google AdWords Bot (agente: AdsBot-Google)
Este robô é voltado para os anunciantes de links patrocinados. Atualmente a relevância de um link patrocinado no Google é dada por uma série de fatores que compõem o chamado Quality Score. Entre estes fatores inclui-se a relevância do conteúdo das páginas (landing page do anúncio) em relação à palavra-chave e texto do anúncio. O AdWords Bot portanto vai fazer esta tarefa de verificar o conteúdo.
Este robô também pode ser bloqueado (como todos), mas neste caso o fator de relevância do Quality Score que considera seu conteúdo será penalizado e seu CPC pode (e provavelmente irá) subir. Para não penalizar aqueles que bloqueiam o acesso de todos os agentes, o AdsBot ignora bloqueios gerais (user-agent:*).
Googlebot (agente: Googlebot/2.1)
Finalmente chegamos ao famoso robô de indexação orgânica do Google. O Googlebot (o original) é o responsável por encontrar e indexar o infindável universo de páginas da web. Embora utilize o mesmo agente (Googlebot/2.1) estamos falando de dois robôs, com funções distintas e diferenciados pelo número de IP, conforme vemos a seguir:
FreshBot (agente: Googlebot/2.1)
A função do FreshBot, também carinhosamente apelidado de Minty, é vasculhar a web e encontrar novos conteúdos, novas páginas e novos sites. O Freshbot é bastante ativo e o grande responsável pelo GoogleDance*, que provoca altos e baixos nos resultados.
O Freshbot pode ser reconhecido pelo número inicial de IP ?64.? e em uma ação de SEO é importante para manter seu conteúdo sempre atualizado nos resultados do Google. Quanto maior a freqüência de atualizações de suas páginas, maior a freqüência de visitação do Freshbot.
DeepBot (agente: Googlebot/2.1)
O Deepbot é menos ativo, aparece normalmente uma vez por mês, após a varredura do FreshBot durando sua ação em média uma semana. Para SEO, o DeepBot normalmente tem maior importância por ser o verdadeiro responsável por alimentar as páginas no banco de dados do Google e por ser aquele que avalia a estrutura de links dos sites para atribuir o Page Rank.
O Freshbot pode ser reconhecido pelo número inicial de IP ?216.?
Os robôs do Google não param por aí – existem robôs para indexação de RSS, Notícias, etc. Todos têm suas particularidades e podem ser utilizados de uma maneira ou de outra para ações de SEO.
*Curiosidade: Google Dance também é o nome das festas realizadas pelo Google (no Brasil e no mundo) para seus funcionários, parceiros e clientes.
Atenção: observe a data de publicação deste artigo. Os nomes, referências e versões dos robôs podem mudar com o passar do tempo. [Webinsider]
.
5 respostas
Eu chamo-me Luis.Tenho 8 anos e 2 meses,ou seja,
98 meses.Aprendo a mexer em tecnologia.
Muito bom, gostaria de se manter informado de novas atualizações sobre estes robots.
Uma dica: coloque o botão que dá opções de receber por email quando alguém posta uma mensagem.
Muito Bom…
Alex
A familia bot é muito grande.
O pessoal dessa familia é bem legal , o Fresh que é meio fresco ajuda o Googlebot por que ele é famoso, e o Deep, esse preguiçoso… trabalha uma vez por mês ! Cria vergonha nessa cara seu Deep, robô vagabundo.
Muito bom Alexandre!
Informações valiosas para os SEOs!
O Google cria tantas coisas em um período tão curto de tempo que fica até difícil se atualizar, mas essa foi uma grande ajuda!
Obrigado.