A essa altura do campeonato quase todo mundo já sabe que os buscadores (como Google, Yahoo, etc) se utilizam de robôs (spiders) para vasculhar a web e alimentar seus bancos de dados.

O que nem todos sabem é que diferentes robôs de um mesmo buscador, neste caso o Google, podem ter uma influência diferente na maneira como o Google vê, indexa e dá relevância para seu site ou páginas do site.

Vamos conhecer os diferentes robôs de indexação do Google:

Google Image Bot (agente: Googlebot-Image)

Como o próprio nome já diz, este robô é responsável pela indexação de imagens no Google Images. A periodicidade deste robô é muito menor que a do robô de indexação de páginas, visitando as páginas apenas algumas vezes ao ano, portanto é comum que leve muito mais tempo para ver suas imagens indexadas no Google Images.

Para quem prefere não indexar as imagens de seu site, é possível utilizar o seguinte arquivo robots.txt no index do site…
User-agent: Googlebot-Image
Disallow: /

Google Mobile Bot (agente: Googlebot-Mobile)

Não é bem um robô de indexação, mas sim um robô que ajuda um usuário de mobile na navegação; portanto é um robô, mas significa uma visita (usuário real). Este robô pega o conteúdo da página e tenta transformá-lo num formato mais compatível para as telinhas dos telefones (XHTML).

Muitos webmasters preferem coibir a ação deste robô para que não haja interferência no formato do conteúdo disponibilizado nas páginas. Para excluir no robot.txt, basta incluir o código:
User-agent: Googlebot-Mobile
Disallow: /

Google AdSense Bot (agente: Mediapartners-google)

Este robô rastreia o código dos parceiros de publicidade do Google (AdSense) especialmente para entender o conteúdo das páginas para melhor direcionar os anúncios de sua rede de conteúdo.

Uma coisa muito importante é que o Google (na pessoa do lendário Matt Cutts) já confirmou que o robô do AdSense ajuda o robô de indexação do Google (Googlebot) a encontrar novas páginas. Portanto disponibilizar anúncios do Google nas páginas de seu site pode ajudar e acelerar a indexação de seu conteúdo nos resultados de busca orgânica do Google.

Google AdWords Bot (agente: AdsBot-Google)

Este robô é voltado para os anunciantes de links patrocinados. Atualmente a relevância de um link patrocinado no Google é dada por uma série de fatores que compõem o chamado Quality Score. Entre estes fatores inclui-se a relevância do conteúdo das páginas (landing page do anúncio) em relação à palavra-chave e texto do anúncio. O AdWords Bot portanto vai fazer esta tarefa de verificar o conteúdo.

Este robô também pode ser bloqueado (como todos), mas neste caso o fator de relevância do Quality Score que considera seu conteúdo será penalizado e seu CPC pode (e provavelmente irá) subir. Para não penalizar aqueles que bloqueiam o acesso de todos os agentes, o AdsBot ignora bloqueios gerais (user-agent:*).

Googlebot (agente: Googlebot/2.1)

Finalmente chegamos ao famoso robô de indexação orgânica do Google. O Googlebot (o original) é o responsável por encontrar e indexar o infindável universo de páginas da web. Embora utilize o mesmo agente (Googlebot/2.1) estamos falando de dois robôs, com funções distintas e diferenciados pelo número de IP, conforme vemos a seguir:

FreshBot (agente: Googlebot/2.1)

A função do FreshBot, também carinhosamente apelidado de Minty, é vasculhar a web e encontrar novos conteúdos, novas páginas e novos sites. O Freshbot é bastante ativo e o grande responsável pelo GoogleDance*, que provoca altos e baixos nos resultados.

O Freshbot pode ser reconhecido pelo número inicial de IP ?64.? e em uma ação de SEO é importante para manter seu conteúdo sempre atualizado nos resultados do Google. Quanto maior a freqüência de atualizações de suas páginas, maior a freqüência de visitação do Freshbot.

DeepBot (agente: Googlebot/2.1)

O Deepbot é menos ativo, aparece normalmente uma vez por mês, após a varredura do FreshBot durando sua ação em média uma semana. Para SEO, o DeepBot normalmente tem maior importância por ser o verdadeiro responsável por alimentar as páginas no banco de dados do Google e por ser aquele que avalia a estrutura de links dos sites para atribuir o Page Rank.

O Freshbot pode ser reconhecido pelo número inicial de IP ?216.?

Os robôs do Google não param por aí – existem robôs para indexação de RSS, Notícias, etc. Todos têm suas particularidades e podem ser utilizados de uma maneira ou de outra para ações de SEO.

*Curiosidade: Google Dance também é o nome das festas realizadas pelo Google (no Brasil e no mundo) para seus funcionários, parceiros e clientes.

Atenção: observe a data de publicação deste artigo. Os nomes, referências e versões dos robôs podem mudar com o passar do tempo. [Webinsider]

.

Alexandre Kavinski

Alexandre Kavinski (kavinski@gmail.com) é um hopeless romantic.