Por que os números em web analytics não batem?

Share on facebook
Share on twitter
Share on linkedin
Share on whatsapp
Share on telegram
Share on pocket

A experiência em sistemas de métricas web mostra que os populares softwares de web analytics dificilmente batem entre eles e com os sistemas de AdServer. Isto ocorre por diversas razões, como o uso de diferentes metodologias de coleta de dados e o modo como os serviços de medição processam as informações obtidas.

Vamos entender um pouco do porque isso ocorre.

Web analytics vs. Ibope NetRatings

Este é o mais fácil de explicar. Apesar do pessoal do Ibope ter um painel espelhando estatisticamente o mercado brasileiro, a base deste painel é domiciliar. Como os web analytics dos sites fazem a medição independente do local de acesso, aí surge a discrepância entre os números.

Em análises feitas há alguns anos, quando eu ainda trabalhava lá, apesar dos números não serem os mesmo, os gráficos de tendências registravam o mesmo formato em vários clientes do serviço do Ibope.

É importante entender que são soluções para diferentes problemas, uma vez que o Ibope NetRatings tem a visão a partir das pessoas que formam o painel e fornece, assim, informações do mercado todo, inclusive de sua concorrência. Mostra o perfil dos visitantes e outras ferramentas que ajudam muito nas análises do seu site. No web analytics, a visão é a partir do seu site e portanto mais próximo da sua realidade.

Web analytics ? log vs. tag

Tecnologias diferentes, números diferentes – esta é uma máxima na área de métricas web.

A tecnologia de log coleta todas as informações que foram enviadas do servidor para um browser que requisitou uma página. A tecnologia de tag, por outro lado, está no código da página requisitada e necessita que esta seja processada para que ele converse com o servidor da aplicação de web analytics.

Gostaria aqui de levantar um problema normal em qualquer site: se não houver um processo formal de colocação de tags nas novas páginas, os seus números nos web analytics vão sempre ter problemas. Isto ocorre porque sempre procuramos colocar as tags em todas as páginas quando iniciamos a implementação, mas com o passar do tempo, sem um processo de colocação das tags, podemos ter páginas esquecidas e aí começam as diferenças.

Fora este problema (mais comum do se imagina), a diferença de tecnologias e metodologias nos fornecerá diferenças, às vezes gritantes, entre os dois métodos de coleta de informação.

Alguns pontos podem ampliar a diferença destes números:

  • Filtros para visitas oriundas de nossa própria empresa, comuns em sistemas com tags, aumentam a diferença do número de visitas com relação aos logs que coletam tudo.
  • Você pode eliminar no sistema de log os robôs que circulam na rede. A não eliminação destes robôs pode afetar a medição correta.
  • Programas de TI que monitoram uma página ou um grupo delas.
  • Por questão de melhores práticas, colocamos as tags no final de cada página. Se o nosso visitante chegar à página, mas sair antes dela estar totalmente carregada, provavelmente você terá uma visita no sistema de log e nenhuma no sistema de tag, pois esta não foi processada. Isto ocorre quando o visitante clica em um link antes da página ser completada ou mesmo quando ele fecha o browser.
  • O mesmo caso acima ocorre se houver algum erro de JavaScript antes da tag ser processada; neste caso o processo não ocorre e portanto não há a contabilização da visita, mas o log está lá contabilizando o que ele enviou.
  • O sistema de tag utiliza cookies para identificar se aquele PC já visitou nossa página e com isso a medição de visitantes únicos é mais coerente, mesmo que alguns usuários apaguem os cookies regularmente, do que o sistema de log. Este último baseia-se em IP e em User Agent (que identifica o browser que você esta usando) e o horário de acesso para definir o visitante único. Se o usuário está em uma empresa que possui somente um IP de saída para a internet e tem configuração padrão de browser em seus PCs será contabilizado (a grosso modo, porque ainda temos o fator tempo) como um único visitante. Um visitante residencial que tem IP variável pode ser contabilizado como vários visitantes únicos se entrar em seu site em diferentes horas do dia.
  • É possível você utilizar uma página de redirecionamento para que o sistema de log possa acompanhar quando um visitante clicar em um link externo, para que você possa mensurar este tipo de comportamento; neste caso não é aconselhável colocar uma tag nesta página, o que contribui para a diferença dos números de páginas vistas.
  • Alguns web analytics com tags, como é o caso do Google Analytics, não contabilizam redirect ?302?, que é computado pelos leitores de log.

Web analytics vs. web analytics

As informações de web analytics não são exatas e você verá que esta não é uma questão simples. Utilizadas corretamente, elas podem certamente ajudá-lo a crescer e entender o seu negócio. No entanto, é fácil utilizá-las indevidamente e leva-se um sofisticado nível de especialização para usá-las de uma maneira ótima. O maior problema destes serviços continua sendo a implementação.

Outro ponto é que é rara a análise da web bem feita. No entanto, quando feita com cuidado e conhecimento, pode proporcionar uma excelente ROI sobre o tempo e o dinheiro colocado neste processo – e é assim que se obtém uma grande vantagem sobre seus concorrentes.

Uma pesquisa feita por especialistas no EUA (no Web Analytics Shootout 2007) colocou vários serviços de web analyticas para medir uma página e obteve resultados com diferenças na ordem de mais de 150%.

As diferenças podem ser resultado das seguintes situações:

  • Local onde você coloca a sua tag – como vimos, o ideal é ser colocada no final da página.
  • Outro fator importante são as diferentes definições do que cada pacote está contando. Os softwares de analytics contam o número de visitantes e visitantes únicos baseados no conceito de sessões. Com isso, cada web analytics contará suas sessões de maneira diferente, com um profundo impacto sobre os números reportados. Não se trata de um erro; é somente a maneira como cada um trabalha.

A implementação do serviço de web analytics em seu site poderá ser o motivo destes desvios de contabilização.

analytics_teste.jpg

.

.

.

.

.

.

.
No exemplo acima você pode ver que os números não batem, mas a diferença entre eles é pequena. Dê uma olhada na análise de desvio padrão abaixo para o mesmo site:

anaytics_test1.jpg

.

.

.

Ou seja, apesar de não terem o mesmo número para cada métrica analisada, pela estatística, todos são muito similares.

Web analytics vs. AdServers

Discrepância é a palavra de ordem neste caso. A grande pergunta é o que é aceitável. Eu sugiro para os meus clientes algo em torno de 15%.

Alguns dos pontos que mostramos na diferença entre tag e log podem ser vistos aqui também:

  • O cliente clica no AdServer e ao chegar ao seu site ele toma alguma outra ação antes que a sua tag seja executada – aí teremos mais cliques no AdServer do que a medição de seu web analytics.
  • O mesmo ocorre se em sua página tiver um erro de Java Script. Com isso a tag não é executada e haverá mais clique no AdServer que no seu web analytics.
  • É preciso analisar quando teremos campanhas enormes, como acontece no caso de grandes empresas. Como em qualquer software, é preciso saber se o AdServer é escalável, ou seja, se pode acompanhar o crescimento da sua campanha e se tem sistemas de TI que suportem o tamanho de sua campanha. Este cenário dá mais dor de cabeça aos veículos de mídia, pois eles procuram ter um serviço que comporte grandes volumes, diante do número apresentado pela agência ou anunciante, se este exceder a capacidade do software.

    De qualquer maneira, é muito interessante pedir à sua agência que envie o link e a senha de acesso dos dados do AdServer da sua campanha para que você possa ter os números e não ter dúvida sobre eles. Este foi o relatório da campanha da nossa empresa para o curso de Web Analytics que foi veiculada aqui no Webinsider e o pessoal do UOL nos enviou o link para acompanhamento:

    analytics_adserver.jpg

    Conclusão

    Sabendo que não é possível em um único artigo esclarecer por completo o tema, espero que tenha colocado um pouco de luz no assunto. [Webinsider]

    Avatar de Ruy Carneiro

    Ruy Carneiro (ruy.carneiro@waconsulting.com.br) é sócio da WA Consulting, consultoria em web analytics e análise de métricas, e diretor do comitê de Web Analytics da IAB Brasil.

Share on facebook
Share on twitter
Share on linkedin
Share on whatsapp
Share on telegram
Share on pocket

10 respostas

  1. Tou com um problema, gostaria que você me ajudasse.
    Tenho em meu site um sistema que contabiliza cliques nas publicidades dos clientes.
    Até ai ok, mas, o client colocou o analytics no domínio dele e a fonte de referência do analytics nesse dia da publicidade indicou que vindo do meu domínio no trafego direto ele teve 141 acessos,

    porém no meu sistema indica que houve 1451 cliques na publicidade

    tem algo haver com aquele (referreal)?

  2. Sou ignorante no assunto website e monitoramento.

    Criei um blog e instalei o Google Analytics. No extrato, noto que o Analytics não está funcionando corretamente. Há dias, por exemplo, que um visitante fica mais de 5 minutos no site e o Analytics diz que a taxa de rejeição desse usuário foi de 100%, e um outro visitante que ficou 1 min, o Analytics diz que este aprovou o site em 100%. Não entendo qual é a métrica aqui.

    Outros dias, também noto que o amung-us aponta que estou com visitantes de outras cidades da Europa e o Google Analytics nada diz a respeito.

    Sinceramente, não sei em que programa confiar quando o assunto é análise do website.

    Me sinto um marido traído, que sabe que é passado para trás, mas mesmo assim fico com esses softwares de monitoramento que só contam mentiras ou meias verdades. Ou seja, ruim com eles, ruim sem eles.

  3. Paulo,
    você pode usar o IBOPE NetRatings, comScore, ou pedir uma verificação dos números diretamente pelo Web Analytics do parceiro.
    Existe ainda o Alexa (www.alexa.com), mas o painel é realizado com quem possui a barra do Alexa no browser, o que não tem muita gente no Brasil.

  4. Bom dia! Eu gostaria de saber qual site informa o número de acessos realizados num determinado site, blog (como é o caso acima! Para confirmar a veracidade das informações para fechar uma parceria….Obrigado e bom feriado!!! Paulo Oliveira

  5. Ótima matéria.

    Acredito que muitas pessoas sempre ficam com a pulga atrás da orelha quando comparam números.

    A matéria esclarece muitas dúvidas sim.

    Parabéns

  6. Ruy, parabéns pelo artigo! Ficou muito bom …

    Acho que, apesar dos números não baterem, a diferença entre eles é muito pequena (quando implementado corretamente) e cada uma das ferramentas de webanalytics possuem seu diferencial. Saber usar o melhor de cada ferramenta, propicia análises bastante significativas para o sucesso do negócio.

    Abraços, Gerson

  7. Até que enfim alguém provou, por A+B, coisas que eu desconfiava mas nunca podia afirmar antes. Parabéns pelo artigo! Muito elucidativo.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *