Comparação entre países no Google Trends: base local

Comparação entre países no Google Trends: a base é sempre local

Toda extração do Google Trends é normalizada pelo pico da própria extração. Isso significa que a curva de um país e a curva de outro são desenhadas em réguas diferentes, e a altura de uma não diz nada sobre o tamanho da outra. O gráfico parece comparar públicos, e compara apenas desenhos.

A confusão é compreensível. As duas curvas aparecem no mesmo eixo vertical, com a mesma escala de 0 a 100, e o olho conclui que a mais alta representa mais gente. O eixo é o mesmo; a unidade não é.

Este texto trata do que o instrumento permite afirmar sobre países, do que ele não permite e de como registrar a diferença. É um método de leitura e não é consultoria: não há diagnóstico sob medida para um caso específico.

O índice é relativo a quê

O índice vai de 0 a 100 e é relativo ao maior valor observado naquela consulta, naquele recorte de tempo e de região. O pico vale 100 por construção, e todos os outros pontos são frações do pico. Não existe uma unidade externa, como buscas por pessoa ou buscas por mês.

A normalização estatística é uma transformação que põe séries em escala comum para permitir comparação de forma. O que ela permite comparar é o desenho. O que ela apaga é o nível.

Essa escolha não é um defeito de projeto. Sem ela, termos de volume baixo apareceriam como uma linha reta no zero, e a sazonalidade de mercados pequenos seria invisível. O custo da decisão é que a escala absoluta desaparece junto com o ruído.

Por que a altura de duas curvas não informa tamanho

Quando dois países são extraídos separadamente, cada curva é normalizada ao próprio pico. A razão entre as alturas em um mês qualquer é a razão entre duas frações de picos distintos, e não existe denominador comum entre elas.

Dentro de uma mesma extração, com vários termos e uma só região, a comparação de altura tem significado, porque todos compartilham a mesma normalização. Fora desse arranjo, a comparação de altura é uma comparação entre duas réguas arbitrárias.

O exemplo estrutural dispensa números. Um termo de nicho em um mercado pequeno pode concentrar toda a busca local em uma semana e desenhar um pico estreito e alto. Um termo massivo em um mercado grande pode ter pico de volume muitas vezes maior e desenhar a mesma altura no índice, porque o índice não carrega volume.

O que permanece comparável

A forma da curva permanece comparável: a sazonalidade, a posição dos picos no calendário, a direção do movimento e o número de oscilações relevantes. Duas curvas com o mesmo desenho sugerem o mesmo tipo de evento, ainda que em escalas diferentes.

A ordem entre termos extraídos na mesma consulta permanece comparável, e essa é a comparação de magnitude mais confiável que o instrumento oferece. A posição relativa de um termo dentro do recorte é uma informação sobre preferência local, não sobre tamanho de público.

Nada disso é tamanho de mercado. O que sobrevive à normalização é o desenho, e o desenho responde a perguntas sobre comportamento e calendário. A pergunta sobre quantas pessoas buscam exige outro instrumento.

O erro mais comum do briefing internacional

O pedido chega assim: comparar o interesse por um tema em cinco países. A execução costuma ser cinco extrações, uma por país, cada uma com o termo local, e depois um gráfico com as cinco curvas sobrepostas. As alturas diferem, e o time conclui que um mercado é maior.

O erro é de denominador, e ele é invisível porque a interface entrega o gráfico pronto. A sobreposição em um mesmo eixo cria a ilusão de escala comum, e a legenda com nomes de países completa a ilusão.

O resultado é um número que ninguém consegue auditar. Se o cliente perguntar de onde vem a diferença, a resposta honesta é que ela vem de duas normalizações independentes, e nenhuma delas foi feita para ser comparada com a outra.

Duas extrações separadas não formam uma comparação

Comparar exige base comum. Duas extrações separadas não têm base comum, mesmo que usem o mesmo termo, o mesmo período e a mesma propriedade de busca. A normalização é recalculada a cada pedido, e o pico de cada pedido é o seu próprio teto.

A comparação entre regiões é sempre feita em extrações separadas, porque a interface organiza a consulta por região de origem. É por isso que a comparação internacional no Trends é, por construção, uma comparação de forma, e não de magnitude.

Há uma compensação parcial. Se o termo for exatamente o mesmo e a janela for exatamente a mesma, a diferença de desenho ainda é interpretável, porque os dois países foram submetidos ao mesmo tipo de transformação. O que não se recupera é o nível.

Como construir uma comparação que se sustenta

O procedimento começa pela escolha da região. Extrai-se uma região por vez, com todos os termos da pesquisa juntos, para que compartilhem a mesma normalização. Depois se repete a operação na região seguinte.

A comparação entre países passa a ser uma comparação de ordenações internas. Dizer que, na região A, o termo principal lidera com folga e, na região B, ele aparece atrás de um sinônimo local é uma afirmação que o instrumento sustenta, porque cada ordenação foi medida em uma base única.

O que se compara, no fim, é a estrutura de preferência de cada recorte, não o volume de cada recorte. A diferença é grande e precisa aparecer na conclusão, não apenas na nota de rodapé.

Uma região por vez, com os termos juntos

Extrair os termos juntos é o que cria a base comum. Se os termos forem extraídos em pedidos separados, mesmo dentro do mesmo país, cada um é normalizado ao próprio pico, e a comparação entre eles perde a base. O erro é o mesmo da comparação entre países, aplicado em escala menor.

O limite prático é o número de termos que a interface aceita e a queda de qualidade com volumes muito baixos. Termos pequenos produzem curvas truncadas, com patamares artificiais, e o limite não é anunciado em lugar nenhum.

A recomendação é incluir um termo de referência estável, que não seja o objeto da pesquisa, para ancorar a leitura. Se o termo de referência se move, o desenho inteiro se move, e isso é informação sobre o instrumento, não sobre o tema. O Granularidade regional: até onde o recorte por estado vai trata do recorte geográfico e dos seus limites.

O que a ordem interna revela

A ordem interna diz qual termo é mais buscado dentro daquele recorte, e essa é a única afirmação de magnitude relativa que o instrumento permite com alguma segurança. Ela não diz quanto mais, e a distância entre as curvas é uma distância de índice, não de volume.

A ordem também é sensível à escolha do conjunto. Incluir um termo muito grande achata os demais e esconde diferenças que existiriam em outro conjunto. Incluir apenas termos pequenos produz uma curva ruidosa, em que a ordem muda de semana para semana.

Por isso o conjunto de termos é parte do método. Ele precisa ser declarado, justificado e mantido entre as regiões, com a substituição do termo local documentada quando a tradução não funcionar.

Termo e tradução não são a mesma consulta

Um termo e a sua tradução são strings diferentes, com volumes diferentes, intenções diferentes e concorrentes diferentes. Traduzir não preserva a pergunta, preserva apenas o assunto, e o assunto é a parte menos útil de uma consulta.

Em muitos casos a tradução literal não é o que as pessoas digitam. A expressão local pode ser um estrangeirismo, uma sigla, uma marca ou uma gíria, e a versão traduzida não aparece em busca nenhuma. O termo certo é uma descoberta de campo, não uma decisão de tradutor.

Isso tem uma consequência dura para o desenho comparativo. Cada país exige o seu termo, e a equivalência entre eles é uma hipótese a ser defendida, não um dado de entrada. A hipótese pode ser razoável e ainda assim estar errada.

Por que traduzir muda a pergunta

Porque a busca carrega vocabulário, e vocabulário carrega contexto. A mesma dúvida formulada em outra língua pode usar outra categoria, outro verbo, outra preposição, e a série resultante mede outra coisa. [Inglehart, 2005] trata da comparação de mudança cultural entre sociedades e do cuidado com a equivalência dos conceitos, e a lição operacional é a mesma: o constructo precisa significar a mesma coisa nos dois lados.

A propriedade de busca acrescenta outra camada. Trocar a propriedade muda o universo de documentos indexados, e a comparação deixa de ser entre países para ser entre países e universos. O Recorte por propriedade de busca no Google Trends separa a intenção da superfície em que ela é medida.

Na prática, a comparação internacional exige duas declarações. A primeira é o termo usado em cada país e a razão da escolha. A segunda é a hipótese de equivalência entre eles, com o que a sustentaria e o que a destruiria.

Volume baixo em mercado pequeno e volume alto em mercado grande

Um termo de volume baixo em um mercado pequeno pode parecer maior do que um termo de volume alto em um mercado grande. O primeiro é normalizado a um pico pequeno, e qualquer variação de poucas buscas move a curva inteira. O segundo é normalizado a um pico grande, e variações relevantes em número absoluto quase não aparecem.

O fenômeno é agravado pelo arredondamento e pelo truncamento de valores baixos. Em volumes pequenos, muitos pontos caem no mesmo valor mínimo, e a curva ganha patamares que não existem no comportamento real.

Nada disso é observável no gráfico. O gráfico mostra uma curva cheia e outra quase plana, e a leitura natural é de diferença de interesse, quando a diferença é de escala e de resolução do instrumento.

Como afirmar algo sobre países sem afirmar tamanho de mercado

A formulação possível é comparativa e interna: na região A, o termo ocupa posição mais alta na ordem local do que na região B. A formulação impossível é: na região A, o termo é mais buscado em números absolutos.

A primeira é uma afirmação sobre ordenação dentro de recortes. A segunda é uma afirmação sobre volume, e o instrumento não a sustenta. A diferença parece gramatical e é metodológica.

Uma frase que começa com há mais interesse e termina com nesse país afirma tamanho. Uma frase que começa com a ordem local coloca afirma posição. O leitor treinado percebe a diferença, e o leitor apressado transforma a segunda na primeira ao resumir o relatório.

Quando o cliente pergunta qual país busca mais

A resposta honesta é que o instrumento não responde isso. Ele responde qual termo ocupa posição mais alta dentro de cada recorte, e a diferença entre as duas perguntas não é semântica.

A resposta pode ser construída com uma segunda fonte, e essa fonte precisa ter denominador conhecido: população, domicílios com acesso, usuários estimados por pesquisa de penetração, base instalada declarada. Sem denominador, a comparação de volumes brutos não existe.

O que não se deve fazer é responder com a curva normalizada e chamar a altura de demanda. Isso produz um número que ninguém pode auditar e uma decisão que ninguém consegue defender seis meses depois.

O que responder no lugar do número

Responder com o que o dado sustenta: sazonalidade comparada, coincidência de picos, posição relativa dos termos, direção do movimento e diferença de desenho entre calendários nacionais.

Uma resposta útil para um briefing internacional costuma ser uma tabela de ordenações por região, com a data da extração, o termo usado em cada língua e uma coluna com o que a comparação não afirma. A tabela não tem altura, tem posição.

Se o cliente precisa de tamanho, o caminho é outro: dados de plataforma com alcance estimado, pesquisa de penetração, dados internos de demanda. O Trends entra como confirmação de forma, não como medida de escala.

O segundo dado antes da comparação internacional

Nenhuma comparação entre países deveria sair com uma fonte só. A segunda fonte não precisa ser melhor, precisa ser independente e ter denominador. É ela que permite separar duas hipóteses que uma curva isolada confunde.

A primeira hipótese é escala: o país busca mais porque tem mais gente conectada. A segunda é relevância: o tema pesa mais na vida local. As duas produzem curvas parecidas, e só um dado externo distingue uma da outra.

[Hofstede, 2001] trata da comparação entre culturas e da exigência de equivalência das medidas. A lição operacional é que o instrumento precisa significar a mesma coisa em cada país, e essa condição é uma hipótese a ser defendida, não um pressuposto do gráfico.

A nota que acompanha qualquer gráfico internacional

A nota tem quatro linhas: a região de cada extração, a data, os termos usados em cada língua e o que a comparação afirma. Sem as quatro, o gráfico é decorativo e será lido como se fosse uma medida de mercado.

A nota também precisa dizer o que a comparação não afirma, isto é, que um país busca mais em volume absoluto. Essa negativa é a parte que protege o leitor de tirar a conclusão errada, e ela custa uma linha.

A pesquisa comparada descreve o problema geral: comparar unidades exige que a medida seja equivalente nas unidades comparadas. Um gráfico de Trends entre países é um caso particular desse problema, e a nota é onde a equivalência é declarada ou negada.

O que este método não faz

Não mede volume absoluto, não compara tamanho de público, não corrige a normalização e não transforma índice em pessoas. Também não garante equivalência entre termos traduzidos, e essa é a parte mais frágil de qualquer comparação internacional.

Não substitui pesquisa de mercado, censo de acesso ou dado de plataforma com alcance estimado. O método organiza o que o instrumento permite dizer e separa isso do que ele não permite, o que é pouco.

Por fim, não resolve o caso em que o cliente precisa de um número único por país. Nesse caso, a resposta correta é dizer que a fonte não serve para a pergunta, e não produzir uma média de índices que parece um número.

Um procedimento de extração comparável

O primeiro passo é definir a pergunta em termos de ordenação, não de tamanho. O segundo é escolher os termos localmente, com evidência de uso, e registrar a razão da escolha.

O terceiro é extrair uma região por vez, com todos os termos juntos, sempre na mesma janela e na mesma propriedade de busca. O quarto é repetir a extração em janelas diferentes, para separar desenho de ruído, como descrito no Teste de robustez: a mesma pergunta em três janelas.

O quinto é montar a tabela de ordenações e escrever a nota. A nota vem antes do gráfico, não depois, porque é ela que define o que o gráfico pode afirmar.

Três janelas e a estabilidade do desenho

Repetir a extração em três janelas de tamanhos diferentes mostra se a ordenação é estável. Se a ordem muda quando a janela muda, a conclusão é sobre a janela, e não sobre o país. A mudança de janela altera o pico, e o pico é o denominador de tudo.

A janela longa suaviza eventos pontuais e favorece a sazonalidade. A janela curta captura o evento e perde o ciclo. Nenhuma das duas é mais verdadeira, e a comparação entre elas é o que revela qual das duas o dado sustenta.

Conclusão: comparar forma, não altura

A comparação internacional no Trends é uma comparação de desenhos e de ordenações. Quem entende isso produz um briefing mais modesto e mais defensável. Quem não entende produz um gráfico bonito e uma conclusão falsa, e a falsidade não aparece no gráfico.

A base é sempre local, e o reconhecimento disso não invalida o instrumento. Invalida o uso que ele não suporta. Uma comparação entre países bem feita começa por admitir que a altura não carrega informação e termina por construir a única comparação que resta, que é a de posição dentro de cada recorte.

Referências

HOFSTEDE, Geert. Culture's Consequences. Thousand Oaks: Sage, 2001.

INGLEHART, Ronald; WELZEL, Christian. Modernization, Cultural Change, and Democracy. Cambridge: Cambridge University Press, 2005.

WIKIPÉDIA. Normalization (statistics). Verbete de apoio sobre a transformação que põe séries em escala comum. normalização estatística

WIKIPÉDIA. Comparative research. Verbete de apoio sobre os requisitos de equivalência na comparação entre unidades. pesquisa comparada