Teste de robustez: a mesma pergunta em três janelas

A mesma consulta, três respostas diferentes

Antes de publicar uma leitura de tendência, a mesma consulta deve ser extraída três vezes, em três janelas. Os números vão divergir. A divergência não é ruído a esconder, é o material do teste.

O teste de robustez não pergunta se o dado está certo. Pergunta se a conclusão sobrevive quando o enquadramento muda. É a versão de mesa do que a estatística robusta descreve como resistência a perturbações: mexer no ponto de partida e observar o que permanece.

Uma leitura que só existe em uma janela é uma leitura frágil, mesmo quando o gráfico fica bonito. Publicar sem esse teste é apostar que o recorte escolhido não foi justamente o que produziu o resultado.

O que o índice de 0 a 100 mede de fato

O índice do Google Trends é relativo por construção. O valor 100 marca o pico da série consultada e os demais pontos são proporcionais a esse pico. Não é volume de buscas, é posição dentro de um recorte.

Isso significa que 60 não descreve uma quantidade. Descreve uma relação com o ponto mais alto daquela janela, naquela região, naquela propriedade de busca. Fora desse enquadramento, o 60 não quer dizer nada.

A consequência prática é imediata: comparar valores absolutos entre duas extrações de janelas diferentes é comparar duas escalas diferentes. O erro é comum porque o número aparece na tela sempre com a mesma cara, sem unidade e sem aviso.

Por que a janela desloca o número

O denominador muda. Cada janela escolhe o seu próprio ponto de máximo e reescala tudo em torno dele. Se a janela longa contém um evento extremo, todos os outros pontos encolhem proporcionalmente, inclusive o mês que interessa à leitura.

Há uma segunda fonte de deslocamento, menos discutida: a composição da amostra. A série é construída a partir de uma fração das buscas, agregada por período. Janelas com mais dias e mais eventos diluem picos curtos e suavizam vales.

E há uma terceira, mecânica: os últimos pontos de uma série costumam ser incompletos, porque o período ainda está em curso. Uma extração feita no dia 3 e outra no dia 27 do mesmo mês não veem o mesmo dado no fim da curva.

O que precisa sobreviver ao teste

Quatro coisas. A primeira é a forma da curva: se a leitura diz que o termo sobe, estabiliza e cai, essa silhueta tem de aparecer nas três janelas. Forma é o que sustenta uma narrativa de comportamento.

A segunda é a direção do movimento no período recente. Não o quanto subiu, mas se subiu. Um crescimento de 12 por cento em uma janela e de 40 por cento em outra concordam na direção e divergem na intensidade, e essa é uma divergência aceitável.

A terceira é a posição dos picos sazonais. Se o pico de interesse cai sempre no mesmo mês nas três extrações, a sazonalidade é estrutural. Se ele pula de mês conforme a janela, o que existe é ruído com aparência de calendário.

A quarta é a ordem de magnitude entre termos. Comparar três termos e obter sempre o mesmo pódio, com diferenças grandes entre primeiro e último, é um resultado robusto. A ordem sobrevive mesmo quando os números mudam.

O que pode mudar sem invalidar a leitura

Os valores absolutos podem mudar e vão mudar. A base pode mudar, porque cada janela reescala a partir de um pico diferente. Pequenas trocas de posição entre termos próximos também são esperadas, sobretudo quando as curvas se cruzam.

O critério para separar o que importa do que não importa é a distância entre a conclusão e o número. Se a afirmação publicada é que o termo B cresce mais rápido que o termo A, uma diferença de três pontos no índice não abala nada. Se a afirmação é que B está exatamente 18 por cento acima de A, o número virou a tese e o teste reprova.

Uma boa prática é escrever a conclusão antes de olhar as três extrações, na forma mais simples possível. Depois, verificar se cada extração a sustenta. A conclusão que precisa de ajuste fino para caber no gráfico não era uma conclusão, era uma descrição.

Vale separar também o que é variação de leitura do que é variação de dado. Se os três gráficos mostram a mesma curva e o texto interpreta de três maneiras diferentes, o problema está na redação. O teste de robustez é sobre a curva, não sobre o adjetivo que se coloca nela.

A regra de decisão em duas concordâncias

Duas janelas que concordam em forma, direção e sazonalidade sustentam a afirmação. Não é unanimidade, é convergência suficiente para publicar com o recorte declarado no texto.

Nesse caso, a terceira janela entra como nota de rodapé metodológica, não como novas imagens. O leitor precisa saber que a leitura foi testada, não precisa ver os três gráficos empilhados.

A concordância parcial também informa. Se duas janelas concordam na direção mas discordam na intensidade, a afirmação sobrevive em versão qualitativa: há crescimento, a magnitude não é afirmada.

Três divergências rebaixam a afirmação a hipótese

Quando as três janelas divergem em forma ou em direção, o material não é descartado. Muda de categoria. Deixa de ser resultado e passa a ser hipótese a investigar, e o brief precisa dizer isso com todas as letras.

Hipótese tem lugar em um brief editorial, desde que rotulada. O problema não é publicar uma suspeita, é publicar uma suspeita com o vocabulário de uma constatação.

A divergência total costuma indicar uma de três coisas: consulta ambígua, termo com múltiplos significados, ou série curta demais para sustentar qualquer leitura. As três se resolvem antes da redação, não depois.

Como registrar as três extrações

Cada extração precisa de uma ficha com data e hora, região, propriedade de busca, janela escolhida, categoria e tipo de entrada, se termo ou tópico. Sem esses campos, a reprodução é impossível e a defesa também.

Registre também o número lido nos pontos que sustentam a afirmação, mesmo sabendo que ele vai mudar na próxima consulta. O registro não serve para provar o futuro, serve para provar o que foi visto.

A ficha vai para o anexo do brief, com a data da última verificação. Um leitor que refizer a extração seis meses depois vai obter outros números e precisa saber que os seus são de outra data.

Registrar a hora importa mais do que parece. Uma extração feita no fim do mês e outra no início podem devolver curvas ligeiramente diferentes no último trecho por causa do período ainda em curso, e a ficha com hora permite reconstruir essa diferença em vez de atribuí-la a instabilidade do termo.

Mesma duração ou durações diferentes

A recomendação é usar duas janelas de mesma duração, deslocadas, e uma de duração diferente. As duas primeiras isolam o efeito da posição da janela. A terceira testa o efeito da escala.

Se todas as extrações usarem cinco anos, você testa se o ano corrente muda a leitura. Se todas usarem 90 dias, você testa se o trimestre muda a leitura. Nenhuma das duas testa o que acontece quando a régua encolhe ou cresce.

A janela diferente é o que a análise de sensibilidade chama de perturbação deliberada do parâmetro. O ponto não é achar a janela certa, é verificar se existe uma janela errada capaz de inverter a conclusão.

A propriedade de busca muda a série

Pesquisa web, pesquisa de imagens, YouTube e notícias são séries distintas, com populações distintas. Misturar propriedades em um mesmo teste produz divergência artificial, que não diz nada sobre a robustez da leitura.

Vale fixar a propriedade antes da primeira extração e repeti-la nas três. Se a leitura original veio da pesquisa web, o teste é sobre pesquisa web. Este cuidado elementar está detalhado em Recorte por propriedade de busca no Google Trends, e é a causa mais frequente de comparações inválidas.

A região segue a mesma lógica. Uma extração nacional e uma estadual nunca concordam em valor absoluto, porque a base de normalização é outra. Concordam, no máximo, em forma.

Quando o produto muda e a série quebra

Ferramentas mudam. Categorias são reclassificadas, filtros aparecem, formas de agregação são ajustadas, a interface passa a oferecer outro recorte padrão. Cada mudança dessas quebra a comparabilidade de uma série longa.

O erro é tratar a quebra como crescimento ou queda. Um degrau abrupto em uma curva de cinco anos, sem evento correspondente na realidade, é candidato a artefato de medição.

O procedimento é marcar a quebra no gráfico e no texto, não corrigir por conta própria. Séries quebradas podem ser emendadas com nota explícita, nunca com retoque silencioso.

O que fazer com uma extração anômala

Primeiro, repetir a extração com os mesmos parâmetros, para separar erro de digitação de comportamento do dado. Depois, conferir filtros, região, propriedade e categoria, nessa ordem, porque são os quatro campos que mais se perdem entre uma consulta e outra.

Se a anomalia desaparece ao repetir, foi falha de extração e vai para a ficha como falha. Se ela se repete com os mesmos parâmetros, é dado, e o dado entra no teste mesmo que contrarie a conclusão.

O que não se faz é descartar a extração incômoda e publicar as duas que agradam. Duas extrações escolhidas depois de ver o resultado não são teste, são seleção.

Pico em 90 dias não é tendência em 5 anos

Uma janela de 90 dias responde a perguntas sobre o presente: o que aconteceu neste trimestre, o que subiu depois de um lançamento, o que caiu depois de uma crise. A curva é sensível a eventos isolados e a semanas atípicas.

Uma janela de cinco anos responde a perguntas sobre estrutura: o que cresce de forma sustentada, o que perde espaço, qual é o calendário do setor. A curva é mais estável e mais lenta, e esconde detalhes que o trimestre mostra.

São dois objetos, não dois graus de resolução do mesmo objeto. Um brief que promete tendência e entrega pico está errado mesmo com o dado correto. O teste de robustez tem de ser feito dentro do objeto que o texto afirma.

O painel longitudinal como guarda-corpo

O teste em três janelas é sincrônico: três recortes no mesmo dia. Ele não substitui o acompanhamento ao longo do tempo, que acumula extrações em datas diferentes e mostra o que muda entre elas.

Quem mantém um painel consegue distinguir deriva lenta de ruído de curto prazo, porque tem mais de um ponto no tempo. O teste de robustez passa a ser uma verificação dentro de uma série maior, e não um evento isolado.

O desenho desse acompanhamento está em Painel longitudinal: manter uma série de Trends por anos. Os dois métodos se completam, mas não se substituem, e confundir um com o outro é o caminho mais curto para publicar uma leitura que envelhece mal.

O recorte regional como segundo atrito

Quando a leitura envolve geografia, o teste ganha uma camada. O mesmo termo, extraído para o país e para um estado, pode contar histórias diferentes sem que nenhuma esteja errada.

O recorte estadual tem base menor e, por isso, mais ruído. Picos locais são mais instáveis e a comparação entre estados pequenos é especialmente sensível. O limite desse tipo de leitura está discutido em Granularidade regional: até onde o recorte por estado vai.

A aplicação ao teste é direta: se a conclusão depende de um estado, ela precisa sobreviver à mudança de janela dentro daquele estado. Uma leitura regional que só funciona em uma janela é uma leitura sobre a janela.

O que escrever no brief quando o teste falha

Não se escreve que o teste falhou. Escreve-se o que sobrou. A frase útil tem a forma: a direção se mantém, a intensidade não é comparável, a série foi extraída em três janelas entre tais datas.

Também se escreve o que mudou de status. Uma afirmação rebaixada a hipótese precisa aparecer no resumo executivo como hipótese, com a mesma clareza com que apareceria um resultado.

E se escreve o que faria a hipótese subir de nível: mais tempo de série, consulta mais específica, segunda fonte de demanda. Um brief honesto termina apontando o próximo teste, não escondendo o anterior.

O que este teste não faz

Ele valida estabilidade, não a escolha da consulta. Três janelas concordam perfeitamente sobre um termo que ninguém usa para descrever o problema, e a leitura continua inútil. Robustez não é relevância.

Ele também não corrige ambiguidade. Um termo com dois significados vai oscilar entre as janelas conforme o peso de cada uso, e nenhuma repetição resolve isso. Ambiguidade se resolve na definição, antes da extração.

A concordância entre três janelas não garante que a pergunta era a certa, nem que o recorte representa o mercado. E este trabalho de verificação não é consultoria: é controle de qualidade editorial aplicado a um dado público.

Por que repetir é barato e não repetir é caro

Repetir custa alguns minutos e três fichas de registro. Não repetir custa uma leitura publicada que não pode ser defendida quando alguém refizer a extração e chegar a outro número.

O custo não é simétrico porque a falha é assimétrica. Um teste feito e não usado não deixa rastro. Uma afirmação frágil publicada deixa rastro permanente, e a correção posterior nunca tem o mesmo alcance da primeira versão.

Há ainda o custo interno: quem publica sem testar aprende a confiar no primeiro gráfico. O hábito se acumula e contamina todas as leituras seguintes, inclusive as que teriam sido robustas.

A rotina de três extrações na semana de publicação

A rotina cabe em uma tarde. Extrair a consulta na janela longa, na janela intermediária e na janela curta, sempre com a mesma região, a mesma propriedade e a mesma categoria. Anotar os pontos que sustentam a afirmação.

Comparar as três em quatro critérios: forma, direção, sazonalidade, ordem de magnitude. Marcar concordâncias e divergências em uma linha cada, sem produzir relatório.

Decidir: mantém, qualifica ou rebaixa. Escrever a decisão no topo do brief, com a data. Arquivar as fichas. O teste termina antes da redação, e a redação já nasce sabendo o que pode afirmar.

Estabilidade antes de originalidade

A leitura que resiste a três janelas não é mais interessante que as outras. É apenas mais difícil de derrubar, e em pesquisa aplicada isso é o que separa uma observação de uma opinião bem formatada.

O teste não produz descobertas. Produz permissão para publicar. É um procedimento chato, repetitivo e barato, e é justamente por isso que ele sobrevive em uma redação com prazo.

[Tukey, 1977] chamaria isso de olhar os dados por mais de um ângulo antes de resumir. [Box, 1987] lembraria que todo recorte é uma escolha e que escolhas precisam ser testadas. O resto é disciplina de arquivo.

A conversa continua em Comparação entre países no Google Trends: base local, onde o mesmo critério é aplicado a uma pergunta vizinha.

Repetir o teste em três janelas é o começo da reprodutibilidade, e a folha de método que sobrevive à equipe está em O método em forma publicável quando a equipe muda. ## Notas que sustentam esta leitura

Robustez é o que sobra quando a janela muda. A decisão de entrada depende de breakout e janelas de entrada, a pesquisa de mercado precisa de velocidade, região e comparação, e a velocidade de tendência evita que um pico vire tese.

Referências

TUKEY, John W. Exploratory Data Analysis. Reading: Addison-Wesley, 1977.

BOX, George E. P.; DRAPER, Norman R. Empirical Model-Building and Response Surfaces. Nova York: Wiley, 1987.

Robust statistics: verbete consultado como referência conceitual sobre a resistência de estimadores a perturbações no recorte.

Sensitivity analysis: verbete consultado sobre a variação deliberada de parâmetros para testar a estabilidade de uma conclusão.