Separar sinal de ruído: três camadas de evidência

Ruído tem forma, e ela é previsível

A maior dificuldade em pesquisa de plataforma não é falta de dado. É excesso de movimento que parece dado.

Ruído não é aleatório na aparência. Ele tem forma: picos sem causa aparente, quedas que coincidem com feriados, oscilações que se repetem no mesmo dia da semana. Por ter forma, ele se parece com sinal, e é por isso que engana.

A primeira disciplina é separar variação de mudança. Variação é o movimento normal de uma série em que nada mudou. Mudança é deslocamento de nível ou de tendência que persiste quando o ruído é removido.

O teste mais simples, e o que usamos com mais frequência, é a persistência. Um pico que desaparece em sete dias era ruído. Um deslocamento que se sustenta por seis semanas é candidato a mudança. Não é um teste rigoroso, mas é melhor que a alternativa, que é tratar cada oscilação como acontecimento.

Separar variação de mudança

Existem três fontes de variação que explicam a maior parte do movimento observado em séries de plataforma.

A primeira é sazonalidade. Semana, mês, trimestre fiscal e calendário escolar produzem ciclos sobrepostos que não são óbvios quando se olha uma série curta.

A segunda é calendário institucional. Congressos, datas regulatórias, fechamento de orçamento. Eles deslocam atenção de forma abrupta e, ao contrário da sazonalidade, não são suaves nem simétricos.

A terceira é mudança de medição. Normalização de índices, alteração de janela, troca de ferramenta. É a mais perigosa porque produz deslocamento que parece real e não é.

Nós mantemos um registro de mudanças de medição, com data e motivo. Sem esse registro, é impossível saber se um degrau na série é um evento do mundo ou um artefato do instrumento.

Três camadas de evidência

Trabalhamos com três camadas e uma regra de precedência.

Observação própria com protocolo escrito. É a camada mais forte que temos, e ainda assim limitada: vale para a amostra que conseguimos ver, com os vieses de acesso que não controlamos.

Levantamento de terceiros com metodologia publicada. Mais amplo, menos controlável. Exigimos que a metodologia esteja disponível; quando não está, rebaixamos o material a ilustração, não a evidência.

Inferência da redação. Nossa leitura cruzada de observações e relatos. É a mais usada porque é a mais barata, e por isso a que mais precisa ser rotulada como tal.

A regra de precedência é simples: quando duas camadas discordam, prevalece a mais forte, e quando só existe a mais fraca, a conclusão é apresentada como hipótese.

O que a regra impede é o movimento mais tentador da pesquisa aplicada, que é tratar a própria impressão como se fosse medição. A impressão tem valor, mas o valor dela está em gerar uma pergunta, não em encerrar uma discussão.

O que fazer quando as camadas discordam

Discordância entre camadas é o caso mais comum e o mais mal resolvido. A reação habitual é escolher a camada que confirma a intuição, o que transforma pesquisa em advogado.

O procedimento que adotamos tem quatro passos. Primeiro: verificar se as duas camadas estão medindo a mesma coisa, com a mesma unidade e a mesma população. Grande parte das discordâncias desaparece nesse passo, porque eram comparações entre coisas distintas.

Segundo: verificar janelas. Duas medições de períodos diferentes frequentemente discordam porque o mundo mudou entre elas, não porque uma está errada.

Terceiro: procurar o viés específico de cada camada. A observação própria tem viés de acesso. O levantamento de terceiros tem viés de incentivo. Nomear o viés de cada uma costuma explicar a direção da divergência.

Quarto: se a discordância persistir, publicar a discordância. Dizer que duas leituras apontam direções diferentes é mais honesto e mais útil que escolher uma e esconder a outra.

Velocidade de tendência como critério de descarte

Velocidade de tendência serve não apenas para escolher temas, mas para descartá-los. Esse segundo uso é menos explorado e mais valioso.

Um tema cuja atenção cresce rápido demais tende a atrair produção de conteúdo em volume, o que satura a superfície de busca antes que o seu material amadureça. A decisão de não entrar nesses temas libera atenção para temas de crescimento lento, onde a concorrência por atenção é menor.

O critério que usamos: se a velocidade exige publicação em menos de duas semanas para ser relevante, e nossa operação não consegue publicar nesse prazo, o tema é descartado. Não é juízo sobre o tema, é compatibilidade com o nosso ritmo.

Isso tem um custo. Ficamos fora de conversas que depois se mostraram grandes. Aceitamos esse custo porque a alternativa, entrar atrasado em todo tema quente, produz volume sem posição.

Narrativa para GEO e o risco da síntese prematura

Existe hoje uma pressão para escrever de forma que sistemas de resposta citem o material. Isso tem um efeito colateral que vale nomear.

Para ser citável, um texto precisa de afirmações curtas e ancoradas. Isso incentiva a remoção de nuances e de condições. O resultado é um material mais fácil de sintetizar e mais fácil de citar fora de contexto, inclusive com o sentido invertido.

Narrativa para GEO, do nosso ponto de vista, deveria significar o oposto: tornar as condições explícitas no próprio texto, de forma que um sistema que resume precise carregar a condição junto com a afirmação.

Na prática, isso significa escrever limites dentro da frase principal, em vez de em parágrafos separados. Um sistema que resume tende a extrair a frase inteira, condição incluída. Se a condição estiver a três parágrafos de distância, ela se perde.

Não temos evidência de que essa técnica funcione melhor que a alternativa. É uma hipótese de escrita, baseada em como os sistemas de síntese operam, e nós a tratamos como hipótese.

Um diário de leitura que sobrevive

O instrumento que mais usamos é o mais simples: um diário de leitura, em texto puro, com uma entrada por semana.

Cada entrada tem cinco linhas. O que lemos. O que esperávamos encontrar. O que encontramos que contrariou a expectativa. O que não conseguimos explicar. O que faremos de diferente na semana seguinte.

A terceira linha é a mais valiosa e a mais raramente preenchida, porque contrariar a própria expectativa é desconfortável e porque exige que a expectativa tenha sido escrita antes.

A quinta linha é o que transforma leitura em mudança. Sem ela, o diário vira arquivo de intenções.

Recomendamos manter o diário por pelo menos dois trimestres antes de tirar conclusão dele. Em menos tempo, o que se tem são impressões organizadas, o que é melhor que impressões desorganizadas e ainda não é evidência.

Onde este texto não se aplica

Este material é pesquisa editorial: não é consultoria e não garante resultado comercial. As camadas de evidência descritas são uma convenção interna, não um padrão do setor.

Não sabemos se a nossa hierarquia de camadas é a melhor disponível. Ela foi construída para o tipo de pergunta que fazemos, que é sobre mensagem e demanda, e pode não servir para perguntas sobre produto ou sobre concorrência.

Também não sabemos quanto tempo leva para uma série de plataforma acumular informação suficiente para distinguir variação de mudança. Sugerimos seis semanas por conveniência, não por evidência, e reconhecemos que esse número é arbitrário.

Se a sua operação trabalha com ciclo de decisão curto, parte desta disciplina é excessiva. Ela faz sentido onde o custo de uma conclusão errada é alto e onde há tempo para esperar.

Eixo, janela e ponto de partida decidem a leitura

Duas pessoas olham a mesma série e discordam sobre a direção. Antes de qualquer discussão sobre método, vale conferir três coisas: o eixo, a janela e o ponto de partida. Em boa parte dos casos, a discordância está inteira ali, e o dado não tem culpa nenhuma.

O eixo é o mais óbvio e o mais ignorado. Uma escala truncada transforma variação pequena em despenhadeiro; uma escala larga demais transforma mudança real em linha reta. Nenhuma das duas está errada em si, mas as duas produzem conclusões diferentes sobre o mesmo dado, e o leitor não vê a escala quando vê a conclusão. Um gráfico exportado sem os valores do eixo é uma opinião com moldura técnica.

A janela define o que conta como evento. Um período curto faz a sazonalidade desaparecer e transforma cada oscilação em notícia. Um período longo dilui o que aconteceu no mês passado. A escolha da janela é uma afirmação sobre o que se considera relevante, e essa afirmação precisa ser declarada junto do gráfico, não deixada para quem abrir o arquivo. Quando a janela não está escrita, cada leitor supõe a que lhe convém, e a discussão seguinte é sobre datas em vez de ser sobre o fenômeno.

O ponto de partida é o mais traiçoeiro. Começar no pico anterior faz qualquer série parecer em queda; começar no vale faz qualquer série parecer em alta. Quando a série é curta, o ponto de partida carrega mais informação do que a tendência. Por isso registramos o início e o motivo da escolha, mesmo quando o motivo é a disponibilidade do dado, que é o motivo mais comum e o menos confessado. Uma tabela de capturas com a coluna de início resolvida evita metade das discussões sobre direção.

Quando a ausência de menção é o dado

Em pesquisa de plataforma, o silêncio costuma ser tratado como falha de coleta. Às vezes é. Mas há situações em que a ausência de menção é o achado mais informativo da rodada, e ela se perde quando só se registra o que apareceu, porque o registro é feito por quem estava procurando outra coisa.

Um tema pode não aparecer em uma comunidade porque é resolvido internamente, porque é tabu, porque o vocabulário usado é outro, ou porque o assunto migrou para outro espaço. Cada uma dessas explicações leva a uma decisão diferente, e nenhuma delas é visível se o registro diz apenas que não houve resultado.

Anotamos a busca vazia com o mesmo cuidado da busca produtiva: termo, lugar, período e o que apareceu em vez do esperado. A anotação transforma o vazio em hipótese, e a hipótese pode ser testada na rodada seguinte com outro vocabulário, o que é bem mais útil do que repetir a mesma busca com a mesma palavra. Uma busca vazia registrada vale mais do que três buscas refeitas de memória, porque a memória não guarda o que não encontrou.

O limite é claro. Ausência em uma amostra não prova ausência no mundo. Escrevemos essa frase junto do registro, porque a leitura posterior tende a esquecer a diferença e a transformar silêncio em confirmação. É o mesmo movimento que transforma uma conversa em padrão de mercado, apenas com o sinal invertido.

O contra-sinal que chega por acidente

Parte do material mais útil aparece quando se procura outra coisa. Uma conversa sobre um tema revela uma objeção que não estava no roteiro; uma busca sobre um termo devolve um vocabulário que ninguém tinha considerado. Esses achados raramente entram no diário, porque não estavam previstos, e o que não estava previsto não tem campo. O efeito acumulado é um arquivo que descreve a pesquisa planejada e esconde a pesquisa que de fato aconteceu.

O problema é que, sem registro, eles viram memória. E memória de achado acidental é a mais seletiva de todas: lembra do que confirmou a tese e esquece do que a complicou. O contra-sinal só sobrevive se for escrito no momento em que aparece, quando ainda incomoda o suficiente para ser anotado.

Passamos a reservar um campo para o que contrariou a expectativa, inclusive quando não sabemos o que fazer com aquilo. A entrada pode ter uma linha e nenhuma interpretação. O importante é que a data e o contexto fiquem registrados antes que a leitura os acomode, porque acomodar é o que a leitura faz de melhor.

Com o tempo, esse campo se torna a parte mais interessante do arquivo. Ele mostra onde o modelo explicativo da equipe estava incompleto, e é dali que costumam sair as perguntas da rodada seguinte. Uma nota que só confirma o que já se pensava não muda nada, por mais bem escrita que esteja.

Duas curvas parecidas não sustentam uma causa

Quando duas séries sobem juntas, a tentação é escrever que uma explica a outra. O texto fica convincente, a decisão fica mais fácil e a afirmação quase nunca se sustenta. Semelhança de forma não é relação de causa, e a diferença entre as duas coisas raramente cabe em uma frase de apresentação.

O que podemos observar é coincidência temporal: as duas coisas aconteceram no mesmo período. Para ir além, seria necessário um desenho que isolasse outras explicações, e a rotina editorial raramente tem esse desenho. Nomear a limitação é o que separa leitura de evidência, e é também o que permite que alguém discorde de nós com argumento.

Há um teste simples que aplicamos antes de escrever qualquer frase com verbo de causa. Perguntamos qual seria a aparência da série se a hipótese estivesse errada. Se a resposta for que seria a mesma, a hipótese não está sendo testada, está sendo ilustrada, e a ilustração não precisa de dado nenhum para existir. O teste custa uma pergunta e evita meses de texto construído sobre uma coincidência bem desenhada.

Quando a hipótese sobrevive a esse teste, ainda escrevemos em termos de plausibilidade, não de prova. A diferença parece pequena no texto e é grande na leitura: quem recebe uma hipótese pode discordar; quem recebe uma causa acha que o assunto está encerrado. Fechar o assunto cedo é o modo mais eficiente de não aprender nada com a série, e é também o mais confortável para quem precisa apresentar uma conclusão na sexta-feira.

O que a média esconde em uma série curta

Uma média resume um conjunto e apaga a distribuição. Em séries curtas, é comum que a média descreva um estado que nunca existiu: dois extremos produzem o mesmo valor médio que uma sequência estável, e a leitura do número não distingue os casos, porque o número é o mesmo.

Isso importa quando a decisão depende de estabilidade. Um indicador que oscila entre alto e baixo tem média igual à de um indicador constante, e os dois pedem decisões diferentes. A média sozinha não permite escolher entre elas, e a escolha errada costuma aparecer só no trimestre seguinte, quando alguém tenta explicar por que o número não se manteve. Nesse momento, a série já foi arquivada e ninguém lembra em que condições foi capturada.

O que fazemos é guardar os valores da série, não apenas o resumo. Quando o resumo é necessário, ele aparece acompanhado da amplitude e do número de observações. São duas informações simples que evitam a maior parte das leituras excessivamente confiantes, e custam uma linha no documento.

Nada disso é novidade em estatística e é novidade em relatório de marketing. A maior parte dos textos que lemos apresenta um número sem o conjunto que o produziu, e a ausência do conjunto é o que impede qualquer auditoria posterior. Quem não vê a série não pode discordar do resumo, e um material que não permite discordância não é pesquisa. É por isso que guardar os valores brutos, mesmo quando o relatório só precisa do resumo, continua sendo parte do método. ## Notas que sustentam esta leitura

A primeira camada é a pergunta: sem ela, não há sinal a separar. A pergunta que uma plataforma consegue responder é o teste de viabilidade de qualquer observação, e ela se desenha antes de qualquer coleta.

Onde esta leitura continua

A distinção entre sinal, contra-sinal e contexto é o que impede um relatório de virar propaganda. As notas de método estão em Pesquisa, o passo seguinte desta leitura é a estrutura do brief e os verbetes usados aqui estão no glossário de termos nativos.