Mudança de produto no meio da série e o dado comparável

Mudança de produto no meio da série: quando o dado deixa de ser comparável

Uma série de plataforma não termina quando a linha para de subir. Ela termina quando a plataforma muda a definição do que aquela linha conta, e a partir desse dia dois pontos vizinhos do gráfico descrevem objetos diferentes. O eixo continua igual, a legenda continua igual, e a comparação entre o mês anterior e o seguinte perde o objeto.

O problema é de definição, não de precisão. Nenhum número está necessariamente errado. Cada ponto pode estar correto em relação à régua que existia no dia da coleta, e o conjunto pode não significar nada, porque a régua mudou entre um ponto e outro.

Este texto trata de como reconhecer esse momento, o que fazer com a base antiga e como registrar a ruptura de modo que um terceiro consiga auditar a decisão. É um método de documentação, não é consultoria: não há diagnóstico sob medida para um caso específico.

A série não continua, ela reinicia

A intuição padrão é de continuidade. Coletamos todo mês, empilhamos os meses, e a pilha vira história. A pilha só é história se o instrumento for o mesmo em todos os pontos, e essa condição raramente é verificada, porque verificá-la exige ler documentação, não apenas olhar o gráfico.

Uma mudança de produto não produz um degrau visível. Produz uma curva suave que atribui à mudança de comportamento o que foi mudança de régua. O leitor vê aceleração onde houve recontagem, e a explicação parece mais interessante do que a verdade, que é burocrática.

A noção de quebra estrutural vem da econometria de séries temporais. Lá, um choque altera o processo que gera os dados, e os parâmetros estimados antes e depois não são os mesmos. Aqui a ruptura é administrativa, decidida em uma sala de produto, e o efeito sobre a leitura é idêntico.

As cinco formas de quebrar uma série

A primeira é a superfície nova. A ação passa a acontecer em outro lugar, uma aba, um formato, um bloco de resposta, um campo de busca diferente, e o comportamento migra. O total pode até subir, mas a composição muda, e a série agregada esconde a migração.

A segunda é a regra de contagem. Muda o que conta como unidade: o que era uma sessão passa a ser uma interação, o que era uma menção passa a incluir resposta citada, o que era uma visita passa a contar recarregamento. A série sobe sem que ninguém tenha feito nada diferente.

A terceira é o padrão novo. Um filtro vem ligado, uma opção aparece marcada, a janela de atribuição aumenta. O usuário não escolhe nada e o número muda, o que produz a pior combinação possível: mudança de régua com aparência de escolha do usuário.

A quarta é a métrica renomeada. O nome novo pode carregar a definição velha ou uma definição nova, e a diferença entre os dois casos é invisível na interface. A quinta é o filtro removido, que alarga o denominador e faz o numerador parecer maior sem que o numerador tenha mudado.

Superfície nova, contagem antiga

O caso mais difícil combina as duas primeiras formas. A plataforma cria um lugar novo e conta o evento com a definição antiga, então o número não parece inflado, parece apenas maior. A pergunta que resolve o caso é simples: o evento antigo ainda pode acontecer.

Se ainda pode, a série passa a ter duas rotas para a mesma intenção, e a soma conta duas vezes o mesmo comportamento. Se não pode, a série trocou de rota e o patamar muda por migração, não por crescimento. As duas hipóteses produzem o mesmo desenho no gráfico.

É por isso que a verificação precisa vir da definição do evento, e não do número. Um gráfico não distingue migração de expansão, e nenhuma transformação estatística resolve essa ambiguidade depois do fato.

Como detectar a quebra sem informação interna

A primeira via é a documentação pública: central de ajuda, notas de versão, blog de produto, material para anunciantes, changelog de interface de programação. O que importa é a definição, não o resumo comercial, porque o resumo diz o que melhorou e omite o que passou a ser contado.

A segunda via é a comparação entre duas extrações. A mesma consulta, com as mesmas datas, executada antes e depois, mostra se o passado foi reprocessado. Se o número antigo muda sozinho, houve recomputação, e a série inteira precisa ser relida com a nova régua.

A terceira via é o teste de coerência interna. Uma métrica que deveria ser maior que outra deixa de ser, a soma das partes deixa de fechar com o total, ou aparece uma categoria sem nome claro no recorte por formato. Nenhum desses sinais prova a mudança, mas todos indicam onde procurar.

A quebra invisível nos números

A quebra raramente aparece como anomalia. Aparece como crescimento suave, e crescimento é justamente a hipótese que ninguém questiona em uma reunião. O analista que apresenta a curva ascendente recebe menos perguntas do que o que apresenta um salto.

O que se vê é sempre o efeito agregado. Uma mudança de régua e uma mudança de comportamento produzem curvas parecidas, e a distinção mora nos metadados: a data da alteração, a versão da definição, o nome do campo, o dicionário de dados.

Por isso o número não denuncia. Quem olha apenas a série encontra uma história coerente, e a coerência é o pior sinal, porque é construída pela própria continuidade do eixo horizontal.

Três respostas possíveis

Diante de uma ruptura, existem três respostas defensáveis. Reiniciar a base, manter apenas a forma dentro de cada segmento, ou abandonar a série. Cada uma responde a uma pergunta diferente, e a escolha errada produz um gráfico que parece honesto e não é.

A decisão não é de gosto. Depende de quanto da pergunta original sobrevive à mudança, de quanto custa reconstruir a base e de quem vai usar o resultado. As três respostas podem ser corretas em situações distintas, e nenhuma delas é a resposta padrão.

Reiniciar a base: quando é obrigatório

Reiniciar é obrigatório quando a definição do evento mudou, quando o denominador mudou ou quando a superfície nova absorveu a antiga. Nesses casos, o dado antigo responde a outra pergunta, e continuar a série é comparar duas populações diferentes com o mesmo nome.

Reiniciar significa declarar a data de corte, publicar a nova base a partir dela e arquivar a antiga com etiqueta. Não significa apagar. A base antiga continua sendo o único registro do regime anterior, e quem quiser refazer o caminho precisa dela.

O custo é imediato e visível: a série fica mais curta, o gráfico perde a inclinação longa, e alguém vai perguntar por que o histórico encolheu. Esse desconforto é o preço de não publicar uma comparação falsa.

Manter apenas a forma dentro de cada segmento

Há casos em que o nível muda e a forma sobrevive. O total sobe porque uma superfície nova entrou, mas a ordem entre os termos dentro de cada superfície permanece, e a sazonalidade continua no mesmo lugar do calendário. Aí a comparação possível é de forma, não de altura.

Isso exige segmentar antes de comparar. A regra é comparar segmento com segmento, nunca total com total, e declarar que a comparabilidade vale apenas dentro daquele recorte. O Decomposição em subconsultas nos motores generativos descreve a separação entre camadas de uma mesma consulta, e a mesma lógica se aplica aqui.

Abandonar a série: o custo de continuar

Abandonar é a resposta correta quando a mudança atinge todos os segmentos, quando nenhuma parte permanece comparável, ou quando o custo de reconstruir a base excede o valor da pergunta. Nesses casos, insistir na continuidade produz um artefato sem uso.

Abandonar não é desistir da pergunta. É trocar de instrumento e recomeçar a contagem, mantendo a série antiga como registro histórico do regime que existiu. A pergunta continua, a métrica é que muda de nome.

O que fazer com a leitura antiga já publicada

Não apagar. Apagar destrói a possibilidade de auditar a decisão e faz o leitor acreditar que a leitura anterior nunca existiu. O correto é manter o texto, datar a leitura e marcar a fronteira entre os dois regimes.

A marcação pode ser uma nota no topo, uma linha vertical no gráfico e um parágrafo no fim. O argumento original não deve ser reescrito para concordar com o presente, porque isso transforma correção em reescrita de passado.

Se a leitura antiga estava errada por causa da ruptura, o texto novo precisa dizer isso com clareza. Se estava certa dentro do regime antigo, o texto novo precisa dizer isso também, e a diferença entre os dois casos é o que torna a nota útil em vez de defensiva.

A fronteira de versão dentro da nota de método

A nota de método precisa de um campo de versão. Data da mudança, o que mudou, qual série substitui qual, o que deixou de ser comparável e a partir de quando. Sem esse campo, a nota descreve um método que não corresponde ao gráfico publicado.

O Nota de método pública: o que declarar para ser citado trata da estrutura geral desse documento. A fronteira de versão é uma linha dentro dele, não um pedido de desculpas. Ela informa ao leitor onde termina um regime e começa outro, e o leitor decide o que fazer com essa informação.

O que o leitor perde quando o gráfico concatena dois regimes

Perde a informação de que existe um antes e um depois. Ganha uma inclinação que não aconteceu, e essa inclinação passa a circular em apresentações internas, onde ninguém lê a nota de rodapé.

A perda maior é de incerteza. Dois regimes concatenados produzem uma curva com aparência de tendência e sem indicação de erro, e a ausência de indicação é lida como ausência de problema.

Instrumento e comportamento: a confusão que inverte o resultado

O objetivo de quase toda série é medir comportamento. A mudança de instrumento é ruído, a mudança de comportamento é sinal. Confundir os dois leva a atribuir ao mercado uma decisão de produto, e o erro costuma favorecer a narrativa que já estava no briefing.

O caso simétrico é pior e menos discutido. Uma mudança real de comportamento pode ser lida como mudança de régua e descartada, e o time perde o único sinal que tinha. A suspeita de ruptura não deve virar desculpa para ignorar variação.

[Shadish, 2002] trata do problema de inferir efeito quando o instrumento e o objeto mudam ao mesmo tempo. A saída metodológica é procurar uma medida que não dependa do instrumento alterado, e essa medida costuma existir em outra fonte.

Por que o comportamento é o que você queria medir

A pergunta editorial é sobre o que as pessoas fazem, não sobre o que o contador registra. Uma série que mede o contador com precisão e o comportamento com erro é pior do que uma série curta que mede o comportamento com erro menor.

O comportamento deixa rastro em mais de uma superfície. Se a mudança aparece em uma fonte e não aparece em outra independente, a hipótese de instrumento ganha força. Se aparece nas duas, a hipótese de comportamento ganha força, e a comparação entre fontes substitui a introspecção sobre a plataforma.

O registro de mudança que um terceiro consegue auditar

O registro guarda sete campos: data da primeira observação, descrição da mudança em linguagem de definição, fonte da informação, consulta de verificação, decisão tomada, data da decisão e responsável. Nenhum campo pede opinião sobre a gravidade.

O teste é a reconstrução. Se outra pessoa consegue refazer o caminho e chegar à mesma decisão sem perguntar nada a ninguém, o registro é um documento. Se para entender é preciso ligar para quem fez, o registro é uma memória pessoal com formato de ata.

[Kuhn, 1962] descreve a mudança de quadro teórico como substituição, não como acumulação. A analogia tem limite, e o limite é útil: aqui não se trata de paradigma científico, mas do reconhecimento de que a anomalia não cabe na régua antiga e exige uma régua nova.

O custo de reconstruir a base

Reconstruir custa horas de coleta, acesso a dados antigos, perda de granularidade e uma dose de incerteza sobre o que o número antigo realmente media. Em muitos casos, o dado bruto do regime anterior não existe mais, e a reconstrução é uma estimativa.

Custa também credibilidade. Uma série reiniciada parece menor e mais nova, e a comparação com o concorrente que publica uma série longa fica desfavorável, mesmo que a série longa seja ficção.

O custo de não reconstruir

O custo de não reconstruir aparece depois, quando alguém usa a série para decidir orçamento, contratar ou descontinuar um produto. Nesse momento, a série já circulou e ninguém lembra de onde veio.

O custo é composto. Cada mês novo herda a ruptura, e a distância entre o número publicado e o comportamento real cresce sem que ninguém tenha tomado uma decisão errada isolada. É um erro de sistema, distribuído em pequenas aprovações.

Há ainda o custo de credibilidade invertido. Quando a ruptura é descoberta por um terceiro, a série inteira é posta em dúvida, inclusive a parte que estava correta. A nota prévia protege o que é defensável.

Por que a opção honesta costuma ser uma série mais curta

Uma série curta e correta vale mais do que uma série longa e misturada, porque a primeira sustenta uma decisão e a segunda sustenta uma narrativa. A diferença entre sustentar decisão e sustentar narrativa é a diferença entre pesquisa e propaganda.

A série curta precisa ser defendida, e a defesa é a nota. Sem a nota, a série curta parece incompleta. Com a nota, ela parece o que é: o intervalo em que a medição vale.

O Painel longitudinal: manter uma série de Trends por anos mostra como um painel ganha valor pela repetição consistente, e a consistência é uma propriedade do instrumento, não do calendário. Repetir uma medição diferente todo mês não constrói painel nenhum.

O que este método não faz

O método documenta a ruptura. Ele não reconstrói o contador contrafactual, ou seja, não diz qual seria o número se a plataforma não tivesse mudado. Essa informação não existe, e qualquer estimativa dela é uma suposição com aparência de dado.

O método também não garante detecção. Uma mudança sem documentação pública e sem efeito visível na coerência interna passa despercebida, e o analista só descobre quando um terceiro aponta. A ausência de sinal não é prova de continuidade.

Por fim, o método não substitui acesso a dado bruto. Sem uma extração própria, capaz de ser repetida, a verificação fica limitada ao que a interface mostra, e a interface é justamente a parte que muda.

Um procedimento em quatro passos

O primeiro passo é inventariar as definições antes de coletar: o que conta, em que superfície, com qual filtro e em qual janela. O inventário é uma página, e ele precisa ser datado para servir de referência.

O segundo é testar a coerência interna da extração, com as relações que deveriam valer entre as métricas e com a comparação entre duas coletas da mesma janela. O terceiro é decidir entre reiniciar, segmentar ou abandonar, registrando a razão da escolha.

O quarto é publicar. A publicação inclui a série, a nota de versão e o registro de mudança. Sem os três, o dado circula sem contexto e o trabalho de verificação se perde.

Conclusão: a data em que a série deixou de valer

Toda série tem uma data em que deixa de valer. O trabalho é saber qual é essa data, e a maior parte do esforço não está em calcular, está em ler a definição e registrar a decisão.

A série que sobrevive não é a mais longa. É a que declara o próprio intervalo, e essa declaração é o que permite que outra pessoa use o número sem herdar uma falsa continuidade. Uma série honesta não garante conclusão melhor, mas garante que a conclusão saiba sobre o que está falando.

Quando o produto muda no meio da série, a afirmação vence antes do arquivo, como em O que envelhece num acervo é a afirmação, não o arquivo.

Referências

KUHN, Thomas S. The Structure of Scientific Revolutions. Chicago: University of Chicago Press, 1962.

SHADISH, William R.; COOK, Thomas D.; CAMPBELL, Donald T. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Boston: Houghton Mifflin, 2002.

WIKIPÉDIA. Structural break. Verbete de apoio sobre a mudança no processo que gera uma série temporal. quebra estrutural

WIKIPÉDIA. Metadata. Verbete de apoio sobre os dados que descrevem a definição e a origem de uma medição. metadados