Auditoria de manutenção antes que o acervo minta

Auditoria de manutenção: o que revisar antes que o acervo minta sozinho

Um acervo de pesquisa não mente de uma vez. Ele mente por acumulação. Cada artigo publicado é verdadeiro no dia em que sai, e o conjunto envelhece em ritmos diferentes: a definição de um termo resiste anos, a contagem de uma comunidade muda em semanas, a leitura de um comportamento de plataforma pode caducar sem que ninguém perceba. O resultado é um arquivo coerente na aparência e desigual no lastro.

A auditoria de manutenção existe para tornar essa desigualdade visível antes que ela vire erro público. Não é revisão de texto, não é atualização de dados e não é reescrita. É um procedimento periódico que produz vereditos: o que continua de pé, o que precisa de nota, o que precisa sair. Este texto descreve o roteiro trimestral em quatro passos e o que cada passo exige para não virar teatro.

O ponto de partida é uma constatação desconfortável. Quem escreveu o acervo é a pior pessoa para auditá-lo, porque lembra da intenção original e tende a ler o texto pelo que quis dizer, não pelo que está escrito. A auditoria precisa de um leitor que só tenha o texto e o registro, e que tente refazer o caminho sem pedir ajuda. Se precisar de ajuda, o registro já falhou.

Revisar não é reescrever

A confusão entre revisar e reescrever é o erro que mata a auditoria. Revisar é testar se a afirmação ainda se sustenta e registrar o veredito. Reescrever é produzir um texto novo. Quando as duas coisas acontecem na mesma sessão, a auditoria perde o objeto, porque o texto original deixa de existir antes de ser julgado, e ninguém consegue dizer depois o que mudou e por quê.

A separação tem uma consequência prática. A auditoria entrega uma lista de vereditos com justificativa curta: mantém, anota, rebaixa, retira. A reescrita entra em outra fila, com outro orçamento e outro prazo, e pode até não acontecer. Um arquivo com vereditos registrados e textos antigos intactos é mais confiável do que um arquivo com textos atualizados e nenhum histórico de decisão.

Há também uma razão epistemológica. O texto antigo é evidência de como a operação pensava naquele momento. Reescrevê-lo apaga o registro da mudança de entendimento, que é justamente o dado mais útil para quem estuda o próprio método. Revisar preserva a série; reescrever a esconde.

Passo um: o inventário

O inventário não é uma lista de artigos. É uma lista de afirmações. A unidade de trabalho é a frase que sustenta uma decisão, um número ou uma generalização sobre comportamento de plataforma. Um artigo de extensão média costuma conter entre quatro e oito unidades desse tipo, e são elas que entram na planilha, não o texto inteiro.

Cada linha do inventário precisa de seis campos. O identificador da afirmação, com o endereço onde ela aparece. A data de publicação. A fonte declarada, quando existe. O critério de coleta, que é o que distingue uma contagem de uma impressão. O dono atual, que pode ser ninguém. E os dependentes, ou seja, os outros documentos que repetem aquela afirmação.

O campo mais negligenciado é o último. Uma afirmação isolada, quando envelhece, custa uma correção. Uma afirmação repetida em cinco lugares custa cinco, e a auditoria precisa saber disso antes de priorizar. Inventariar sem mapear dependentes é contar árvores e ignorar o bosque.

O que entra no inventário e o que fica de fora

Entram as afirmações com número, mesmo quando o número é uma faixa. Entram as afirmações sobre mecânica de plataforma, do tipo que diz como o algoritmo distribui ou como a busca indexa, porque esse é o tipo de afirmação que caduca sem aviso. Entram as generalizações que orientam ação, como a que diz que determinado formato responde a determinado tipo de pergunta.

Ficam de fora as definições de termos que não dependem de comportamento de plataforma, as descrições de procedimento que qualquer pessoa reproduziria do mesmo jeito e as opiniões assumidas como opinião. Também fica de fora o que já nasceu declaradamente provisório, desde que o texto diga isso com clareza. A provisionalidade declarada é uma forma de pagamento antecipado da dívida.

O critério de corte é simples: se a afirmação pode ficar falsa sem que o texto pareça errado, ela entra. É esse o caso perigoso. O leitor não tem como perceber que a frase envelheceu, porque a frase continua bem escrita, e o acervo passa a mentir com a mesma voz com que dizia a verdade.

Passo dois: verificação de fonte

Verificar a fonte é tentar abrir o registro sem consultar o artigo. Se a única forma de chegar ao número é reler o parágrafo que o cita, não há verificação, há circularidade. O teste é reproduzir a coleta a partir do que está documentado, e comparar o resultado com o publicado.

Três desfechos são possíveis. Fonte localizada: o registro existe, está datado e permite refazer o caminho. Fonte parcial: existe o suficiente para saber o que foi feito, mas não para repetir, caso típico de capturas de tela sem data ou de exportações sem critério. Fonte perdida: o thread foi apagado, a conta foi removida, o acesso ao grupo fechado terminou.

A classificação importa mais do que o resultado numérico da reconferência. Uma fonte parcial que produz o mesmo número continua sendo fonte parcial, porque o problema não é o valor, é a impossibilidade de defender o valor daqui a dois anos. A auditoria mede reconstruibilidade, não acerto.

Passo três: o teste da afirmação viva

Uma afirmação está viva quando ainda pode ser sustentada com a mesma força com que foi escrita. O teste tem quatro perguntas, e basta uma resposta negativa para rebaixar o veredito. O mecanismo descrito ainda existe. O número ainda mede a mesma coisa. A mesma amostra, colhida hoje, produziria o mesmo padrão. A relação de causa continua sendo a mais provável entre as disponíveis.

As duas primeiras perguntas são técnicas e costumam ser respondidas com facilidade. As duas últimas são as que separam auditoria de conferência. Uma afirmação pode continuar verdadeira e ter deixado de ser relevante, porque o mecanismo que a produzia virou residual. Outra pode continuar relevante e ter perdido o direito à força do enunciado, porque a amostra que a sustentava era pequena demais para a generalização que se escreveu.

Vale distinguir três vereditos que costumam ser confundidos. A afirmação obsoleta, cujo objeto mudou. A afirmação sobrevivente, cujo objeto mudou menos do que se temia. E a afirmação que nunca deveria ter sido escrita com aquela força, cujo problema não é o tempo, é o enunciado. Só a terceira exige admitir um erro de origem, e é a que mais resiste a ser registrada.

Um caso de auditoria curta

Vale acompanhar um caso inteiro, do inventário ao veredito, porque a auditoria é mais fácil de entender no concreto do que na descrição do método. O caso é o de uma afirmação sobre um indicador de contratação usado como sinal de demanda: a frase dizia que a abertura de vagas em determinado cargo antecipa a compra de determinada categoria de serviço.

No inventário, a linha tinha data, fonte declarada e nenhum dependente mapeado. Na verificação, a fonte foi classificada como parcial: havia a lista de vagas, mas não o critério de seleção, e a data da coleta não constava. No teste da afirmação viva, a primeira pergunta passou, a segunda passou, a terceira falhou, porque a mesma lista colhida hoje incluiria vagas que não existiam na estrutura anterior, e a quarta ficou indefinida.

O veredito não foi retirar o texto, foi rebaixar. A frase categórica virou descrição de uma observação datada, com a ressalva de que a lista de vagas não distingue contratação nova de reposição. O custo da decisão foi de duas horas, e o efeito foi impedir que a afirmação fosse repetida em outro documento como se fosse uma regularidade demonstrada. As armadilhas de ler vagas como sinal de demanda estão descritas em Extração sem arquivo é uma conclusão sem testemunha.

O sorteio da amostra de reconferência

Auditar tudo a cada trimestre é inviável, e tentar fazer isso é a maneira mais rápida de não auditar nada. O caminho é o sorteio estratificado: dividir o inventário por tópico e por faixa de idade, e sortear um número fixo de afirmações em cada estrato. O objetivo não é precisão estatística, é detectar falha sistêmica.

A regra prática que funciona: todo item com mais de doze meses entra no sorteio, e todo item que sustenta um número citado fora da publicação entra por decisão, sem sorteio. Os demais concorrem. O sorteio precisa ser registrado, com a lista completa dos concorrentes e o resultado, para que a auditoria seguinte não escolha de novo os mesmos casos confortáveis.

A reconferência é cega. Quem refaz a coleta não deve ler a conclusão do artigo antes de refazer, porque a conclusão orienta a percepção e produz concordância artificial. O auditor recebe a pergunta, o critério e a data, e devolve o que encontrou. A comparação com o publicado acontece depois, e é nesse momento que o veredito é escrito.

Passo quatro: a decisão de atualizar, consolidar ou remover

Quatro saídas, e a escolha depende do estado da fonte e do tipo de afirmação. Atualizar quando o mecanismo continua o mesmo e o dado pode ser renovado, com nota de nova data. Consolidar quando dois textos dizem coisas parecidas com dados diferentes, e manter os dois aumenta a chance de contradição pública. Remover quando a fonte está perdida e a afirmação não pode ser sustentada de outro modo.

A quarta saída é a que quase ninguém usa: rebaixar. Rebaixar é manter o texto e reduzir a força do enunciado, trocando a afirmação categórica por uma descrição do que foi observado, com data e limite. É a resposta correta para a afirmação que era verdadeira na amostra e nunca foi verdadeira no mundo, e para a que dependia de uma leitura que o produto mudou.

A escolha entre atualizar e rebaixar é onde a auditoria encontra a série temporal. Se o critério mudou, atualizar produz uma série emendada, que é pior do que a ausência de série. O problema da mudança de produto no meio da série está descrito em Indicador aposentado sem nota de óbito continua citado, e vale como alerta: uma atualização que quebra a comparabilidade sem aviso é uma forma de criar dívida nova enquanto se paga a antiga.

O registro do que foi decidido

Toda decisão de auditoria precisa de cinco campos: data, responsável, veredito, motivo em uma frase e o que muda no texto. Sem esses campos, a auditoria vira folclore, e o próximo responsável refaz as mesmas perguntas do zero. Com eles, a auditoria se acumula como memória operacional.

O registro tem uma função externa também. Quando um veredito altera uma afirmação já publicada, a mudança precisa ser visível para quem lê, não apenas para quem opera. Uma nota de revisão no fim do texto, com data e motivo, é mais útil do que a reescrita silenciosa, porque preserva as duas camadas: o que se sabia e o que se sabe agora.

Há um efeito colateral desejável. O registro de vereditos mostra, ao longo de dois ou três ciclos, quais tópicos envelhecem mais rápido. Esse é o insumo para ajustar a cadência de revisão por tópico, em vez de tratar todo o acervo com a mesma periodicidade. Um acervo mantido como série viva envelhece devagar; uma leitura de produto envelhece rápido, e o registro é o que revela a diferença. A rotina de conservar uma série ao longo de anos está descrita em Um painel que ninguém abre é uma decisão que ninguém tomou.

Cadência: por que trimestral

O trimestre não é uma unidade natural da pesquisa. É uma unidade administrativa, e é justamente por isso que funciona: coincide com o ciclo em que relatórios circulam e em que números são repetidos fora da publicação. Auditar em outro ritmo tende a produzir boas decisões que chegam depois da hora em que eram necessárias.

Três meses também é o intervalo em que uma falha de coleta ainda é lembrada por alguém. Passado um ano, a memória de como o dado foi obtido desaparece, e a verificação de fonte passa a depender de registros que ninguém escreveu. A cadência curta não serve para revisar mais; serve para revisar enquanto a fonte ainda pode ser consultada.

O calendário prático tem duas datas fixas. A primeira semana do trimestre recebe o inventário atualizado e o sorteio. A última semana recebe a consolidação dos vereditos e a nota de revisão, quando houver. As semanas do meio ficam para a reconferência, que é a parte que consome tempo e a única que não pode ser comprimida.

O erro de auditar tudo

O excesso de zelo produz um padrão previsível. A equipe tenta revisar o acervo inteiro em um trimestre, descobre que o custo é equivalente a reescrever tudo, adia a auditoria seguinte e volta ao ponto de partida com a sensação de ter feito um esforço grande. A auditoria total é a forma mais sofisticada de não manter nada.

O princípio de proporcionalidade resolve isso melhor do que qualquer meta de cobertura. Uma passagem amostral por trimestre, com cobertura integral anual apenas para o que sai de casa, mantém o acervo legível com custo previsível. [Deming, 1986] insistiu que qualidade é resultado de processo estável e medido, não de inspeção heroica no fim, e a ideia se aplica aqui: a auditoria serve para corrigir o processo que produziu a afirmação, não para salvar o texto.

A consequência é que a auditoria precisa apontar para trás. Cada veredito negativo deve gerar uma pergunta sobre o método de coleta que permitiu aquela afirmação nascer sem nota. Se a resposta for sempre a mesma, o problema não está no acervo antigo, está na rotina atual, e nenhuma auditoria futura vai compensar isso.

O limite do que uma auditoria resolve

A auditoria detecta e classifica. Não recupera fonte perdida, não devolve comparabilidade a uma série emendada e não mede o efeito do texto sobre quem leu. Ela também não substitui julgamento editorial: o veredito diz que a afirmação não é mais sustentável com aquela força, e a decisão de como reescrever continua sendo editorial.

O que a auditoria faz, e faz bem, é impedir que o acervo minta sozinho. Ela introduz um ponto de verificação entre a publicação e o esquecimento, e transforma uma coleção de textos em um registro com estado conhecido. [Weick, 1995] mostrou que organizações produzem sentido retrospectivamente, olhando para o que já fizeram, e é exatamente isso que o roteiro formaliza. Sem o roteiro, o sentido retrospectivo é narrativa. Com ele, é registro.

Referências

DEMING, W. Edwards. Out of the Crisis. Cambridge: MIT Press, 1986.

WEICK, Karl E. Sensemaking in Organizations. Thousand Oaks: Sage, 1995.

ciclo pdca: a entrada descreve o ciclo de planilhar, executar, verificar e agir, que sustenta a lógica trimestral do roteiro descrito aqui.

auditoria: a entrada define auditoria como exame independente de registros, o que justifica a exigência de reconferência cega e de registro de veredito.