Quase um milhão de tokens para nada
Uma madrugada de trabalho com agentes de IA e quase um milhão de tokens. O que eles fizeram ficou, enquanto o porquê se perdeu. O conhecimento se refaz, mas a que custo?
Parte 2 de 6 da série Todo dia um 7x1 diferente.
Primeira vez neste tema? Comece pelo Mundo 1 da IA.

Décio Dalke Jr. — Arquiteto de negócios. Sócio-gerente no ecossistema MitUP (mitup.pt).
Série Todo dia um 7x1 diferente. Primeira vez aqui? Comece pela introdução.
Uma madrugada inteira de trabalho com agentes de IA. De manhã, o trabalho estava feito, só que o agente é que não sabia mais o que tinha feito.
O que aconteceu naquela madrugada?
A tarefa era de investigação: testes de cadastro e leitura num sistema legado, para entender como ele guarda os dados. Trabalho lento, de tentar, observar e anotar. Cada teste levava a uma conclusão, e cada conclusão decidia o teste seguinte. O valor estava no fio que ia ligando um teste ao outro.
Em algum momento da madrugada, a conversa ficou grande demais. As ferramentas de IA têm um limite para o tamanho da conversa que conseguem manter de uma vez (a tal janela de contexto). Quando chegam perto dele, resumem sozinhas o que veio antes e seguem em frente. Ninguém pede. O trabalho não para.
Depois do resumo, o agente continuou. Só que já não sabia bem o que tinha feito, nem por quê. E foi pior do que esquecer: olhou para um arquivo antigo e concluiu que o próprio trabalho não existia. Mas estava lá, no sistema, na manhã seguinte.
Qual foi o placar?
Quase um milhão de tokens. Para quem não usa esse vocabulário: token é a unidade em que se mede (e se paga) o trabalho de um modelo de IA. Em dinheiro de API, uns poucos dólares. O caro foi o tempo: uma madrugada inteira, mais de 16 horas de agentes dedicados. E refazer vai levar outra madrugada.
O que o agente fez de prático no sistema ficou; o que se perdeu, no entanto, foi a inteligência da coisa: o que ele estava fazendo, por que fazia, e as análises que tinha tirado de cada teste. Nada disso ficou registrado em lugar nenhum.
O conhecimento se refaz, mas a um custo: os mesmos testes, o mesmo raciocínio, as mesmas conclusões, pagos duas vezes.
Por que não foi azar?
A memória de trabalho do agente é a própria conversa. Tudo o que ele sabe sobre a tarefa está ali, e em mais lugar nenhum, a menos que alguém tenha escrito fora.
Quando a conversa é resumida, o resumo guarda o que parece importante naquele momento. O raciocínio de uma investigação costuma parecer rascunho, pouco importante. E é o primeiro a ir embora.
E a conta não para. Embora os tokens gastos antes do resumo continuem gastos, o que desaparece é o valor do que eles produziram.
Por que ninguém viu chegando?
Por fora, nada muda. O agente continua respondendo com a mesma segurança, no mesmo tom. Não diz “esqueci”. Nem teria como: ele não sabe o que esqueceu.
Isso faz pouca diferença numa conversa de dez minutos e toda a diferença numa madrugada inteira de trabalho.
O que tem de existir?
O raciocínio tem de ficar gravado fora da conversa enquanto o trabalho acontece, porque no fim pode já não haver o que gravar.
Token gasto não volta. Raciocínio que não foi escrito também não.