Todo fornecedor de leitura de documentos apresenta um número de acurácia. Quase sempre é o número errado.
Um sistema com 95% de acerto que devolve tudo com a mesma cara obriga alguém a conferir 100% dos campos, porque não há como saber quais 5% estão errados. Um sistema com 85% de acerto que marca com confiança baixa exatamente os campos duvidosos permite conferir 15%. O segundo produz mais trabalho poupado, com menos risco, apesar do número pior.
O que importa é o comportamento na incerteza.
O que medir de verdade
Três medidas, e nenhuma delas é acurácia média do documento.
Acerto por campo, não por documento. Extrair oito campos certos e a data de validade errada não é 89% de sucesso: é um documento inutilizável, porque a validade é o campo que dispara a consequência.
Calibração da confiança. Entre os campos que o sistema marcou como confiança alta, qual proporção estava certa? Se a resposta for a mesma dos campos de confiança baixa, a confiança não significa nada e a fila de exceção não funciona.
Taxa de abstenção útil. Quantos campos o sistema devolveu como "não encontrei", e quantos deles realmente não estavam no documento. Abster-se demais empurra tudo para a revisão manual; abster-se de menos é o mesmo que inventar.
| Métrica | Pergunta que responde | O que costuma ser reportado |
|---|---|---|
| Acerto por campo crítico | O sistema erra onde dói? | Acurácia média do documento |
| Calibração | A confiança alta merece confiança? | Nada |
| Abstenção | Ele admite não saber? | Nada |
| Custo de revisão | Quantos campos sobram para gente? | Tempo de processamento |
Esquema de saída, e por que ele vem antes do modelo
Extração sem esquema definido devolve texto, e texto não entra em cadastro. O que entra é campo tipado, com formato, domínio e obrigatoriedade.
Definir isso é trabalho de negócio, não de engenharia. Que campos o cadastro precisa, quais são obrigatórios, qual formato de data, que valores são aceitos em cada domínio. Feito esse desenho, o modelo tem para onde escrever, e a validação passa a ser possível: data de validade anterior à de emissão é erro detectável sem que ninguém leia o documento.
Cada campo extraído deve vir com três coisas: o valor, o trecho de origem e a confiança. Sem o trecho de origem, a revisão humana precisa reler o documento inteiro, e você trocou digitação por leitura sem ganhar nada.
A fila de exceção é o produto
Aqui está a inversão que muda o projeto: o entregável não é a extração, é a fila.
Campos abaixo do limiar de confiança, campos que falharam na validação e campos ausentes formam uma lista com responsável, prazo e o documento aberto no trecho certo. Quem revisa vê o valor sugerido, o trecho e decide. A decisão fica registrada e serve de referência.
Fila boa tem três propriedades. É pequena, senão ninguém a trabalha. É priorizada pelo efeito, não pela ordem de chegada — documento ligado a uma chamada de capital na semana que vem passa na frente. E tem histórico, para que a mesma exceção repetida vire ajuste no esquema ou no limiar, e não trabalho eterno.
Regule o limiar de confiança pelo custo do erro, não por um número redondo. Campo cuja consequência é um alerta a mais pode passar com confiança média. Campo que libera integralização, não.
Onde isso encosta na norma
Extração assistida não decide nada. Ela preenche cadastro e propõe validação; aceitar o documento, enquadrar o investidor e liberar a operação continuam sendo atos do prestador, com nome e horário. É a mesma fronteira descrita em auditoria de decisões de IA em ambiente regulado.
E o valor cresce quando a base é boa. Documento versionado, com vigência e escopo, permite que a extração seja conferida contra a norma e contra o regulamento do próprio fundo — o cruzamento que descrevemos em RAG para conformidade da CVM 175. Sobre o acervo de cotistas especificamente, vale automatização de documentos de cotistas de private equity.
Na Arkar, os campos extraídos chegam com trecho de origem e confiança, a validação aplica a regra da norma e do regulamento, e o que não passa vai para fila com responsável. Agende uma demonstração e traga o documento mais bagunçado do seu acervo.