Extração em estágios vs. um único modelo grande

Entregue hoje um problema difícil de PLN a uma equipa e o reflexo é pegar no maior modelo disponível e deixá-lo resolver tudo. Em texto clínico francês esse reflexo é caro, lento e difícil de auditar — e, no fim, nem sequer o mais preciso. O DEMNE faz a aposta oposta: enviar cada tipo de entidade para a ferramenta mais leve capaz de a tratar, e escalar apenas quando o texto realmente o exige.

Uma escada, não um martelo

O pipeline tem três níveis. Regras determinísticas — regex e léxicos curados — tratam das entidades escritas de umas poucas formas estáveis: datas, dosagens, abreviaturas padrão de biomarcadores. Um transformer afinado em texto oncológico francês trata das entidades que exigem verdadeira compreensão semântica e de domínio. Um LLM fica no topo, reservado aos casos realmente ambíguos que sobrevivem às duas etapas anteriores. Nada sobe mais alto do que o necessário.

Porquê não só o LLM?

Porque um único modelo grande paga o preço do LLM em cada entidade, incluindo as que uma regex teria resolvido num instante. É mais lento, precisa de um orçamento de GPU que a maioria dos hospitais não tem, e cada decisão é uma caixa negra que, ainda assim, é preciso justificar perante um clínico ou um auditor. E na própria tarefa de roteamento, o baseline sempre-LLM foi o pior, concordando com o nível especialista apenas 0,148 das vezes. A ferramenta mais pesada não é automaticamente a mais fiável.

O custo de rotear mal

A extração em estágios só compensa se o roteamento for bom, por isso é aí que o DEMNE põe o seu cuidado. Cinco métricas medidas a partir das anotações alimentam um grafo de decisão determinístico cujos 17 limiares são calibrados por uma busca multiobjetivo. O objetivo é deliberadamente assimétrico: enviar uma entidade para um método demasiado fraco é penalizado o dobro de enviá-la para um apenas demasiado caro — porque uma extração perdida num relatório clínico custa mais do que um segundo de GPU desperdiçado.

O que dizem os números

No conjunto de calibração de oncologia, o roteamento coincide com o nível de referência dos especialistas 0,954 das vezes, contra 0,729 de sempre-regras e 0,148 de sempre-LLM. Aplicado intacto a 300 relatórios da AP-HP nunca vistos, encaminhou 99,5 % das menções para regras determinísticas, que atingiram um F1 médio de 0,941 — onde um transformer afinado com um orçamento hospitalar realista ficou por 0,358. Para as entidades padronizadas que dominam estes relatórios, o nível mais barato era também o mais preciso.

Quando um único modelo é a resposta certa

A estratificação não é gratuita: acrescenta uma camada de roteamento para construir, medir e manter, e os limiares têm de ser recalibrados para cada novo domínio. Se o texto é uniforme, as entidades são todas igualmente difíceis, ou há orçamento e tolerância de auditoria para um único modelo grande, a escada é só sobrecarga. A afirmação aqui é estreita — quando o custo, a latência e a rastreabilidade importam ao mesmo tempo, como no PLN clínico, decidir entidade a entidade supera recorrer por defeito ao modelo mais pesado e esperar.

O código e o método completo estão no GitHub; o manuscrito está em preparação.