Por que o NER clínico francês quebra modelos genéricos

Abra um relatório de oncologia em francês e a maioria dos modelos de NER prontos a usar tropeça logo na primeira frase. O vocabulário é denso e abreviado (ER, PR, HER2, Ki67, FISH), a formatação muda de um hospital para outro, e a terminologia de biomarcadores que importa está quase ausente dos corpora com que esses modelos foram treinados. O reflexo habitual — atirar-lhe um modelo grande — funciona, mas é caro, opaco e difícil de justificar perante um clínico ou um auditor.

Nem toda entidade precisa de um LLM

O DEMNE parte de uma observação direta: as entidades destes relatórios não são igualmente difíceis. Uma menção de biópsia escreve-se de umas poucas formas estáveis; um nome de fármaco pode aparecer de cem maneiras. Assim, em vez de um único modelo para tudo, o DEMNE mede cada tipo de entidade e encaminha-a para o método mais leve que seja fiável — uma regra determinística, um transformer afinado ou um LLM apenas como último recurso.

A medida são cinco métricas de corpus calculadas a partir das anotações: quão regular é a forma de superfície, quão homogéneo é o vocabulário, se um pequeno conjunto de palavras-chave é discriminante, com que frequência a menção surge sob negação ou contradição, e se há dados anotados suficientes para treinar um modelo supervisionado. Um grafo de decisão determinístico transforma esses números num nível, e os seus 17 limiares são calibrados com uma busca multiobjetivo que penaliza a dobrar enviar uma entidade para um método demasiado fraco face a um apenas demasiado caro.

O que traz

No conjunto de calibração de oncologia (59 tipos de entidade), o encaminhamento concorda com o nível de referência dos especialistas com uma concordância de 0,954 e uma estimativa leave-one-corpus-out de 0,866 — bem acima de qualquer baseline de nível fixo (sempre-regras atinge 0,729, sempre-LLM 0,148). O teste mais convincente é externo: aplicado sem reajuste a 300 relatórios de TC da AP-HP, em localizações tumorais nunca vistas, o DEMNE encaminhou 99,5 % das menções (411 de 413) para regras determinísticas. Essas regras atingiram um F1 médio de 0,941, ao passo que um transformer afinado nas mesmas entidades, com um orçamento hospitalar realista, ficou-se por 0,358.

Por outras palavras: para as entidades padronizadas que dominam o relatório oncológico, as regras não eram apenas mais baratas — eram melhores, e cada decisão de regra traça-se até uma condição explícita, exatamente o que pedem os artigos 12 e 14 do EU AI Act.

Onde para

Quero ser honesto quanto aos limites. O padrão de referência é pequeno — 92 tipos de entidade, 59 deles em oncologia — por isso as pontuações num único corpus são otimistas e só valem as comparações relativas. O nível LLM nunca foi avaliado de ponta a ponta na coorte externa; a sua única entidade encaminhada era demasiado rara. E a calibração não se transfere entre domínios: noutro género clínico ou noutra língua a concordância cai para 0,45–0,73, pelo que os limiares têm de ser reajustados. O DEMNE é uma prova de viabilidade, não um produto acabado.

Porque importa

A questão não é que as regras batam os transformers. É que «qual método» é uma pergunta que se pode responder entidade a entidade, a partir de propriedades mensuráveis do texto, em vez de recorrer por defeito ao modelo mais pesado e esperar. Para o PLN clínico — onde o custo, a auditabilidade e a confiança importam ao mesmo tempo — este enquadramento vale mais do que mais um ponto percentual num benchmark.

O código e o método completo estão no GitHub; o manuscrito está em preparação.