Por qué el NER clínico francés rompe los modelos genéricos

Abra un informe de oncología en francés y la mayoría de los modelos de NER listos para usar tropiezan en la primera frase. El vocabulario es denso y abreviado (ER, PR, HER2, Ki67, FISH), el formato cambia de un hospital a otro, y la terminología de biomarcadores que importa casi no aparece en los corpus con los que se entrenaron esos modelos. El reflejo habitual — lanzarle un modelo grande — funciona, pero es costoso, opaco y difícil de justificar ante un clínico o un auditor.

No toda entidad necesita un LLM

DEMNE parte de una observación simple: las entidades de estos informes no son igual de difíciles. Una mención de biopsia se escribe de unas pocas formas estables; un nombre de fármaco puede aparecer de cien maneras. Así que, en lugar de un único modelo para todo, DEMNE mide cada tipo de entidad y la envía al método más ligero que resulte fiable — una regla determinista, un transformer afinado o un LLM solo como último recurso.

La medida son cinco métricas de corpus calculadas a partir de las anotaciones: cuán regular es la forma de superficie, cuán homogéneo es el vocabulario, si un pequeño conjunto de palabras clave es discriminante, con qué frecuencia la mención está bajo negación o contradicción, y si existen suficientes datos anotados para entrenar un modelo supervisado. Un grafo de decisión determinista convierte esos números en un nivel, y sus 17 umbrales se calibran con una búsqueda multiobjetivo que penaliza el doble enviar una entidad a un método demasiado débil que a uno meramente demasiado costoso.

Lo que aporta

En el conjunto de calibración de oncología (59 tipos de entidad), el enrutamiento coincide con el nivel de referencia de los expertos con una concordancia de 0,954 y una estimación leave-one-corpus-out de 0,866 — muy por encima de cualquier baseline de nivel fijo (siempre-reglas alcanza 0,729, siempre-LLM 0,148). La prueba más convincente es externa: aplicado sin reajuste a 300 informes de TC de la AP-HP, en localizaciones cancerosas que el modelo nunca había visto, DEMNE enrutó el 99,5 % de las menciones (411 de 413) hacia reglas deterministas. Esas reglas alcanzaron un F1 medio de 0,941, mientras que un transformer afinado sobre las mismas entidades, con un presupuesto hospitalario realista, se quedó en 0,358.

Dicho de otro modo: para las entidades estandarizadas que dominan el informe oncológico, las reglas no solo eran más baratas — eran mejores, y cada decisión de regla se rastrea hasta una condición explícita, que es justo lo que piden los artículos 12 y 14 de la EU AI Act.

Dónde se detiene

Quiero ser honesto sobre los límites. El estándar de referencia es pequeño — 92 tipos de entidad, 59 de ellos en oncología — así que las puntuaciones sobre un solo corpus son optimistas y solo valen las comparaciones relativas. El nivel LLM nunca se evaluó de principio a fin en la cohorte externa; su única entidad enrutada era demasiado rara. Y la calibración no se transfiere entre dominios: en otro género clínico u otro idioma la concordancia cae a 0,45–0,73, por lo que los umbrales deben reajustarse. DEMNE es una prueba de viabilidad, no un producto terminado.

Por qué importa

La cuestión no es que las reglas ganen a los transformers. Es que «qué método» es una pregunta que se puede responder entidad por entidad, a partir de propiedades medibles del texto, en vez de recurrir por defecto al modelo más pesado y confiar. Para el PLN clínico — donde el coste, la auditabilidad y la confianza importan a la vez — ese enfoque vale más que un punto porcentual en un benchmark.

El código y el método completo están en GitHub; el manuscrito está en preparación.