Extracción por etapas frente a un único modelo grande

Si hoy le pasas un problema difícil de PLN a un equipo, el reflejo es echar mano del modelo más grande disponible y dejar que lo resuelva todo. En texto clínico francés ese reflejo es costoso, lento y difícil de auditar — y, al final, ni siquiera el más preciso. DEMNE hace la apuesta contraria: enviar cada tipo de entidad a la herramienta más ligera capaz de manejarla, y escalar solo cuando el texto lo exige de verdad.

Una escalera, no un martillo

El pipeline tiene tres niveles. Reglas deterministas — regex y léxicos curados — se encargan de las entidades escritas de unas pocas formas estables: fechas, dosis, abreviaturas estándar de biomarcadores. Un transformer afinado en texto oncológico francés trata las entidades que requieren verdadera comprensión semántica y de dominio. Un LLM está en la cima, reservado a los casos realmente ambiguos que sobreviven a las dos etapas anteriores. Nada sube más alto de lo necesario.

¿Por qué no solo el LLM?

Porque un único modelo grande paga el precio del LLM en cada entidad, incluidas las que una regex habría resuelto al instante. Es más lento, necesita un presupuesto de GPU que la mayoría de los hospitales no tiene, y cada decisión es una caja negra que igualmente hay que justificar ante un clínico o un auditor. Y en la propia tarea de enrutamiento, el baseline siempre-LLM fue el peor, coincidiendo con el nivel experto solo 0,148 de las veces. La herramienta más pesada no es automáticamente la más fiable.

El coste de enrutar mal

La extracción por etapas solo compensa si el enrutamiento es bueno, así que ahí es donde DEMNE pone su cuidado. Cinco métricas medidas a partir de las anotaciones alimentan un grafo de decisión determinista cuyos 17 umbrales se calibran con una búsqueda multiobjetivo. El objetivo es deliberadamente asimétrico: enviar una entidad a un método demasiado débil se penaliza el doble que enviarla a uno meramente demasiado costoso — porque una extracción perdida en un informe clínico cuesta más que un segundo de GPU desperdiciado.

Lo que dicen los números

En el conjunto de calibración de oncología, el enrutamiento coincide con el nivel de referencia de los expertos 0,954 de las veces, frente a 0,729 de siempre-reglas y 0,148 de siempre-LLM. Aplicado sin tocar a 300 informes de AP-HP nunca vistos, enrutó el 99,5 % de las menciones a reglas deterministas, que alcanzaron un F1 medio de 0,941 — donde un transformer afinado con un presupuesto hospitalario realista se quedó en 0,358. Para las entidades estandarizadas que dominan estos informes, el nivel más barato era también el más preciso.

Cuándo un único modelo es la respuesta correcta

La estratificación no es gratis: añade una capa de enrutamiento que construir, medir y mantener, y los umbrales deben recalibrarse para cada nuevo dominio. Si el texto es uniforme, las entidades son todas igual de difíciles, o hay presupuesto y tolerancia de auditoría para un único modelo grande, la escalera es solo sobrecarga. La afirmación aquí es estrecha — cuando el coste, la latencia y la trazabilidad importan a la vez, como en el PLN clínico, decidir entidad por entidad supera a recurrir por defecto al modelo más pesado y confiar.

El código y el método completo están en GitHub; el manuscrito está en preparación.