Estrazione a stadi contro un unico grande modello

Affida oggi un problema di NLP difficile a un team e il riflesso è prendere il modello più grande disponibile e lasciargli sistemare tutto. Sul testo clinico francese quel riflesso è costoso, lento e difficile da verificare — e, alla fine, nemmeno il più preciso. DEMNE fa la scommessa opposta: inviare ogni tipo di entità allo strumento più leggero in grado di gestirla, ed escalare solo quando il testo lo richiede davvero.

Una scala, non un martello

La pipeline ha tre livelli. Regole deterministiche — regex e lessici curati — prendono le entità scritte in poche forme stabili: date, dosaggi, abbreviazioni standard dei biomarcatori. Un transformer affinato su testo oncologico francese tratta le entità che richiedono una reale comprensione semantica e di dominio. Un LLM sta in cima, riservato ai casi davvero ambigui che sopravvivono a entrambe le fasi precedenti. Nulla sale più in alto del necessario.

Perché non solo il LLM?

Perché un unico modello grande paga il prezzo del LLM su ogni entità, comprese quelle che una regex avrebbe risolto all’istante. È più lento, richiede un budget GPU che la maggior parte degli ospedali non ha, e ogni decisione è una scatola nera che va comunque giustificata davanti a un clinico o a un revisore. E sul compito di instradamento stesso, la baseline sempre-LLM è stata la peggiore, concordando con il livello esperto solo 0,148 delle volte. Lo strumento più pesante non è automaticamente il più affidabile.

Il costo di un instradamento sbagliato

L’estrazione a stadi conviene solo se l’instradamento è buono, quindi è lì che DEMNE pone la sua cura. Cinque metriche misurate dalle annotazioni alimentano un grafo decisionale deterministico i cui 17 soglie sono calibrate con una ricerca multi-obiettivo. L’obiettivo è volutamente asimmetrico: inviare un’entità a un metodo troppo debole è penalizzato il doppio rispetto a uno solo troppo costoso — perché un’estrazione mancata in un referto clinico costa più di un secondo di GPU sprecato.

Cosa dicono i numeri

Sul set di calibrazione oncologico l’instradamento coincide con il livello di riferimento degli esperti 0,954 delle volte, contro 0,729 di sempre-regole e 0,148 di sempre-LLM. Applicato intatto a 300 referti AP-HP mai visti, ha instradato il 99,5 % delle menzioni verso regole deterministiche, che hanno raggiunto un F1 medio di 0,941 — dove un transformer affinato con un budget ospedaliero realistico si è fermato a 0,358. Per le entità standardizzate che dominano questi referti, il livello più economico era anche il più preciso.

Quando un modello unico è la risposta giusta

La suddivisione in stadi non è gratis: aggiunge un livello di instradamento da costruire, misurare e mantenere, e le soglie vanno ricalibrate per ogni nuovo dominio. Se il testo è uniforme, le entità sono tutte ugualmente difficili, o c’è budget e tolleranza di audit per un unico modello grande, la scala è solo overhead. La tesi qui è stretta — quando costo, latenza e tracciabilità contano insieme, come nell’NLP clinico, decidere entità per entità batte lo scegliere di default il modello più pesante e sperare.

Il codice e il metodo completo sono su GitHub; il manoscritto è in preparazione.