Perché il NER clinico francese manda in crisi i modelli generici

Aprite un referto oncologico francese e la maggior parte dei modelli NER pronti all’uso inciampa già nella prima frase. Il vocabolario è denso e abbreviato (ER, PR, HER2, Ki67, FISH), la formattazione cambia da un ospedale all’altro, e la terminologia dei biomarcatori che conta è quasi assente dai corpora su cui questi modelli sono stati addestrati. Il riflesso abituale — lanciarci contro un modello grande — funziona, ma è costoso, opaco e difficile da giustificare davanti a un clinico o a un revisore.

Non ogni entità ha bisogno di un LLM

DEMNE parte da un’osservazione netta: le entità di questi referti non sono ugualmente difficili. Una menzione di biopsia si scrive in poche forme stabili; un nome di farmaco può comparire in cento modi. Così, invece di un unico modello per tutto, DEMNE misura ogni tipo di entità e la indirizza al metodo più leggero che resti affidabile — una regola deterministica, un transformer affinato o un LLM solo come ultima risorsa.

La misura sono cinque metriche di corpus calcolate dalle annotazioni: quanto la forma di superficie è regolare, quanto il vocabolario è omogeneo, se un piccolo insieme di parole chiave è discriminante, con quale frequenza la menzione cade sotto negazione o contraddizione, e se esistono abbastanza dati annotati per addestrare un modello supervisionato. Un grafo decisionale deterministico trasforma quei numeri in un livello, e le sue 17 soglie sono calibrate con una ricerca multi-obiettivo che penalizza il doppio inviare un’entità a un metodo troppo debole rispetto a uno solo troppo costoso.

Cosa porta

Sul set di calibrazione oncologico (59 tipi di entità), l’instradamento concorda con il livello di riferimento degli esperti con una concordanza di 0,954 e una stima leave-one-corpus-out di 0,866 — ben oltre qualsiasi baseline a livello fisso (sempre-regole raggiunge 0,729, sempre-LLM 0,148). La prova più convincente è esterna: applicato senza ritaratura a 300 referti TC dell’AP-HP, su sedi tumorali mai viste, DEMNE ha instradato il 99,5 % delle menzioni (411 su 413) verso regole deterministiche. Quelle regole hanno raggiunto un F1 medio di 0,941, mentre un transformer affinato sulle stesse entità, con un budget ospedaliero realistico, si è fermato a 0,358.

In altre parole: per le entità standardizzate che dominano la refertazione oncologica, le regole non erano solo più economiche — erano migliori, e ogni decisione di regola si traccia fino a una condizione esplicita, esattamente ciò che chiedono gli articoli 12 e 14 dell’EU AI Act.

Dove si ferma

Voglio essere onesto sui limiti. Lo standard di riferimento è piccolo — 92 tipi di entità, 59 in oncologia — perciò i punteggi su un singolo corpus sono ottimistici e valgono solo i confronti relativi. Il livello LLM non è mai stato valutato end-to-end sulla coorte esterna; la sua unica entità instradata era troppo rara. E la calibrazione non si trasferisce tra domini: in un altro genere clinico o in un’altra lingua la concordanza scende a 0,45–0,73, quindi le soglie vanno ritarate. DEMNE è una prova di fattibilità, non un prodotto finito.

Perché conta

Il punto non è che le regole battono i transformer. È che «quale metodo» è una domanda a cui si può rispondere entità per entità, a partire da proprietà misurabili del testo, invece di scegliere per default il modello più pesante e sperare. Per l’NLP clinico — dove costo, auditabilità e fiducia contano insieme — questa impostazione vale più di un altro punto percentuale su un benchmark.

Il codice e il metodo completo sono su GitHub; il manoscritto è in preparazione.