Waarom Franse klinische NER generieke modellen breekt

Open een Frans oncologisch verslag en de meeste kant-en-klare NER-modellen struikelen al in de eerste zin. Het vocabulaire is dicht en afgekort (ER, PR, HER2, Ki67, FISH), de opmaak verschilt per ziekenhuis, en de biomarkerterminologie die ertoe doet ontbreekt vrijwel in de corpora waarop deze modellen zijn getraind. De gebruikelijke reflex — er een groot model op loslaten — werkt, maar is duur, ondoorzichtig en moeilijk te verantwoorden tegenover een clinicus of auditor.

Niet elke entiteit heeft een LLM nodig

DEMNE vertrekt van een nuchtere observatie: de entiteiten in deze verslagen zijn niet even moeilijk. Een biopsievermelding wordt op een handvol stabiele manieren geschreven; een medicijnnaam kan in honderd vormen opduiken. Dus in plaats van één model voor alles meet DEMNE elk entiteitstype en stuurt het naar de lichtste methode die betrouwbaar genoeg is — een deterministische regel, een fijn afgestemde transformer, of een LLM alleen als laatste redmiddel.

De meting bestaat uit vijf corpusmetingen berekend uit de annotaties: hoe sjabloonmatig de oppervlaktevorm is, hoe homogeen het vocabulaire is, of een kleine set trefwoorden onderscheidend is, hoe vaak de vermelding onder negatie of tegenspraak valt, en of er wel genoeg gelabelde data is om een supervised model te trainen. Een deterministische beslisgraaf zet die getallen om in een niveau, en de 17 drempels worden gekalibreerd met een multi-objective zoektocht die een entiteit naar een te zwakke methode sturen twee keer zo zwaar bestraft als naar een slechts te dure.

Wat het oplevert

Op de oncologische kalibratieset (59 entiteitstypen) komt de routering overeen met het expertreferentieniveau met een concordantie van 0,954 en een leave-one-corpus-out-schatting van 0,866 — ruim boven elke baseline met vast niveau (altijd-regels haalt 0,729, altijd-LLM 0,148). De overtuigender test is extern: zonder bijstelling toegepast op 300 CT-verslagen van de AP-HP, op nooit geziene tumorlocaties, routeerde DEMNE 99,5 % van de gemarkeerde vermeldingen (411 van 413) naar deterministische regels. Die regels haalden een gemiddelde F1 van 0,941, terwijl een op dezelfde entiteiten fijn afgestemde transformer binnen een realistisch ziekenhuisbudget bleef steken op 0,358.

Met andere woorden: voor de gestandaardiseerde entiteiten die de oncologische verslaglegging domineren, waren regels niet alleen goedkoper — ze waren beter, en elke regelbeslissing is te herleiden tot een expliciete voorwaarde, precies wat de artikelen 12 en 14 van de EU AI Act vragen.

Waar het stopt

Ik wil eerlijk zijn over de grenzen. De referentiestandaard is klein — 92 entiteitstypen, 59 ervan in de oncologie — dus scores op één corpus zijn optimistisch en alleen relatieve vergelijkingen houden stand. Het LLM-niveau is op het externe cohort nooit end-to-end geëvalueerd; de ene gerouteerde entiteit was te zeldzaam. En de kalibratie draagt niet over tussen domeinen: in een ander klinisch genre of een andere taal zakt de concordantie naar 0,45–0,73, dus de drempels moeten opnieuw worden afgesteld. DEMNE is een haalbaarheidsbewijs, geen afgewerkt product.

Waarom het ertoe doet

Het punt is niet dat regels transformers verslaan. Het is dat „welke methode” een vraag is die je per entiteit kunt beantwoorden, vanuit meetbare eigenschappen van de tekst, in plaats van standaard het zwaarste model te kiezen en te hopen. Voor klinische NLP — waar kosten, auditeerbaarheid en vertrouwen tegelijk tellen — is die insteek meer waard dan nog een procentpunt op een benchmark.

De code en de volledige methode staan op GitHub; het manuscript is in voorbereiding.