Gefaseerde extractie versus één groot model

Geef een team vandaag een moeilijk NLP-probleem en de reflex is om naar het grootste beschikbare model te grijpen en het alles te laten uitzoeken. Op Franse klinische tekst is die reflex duur, traag en moeilijk te auditen — en, zo blijkt, niet eens het nauwkeurigst. DEMNE zet in op het tegenovergestelde: stuur elk entiteitstype naar het lichtste gereedschap dat het aankan, en escaleer alleen als de tekst er echt om vraagt.

Een trap, geen hamer

De pijplijn heeft drie niveaus. Deterministische regels — regex en samengestelde lexicons — nemen de entiteiten die op een handvol stabiele manieren worden geschreven: data, doseringen, standaard biomarker-afkortingen. Een op Franse oncologische tekst fijn afgestelde transformer verwerkt de entiteiten die echt semantisch en domeinbegrip vereisen. Een LLM staat bovenaan, gereserveerd voor de werkelijk dubbelzinnige gevallen die beide eerdere stappen overleven. Niets klimt hoger dan nodig.

Waarom niet gewoon de LLM?

Omdat één groot model de prijs van de LLM op elke entiteit betaalt, ook die welke een regex meteen had opgelost. Het is trager, het vraagt een GPU-budget dat de meeste ziekenhuizen niet hebben, en elke beslissing is een black box die je alsnog moet verantwoorden tegenover een clinicus of auditor. En op de routeringstaak zelf was de altijd-LLM-baseline de slechtste, die het expertniveau slechts 0,148 van de tijd evenaarde. Het zwaarste gereedschap is niet automatisch het betrouwbaarste.

De kosten van verkeerd routeren

Gefaseerde extractie loont alleen als de routering goed is, dus daar steekt DEMNE zijn zorg in. Vijf uit de annotaties gemeten metingen voeden een deterministische beslisgraaf waarvan de 17 drempels met een multi-objective zoektocht worden gekalibreerd. Het doel is bewust asymmetrisch: een entiteit naar een te zwakke methode sturen wordt twee keer zo zwaar bestraft als naar een slechts te dure — want een gemiste extractie in een klinisch rapport kost meer dan een verspilde GPU-seconde.

Wat de cijfers zeggen

Op de oncologische kalibratieset komt de routering 0,954 van de tijd overeen met het expertreferentieniveau, tegen 0,729 voor altijd-regels en 0,148 voor altijd-LLM. Onveranderd toegepast op 300 ongeziene AP-HP-rapporten routeerde het 99,5 % van de vermeldingen naar deterministische regels, die een gemiddelde F1 van 0,941 haalden — waar een onder een realistisch ziekenhuisbudget fijn afgestelde transformer op 0,358 bleef steken. Voor de gestandaardiseerde entiteiten die deze rapporten domineren, was het goedkope niveau ook het nauwkeurige.

Wanneer één model het juiste antwoord is

Fasering is niet gratis: het voegt een routeringslaag toe om te bouwen, te meten en te onderhouden, en de drempels moeten voor elk nieuw domein opnieuw worden gekalibreerd. Is de tekst uniform, zijn alle entiteiten even moeilijk, of is er budget en audittolerantie voor één groot model, dan is de trap alleen maar overhead. De claim hier is smal — als kosten, latentie en traceerbaarheid tegelijk tellen, zoals in klinische NLP, verslaat beslissen per entiteit het standaard kiezen van het zwaarste model en hopen.

De code en de volledige methode staan op GitHub; het manuscript is in voorbereiding.