Stegvis extraktion kontra en enda stor modell

Ge ett team ett svårt NLP-problem i dag, och reflexen är att ta till den största tillgängliga modellen och låta den reda ut allt. På fransk klinisk text är den reflexen dyr, långsam och svår att granska — och, visar det sig, inte ens den mest exakta. DEMNE satsar på motsatsen: skicka varje entitetstyp till det lättaste verktyg som klarar den, och eskalera bara när texten verkligen kräver det.

En trappa, inte en hammare

Pipelinen har tre nivåer. Deterministiska regler — regex och kuraterade lexikon — tar entiteterna som skrivs på en handfull stabila sätt: datum, doser, standardförkortningar för biomarkörer. En transformer finjusterad på fransk onkologisk text hanterar entiteterna som kräver verklig semantisk och domänmässig förståelse. En LLM sitter överst, reserverad för de verkligt tvetydiga fallen som överlever båda tidigare steg. Inget klättrar högre än det behöver.

Varför inte bara LLM:en?

För att en enda stor modell betalar LLM:ens pris på varje entitet, även de som en regex hade klarat direkt. Den är långsammare, kräver en GPU-budget som de flesta sjukhus inte har, och varje beslut är en svart låda som du ändå måste försvara inför en kliniker eller granskare. Och på själva dirigeringsuppgiften var alltid-LLM-baslinjen den sämsta och höll bara med expertnivån 0,148 av gångerna. Det tyngsta verktyget är inte automatiskt det mest tillförlitliga.

Vad felaktig dirigering kostar

Stegvis extraktion lönar sig bara om dirigeringen är bra, så det är där DEMNE lägger sin omsorg. Fem mått uppmätta ur annoteringarna matar en deterministisk beslutsgraf vars 17 tröskelvärden kalibreras med en flermålssökning. Målet är medvetet asymmetriskt: att skicka en entitet till en alltför svag metod bestraffas dubbelt så hårt som till en bara alltför dyr — för en missad extraktion i en klinisk rapport kostar mer än en bortkastad GPU-sekund.

Vad siffrorna säger

På den onkologiska kalibreringsmängden stämmer dirigeringen med expertreferensnivån 0,954 av gångerna, mot 0,729 för alltid-regler och 0,148 för alltid-LLM. Tillämpad orörd på 300 osedda AP-HP-rapporter dirigerade den 99,5 % av omnämnandena till deterministiska regler, som nådde ett medel-F1 på 0,941 — där en transformer finjusterad inom en realistisk sjukhusbudget stannade på 0,358. För de standardiserade entiteter som dominerar dessa rapporter var den billiga nivån också den exakta.

När en enda modell är rätt svar

Stegindelning är inte gratis: den lägger till ett dirigeringslager att bygga, mäta och underhålla, och trösklarna måste omkalibreras för varje ny domän. Om texten är enhetlig, entiteterna lika svåra, eller det finns budget och granskningstolerans för en enda stor modell, är trappan bara overhead. Påståendet här är smalt — när kostnad, latens och spårbarhet betyder något samtidigt, som i klinisk NLP, slår beslut per entitet att som standard välja den tyngsta modellen och hoppas.

Koden och hela metoden finns på GitHub; manuskriptet är under arbete.