Varför fransk klinisk NER slår ut generella modeller

Öppna en fransk onkologisk rapport, så snubblar de flesta färdiga NER-modeller redan i första meningen. Ordförrådet är tätt och förkortat (ER, PR, HER2, Ki67, FISH), formateringen skiftar mellan sjukhus, och den biomarkörterminologi som betyder något saknas nästan helt i de korpusar modellerna tränats på. Den vanliga reflexen — att kasta en stor modell på problemet — fungerar, men är dyr, ogenomskinlig och svår att försvara inför en kliniker eller en granskare.

Alla entiteter behöver inte en LLM

DEMNE utgår från en krass iakttagelse: entiteterna i dessa rapporter är inte lika svåra. En biopsiomnämning skrivs på en handfull stabila sätt; ett läkemedelsnamn kan dyka upp i hundra former. Så i stället för en modell för allt mäter DEMNE varje entitetstyp och skickar den till den lättaste metod som är tillräckligt tillförlitlig — en deterministisk regel, en finjusterad transformer, eller en LLM endast som sista utväg.

Mätningen består av fem korpusmått beräknade ur annoteringarna: hur mallbar ytformen är, hur homogent ordförrådet är, om en liten nyckelordsmängd är diskriminerande, hur ofta omnämnandet ligger under negation eller motsägelse, och om det alls finns tillräckligt med märkt data för att träna en övervakad modell. En deterministisk beslutsgraf gör dessa tal till en nivå, och dess 17 tröskelvärden kalibreras med en flermålssökning som bestraffar att skicka en entitet till en alltför svag metod dubbelt så hårt som till en bara alltför dyr.

Vad det ger

På den onkologiska kalibreringsmängden (59 entitetstyper) stämmer dirigeringen med expertreferensnivån med en konkordans på 0,954 och en leave-one-corpus-out-skattning på 0,866 — långt över varje baslinje med fast nivå (alltid-regler når 0,729, alltid-LLM 0,148). Det mer övertygande testet är externt: tillämpad utan omjustering på 300 DT-rapporter från AP-HP, för cancerlokaler modellen aldrig sett, dirigerade DEMNE 99,5 % av de markerade omnämnandena (411 av 413) till deterministiska regler. Dessa regler nådde ett medel-F1 på 0,941, medan en transformer finjusterad på samma entiteter inom en realistisk sjukhusbudget stannade på 0,358.

Med andra ord: för de standardiserade entiteter som dominerar onkologisk rapportering var regler inte bara billigare — de var bättre, och varje regelbeslut går att spåra till ett explicit villkor, precis vad artiklarna 12 och 14 i EU AI Act kräver.

Var det stannar

Jag vill vara ärlig om gränserna. Referensstandarden är liten — 92 entitetstyper, 59 av dem inom onkologi — så poäng på en enda korpus är optimistiska och bara relativa jämförelser håller. LLM-nivån utvärderades aldrig från början till slut på den externa kohorten; dess enda dirigerade entitet var för sällsynt. Och kalibreringen överförs inte mellan domäner: byter man klinisk genre eller språk faller konkordansen till 0,45–0,73, så trösklarna måste justeras om. DEMNE är ett genomförbarhetsbevis, inte en färdig produkt.

Varför det spelar roll

Poängen är inte att regler slår transformrar. Poängen är att „vilken metod“ är en fråga man kan besvara per entitet, utifrån mätbara egenskaper hos texten, i stället för att som standard välja den tyngsta modellen och hoppas. För klinisk NLP — där kostnad, granskbarhet och tillit betyder något samtidigt — är den infallsvinkeln värd mer än ännu en procentenhet på ett riktmärke.

Koden och hela metoden finns på GitHub; manuskriptet är under arbete.