Warum französisches klinisches NER generische Modelle scheitern lässt

Öffnen Sie einen französischen onkologischen Bericht, und die meisten gebrauchsfertigen NER-Modelle stolpern schon im ersten Satz. Das Vokabular ist dicht und abgekürzt (ER, PR, HER2, Ki67, FISH), die Formatierung wechselt von Klinik zu Klinik, und die entscheidende Biomarker-Terminologie fehlt in den Korpora, auf denen diese Modelle trainiert wurden, fast völlig. Der übliche Reflex — ein großes Modell darauf werfen — funktioniert, ist aber teuer, intransparent und vor einem Kliniker oder Prüfer schwer zu rechtfertigen.

Nicht jede Entität braucht ein LLM

DEMNE geht von einer schlichten Beobachtung aus: Die Entitäten in diesen Berichten sind nicht gleich schwer. Eine Biopsie-Erwähnung wird auf wenige stabile Arten geschrieben; ein Medikamentenname kann in hundert Formen auftreten. Statt eines Modells für alles misst DEMNE daher jeden Entitätstyp und schickt ihn an die leichteste Methode, die zuverlässig genug ist — eine deterministische Regel, einen feinabgestimmten Transformer oder ein LLM nur als letztes Mittel.

Die Messung besteht aus fünf Korpusmetriken, die aus den Annotationen berechnet werden: wie schablonenhaft die Oberflächenform ist, wie homogen das Vokabular ist, ob ein kleiner Schlüsselwortsatz diskriminierend ist, wie oft die Erwähnung unter Negation oder Widerspruch steht, und ob überhaupt genug annotierte Daten für ein überwachtes Modell vorhanden sind. Ein deterministischer Entscheidungsgraph macht aus diesen Zahlen eine Stufe, und seine 17 Schwellenwerte werden mit einer multikriteriellen Suche kalibriert, die das Senden einer Entität an eine zu schwache Methode doppelt so stark bestraft wie an eine bloß zu teure.

Was es bringt

Auf dem onkologischen Kalibrierungssatz (59 Entitätstypen) stimmt das Routing mit der Experten-Referenzstufe mit einer Konkordanz von 0,954 überein, bei einer Leave-one-corpus-out-Schätzung von 0,866 — deutlich über jeder Baseline mit fester Stufe (immer-Regeln erreicht 0,729, immer-LLM 0,148). Der überzeugendere Test ist extern: ohne Nachjustierung auf 300 AP-HP-CT-Berichte aus zuvor ungesehenen Krebslokalisationen angewandt, leitete DEMNE 99,5 % der markierten Erwähnungen (411 von 413) an deterministische Regeln. Diese Regeln erreichten einen mittleren F1 von 0,941, während ein auf denselben Entitäten unter realistischem Klinikbudget feinabgestimmter Transformer nur 0,358 schaffte.

Mit anderen Worten: Für die standardisierten Entitäten, die die onkologische Berichterstattung dominieren, waren Regeln nicht nur billiger — sie waren besser, und jede Regelentscheidung lässt sich auf eine explizite Bedingung zurückführen, genau das, was die Artikel 12 und 14 der EU AI Act verlangen.

Wo es endet

Ich will bei den Grenzen ehrlich sein. Der Referenzstandard ist klein — 92 Entitätstypen, 59 davon in der Onkologie — daher sind Einzelkorpus-Werte optimistisch und nur relative Vergleiche tragen. Die LLM-Stufe wurde auf der externen Kohorte nie durchgängig evaluiert; ihre eine geroutete Entität war zu selten. Und die Kalibrierung überträgt sich nicht zwischen Domänen: In einem anderen klinischen Genre oder einer anderen Sprache fällt die Konkordanz auf 0,45–0,73, sodass die Schwellen neu angepasst werden müssen. DEMNE ist ein Machbarkeitsnachweis, kein fertiges Produkt.

Warum es zählt

Der Punkt ist nicht, dass Regeln Transformer schlagen. Es ist, dass „welche Methode“ eine Frage ist, die man pro Entität beantworten kann — aus messbaren Eigenschaften des Textes, statt standardmäßig das schwerste Modell zu wählen und zu hoffen. Für die klinische NLP — wo Kosten, Prüfbarkeit und Vertrauen zugleich zählen — ist diese Rahmung mehr wert als ein weiterer Prozentpunkt auf einem Benchmark.

Der Code und die vollständige Methode sind auf GitHub; das Manuskript ist in Vorbereitung.