Gestufte Extraktion vs. ein einzelnes großes Modell

Gibt man heute ein schwieriges NLP-Problem an ein Team, ist der Reflex, zum größten verfügbaren Modell zu greifen und es alles regeln zu lassen. Auf französischem klinischem Text ist dieser Reflex teuer, langsam und schwer prüfbar — und, wie sich zeigt, nicht einmal der genaueste. DEMNE setzt auf das Gegenteil: jeden Entitätstyp an das leichteste Werkzeug schicken, das ihn bewältigt, und nur eskalieren, wenn der Text es wirklich verlangt.

Eine Treppe, kein Hammer

Die Pipeline hat drei Stufen. Deterministische Regeln — Regex und kuratierte Lexika — übernehmen die Entitäten, die auf wenige stabile Arten geschrieben werden: Daten, Dosierungen, gängige Biomarker-Abkürzungen. Ein auf französischem onkologischem Text feinabgestimmter Transformer bearbeitet die Entitäten, die echtes semantisches und fachliches Verständnis brauchen. Ein LLM steht an der Spitze, reserviert für die wirklich mehrdeutigen Fälle, die beide früheren Stufen überleben. Nichts steigt höher, als es muss.

Warum nicht einfach das LLM?

Weil ein einziges großes Modell den Preis des LLM für jede Entität zahlt, auch für die, die eine Regex sofort erledigt hätte. Es ist langsamer, braucht ein GPU-Budget, das die meisten Kliniken nicht haben, und jede Entscheidung ist eine Blackbox, die man trotzdem vor einem Kliniker oder Prüfer rechtfertigen muss. Und bei der Routing-Aufgabe selbst war die Immer-LLM-Baseline die schwächste und stimmte nur zu 0,148 mit der Expertenstufe überein. Das schwerste Werkzeug ist nicht automatisch das zuverlässigste.

Was falsches Routing kostet

Gestufte Extraktion lohnt sich nur, wenn das Routing gut ist — also investiert DEMNE genau dort seine Sorgfalt. Fünf aus den Annotationen gemessene Metriken speisen einen deterministischen Entscheidungsgraphen, dessen 17 Schwellen durch eine multikriterielle Suche kalibriert werden. Das Ziel ist bewusst asymmetrisch: eine Entität an eine zu schwache Methode zu schicken wird doppelt so stark bestraft wie an eine bloß zu teure — denn eine verpasste Extraktion in einem klinischen Bericht kostet mehr als eine verschwendete GPU-Sekunde.

Was die Zahlen sagen

Auf dem onkologischen Kalibrierungssatz trifft das Routing die Experten-Referenzstufe zu 0,954, gegenüber 0,729 bei Immer-Regeln und 0,148 bei Immer-LLM. Unverändert auf 300 ungesehene AP-HP-Berichte angewandt, leitete es 99,5 % der Erwähnungen an deterministische Regeln, die einen mittleren F1 von 0,941 erreichten — wo ein unter realistischem Klinikbudget feinabgestimmter Transformer nur 0,358 schaffte. Für die standardisierten Entitäten, die diese Berichte dominieren, war die billige Stufe auch die genaue.

Wann ein einzelnes Modell die richtige Antwort ist

Staging ist nicht umsonst: Es fügt eine Routing-Schicht hinzu, die gebaut, gemessen und gepflegt werden muss, und die Schwellen müssen für jede neue Domäne neu kalibriert werden. Ist der Text einheitlich, sind alle Entitäten gleich schwer, oder gibt es Budget und Prüf-Toleranz für ein großes Modell, ist die Treppe nur Overhead. Die Aussage hier ist eng — wenn Kosten, Latenz und Nachvollziehbarkeit zugleich zählen, wie in der klinischen NLP, schlägt die Entscheidung pro Entität das reflexhafte Wählen des schwersten Modells.

Der Code und die vollständige Methode sind auf GitHub; das Manuskript ist in Vorbereitung.