Dlaczego francuski kliniczny NER psuje modele ogólnego przeznaczenia

Otwórz francuski raport onkologiczny, a większość gotowych modeli NER potyka się już w pierwszym zdaniu. Słownictwo jest gęste i skrótowe (ER, PR, HER2, Ki67, FISH), formatowanie zmienia się między szpitalami, a istotna terminologia biomarkerów niemal nie występuje w korpusach, na których te modele trenowano. Zwykły odruch — rzucić na to duży model — działa, ale jest kosztowny, nieprzejrzysty i trudny do obrony przed klinicystą lub audytorem.

Nie każda encja potrzebuje LLM

DEMNE wychodzi od prostej obserwacji: encje w tych raportach nie są jednakowo trudne. Wzmianka o biopsji zapisywana jest na kilka stabilnych sposobów; nazwa leku może pojawić się w stu formach. Dlatego zamiast jednego modelu do wszystkiego, DEMNE mierzy każdy typ encji i kieruje go do najlżejszej metody, która pozostaje wystarczająco niezawodna — reguły deterministycznej, dostrojonego transformera lub LLM tylko w ostateczności.

Ten pomiar to pięć metryk korpusu obliczanych z adnotacji: jak bardzo forma powierzchniowa jest szablonowa, jak jednorodne jest słownictwo, czy mały zbiór słów kluczowych jest dyskryminujący, jak często wzmianka występuje pod negacją lub sprzecznością oraz czy w ogóle jest dość danych etykietowanych, by wytrenować model nadzorowany. Deterministyczny graf decyzyjny zamienia te liczby w poziom, a jego 17 progów kalibruje się wyszukiwaniem wielokryterialnym, które dwukrotnie mocniej karze skierowanie encji do metody zbyt słabej niż do jedynie zbyt kosztownej.

Co to daje

Na onkologicznym zbiorze kalibracyjnym (59 typów encji) routing zgadza się z eksperckim poziomem odniesienia ze zgodnością 0,954 i oszacowaniem leave-one-corpus-out 0,866 — znacznie powyżej dowolnej bazy o stałym poziomie (zawsze-reguły osiąga 0,729, zawsze-LLM 0,148). Bardziej przekonujący jest test zewnętrzny: zastosowany bez dostrajania do 300 raportów TK z AP-HP, dla nigdy niewidzianych lokalizacji nowotworu, DEMNE skierował 99,5 % wyróżnionych wzmianek (411 z 413) do reguł deterministycznych. Reguły te osiągnęły średnie F1 0,941, podczas gdy transformer dostrojony na tych samych encjach przy realistycznym budżecie szpitalnym dotarł tylko do 0,358.

Innymi słowy: dla standaryzowanych encji dominujących w raportowaniu onkologicznym reguły były nie tylko tańsze — były lepsze, a każda decyzja reguły daje się prześledzić do jawnego warunku, czego właśnie wymagają artykuły 12 i 14 EU AI Act.

Gdzie się zatrzymuje

Chcę być szczery co do ograniczeń. Standard odniesienia jest mały — 92 typy encji, 59 z nich w onkologii — więc wyniki na jednym korpusie są optymistyczne i ważne są tylko porównania względne. Poziom LLM nigdy nie został oceniony od początku do końca na kohorcie zewnętrznej; jedyna skierowana tam encja była zbyt rzadka. A kalibracja nie przenosi się między domenami: w innym gatunku klinicznym lub języku zgodność spada do 0,45–0,73, więc progi trzeba dopasować na nowo. DEMNE to dowód wykonalności, nie gotowy produkt.

Dlaczego to ważne

Rzecz nie w tym, że reguły pokonują transformery. Rzecz w tym, że „którą metodę” można rozstrzygnąć encja po encji, na podstawie mierzalnych właściwości tekstu, zamiast domyślnie wybierać najcięższy model i mieć nadzieję. Dla klinicznego NLP — gdzie koszt, audytowalność i zaufanie liczą się jednocześnie — takie ujęcie jest warte więcej niż kolejny punkt procentowy na benchmarku.

Kod i pełna metoda są na GitHub; manuskrypt jest w przygotowaniu.