Ekstrakcja etapowa kontra jeden duży model

Dajcie dziś zespołowi trudny problem NLP, a odruch będzie taki, by sięgnąć po największy dostępny model i pozwolić mu wszystko rozwiązać. Na francuskim tekście klinicznym ten odruch jest kosztowny, powolny i trudny do audytu — a na dodatek nawet nie najdokładniejszy. DEMNE obstawia odwrotnie: wysłać każdy typ encji do najlżejszego narzędzia, które sobie z nią poradzi, i eskalować tylko wtedy, gdy tekst naprawdę tego wymaga.

Schody, nie młotek

Potok ma trzy poziomy. Reguły deterministyczne — wyrażenia regularne i wyselekcjonowane leksykony — biorą encje zapisywane na kilka stabilnych sposobów: daty, dawki, standardowe skróty biomarkerów. Transformer dostrojony na francuskim tekście onkologicznym obsługuje encje wymagające prawdziwego rozumienia semantycznego i dziedzinowego. LLM stoi na szczycie, zarezerwowany dla naprawdę niejednoznacznych przypadków, które przetrwały oba wcześniejsze etapy. Nic nie wspina się wyżej, niż musi.

Dlaczego nie sam LLM?

Bo jeden duży model płaci cenę LLM za każdą encję, w tym te, które wyrażenie regularne załatwiłoby natychmiast. Jest wolniejszy, wymaga budżetu GPU, którego większość szpitali nie ma, a każda decyzja to czarna skrzynka, którą i tak trzeba uzasadnić klinicyście lub audytorowi. A w samym zadaniu routingu baza zawsze-LLM wypadła najgorzej, zgadzając się z poziomem eksperckim jedynie w 0,148 przypadków. Najcięższe narzędzie nie jest automatycznie najbardziej niezawodne.

Koszt złego routingu

Ekstrakcja etapowa opłaca się tylko przy dobrym routingu, więc to tam DEMNE wkłada swoją staranność. Pięć metryk mierzonych z adnotacji zasila deterministyczny graf decyzyjny, którego 17 progów kalibruje wyszukiwanie wielokryterialne. Cel jest celowo asymetryczny: skierowanie encji do metody zbyt słabej karane jest dwukrotnie mocniej niż do jedynie zbyt kosztownej — bo pominięta ekstrakcja w raporcie klinicznym kosztuje więcej niż zmarnowana sekunda GPU.

Co mówią liczby

Na onkologicznym zbiorze kalibracyjnym routing zgadza się z eksperckim poziomem odniesienia w 0,954, wobec 0,729 dla zawsze-reguł i 0,148 dla zawsze-LLM. Zastosowany bez zmian do 300 niewidzianych raportów AP-HP, skierował 99,5 % wzmianek do reguł deterministycznych, które osiągnęły średnie F1 0,941 — podczas gdy transformer dostrojony przy realistycznym budżecie szpitalnym dotarł do 0,358. Dla standaryzowanych encji dominujących w tych raportach tani poziom był zarazem tym dokładnym.

Kiedy jeden model jest właściwą odpowiedzią

Etapowość nie jest darmowa: dodaje warstwę routingu do zbudowania, zmierzenia i utrzymania, a progi trzeba przekalibrować dla każdej nowej dziedziny. Jeśli tekst jest jednorodny, encje równie trudne, albo jest budżet i tolerancja audytu dla jednego dużego modelu, schody są tylko narzutem. Teza jest tu wąska — gdy koszt, opóźnienie i identyfikowalność liczą się jednocześnie, jak w klinicznym NLP, decydowanie per encja bije domyślny wybór najcięższego modelu i nadzieję.

Kod i pełna metoda są na GitHub; manuskrypt jest w przygotowaniu.