Поэтапное извлечение против одной большой модели

Передайте сегодня команде трудную задачу NLP — и рефлекс в том, чтобы взять самую большую доступную модель и позволить ей разобраться со всем. На французском клиническом тексте этот рефлекс дорог, медлен и труден для аудита — и, как выясняется, даже не самый точный. DEMNE делает обратную ставку: направлять каждый тип сущности к самому лёгкому инструменту, который справится, и эскалировать лишь тогда, когда текст действительно этого требует.

Лестница, а не молоток

В конвейере три уровня. Детерминированные правила — регулярные выражения и отобранные лексиконы — берут сущности, записываемые несколькими устойчивыми способами: даты, дозировки, стандартные сокращения биомаркеров. Трансформер, дообученный на французском онкологическом тексте, обрабатывает сущности, требующие настоящего семантического и доменного понимания. LLM стоит на вершине, оставаясь для действительно неоднозначных случаев, переживших оба предыдущих этапа. Ничто не поднимается выше, чем необходимо.

Почему не один только LLM?

Потому что одна большая модель платит цену LLM за каждую сущность, включая те, что регулярное выражение решило бы мгновенно. Она медленнее, требует бюджета GPU, которого у большинства больниц нет, и каждое решение — чёрный ящик, который всё равно надо обосновать перед клиницистом или аудитором. А на самой задаче маршрутизации базовая стратегия всегда-LLM оказалась худшей, совпадая с экспертным уровнем лишь в 0,148 случаев. Самый тяжёлый инструмент не автоматически самый надёжный.

Цена неверной маршрутизации

Поэтапное извлечение окупается только при хорошей маршрутизации, поэтому именно туда DEMNE вкладывает внимание. Пять метрик, измеренных по разметке, питают детерминированный граф решений, чьи 17 порогов калибруются многокритериальным поиском. Цель намеренно асимметрична: отправить сущность к слишком слабому методу штрафуется вдвое сильнее, чем к просто слишком дорогому — ведь пропущенное извлечение в клиническом отчёте стоит дороже потраченной секунды GPU.

Что говорят цифры

На онкологическом калибровочном наборе маршрутизация совпадает с экспертным эталонным уровнем в 0,954 случаев против 0,729 у всегда-правил и 0,148 у всегда-LLM. Применённая без изменений к 300 невиданным отчётам AP-HP, она направила 99,5 % упоминаний к детерминированным правилам, достигшим среднего F1 0,941 — тогда как трансформер, дообученный при реалистичном больничном бюджете, дошёл лишь до 0,358. Для стандартизованных сущностей, доминирующих в этих отчётах, дешёвый уровень был и самым точным.

Когда одна модель — правильный ответ

Этапность не бесплатна: она добавляет слой маршрутизации, который надо строить, измерять и поддерживать, а пороги приходится перекалибровывать для каждого нового домена. Если текст однороден, сущности одинаково трудны или есть бюджет и аудиторская терпимость к одной большой модели, лестница — лишь накладные расходы. Утверждение здесь узкое: когда цена, задержка и прослеживаемость важны одновременно, как в клиническом NLP, решать по каждой сущности лучше, чем по умолчанию брать самую тяжёлую модель и надеяться.

Код и полный метод — на GitHub; рукопись готовится.