Почему французский клинический NER ломает универсальные модели

Откройте французский онкологический отчёт — и большинство готовых NER-моделей спотыкаются уже на первом предложении. Лексика плотная и сокращённая (ER, PR, HER2, Ki67, FISH), форматирование меняется от больницы к больнице, а важная терминология биомаркеров почти отсутствует в корпусах, на которых эти модели обучались. Привычный рефлекс — бросить на задачу большую модель — работает, но дорог, непрозрачен и труден для обоснования перед клиницистом или аудитором.

Не каждой сущности нужен LLM

DEMNE исходит из простого наблюдения: сущности в этих отчётах не одинаково трудны. Упоминание биопсии пишется несколькими устойчивыми способами; название препарата может встречаться в сотне форм. Поэтому вместо одной модели на всё DEMNE измеряет каждый тип сущности и направляет его к самому лёгкому достаточно надёжному методу — детерминированному правилу, дообученному transformer или LLM лишь в крайнем случае.

Измерение — это пять корпусных метрик, вычисляемых из разметки: насколько шаблонна поверхностная форма, насколько однородна лексика, различителен ли небольшой набор ключевых слов, как часто упоминание попадает под отрицание или противоречие и достаточно ли вообще размеченных данных для обучения модели с учителем. Детерминированный граф решений превращает эти числа в уровень, а его 17 порогов калибруются многокритериальным поиском, который вдвое сильнее штрафует отправку сущности к слишком слабому методу, чем к просто слишком дорогому.

Что это даёт

На онкологическом калибровочном наборе (59 типов сущностей) маршрутизация совпадает с экспертным эталонным уровнем с согласованностью 0,954 и оценкой leave-one-corpus-out 0,866 — намного выше любой базовой стратегии с фиксированным уровнем (всегда-правила дают 0,729, всегда-LLM 0,148). Более убедителен внешний тест: примённый без перенастройки к 300 КТ-отчётам AP-HP по ранее не виденным локализациям рака, DEMNE направил 99,5 % выделенных упоминаний (411 из 413) к детерминированным правилам. Эти правила достигли среднего F1 0,941, тогда как transformer, дообученный на тех же сущностях при реалистичном больничном бюджете, дошёл лишь до 0,358.

Иными словами: для стандартизованных сущностей, доминирующих в онкологической отчётности, правила были не только дешевле — они были лучше, и каждое решение правила прослеживается до явного условия, что как раз и требуют статьи 12 и 14 EU AI Act.

Где он останавливается

Хочу быть честным о пределах. Эталонный стандарт мал — 92 типа сущностей, 59 из них в онкологии — поэтому оценки на одном корпусе оптимистичны, и верны лишь относительные сравнения. Уровень LLM ни разу не оценивался сквозным образом на внешней когорте; его единственная направленная сущность была слишком редкой. И калибровка не переносится между доменами: в другом клиническом жанре или языке согласованность падает до 0,45–0,73, так что пороги приходится перенастраивать. DEMNE — доказательство осуществимости, а не готовый продукт.

Почему это важно

Суть не в том, что правила побеждают transformer’ы. Суть в том, что «какой метод» — это вопрос, на который можно ответить для каждой сущности, исходя из измеримых свойств текста, а не выбирать по умолчанию самую тяжёлую модель и надеяться. Для клинического NLP — где цена, аудируемость и доверие важны одновременно — такая постановка стоит больше, чем ещё один процентный пункт на бенчмарке.

Код и полный метод — на GitHub; рукопись готовится.