Поетапне вилучення проти однієї великої моделі

Передайте сьогодні команді складну задачу NLP — і рефлекс полягає в тому, щоб узяти найбільшу доступну модель і дати їй усе розв’язати. На французькому клінічному тексті цей рефлекс дорогий, повільний і важкий для аудиту — і, як виявляється, навіть не найточніший. DEMNE робить протилежну ставку: надсилати кожен тип сутності до найлегшого інструмента, що з нею впорається, і підвищувати рівень лише тоді, коли текст справді цього вимагає.

Сходи, а не молоток

Конвеєр має три рівні. Детерміновані правила — регулярні вирази та відібрані лексикони — беруть сутності, записані кількома сталими способами: дати, дозування, стандартні скорочення біомаркерів. Трансформер, донавчений на французькому онкологічному тексті, опрацьовує сутності, що потребують справжнього семантичного й доменного розуміння. LLM стоїть на вершині, залишений для справді неоднозначних випадків, що пережили обидва попередні етапи. Ніщо не піднімається вище, ніж потрібно.

Чому не лише LLM?

Бо одна велика модель платить ціну LLM за кожну сутність, зокрема за ті, що регулярний вираз розв’язав би миттєво. Вона повільніша, потребує бюджету GPU, якого більшість лікарень не має, і кожне рішення — чорна скринька, яку все одно треба обґрунтувати перед клініцистом чи аудитором. А на самій задачі маршрутизації базова стратегія завжди-LLM була найгіршою, збігаючись з експертним рівнем лише у 0,148 випадків. Найважчий інструмент не є автоматично найнадійнішим.

Ціна хибної маршрутизації

Поетапне вилучення окупається лише за доброї маршрутизації, тож саме туди DEMNE вкладає свою ретельність. П’ять метрик, виміряних з анотацій, живлять детермінований граф рішень, 17 порогів якого калібрує багатокритеріальний пошук. Ціль навмисно асиметрична: надіслати сутність до заслабкого методу карається вдвічі суворіше, ніж до просто задорогого — адже пропущене вилучення в клінічному звіті коштує більше, ніж змарнована секунда GPU.

Що кажуть цифри

На онкологічному калібрувальному наборі маршрутизація збігається з експертним еталонним рівнем у 0,954 проти 0,729 у завжди-правил і 0,148 у завжди-LLM. Застосована без змін до 300 не бачених раніше звітів AP-HP, вона спрямувала 99,5 % згадок до детермінованих правил, що досягли середнього F1 0,941 — тоді як трансформер, донавчений за реалістичного лікарняного бюджету, дійшов лише до 0,358. Для стандартизованих сутностей, що домінують у цих звітах, найдешевший рівень був і найточнішим.

Коли одна модель — правильна відповідь

Етапність не безкоштовна: вона додає шар маршрутизації, який треба побудувати, виміряти й підтримувати, а пороги доводиться перекалібровувати для кожного нового домену. Якщо текст однорідний, сутності однаково складні або є бюджет і аудиторська терпимість до однієї великої моделі, сходи — лише накладні витрати. Твердження тут вузьке — коли вартість, затримка та простежуваність важливі водночас, як у клінічному NLP, рішення щодо кожної сутності краще, ніж за замовчуванням брати найважчу модель і сподіватися.

Код і повний метод — на GitHub; рукопис готується.