Чому французький клінічний NER ламає універсальні моделі

Відкрийте французький онкологічний звіт — і більшість готових NER-моделей спотикаються вже на першому реченні. Лексика щільна й скорочена (ER, PR, HER2, Ki67, FISH), форматування змінюється від лікарні до лікарні, а важлива термінологія біомаркерів майже відсутня в корпусах, на яких ці моделі навчалися. Звичний рефлекс — кинути на задачу велику модель — працює, але він дорогий, непрозорий і важкий для обґрунтування перед клініцистом чи аудитором.

Не кожній сутності потрібен LLM

DEMNE виходить із простого спостереження: сутності в цих звітах не однаково складні. Згадка про біопсію пишеться кількома сталими способами; назва ж препарату може траплятися в сотні форм. Тож замість однієї моделі на все DEMNE вимірює кожен тип сутності й спрямовує його до найлегшого достатньо надійного методу — детермінованого правила, доналаштованого transformer або LLM лише як крайній засіб.

Вимірювання — це п’ять корпусних метрик, обчислених з анотацій: наскільки шаблонною є поверхнева форма, наскільки однорідна лексика, чи є невеликий набір ключових слів розрізнювальним, як часто згадка опиняється під запереченням чи суперечністю, і чи є взагалі достатньо розмічених даних, щоб навчити кероване модель. Детермінований граф рішень перетворює ці числа на рівень, а його 17 порогів калібрують багатокритеріальним пошуком, що вдвічі суворіше карає відправлення сутності до заслабкого методу, ніж до просто задорогого.

Що це дає

На онкологічному калібрувальному наборі (59 типів сутностей) маршрутизація збігається з експертним еталонним рівнем із узгодженістю 0,954 та оцінкою leave-one-corpus-out 0,866 — значно вище за будь-яку базову стратегію з фіксованим рівнем (завжди-правила дає 0,729, завжди-LLM 0,148). Переконливіший тест — зовнішній: застосований без переналаштування до 300 КТ-звітів AP-HP для раніше не бачених локалізацій раку, DEMNE спрямував 99,5 % виділених згадок (411 із 413) до детермінованих правил. Ці правила досягли середнього F1 0,941, тоді як transformer, доналаштований на тих самих сутностях за реалістичного лікарняного бюджету, дійшов лише до 0,358.

Інакше кажучи: для стандартизованих сутностей, що домінують в онкологічній звітності, правила були не лише дешевшими — вони були кращими, і кожне рішення правила простежується до явної умови, саме цього й вимагають статті 12 і 14 EU AI Act.

Де він зупиняється

Хочу бути чесним щодо меж. Еталонний стандарт малий — 92 типи сутностей, 59 із них в онкології — тож оцінки на одному корпусі оптимістичні, і чинними є лише відносні порівняння. Рівень LLM ніколи не оцінювався наскрізно на зовнішній когорті; його єдина спрямована сутність була надто рідкісною. А калібрування не переноситься між доменами: на іншому клінічному жанрі чи мові узгодженість падає до 0,45–0,73, тож пороги доводиться переналаштовувати. DEMNE — це доказ здійсненності, а не завершений продукт.

Чому це важливо

Ідеться не про те, що правила перемагають transformer’и. Ідеться про те, що «який метод» — це питання, на яке можна відповісти для кожної сутності, виходячи з вимірних властивостей тексту, а не обирати за замовчуванням найважчу модель і сподіватися. Для клінічного NLP — де вартість, аудитованість і довіра важливі водночас — таке формулювання варте більше, ніж іще один відсотковий пункт на бенчмарку.

Код і повний метод — на GitHub; рукопис готується.