Fransızca klinik NER neden genel amaçlı modelleri bozuyor

Fransızca bir onkoloji raporunu açın; hazır NER modellerinin çoğu daha ilk cümlede tökezler. Sözcük dağarcığı yoğun ve kısaltmalıdır (ER, PR, HER2, Ki67, FISH), biçimlendirme hastaneden hastaneye değişir ve önemli biyobelirteç terminolojisi bu modellerin eğitildiği derlemlerde neredeyse hiç geçmez. Alışılmış refleks — soruna büyük bir model atmak — işe yarar ama pahalı, şeffaf olmayan ve bir klinisyen ya da denetçiye karşı savunması zor bir yoldur.

Her varlık bir LLM gerektirmez

DEMNE yalın bir gözlemden yola çıkar: bu raporlardaki varlıklar eşit derecede zor değildir. Bir biyopsi anması birkaç istikrarlı biçimde yazılır; bir ilaç adıysa yüz biçimde görünebilir. Bu yüzden DEMNE, her şey için tek bir model yerine, her varlık türünü ölçer ve yeterince güvenilir olan en hafif yönteme gönderir — belirlenimci bir kural, ince ayarlı bir transformer veya yalnızca son çare olarak bir LLM.

Ölçüm, açıklamalardan hesaplanan beş derlem ölçütüdür: yüzey biçiminin ne kadar şablonlaşabilir olduğu, söz dağarcığının ne kadar türdeş olduğu, küçük bir anahtar sözcük kümesinin ayırt edici olup olmadığı, anmanın ne sıklıkla olumsuzlama ya da çelişki altında olduğu ve denetimli bir model eğitmeye yetecek kadar etiketli veri bulunup bulunmadığı. Belirlenimci bir karar grafiği bu sayıları bir katmana dönüştürür ve 17 eşiği, bir varlığı fazla zayıf bir yönteme göndermeyi, yalnızca fazla pahalı bir yönteme göndermekten iki kat ağır cezalandıran çok amaçlı bir aramayla kalibre edilir.

Ne kazandırır

Onkoloji kalibrasyon kümesinde (59 varlık türü), yönlendirme uzman referans katmanıyla 0,954 uyum ve 0,866 leave-one-corpus-out tahminiyle örtüşür — sabit katmanlı herhangi bir temelin (her zaman-kurallar 0,729, her zaman-LLM 0,148) çok üzerinde. Daha ikna edici sınama dışsaldır: hiç yeniden ayar yapılmadan, modelin daha önce görmediği kanser bölgelerine ait 300 AP-HP BT raporuna uygulandığında, DEMNE vurgulanan anmaların %99,5’ini (413’te 411) belirlenimci kurallara yönlendirdi. Bu kurallar 0,941 ortalama F1’e ulaşırken, aynı varlıklar üzerinde gerçekçi bir hastane bütçesiyle ince ayarlanan bir transformer yalnızca 0,358’de kaldı.

Başka bir deyişle: onkoloji raporlamasına egemen standartlaşmış varlıklar için kurallar yalnızca daha ucuz değildi — daha iyiydi ve her kural kararı açık bir koşula kadar izlenebilir; bu da tam olarak EU AI Act’in 12. ve 14. maddelerinin istediği şeydir.

Nerede durur

Sınırlar konusunda dürüst olmak istiyorum. Referans standart küçük — 92 varlık türü, 59’u onkolojide — dolayısıyla tek derlem skorları iyimserdir ve yalnızca göreli karşılaştırmalar geçerlidir. LLM katmanı dış kohortta uçtan uca hiç değerlendirilmedi; oraya yönlendirilen tek varlık fazla nadirdi. Ayrıca kalibrasyon alanlar arası aktarılmaz: başka bir klinik türe ya da dile geçildiğinde uyum 0,45–0,73’e düşer, yani eşiklerin yeniden ayarlanması gerekir. DEMNE bir uygulanabilirlik kanıtıdır, bitmiş bir ürün değil.

Neden önemli

Mesele kuralların transformer’ları yenmesi değil. Mesele, «hangi yöntem» sorusunun — en ağır modeli varsayılan yapıp ummak yerine — metnin ölçülebilir özelliklerinden varlık başına yanıtlanabilmesi. Maliyetin, denetlenebilirliğin ve güvenin aynı anda önemli olduğu klinik NLP için bu çerçeve, bir ölçütte bir yüzde puanı daha kazanmaktan değerlidir.

Kod ve yöntemin tamamı GitHub üzerinde; makale hazırlanıyor.