Aşamalı çıkarım ve tek büyük model karşılaştırması

Bugün bir ekibe zor bir NLP problemi verin; refleks, eldeki en büyük modeli alıp her şeyi ona çözdürmektir. Fransızca klinik metinde bu refleks pahalı, yavaş ve denetlenmesi zordur — ve nihayetinde en doğru olan bile değildir. DEMNE tersine bahse girer: her varlık türünü, onu kaldırabilecek en hafif araca gönderir ve yalnızca metin gerçekten gerektirdiğinde yükseltir.

Çekiç değil, merdiven

Hat üç katmanlıdır. Belirlenimci kurallar — regex ve özenle seçilmiş sözlükler — birkaç istikrarlı biçimde yazılan varlıkları alır: tarihler, dozajlar, standart biyobelirteç kısaltmaları. Fransızca onkoloji metninde ince ayarlı bir transformer, gerçek anlamsal ve alan anlayışı gerektiren varlıkları işler. Bir LLM en tepede durur ve yalnızca önceki iki aşamayı atlatan gerçekten belirsiz durumlara ayrılmıştır. Hiçbir şey gerektiğinden yükseğe tırmanmaz.

Neden sadece LLM değil?

Çünkü tek bir büyük model, bir regex’in anında halledeceği varlıklar da dahil her varlıkta LLM bedelini öder. Daha yavaştır, çoğu hastanede bulunmayan bir GPU bütçesi ister ve her karar, yine de bir klinisyene ya da denetçiye savunmanız gereken bir kara kutudur. Üstelik yönlendirme görevinde her zaman-LLM temeli en kötüsüydü; uzman katmanıyla yalnızca 0,148 oranında örtüştü. En ağır araç, otomatik olarak en güvenilir olan değildir.

Yanlış yönlendirmenin bedeli

Aşamalı çıkarım ancak yönlendirme iyiyse işe yarar; bu yüzden DEMNE özenini tam oraya harcar. Açıklamalardan ölçülen beş ölçüt, 17 eşiği çok amaçlı bir aramayla kalibre edilen belirlenimci bir karar grafiğini besler. Amaç bilinçli olarak asimetriktir: bir varlığı fazla zayıf bir yönteme göndermek, yalnızca fazla pahalı bir yönteme göndermekten iki kat ağır cezalandırılır — çünkü bir klinik raporda kaçırılan bir çıkarım, boşa giden bir GPU saniyesinden pahalıya mal olur.

Sayılar ne diyor

Onkoloji kalibrasyon kümesinde yönlendirme, uzman referans katmanıyla 0,954 oranında örtüşür; her zaman-kurallar 0,729, her zaman-LLM 0,148. Hiç dokunulmadan 300 görülmemiş AP-HP raporuna uygulandığında, anmaların %99,5’ini belirlenimci kurallara yönlendirdi; bunlar 0,941 ortalama F1’e ulaştı — gerçekçi bir hastane bütçesiyle ince ayarlanan bir transformer ise 0,358’de kaldı. Bu raporlara egemen standartlaşmış varlıklar için ucuz katman, aynı zamanda doğru olandı.

Tek modelin doğru yanıt olduğu durumlar

Aşamalandırma bedava değildir: inşa edilip ölçülecek ve bakımı yapılacak bir yönlendirme katmanı ekler ve eşiklerin her yeni alan için yeniden kalibre edilmesi gerekir. Metin tekdüzeyse, varlıklar eşit derecede zorsa ya da tek bir büyük modele yetecek bütçe ve denetim toleransı varsa, merdiven yalnızca ek yüktür. Buradaki iddia dardır — maliyet, gecikme ve izlenebilirlik aynı anda önem taşıdığında, tıpkı klinik NLP’de olduğu gibi, varlık başına karar vermek en ağır modeli varsayılan yapıp ummaktan iyidir.

Kod ve yöntemin tamamı GitHub üzerinde; makale hazırlanıyor.