Ekstraksi bertahap vs. satu model besar

Serahkan masalah NLP yang sulit kepada sebuah tim hari ini, dan refleksnya adalah meraih model terbesar yang tersedia dan membiarkannya menyelesaikan segalanya. Pada teks klinis Prancis, refleks itu mahal, lambat, dan sulit diaudit — dan, ternyata, bahkan bukan yang paling akurat. DEMNE bertaruh sebaliknya: mengirim setiap jenis entitas ke alat teringan yang mampu menanganinya, dan meningkatkannya hanya saat teks benar-benar menuntutnya.

Sebuah tangga, bukan palu

Pipeline-nya memiliki tiga jenjang. Aturan deterministik — regex dan leksikon terkurasi — menangani entitas yang ditulis dalam segelintir bentuk stabil: tanggal, dosis, singkatan baku biomarker. Sebuah transformer yang disetel pada teks onkologi Prancis menangani entitas yang memerlukan pemahaman semantik dan domain yang sesungguhnya. Sebuah LLM berada di puncak, disediakan untuk kasus yang benar-benar ambigu yang lolos dari kedua tahap sebelumnya. Tidak ada yang naik lebih tinggi dari yang diperlukan.

Mengapa tidak cukup LLM saja?

Karena satu model besar membayar harga LLM pada setiap entitas, termasuk yang sebenarnya langsung tuntas oleh sebuah regex. Ia lebih lambat, memerlukan anggaran GPU yang tak dimiliki kebanyakan rumah sakit, dan setiap keputusan adalah kotak hitam yang tetap harus Anda pertanggungjawabkan di hadapan klinisi atau auditor. Dan pada tugas peruteannya sendiri, baseline selalu-LLM adalah yang terburuk, sepakat dengan jenjang pakar hanya 0,148. Alat terberat tidak otomatis yang paling andal.

Biaya salah merutekan

Ekstraksi bertahap hanya sepadan jika peruteannya baik, jadi di sanalah DEMNE mencurahkan kehati-hatiannya. Lima metrik yang diukur dari anotasi memberi masukan pada sebuah graf keputusan deterministik yang 17 ambangnya dikalibrasi dengan pencarian multi-tujuan. Tujuannya sengaja asimetris: mengirim entitas ke metode yang terlalu lemah dihukum dua kali lebih berat daripada ke metode yang sekadar terlalu mahal — karena satu ekstraksi yang terlewat dalam laporan klinis lebih mahal daripada satu detik GPU yang terbuang.

Apa kata angka-angkanya

Pada set kalibrasi onkologi, peruteannya cocok dengan jenjang rujukan pakar sebesar 0,954, berbanding 0,729 untuk selalu-aturan dan 0,148 untuk selalu-LLM. Diterapkan tanpa diubah pada 300 laporan AP-HP yang belum pernah dilihat, ia merutekan 99,5 % sebutan ke aturan deterministik, yang mencapai F1 rata-rata 0,941 — sementara transformer yang disetel dalam anggaran rumah sakit realistis hanya mencapai 0,358. Untuk entitas terstandar yang mendominasi laporan-laporan ini, jenjang termurah sekaligus yang paling akurat.

Kapan satu model adalah jawaban yang tepat

Pentahapan tidak gratis: ia menambah lapisan perutean untuk dibangun, diukur, dan dipelihara, dan ambang-ambangnya harus dikalibrasi ulang untuk setiap domain baru. Jika teksnya seragam, entitasnya sama sulitnya, atau ada anggaran dan toleransi audit untuk satu model besar, tangga itu hanyalah beban tambahan. Klaim di sini sempit — ketika biaya, latensi, dan keterlacakan penting sekaligus, seperti pada NLP klinis, memutuskan per entitas mengalahkan menetapkan model terberat sebagai bawaan lalu berharap.

Kode dan metode lengkapnya ada di GitHub; manuskripnya sedang disiapkan.