Mengapa NER klinis Prancis merusak model tujuan umum

Buka sebuah laporan onkologi berbahasa Prancis, dan sebagian besar model NER siap pakai tersandung sejak kalimat pertama. Kosakatanya padat dan penuh singkatan (ER, PR, HER2, Ki67, FISH), formatnya berganti dari satu rumah sakit ke rumah sakit lain, dan terminologi biomarker yang penting nyaris absen dari korpus tempat model-model ini dilatih. Refleks yang biasa — melemparkan model besar ke masalah ini — memang berhasil, tetapi mahal, tidak transparan, dan sulit dipertanggungjawabkan di hadapan klinisi atau auditor.

Tak setiap entitas butuh LLM

DEMNE berangkat dari pengamatan lugas: entitas dalam laporan ini tidak sama sulitnya. Sebutan biopsi ditulis dalam segelintir bentuk yang stabil; sedangkan nama obat bisa muncul dalam seratus bentuk. Jadi, alih-alih satu model untuk segalanya, DEMNE mengukur setiap tipe entitas dan mengarahkannya ke metode paling ringan yang tetap cukup andal — aturan deterministik, transformer yang disetel, atau LLM hanya sebagai pilihan terakhir.

Pengukuran itu berupa lima metrik korpus yang dihitung dari anotasi: seberapa berpola bentuk permukaannya, seberapa homogen kosakatanya, apakah himpunan kata kunci kecil bersifat diskriminatif, seberapa sering sebutan berada di bawah negasi atau kontradiksi, dan apakah ada cukup data berlabel untuk melatih model terbimbing. Sebuah graf keputusan deterministik mengubah angka-angka itu menjadi jenjang, dan 17 ambangnya dikalibrasi dengan pencarian multi-tujuan yang menghukum dua kali lebih berat pengiriman entitas ke metode yang terlalu lemah ketimbang ke metode yang sekadar terlalu mahal.

Apa manfaatnya

Pada set kalibrasi onkologi (59 tipe entitas), peruteannya sepakat dengan jenjang rujukan pakar dengan konkordansi 0,954 dan estimasi leave-one-corpus-out 0,866 — jauh di atas baseline berjenjang tetap mana pun (selalu-aturan mencapai 0,729, selalu-LLM 0,148). Uji yang lebih meyakinkan bersifat eksternal: diterapkan tanpa penyetelan ulang pada 300 laporan CT AP-HP, untuk lokasi kanker yang belum pernah dilihat model, DEMNE merutekan 99,5 % sebutan yang ditandai (411 dari 413) ke aturan deterministik. Aturan-aturan itu mencapai F1 rata-rata 0,941, sementara transformer yang disetel pada entitas yang sama dalam anggaran rumah sakit realistis hanya mencapai 0,358.

Dengan kata lain: untuk entitas terstandar yang mendominasi pelaporan onkologi, aturan bukan hanya lebih murah — aturan lebih baik, dan setiap keputusan aturan dapat dilacak hingga sebuah syarat eksplisit, persis yang diminta Pasal 12 dan 14 EU AI Act.

Di mana ia berhenti

Saya ingin jujur soal batasannya. Standar rujukan itu kecil — 92 tipe entitas, 59 di antaranya onkologi — sehingga skor pada satu korpus bersifat optimistis dan hanya perbandingan relatif yang berlaku. Jenjang LLM tidak pernah dievaluasi menyeluruh pada kohort eksternal; satu-satunya entitas yang dirutekan ke sana terlalu langka. Lagi pula kalibrasi tidak berpindah antar-domain: beralih ke genre klinis atau bahasa lain membuat konkordansi turun ke 0,45–0,73, sehingga ambangnya harus disetel ulang. DEMNE adalah bukti kelayakan, bukan produk jadi.

Mengapa ini penting

Intinya bukan bahwa aturan mengalahkan transformer. Intinya, «metode mana» adalah pertanyaan yang bisa dijawab per entitas, dari sifat teks yang terukur, alih-alih menetapkan model terberat sebagai bawaan lalu berharap. Untuk NLP klinis — tempat biaya, keteraudiktan, dan kepercayaan sama-sama penting — kerangka ini lebih berharga daripada satu poin persentase tambahan pada sebuah tolok ukur.

Kode dan metode lengkapnya ada di GitHub; manuskripnya sedang disiapkan.