ทำไม NER ทางคลินิกภาษาฝรั่งเศสจึงทำให้โมเดลทั่วไปล้มเหลว

เปิดรายงานมะเร็งวิทยาภาษาฝรั่งเศสขึ้นมา โมเดล NER สำเร็จรูปส่วนใหญ่สะดุดตั้งแต่ประโยคแรก คำศัพท์หนาแน่นและใช้ตัวย่อ (ER, PR, HER2, Ki67, FISH) รูปแบบการจัดพิมพ์เปลี่ยนไปในแต่ละโรงพยาบาล และคำศัพท์ตัวบ่งชี้ทางชีวภาพที่สำคัญแทบไม่ปรากฏในคลังข้อมูลที่ใช้ฝึกโมเดลเหล่านี้ ปฏิกิริยาที่คุ้นเคย——โยนโมเดลขนาดใหญ่เข้าใส่——ก็ได้ผล แต่มีต้นทุนสูง ไม่โปร่งใส และยากจะอธิบายต่อแพทย์หรือผู้ตรวจสอบ

ไม่ใช่ทุกเอนทิตีที่ต้องใช้ LLM

DEMNE เริ่มจากข้อสังเกตตรงไปตรงมา: เอนทิตีในรายงานเหล่านี้ยากไม่เท่ากัน การกล่าวถึงการตัดชิ้นเนื้อเขียนได้ไม่กี่รูปแบบที่คงที่ ขณะที่ชื่อยาอาจปรากฏได้นับร้อยรูปแบบ ดังนั้นแทนที่จะใช้โมเดลเดียวกับทุกอย่าง DEMNE วัดเอนทิตีแต่ละประเภทแล้วส่งไปยังวิธีที่เบาที่สุดเท่าที่ยังเชื่อถือได้——กฎเชิงกำหนด, transformer ที่ปรับละเอียด, หรือ LLM เป็นทางเลือกสุดท้ายเท่านั้น

การวัดคือห้าเมตริกคลังข้อมูลที่คำนวณจากคำอธิบายประกอบ: รูปผิวมีความเป็นแม่แบบเพียงใด คำศัพท์เป็นเอกพันธ์เพียงใด ชุดคำสำคัญเล็ก ๆ จำแนกได้หรือไม่ การกล่าวถึงอยู่ภายใต้การปฏิเสธหรือความขัดแย้งบ่อยเพียงใด และมีข้อมูลที่ติดป้ายกำกับเพียงพอจะฝึกโมเดลแบบมีผู้สอนหรือไม่ กราฟการตัดสินใจเชิงกำหนดจะแปลงตัวเลขเหล่านี้เป็นชั้น และ 17 ค่าขีดแบ่งของมันถูกปรับเทียบด้วยการค้นหาแบบหลายวัตถุประสงค์ ซึ่งลงโทษการส่งเอนทิตีไปยังวิธีที่อ่อนเกินไปหนักเป็นสองเท่าของการส่งไปยังวิธีที่เพียงแค่แพงเกินไป

มันให้อะไร

บนชุดปรับเทียบด้านมะเร็งวิทยา (เอนทิตี 59 ประเภท) การกำหนดเส้นทางสอดคล้องกับชั้นอ้างอิงของผู้เชี่ยวชาญด้วยความสอดคล้อง 0.954 และค่าประมาณแบบ leave-one-corpus-out ที่ 0.866——สูงกว่าเส้นฐานชั้นคงที่ใด ๆ มาก (ใช้กฎเสมอได้ 0.729, ใช้ LLM เสมอได้ 0.148) การทดสอบที่น่าเชื่อถือกว่าคือการทดสอบภายนอก: เมื่อนำไปใช้โดยไม่ปรับจูนใหม่กับรายงาน CT ของ AP-HP จำนวน 300 ฉบับ ในตำแหน่งมะเร็งที่โมเดลไม่เคยเห็น DEMNE กำหนดเส้นทาง 99.5% ของการกล่าวถึงที่ถูกเน้น (411 จาก 413) ไปยังกฎเชิงกำหนด กฎเหล่านั้นได้ค่า F1 เฉลี่ย 0.941 ขณะที่ transformer ที่ปรับละเอียดบนเอนทิตีเดียวกันภายใต้งบประมาณโรงพยาบาลที่สมจริงทำได้เพียง 0.358

กล่าวอีกนัยหนึ่ง: สำหรับเอนทิตีมาตรฐานที่ครองรายงานมะเร็งวิทยา กฎไม่เพียงถูกกว่า——แต่ยังดีกว่า และทุกการตัดสินใจของกฎสามารถสืบย้อนไปถึงเงื่อนไขที่ชัดเจน ซึ่งเป็นสิ่งที่มาตรา 12 และ 14 ของ EU AI Act เรียกร้องพอดี

มันหยุดตรงไหน

ผมอยากซื่อตรงเรื่องข้อจำกัด มาตรฐานอ้างอิงมีขนาดเล็ก——เอนทิตี 92 ประเภท โดย 59 ประเภทอยู่ในมะเร็งวิทยา——ดังนั้นคะแนนบนคลังข้อมูลเดียวจึงมองโลกในแง่ดีเกินไป และมีเพียงการเปรียบเทียบเชิงสัมพัทธ์เท่านั้นที่ยืนได้ ชั้น LLM ไม่เคยถูกประเมินแบบครบวงจรบนกลุ่มภายนอก เอนทิตีเดียวที่ถูกส่งไปนั้นหายากเกินไป และการปรับเทียบไม่ถ่ายโอนข้ามโดเมน: เมื่อย้ายไปยังประเภทคลินิกหรือภาษาอื่น ความสอดคล้องลดลงเหลือ 0.45–0.73 จึงต้องปรับค่าขีดแบ่งใหม่ DEMNE เป็นข้อพิสูจน์ความเป็นไปได้ ไม่ใช่ผลิตภัณฑ์สำเร็จรูป

ทำไมจึงสำคัญ

ประเด็นไม่ได้อยู่ที่กฎเอาชนะ transformer แต่อยู่ที่ “จะใช้วิธีใด” เป็นคำถามที่ตอบได้เป็นรายเอนทิตี จากคุณสมบัติของข้อความที่วัดได้ แทนที่จะเลือกโมเดลที่หนักที่สุดเป็นค่าตั้งต้นแล้วหวังผล สำหรับ NLP ทางคลินิก——ที่ต้นทุน การตรวจสอบย้อนหลัง และความไว้วางใจสำคัญพร้อมกัน——กรอบคิดนี้มีค่ามากกว่าการได้เปอร์เซ็นต์เพิ่มอีกจุดหนึ่งบนเกณฑ์มาตรฐาน

โค้ดและวิธีการฉบับเต็มอยู่ที่ GitHub ส่วนต้นฉบับบทความกำลังอยู่ระหว่างการจัดทำ