การสกัดแบบขั้นตอนเทียบกับโมเดลขนาดใหญ่เดี่ยว

วันนี้ถ้ายื่นปัญหา NLP ที่ยากให้ทีมหนึ่ง ปฏิกิริยาอัตโนมัติคือคว้าโมเดลที่ใหญ่ที่สุดเท่าที่มีแล้วปล่อยให้มันจัดการทุกอย่าง บนข้อความคลินิกภาษาฝรั่งเศส ปฏิกิริยานั้นมีต้นทุนสูง ช้า และตรวจสอบยาก — และสุดท้ายแล้วก็ไม่ได้แม่นยำที่สุดด้วยซ้ำ DEMNE เดิมพันตรงกันข้าม: ส่งเอนทิตีแต่ละประเภทไปยังเครื่องมือที่เบาที่สุดที่รับมือไหว และยกระดับก็ต่อเมื่อข้อความเรียกร้องจริง ๆ

บันได ไม่ใช่ค้อน

ไปป์ไลน์มีสามชั้น กฎเชิงกำหนด — regex และพจนานุกรมที่คัดสรร — รับเอนทิตีที่เขียนได้เพียงไม่กี่รูปแบบที่คงที่ เช่น วันที่ ขนาดยา และคำย่อมาตรฐานของตัวบ่งชี้ทางชีวภาพ ส่วน transformer ที่ปรับละเอียดบนข้อความมะเร็งวิทยาภาษาฝรั่งเศสรับเอนทิตีที่ต้องการความเข้าใจเชิงความหมายและเชิงโดเมนอย่างแท้จริง และ LLM อยู่บนยอด สงวนไว้สำหรับกรณีที่คลุมเครือจริง ๆ ซึ่งรอดผ่านสองขั้นก่อนหน้า ไม่มีอะไรไต่สูงเกินกว่าที่จำเป็น

ทำไมไม่ใช้แค่ LLM?

เพราะโมเดลใหญ่ตัวเดียวต้องจ่ายต้นทุนของ LLM ให้ทุกเอนทิตี รวมถึงอันที่ regex จัดการได้ในพริบตา มันช้ากว่า ต้องใช้งบ GPU ที่โรงพยาบาลส่วนใหญ่ไม่มี และทุกการตัดสินใจคือกล่องดำที่คุณยังต้องอธิบายต่อแพทย์หรือผู้ตรวจสอบอยู่ดี และบนงานกำหนดเส้นทางเอง เส้นฐานใช้-LLM-เสมอกลับแย่ที่สุด สอดคล้องกับชั้นผู้เชี่ยวชาญเพียง 0.148 เท่านั้น เครื่องมือที่หนักที่สุดไม่ได้เชื่อถือได้ที่สุดโดยอัตโนมัติ

ต้นทุนของการกำหนดเส้นทางผิด

การสกัดเป็นขั้นจะคุ้มก็ต่อเมื่อการกำหนดเส้นทางดี ดังนั้น DEMNE จึงทุ่มความใส่ใจไว้ตรงนั้น ห้าเมตริกที่วัดจากคำอธิบายประกอบป้อนเข้าสู่กราฟการตัดสินใจเชิงกำหนด ซึ่ง 17 ค่าขีดแบ่งของมันถูกปรับเทียบด้วยการค้นหาแบบหลายวัตถุประสงค์ วัตถุประสงค์ถูกออกแบบให้ไม่สมมาตรโดยตั้งใจ: การส่งเอนทิตีไปยังวิธีที่อ่อนเกินไปถูกลงโทษหนักเป็นสองเท่าของการส่งไปยังวิธีที่เพียงแค่แพงเกินไป — เพราะการสกัดที่พลาดไปในรายงานคลินิกมีราคาแพงกว่าหนึ่งวินาที GPU ที่เสียเปล่า

ตัวเลขบอกอะไร

บนชุดปรับเทียบด้านมะเร็งวิทยา การกำหนดเส้นทางตรงกับชั้นอ้างอิงของผู้เชี่ยวชาญที่ 0.954 เทียบกับ 0.729 ของใช้-กฎ-เสมอ และ 0.148 ของใช้-LLM-เสมอ เมื่อนำไปใช้กับรายงาน AP-HP ที่ไม่เคยเห็น 300 ฉบับโดยไม่แก้ไข มันกำหนดเส้นทาง 99.5% ของการกล่าวถึงไปยังกฎเชิงกำหนด ซึ่งได้ค่า F1 เฉลี่ย 0.941 — ขณะที่ transformer ที่ปรับละเอียดภายใต้งบประมาณโรงพยาบาลที่สมจริงทำได้เพียง 0.358 สำหรับเอนทิตีมาตรฐานที่ครองรายงานเหล่านี้ ชั้นที่ถูกที่สุดก็เป็นชั้นที่แม่นยำที่สุดด้วย

เมื่อโมเดลเดียวคือคำตอบที่ถูกต้อง

การแบ่งขั้นไม่ได้มาฟรี: มันเพิ่มชั้นการกำหนดเส้นทางที่ต้องสร้าง วัดผล และบำรุงรักษา และค่าขีดแบ่งต้องปรับเทียบใหม่สำหรับทุกโดเมนใหม่ หากข้อความเป็นเนื้อเดียวกัน เอนทิตียากเท่า ๆ กัน หรือมีงบและการยอมรับด้านการตรวจสอบสำหรับโมเดลใหญ่ตัวเดียว บันไดนี้ก็เป็นเพียงภาระส่วนเกิน ข้อกล่าวอ้างตรงนี้แคบ — เมื่อต้นทุน ความหน่วง และการตรวจสอบย้อนกลับสำคัญพร้อมกัน อย่างใน NLP ทางคลินิก การตัดสินใจเป็นรายเอนทิตีย่อมเหนือกว่าการเลือกโมเดลที่หนักที่สุดเป็นค่าตั้งต้นแล้วหวังผล

โค้ดและวิธีการฉบับเต็มอยู่ที่ GitHub ส่วนต้นฉบับบทความกำลังอยู่ระหว่างการจัดทำ