Vì sao NER lâm sàng tiếng Pháp làm hỏng các mô hình tổng quát

Mở một báo cáo ung thư học tiếng Pháp, phần lớn các mô hình NER có sẵn vấp ngay ở câu đầu tiên. Từ vựng dày đặc và viết tắt (ER, PR, HER2, Ki67, FISH), định dạng thay đổi giữa các bệnh viện, và thuật ngữ dấu ấn sinh học quan trọng gần như vắng bóng trong các kho ngữ liệu mà các mô hình này được huấn luyện. Phản xạ thường thấy — ném một mô hình lớn vào bài toán — thì hiệu quả, nhưng tốn kém, mờ đục và khó biện minh trước một bác sĩ lâm sàng hay kiểm toán viên.

Không phải thực thể nào cũng cần LLM

DEMNE khởi đi từ một quan sát thẳng thắn: các thực thể trong những báo cáo này không khó như nhau. Một đề cập sinh thiết được viết theo vài cách ổn định; còn tên thuốc có thể xuất hiện dưới trăm hình thức. Vì vậy, thay vì một mô hình cho mọi thứ, DEMNE đo lường từng loại thực thể và gửi nó tới phương pháp nhẹ nhất mà vẫn đủ tin cậy — một quy tắc tất định, một transformer đã tinh chỉnh, hoặc một LLM chỉ như phương án cuối cùng.

Phép đo là năm chỉ số kho ngữ liệu tính từ phần chú thích: hình thức bề mặt có khuôn mẫu đến đâu, từ vựng đồng nhất đến đâu, một tập từ khóa nhỏ có tính phân biệt hay không, đề cập rơi vào phủ định hoặc mâu thuẫn thường xuyên ra sao, và liệu có đủ dữ liệu gán nhãn để huấn luyện một mô hình có giám sát hay không. Một đồ thị quyết định tất định biến những con số ấy thành một tầng, và 17 ngưỡng của nó được hiệu chỉnh bằng một tìm kiếm đa mục tiêu, phạt nặng gấp đôi việc gửi một thực thể tới phương pháp quá yếu so với việc gửi tới một phương pháp chỉ quá tốn kém.

Nó mang lại điều gì

Trên tập hiệu chỉnh ung thư học (59 loại thực thể), việc định tuyến khớp với tầng tham chiếu của chuyên gia với độ đồng thuận 0,954 và ước lượng leave-one-corpus-out 0,866 — cao hơn hẳn mọi baseline tầng cố định (luôn-quy-tắc đạt 0,729, luôn-LLM 0,148). Phép thử thuyết phục hơn là ở bên ngoài: áp dụng mà không tinh chỉnh lại trên 300 báo cáo CT của AP-HP, ở những vị trí ung thư mô hình chưa từng thấy, DEMNE đã định tuyến 99,5 % đề cập được đánh dấu (411 trên 413) tới các quy tắc tất định. Các quy tắc ấy đạt F1 trung bình 0,941, trong khi một transformer tinh chỉnh trên cùng các thực thể, trong một ngân sách bệnh viện thực tế, chỉ dừng ở 0,358.

Nói cách khác: với những thực thể chuẩn hóa chiếm phần lớn trong báo cáo ung thư học, các quy tắc không chỉ rẻ hơn — chúng còn tốt hơn, và mỗi quyết định quy tắc đều truy ngược được tới một điều kiện tường minh, đúng điều mà Điều 12 và 14 của EU AI Act yêu cầu.

Nó dừng ở đâu

Tôi muốn trung thực về các giới hạn. Chuẩn tham chiếu nhỏ — 92 loại thực thể, 59 trong số đó thuộc ung thư học — nên điểm số trên một kho ngữ liệu là lạc quan và chỉ các so sánh tương đối mới đứng vững. Tầng LLM chưa bao giờ được đánh giá đầu-cuối trên nhóm bên ngoài; thực thể duy nhất được định tuyến tới đó quá hiếm. Và việc hiệu chỉnh không chuyển giao giữa các miền: chuyển sang một thể loại lâm sàng hay ngôn ngữ khác, độ đồng thuận rơi xuống 0,45–0,73, nên các ngưỡng phải được tinh chỉnh lại. DEMNE là một bằng chứng khả thi, không phải một sản phẩm hoàn chỉnh.

Vì sao điều này quan trọng

Vấn đề không phải quy tắc thắng transformer. Vấn đề là «dùng phương pháp nào» là một câu hỏi có thể trả lời theo từng thực thể, dựa trên các thuộc tính đo được của văn bản, thay vì mặc định chọn mô hình nặng nhất rồi hy vọng. Với NLP lâm sàng — nơi chi phí, khả năng kiểm toán và niềm tin cùng quan trọng — cách đặt vấn đề này đáng giá hơn một điểm phần trăm nữa trên một benchmark.

Mã nguồn và phương pháp đầy đủ có trên GitHub; bản thảo đang được chuẩn bị.