Trích xuất theo giai đoạn so với một mô hình lớn duy nhất

Giao một bài toán NLP khó cho một nhóm ngày nay, phản xạ là với lấy mô hình lớn nhất có được và để nó lo hết. Trên văn bản lâm sàng tiếng Pháp, phản xạ ấy tốn kém, chậm và khó kiểm toán — và hóa ra, thậm chí không phải là chính xác nhất. DEMNE đặt cược ngược lại: gửi mỗi loại thực thể tới công cụ nhẹ nhất có thể xử lý nó, và chỉ nâng cấp khi văn bản thực sự đòi hỏi.

Một cầu thang, không phải cái búa

Pipeline có ba tầng. Các quy tắc tất định — regex và từ điển được tuyển chọn — đảm nhận những thực thể được viết theo vài cách ổn định: ngày tháng, liều lượng, chữ viết tắt chuẩn của dấu ấn sinh học. Một transformer tinh chỉnh trên văn bản ung thư học tiếng Pháp xử lý những thực thể cần hiểu biết ngữ nghĩa và chuyên ngành thực sự. Một LLM nằm trên đỉnh, dành riêng cho những trường hợp thực sự mơ hồ sống sót qua cả hai tầng trước. Không gì leo cao hơn mức cần thiết.

Vì sao không chỉ dùng LLM?

Vì một mô hình lớn duy nhất phải trả cái giá của LLM cho mọi thực thể, kể cả những cái mà một regex đã giải quyết tức thì. Nó chậm hơn, cần ngân sách GPU mà hầu hết bệnh viện không có, và mọi quyết định là một hộp đen mà bạn vẫn phải biện minh trước một bác sĩ lâm sàng hay kiểm toán viên. Và ngay trên bài toán định tuyến, baseline luôn-LLM là tệ nhất, chỉ đồng thuận với tầng chuyên gia 0,148. Công cụ nặng nhất không mặc nhiên là đáng tin cậy nhất.

Cái giá của định tuyến sai

Trích xuất theo tầng chỉ đáng giá nếu việc định tuyến tốt, nên đó là nơi DEMNE dồn sự cẩn trọng. Năm chỉ số đo từ phần chú thích nuôi một đồ thị quyết định tất định có 17 ngưỡng được hiệu chỉnh bằng một tìm kiếm đa mục tiêu. Mục tiêu được cố ý đặt bất đối xứng: gửi một thực thể tới phương pháp quá yếu bị phạt nặng gấp đôi so với gửi tới một phương pháp chỉ quá tốn kém — vì một lần bỏ sót trích xuất trong báo cáo lâm sàng tốn kém hơn một giây GPU bị lãng phí.

Những con số nói gì

Trên tập hiệu chỉnh ung thư học, việc định tuyến khớp với tầng tham chiếu của chuyên gia 0,954, so với 0,729 của luôn-quy-tắc và 0,148 của luôn-LLM. Áp dụng nguyên vẹn lên 300 báo cáo AP-HP chưa từng thấy, nó định tuyến 99,5 % số đề cập tới các quy tắc tất định, đạt F1 trung bình 0,941 — trong khi một transformer tinh chỉnh trong một ngân sách bệnh viện thực tế chỉ đạt 0,358. Với những thực thể chuẩn hóa chiếm phần lớn các báo cáo này, tầng rẻ nhất cũng là tầng chính xác nhất.

Khi một mô hình duy nhất là câu trả lời đúng

Phân tầng không miễn phí: nó thêm một lớp định tuyến phải xây dựng, đo lường và bảo trì, và các ngưỡng phải được hiệu chỉnh lại cho mỗi miền mới. Nếu văn bản đồng nhất, các thực thể đều khó như nhau, hoặc có ngân sách và mức dung thứ kiểm toán cho một mô hình lớn duy nhất, thì cầu thang chỉ là chi phí thừa. Luận điểm ở đây là hẹp — khi chi phí, độ trễ và khả năng truy vết cùng quan trọng, như trong NLP lâm sàng, quyết định theo từng thực thể thắng việc mặc định chọn mô hình nặng nhất rồi hy vọng.

Mã nguồn và phương pháp đầy đủ có trên GitHub; bản thảo đang được chuẩn bị.