프랑스어 임상 NER이 범용 모델을 무너뜨리는 이유

프랑스어 종양학 보고서를 펼치면 대부분의 기성 NER 모델은 첫 문장부터 흔들립니다. 어휘는 조밀하고 약어가 많으며(ER, PR, HER2, Ki67, FISH), 서식은 병원마다 다르고, 정작 중요한 바이오마커 용어는 이 모델들이 학습한 코퍼스에 거의 나타나지 않습니다. 흔한 반응——큰 모델을 투입하는 것——은 통하지만, 비싸고 불투명하며 임상의나 감사자에게 설명하기 어렵습니다.

모든 엔터티에 LLM이 필요하지는 않다

DEMNE는 단순한 관찰에서 출발합니다. 이 보고서의 엔터티들이 똑같이 어려운 것은 아닙니다. 생검 언급은 몇 가지 안정적인 방식으로 쓰이지만, 약물명은 수백 가지 형태로 나타날 수 있습니다. 그래서 DEMNE는 모든 것에 하나의 모델을 쓰는 대신, 엔터티 유형마다 측정하여 충분히 신뢰할 수 있는 가장 가벼운 방법——결정적 규칙, 미세조정한 transformer, 그리고 최후의 수단으로서의 LLM——으로 보냅니다.

측정이란 주석에서 계산한 다섯 가지 코퍼스 지표입니다. 표층 형태가 얼마나 정형적인지, 어휘가 얼마나 균질한지, 작은 키워드 집합이 변별력이 있는지, 언급이 부정이나 모순 아래 얼마나 자주 등장하는지, 그리고 지도학습 모델을 훈련할 만큼의 레이블 데이터가 있는지입니다. 결정적 결정 그래프가 이 수치들을 계층으로 바꾸며, 17개의 임계값은 다목적 탐색으로 보정됩니다. 엔터티를 너무 약한 방법으로 보내는 오류는 단지 너무 비싼 방법으로 보내는 오류보다 두 배 무겁게 벌점을 받습니다.

무엇을 얻는가

종양학 보정 세트(엔터티 유형 59개)에서 라우팅은 전문가 참조 계층과 0.954의 일치도로 일치하며, leave-one-corpus-out 추정치는 0.866——어떤 고정 계층 기준선(항상 규칙 0.729, 항상 LLM 0.148)도 크게 상회합니다. 더 설득력 있는 것은 외부 검증입니다. 재조정 없이, 모델이 한 번도 보지 못한 암 부위의 AP-HP CT 보고서 300건에 적용했을 때 DEMNE는 강조된 언급의 99.5%(413건 중 411건)를 결정적 규칙으로 보냈습니다. 그 규칙들은 평균 F1 0.941에 도달한 반면, 현실적인 병원 예산에서 같은 엔터티로 미세조정한 transformer는 0.358에 그쳤습니다.

바꿔 말하면, 종양학 보고를 지배하는 표준화된 엔터티에 대해 규칙은 더 저렴할 뿐 아니라——더 우수했고, 모든 규칙 결정은 명시적 조건까지 추적됩니다. 이는 바로 EU AI Act 제12조와 제14조가 요구하는 바입니다.

어디서 멈추는가

한계에 대해 정직하고 싶습니다. 참조 표준은 작습니다——엔터티 92종, 그중 59종이 종양학——따라서 단일 코퍼스 점수는 낙관적이며 상대 비교만 유효합니다. LLM 계층은 외부 코호트에서 종단 간으로 평가된 적이 없고, 거기로 라우팅된 유일한 엔터티는 너무 드물었습니다. 또한 보정은 도메인 간에 전이되지 않습니다. 다른 임상 장르나 언어로 옮기면 일치도가 0.45–0.73으로 떨어져 임계값을 다시 맞춰야 합니다. DEMNE는 실현 가능성의 증명이지 완성품이 아닙니다.

왜 중요한가

핵심은 규칙이 transformer를 이긴다는 것이 아닙니다. “어떤 방법을 쓸까”를, 가장 무거운 모델을 기본값으로 삼아 요행을 바라는 대신, 텍스트의 측정 가능한 속성으로부터 엔터티별로 답할 수 있다는 것입니다. 비용·감사가능성·신뢰가 동시에 중요한 임상 NLP에서——이 관점은 벤치마크에서 1퍼센트포인트를 더 얻는 것보다 값집니다.

코드와 전체 방법은 GitHub에 있습니다. 논문은 준비 중입니다.