단계별 추출 대 단일 대형 모델

오늘날 어려운 NLP 문제를 팀에 맡기면, 반사적으로 쓸 수 있는 가장 큰 모델을 꺼내 모든 것을 맡깁니다. 프랑스어 임상 텍스트에서 그 반사 작용은 비싸고 느리며 감사하기 어렵고——결국 가장 정확하지도 않습니다. DEMNE는 반대로 베팅합니다. 각 엔티티 유형을 감당할 수 있는 가장 가벼운 도구로 보내고, 텍스트가 정말로 요구할 때만 상위로 올립니다.

망치가 아니라 계단

파이프라인은 세 계층입니다. 결정적 규칙——정규식과 선별된 사전——은 몇 가지 안정적인 방식으로 쓰이는 엔티티(날짜, 용량, 표준 바이오마커 약어)를 맡습니다. 프랑스어 종양학 텍스트로 미세조정된 transformer는 진정한 의미적·도메인적 이해가 필요한 엔티티를 처리합니다. LLM은 맨 위에 있으며, 앞선 두 단계를 모두 통과한 정말 모호한 경우에만 쓰입니다. 무엇도 필요 이상으로 높이 오르지 않습니다.

왜 그냥 LLM만 쓰지 않는가?

단일 대형 모델은 정규식이 즉시 해결했을 것까지 포함해 모든 엔티티에 LLM 비용을 치르기 때문입니다. 더 느리고, 대부분의 병원이 갖추지 못한 GPU 예산이 필요하며, 모든 결정이 블랙박스라 결국 임상의나 감사자에게 해명해야 합니다. 게다가 라우팅 작업 자체에서 항상-LLM 기준선이 가장 나빠, 전문가 계층과 일치한 비율은 0.148에 불과했습니다. 가장 무거운 도구가 자동으로 가장 신뢰할 수 있는 것은 아닙니다.

라우팅을 잘못할 때의 대가

단계별 추출은 라우팅이 좋을 때만 이득이므로, 바로 그곳에 DEMNE가 공을 들입니다. 주석에서 측정한 다섯 가지 지표가 결정적 결정 그래프에 입력되고, 그 17개의 임계값은 다목적 탐색으로 보정됩니다. 목표는 의도적으로 비대칭입니다. 엔티티를 너무 약한 방법으로 보내는 것은 단지 너무 비싼 방법으로 보내는 것보다 두 배 무겁게 벌점을 받습니다——임상 보고서에서 놓친 추출은 낭비된 GPU 1초보다 비싸기 때문입니다.

숫자가 말하는 것

종양학 보정 세트에서 라우팅은 전문가 참조 계층과 0.954로 일치하며, 항상-규칙은 0.729, 항상-LLM은 0.148입니다. 손대지 않고 처음 보는 AP-HP 보고서 300건에 적용했을 때, 언급의 99.5%를 결정적 규칙으로 보냈고 이는 평균 F1 0.941에 도달했습니다——현실적인 병원 예산에서 미세조정된 transformer는 0.358에 그쳤습니다. 이 보고서를 지배하는 표준화된 엔티티에 대해서는, 값싼 계층이 곧 정확한 계층이었습니다.

단일 모델이 정답일 때

단계화는 공짜가 아닙니다. 구축·측정·유지해야 할 라우팅 계층이 늘고, 임계값은 새로운 도메인마다 다시 보정해야 합니다. 텍스트가 균질하고, 엔티티가 모두 똑같이 어렵고, 혹은 대형 모델 하나를 쓸 예산과 감사 허용치가 있다면, 그 계단은 그저 오버헤드입니다. 여기서의 주장은 좁습니다——비용·지연·추적가능성이 동시에 중요할 때, 임상 NLP처럼, 엔티티별로 결정하는 편이 가장 무거운 모델을 기본값으로 삼아 요행을 바라는 것보다 낫습니다.

코드와 전체 방법은 GitHub에 있습니다. 논문은 준비 중입니다.