为什么法语临床命名实体识别会让通用模型失效

翻开一份法语肿瘤学报告，大多数开箱即用的 NER 模型在第一句话就会出错。词汇密集且多缩写（ER、PR、HER2、Ki67、FISH），排版因医院而异，而真正重要的生物标志物术语在这些模型训练所用的语料库中几乎不存在。惯常的反应——直接上大模型——确实有用，但成本高、不透明，且难以向临床医生或审计者交代。

并非每个实体都需要 LLM

DEMNE 从一个朴素的观察出发：这些报告中的实体并非同样困难。活检提及只有几种稳定写法；药物名称却可能有上百种形式。因此，DEMNE 不用一个模型包打天下，而是度量每一种实体类型，并将其送往足够可靠的最轻方法——确定性规则、微调过的 transformer，或仅在万不得已时才用 LLM。

所谓度量，是从标注中计算的五项语料库指标：表层形式的模板化程度、词汇的同质程度、一小组关键词是否具有判别力、提及出现在否定或矛盾之下的频率，以及是否有足够的标注数据来训练有监督模型。一个确定性决策图把这些数字转化为层级，其 17 个阈值通过多目标搜索来校准——将实体送往过弱方法所受的惩罚，是送往仅仅过于昂贵方法的两倍。

它带来了什么

在肿瘤学校准集（59 种实体类型）上，路由与专家参考层级的一致性达到 0.954，留一语料库交叉验证估计为 0.866——远高于任何固定层级的基线（全用规则为 0.729，全用 LLM 为 0.148）。更有说服力的是外部测试：在不做任何重新调参的情况下，应用于 AP-HP 的 300 份 CT 报告（涉及模型从未见过的癌症部位），DEMNE 将 99.5% 的标记提及（413 个中的 411 个）路由到确定性规则。这些规则达到了 0.941 的平均 F1，而在现实医院预算下对同样实体微调的 transformer 仅为 0.358。

换言之：对于主导肿瘤学报告的标准化实体，规则不仅更便宜——而且更好，并且每一条规则决策都能追溯到一个明确条件，这正是欧盟 AI 法案第 12 条和第 14 条所要求的。

它的边界

我想坦诚地谈谈局限。参考标准很小——92 种实体类型，其中 59 种属肿瘤学——因此单一语料库上的分数偏乐观，只有相对比较才成立。LLM 层级从未在外部队列上端到端评估过；它唯一路由到的实体过于罕见。而且校准无法跨域迁移：换到另一种临床体裁或另一种语言，一致性会降到 0.45–0.73，阈值必须重新拟合。DEMNE 是可行性证明，而非成品。

为什么重要

重点并不是规则胜过 transformer，而是“用哪种方法”可以逐实体地、依据文本的可度量属性来回答，而不是默认选最重的模型碰运气。对于临床 NLP——成本、可审计性与信任同时重要——这种思路比在基准上再多一个百分点更有价值。

代码与完整方法见 GitHub；论文正在撰写中。