なぜフランス語臨床NERは汎用モデルを機能不全にするのか

フランス語の腫瘍学レポートを開くと、既製の NER モデルの多くは最初の一文でつまずきます。語彙は密で略語が多く（ER, PR, HER2, Ki67, FISH）、書式は病院ごとに変わり、重要なバイオマーカー用語はこれらのモデルが学習したコーパスにほとんど現れません。よくある反応——大きなモデルを投入する——は機能しますが、高コストで不透明、臨床医や監査人に説明しづらいものです。

すべての実体に LLM が要るわけではない

DEMNE は率直な観察から出発します。これらのレポートの実体は一様に難しいわけではありません。生検の言及は数通りの安定した書き方しかありませんが、薬剤名は百通りにも現れます。そこで DEMNE は、何にでも一つのモデルを使うのではなく、実体の種類ごとに測定し、十分に信頼できる最も軽い手法——決定的ルール、ファインチューンした transformer、最後の手段としてのみ LLM——へ振り分けます。

その測定とは、アノテーションから算出する 5 つのコーパス指標です。表層形がどれほど定型的か、語彙がどれほど均質か、小さなキーワード集合が識別的か、言及が否定や矛盾の下にどれほどの頻度で現れるか、そして教師あり学習に足る注釈データがそもそもあるか。決定的な決定グラフがこれらの数値を階層に変換し、その 17 の閾値は多目的探索で較正されます。実体を弱すぎる手法に送る誤りは、単に高価すぎる手法に送る誤りの 2 倍重く罰せられます。

何が得られるか

腫瘍学の較正セット（59 種の実体）では、ルーティングは専門家の参照階層と 0.954 の一致度で合致し、leave-one-corpus-out 推定は 0.866——いかなる固定階層のベースライン（常にルールで 0.729、常に LLM で 0.148）をも大きく上回ります。より説得力があるのは外部評価です。再調整なしに、モデルが一度も見たことのないがん部位の AP-HP の CT レポート 300 件へ適用したところ、DEMNE は強調された言及の 99.5%（413 件中 411 件）を決定的ルールへ振り分けました。これらのルールは平均 F1 0.941 に達し、現実的な病院予算で同じ実体にファインチューンした transformer は 0.358 にとどまりました。

言い換えれば、腫瘍学レポートを占める標準化された実体については、ルールは単に安いだけでなく——より優れており、しかも各ルール判断は明示的な条件まで遡れます。これはまさに EU AI Act 第 12 条・第 14 条が求めるものです。

どこで止まるか

限界について正直でありたいと思います。参照標準は小さく——実体 92 種、うち腫瘍学は 59 種——単一コーパスのスコアは楽観的で、相対比較しか成り立ちません。LLM 階層は外部コホートでエンドツーエンドに評価されておらず、唯一振り分けられた実体は稀すぎました。さらに較正はドメイン間で転移しません。別の臨床ジャンルや言語に移ると一致度は 0.45–0.73 まで下がり、閾値は再調整が必要です。DEMNE は実現可能性の証明であり、完成品ではありません。

なぜ重要か

要点はルールが transformer に勝つことではありません。“どの手法を使うか”が、最も重いモデルを既定にして祈るのではなく、テキストの測定可能な性質から実体ごとに答えられる問いだということです。臨床 NLP——コスト・監査可能性・信頼が同時に問われる領域——では、この枠組みはベンチマークの 1 ポイントより価値があります。

コードと完全な手法は GitHub にあります。論文は準備中です。