段階的抽出 対 単一の大規模モデル

難しい NLP の問題をチームに渡すと、今の反射は、使える最大のモデルを持ち出してすべてを任せることです。フランス語の臨床テキストでは、その反射は高コストで遅く、監査しづらく——しかも結局、最も正確ですらありません。DEMNE は逆に賭けます。各エンティティの種類を、それを扱える最も軽いツールへ送り、テキストが本当に要求するときだけ上位へ回します。

ハンマーではなく階段

パイプラインは 3 層です。決定的ルール——正規表現と厳選した辞書——は、数通りの安定した書き方しかないエンティティ（日付、用量、標準的なバイオマーカー略語）を担います。フランス語腫瘍学テキストでファインチューニングした transformer は、真の意味的・ドメイン的理解を要するエンティティを処理します。LLM は頂点にあり、前の 2 段階を生き延びた本当に曖昧な事例のためだけに取っておかれます。必要以上に上へは登りません。

なぜ LLM だけにしないのか

単一の大きなモデルは、正規表現なら瞬時に片づくものも含め、すべてのエンティティに LLM のコストを払うからです。遅く、多くの病院にはない GPU 予算を要し、どの判断もブラックボックスで、結局は臨床医や監査人に説明しなければなりません。しかもルーティングのタスク自体では、常に LLM のベースラインが最も悪く、専門家の階層と一致したのはわずか 0.148 でした。最も重いツールが自動的に最も信頼できるわけではありません。

ルーティングを誤るコスト

段階的抽出は、ルーティングが良いときにのみ見合うので、DEMNE はまさにそこに注意を注ぎます。アノテーションから測った 5 つの指標が決定的な決定グラフに入り、その 17 の閾値は多目的探索で較正されます。目的関数は意図的に非対称です。エンティティを弱すぎる手法へ送る誤りは、単に高価すぎる手法へ送る誤りの 2 倍重く罰せられます——臨床レポートでの抽出漏れは、無駄になった GPU の 1 秒より高くつくからです。

数字が語ること

腫瘍学の較正セットでは、ルーティングは専門家の参照階層と 0.954 で一致し、常にルールは 0.729、常に LLM は 0.148 でした。未見の AP-HP レポート 300 件へ手を加えずに適用すると、言及の 99.5% を決定的ルールへ振り分け、平均 F1 0.941 に達しました——現実的な病院予算でファインチューニングした transformer は 0.358 にとどまりました。これらのレポートを占める標準化されたエンティティでは、安い階層が同時に正確な階層でもありました。

単一モデルが正解になるとき

段階化はただではありません。構築・測定・保守すべきルーティング層が増え、閾値は新しいドメインごとに再較正しなければなりません。テキストが均質で、エンティティがどれも同じ難度で、あるいは大きなモデル 1 つに使える予算と監査の許容があるなら、階段は単なるオーバーヘッドです。ここでの主張は狭いものです——コスト・遅延・追跡可能性が同時に重要なとき、臨床 NLP のように、エンティティごとに決めることは、最も重いモデルを既定にして祈ることに勝ります。

コードと完全な手法は GitHub にあります。論文は準備中です。