AIM — Artificial Intelligence in Medicine — En préparation
DEMNE: Determination of Extraction Method for Named Entity
Longeac C. et al.
Manuscrit détaillant le framework en cascade DEMNE, les cinq métriques de caractérisation de corpus utilisées pour la sélection de paradigme, et les résultats de calibration par recherche en grille sur trois corpus d'oncologie français.
Résultats, en bref
DEMNE apprend, pour chaque entité, s'il faut la confier à des règles, à un modèle léger ou à un LLM. Trois lectures : sa capacité à généraliser d'un domaine clinique à l'autre, sa performance corpus par corpus en oncologie, et son avance sur des stratégies à niveau fixe.
Figure 3
Généralisation entre domaines cliniques
faibleélevée
Chaque ligne est une configuration optimisée sur un domaine ; chaque colonne, le domaine sur lequel on l'évalue. Plus la case est foncée, plus la concordance de routage est élevée. La diagonale domine — chaque configuration est meilleure sur son propre domaine — mais les cases hors diagonale restent élevées : les règles de routage apprises transfèrent d'un corpus clinique à un autre.
Table 5
Performance par corpus — oncologie
Corpus
Concordance
Cost-score
Cantemist
1,000
1,000
ESMO 2025
1,000
1,000
Oncolog-IA
0,863
0,842
Global (in-domain)
0,954
0,947
Validation croisée (LOCO)
0,866
0,837
Protocole B, domaine oncologique. Concordance = part des entités routées vers le niveau optimal ; cost-score = qualité pondérée par le coût de calcul. Sur Cantemist et ESMO 2025 le routage est parfait ; en validation croisée inter-sites (LOCO) il tient à 0,866.
Comparatif
Pourquoi le routage adaptatif
Deux stratégies naïves : tout confier aux règles, ou tout confier au LLM. Les règles seules sont rapides mais ratent les cas complexes (0,729) ; le LLM seul est coûteux et étonnamment peu concordant (0,148). Le routage adaptatif de DEMNE atteint 0,954 de concordance pour un cost-score de 0,947.