Pourquoi le NER clinique français casse les modèles génériques

Ouvrez un compte rendu d'oncologie français et la plupart des modèles de NER prêts à l'emploi trébuchent dès la première phrase. Le vocabulaire est dense et abrégé (ER, PR, HER2, Ki67, FISH), la mise en forme change d'un hôpital à l'autre, et la terminologie des biomarqueurs qui compte est presque absente des corpus sur lesquels ces modèles ont été entraînés. Le réflexe habituel — y jeter un gros modèle — fonctionne, mais il est coûteux, opaque et difficile à justifier devant un clinicien ou un auditeur.

Toute entité n'a pas besoin d'un LLM

DEMNE part d'un constat simple : les entités de ces comptes rendus ne sont pas également difficiles. Une mention de biopsie s'écrit de quelques façons stables ; un nom de médicament peut apparaître sous cent formes. Plutôt qu'un modèle unique pour tout, DEMNE mesure chaque type d'entité et l'envoie vers la méthode la plus légère qui reste fiable — une règle déterministe, un transformer affiné, ou un LLM seulement en dernier recours.

La mesure, ce sont cinq métriques de corpus calculées à partir des annotations : à quel point la forme de surface est régulière, à quel point le vocabulaire est homogène, si un petit jeu de mots-clés est discriminant, à quelle fréquence la mention apparaît sous négation ou contradiction, et s'il existe assez de données annotées pour entraîner un modèle supervisé. Un graphe de décision déterministe transforme ces chiffres en niveau, et ses 17 seuils sont calibrés par une recherche multi-objectif qui pénalise deux fois plus le fait d'envoyer une entité vers une méthode trop faible que vers une méthode seulement trop coûteuse.

Ce que ça apporte

Sur le jeu de calibration oncologie (59 types d'entités), le routage retrouve le niveau de référence des experts avec une concordance de 0,954, et de 0,866 en leave-one-corpus-out — bien au-dessus de tout pipeline à niveau fixe (toujours-règles atteint 0,729, toujours-LLM 0,148). Le test le plus convaincant est externe : appliqué sans réglage à 300 comptes rendus de scanner de l'AP-HP, sur des localisations cancéreuses jamais vues, DEMNE a routé 99,5 % des mentions (411 sur 413) vers des règles déterministes. Ces règles ont atteint un F1 moyen de 0,941, là où un transformer affiné sur les mêmes entités, dans un budget hospitalier réaliste, plafonnait à 0,358.

Autrement dit : pour les entités standardisées qui dominent le compte rendu oncologique, les règles n'étaient pas seulement moins chères — elles étaient meilleures, et chaque décision de règle se trace jusqu'à une condition explicite, ce que demandent justement les articles 12 et 14 de l'EU AI Act.

Où ça s'arrête

Je veux être honnête sur les limites. Le standard de référence est petit — 92 types d'entités, 59 en oncologie — donc les scores sur un seul corpus sont optimistes et seules les comparaisons relatives tiennent. Le niveau LLM n'a jamais été évalué de bout en bout sur la cohorte externe ; sa seule entité routée était trop rare. Et la calibration ne se transfère pas entre domaines : sur un autre genre clinique ou une autre langue, la concordance tombe à 0,45–0,73, et les seuils doivent être réajustés. DEMNE est une preuve de faisabilité, pas un produit fini.

Pourquoi ça compte

Le propos n'est pas que les règles battent les transformers. C'est que « quelle méthode » est une question qu'on peut trancher entité par entité, à partir de propriétés mesurables du texte, au lieu de choisir par défaut le modèle le plus lourd en espérant. Pour le NLP clinique — où le coût, l'auditabilité et la confiance comptent en même temps — ce cadrage vaut plus qu'un point de pourcentage de plus sur un benchmark.

Le code et la méthode complète sont sur GitHub ; le manuscrit est en préparation.