Extraction en étages vs un seul grand modèle

Confiez un problème de NLP difficile à une équipe aujourd’hui, et le réflexe est de sortir le plus gros modèle disponible et de le laisser tout démêler. Sur du texte clinique français, ce réflexe est coûteux, lent et difficile à auditer — et, au final, même pas le plus précis. DEMNE fait le pari inverse : envoyer chaque type d’entité vers l’outil le plus léger capable de la traiter, et n’escalader que lorsque le texte l’exige vraiment.

Un escalier, pas un marteau

Le pipeline a trois niveaux. Des règles déterministes — regex et lexiques choisis — prennent les entités écrites de quelques façons stables : dates, posologies, abréviations standard de biomarqueurs. Un transformer affiné sur du texte oncologique français traite les entités qui demandent une réelle compréhension sémantique et de domaine. Un LLM se trouve au sommet, réservé aux cas vraiment ambigus qui survivent aux deux étapes précédentes. Rien ne monte plus haut que nécessaire.

Pourquoi pas uniquement le LLM ?

Parce qu’un seul gros modèle paie le prix du LLM sur chaque entité, y compris celles qu’une regex aurait réglées instantanément. Il est plus lent, il réclame un budget GPU que la plupart des hôpitaux n’ont pas, et chaque décision est une boîte noire qu’il faut quand même justifier devant un clinicien ou un auditeur. Et sur la tâche de routage elle-même, le niveau toujours-LLM était le plus mauvais, retrouvant le niveau expert seulement 0,148 du temps. L’outil le plus lourd n’est pas automatiquement le plus fiable.

Le coût d’un mauvais routage

L’extraction par étapes ne paie que si le routage est bon ; c’est donc là que DEMNE met son soin. Cinq métriques mesurées à partir des annotations alimentent un graphe de décision déterministe dont les 17 seuils sont calibrés par une recherche multi-objectif. L’objectif est volontairement asymétrique : envoyer une entité vers une méthode trop faible est pénalisé deux fois plus fort que vers une méthode seulement trop coûteuse — car une extraction manquée dans un compte rendu clinique coûte plus cher qu’une seconde de GPU gaspillée.

Ce que disent les chiffres

Sur le jeu de calibration oncologie, le routage retrouve le niveau de référence des experts 0,954 du temps, contre 0,729 pour toujours-règles et 0,148 pour toujours-LLM. Appliqué tel quel à 300 comptes rendus AP-HP jamais vus, il a routé 99,5 % des mentions vers des règles déterministes, qui ont atteint un F1 moyen de 0,941 — là où un transformer affiné dans un budget hospitalier réaliste plafonnait à 0,358. Pour les entités standardisées qui dominent ces comptes rendus, le niveau le moins cher était aussi le plus juste.

Quand un modèle unique est la bonne réponse

Le découpage en étages n’est pas gratuit : il ajoute une couche de routage à construire, mesurer et maintenir, et les seuils doivent être recalibrés pour chaque nouveau domaine. Si le texte est uniforme, si les entités sont toutes aussi difficiles, ou si l’on a le budget et la tolérance d’audit pour un seul gros modèle, l’escalier n’est que du surcoût. Le propos ici est étroit — quand le coût, la latence et la traçabilité comptent en même temps, comme en NLP clinique, décider entité par entité vaut mieux que choisir par défaut le modèle le plus lourd en espérant.

Le code et la méthode complète sont sur GitHub ; le manuscrit est en préparation.