फ्रेंच क्लिनिकल एनईआर सामान्य-उद्देश्य मॉडलों को क्यों तोड़ देता है

कोई फ़्रेंच ऑन्कोलॉजी रिपोर्ट खोलिए और अधिकांश तैयार-मिलने वाले NER मॉडल पहली ही पंक्ति में लड़खड़ा जाते हैं। शब्दावली सघन और संक्षिप्त है (ER, PR, HER2, Ki67, FISH), स्वरूपण हर अस्पताल में बदलता है, और जो बायोमार्कर शब्दावली मायने रखती है वह उन कॉर्पस में लगभग अनुपस्थित है जिन पर ये मॉडल प्रशिक्षित हुए। सामान्य प्रतिक्रिया — उस पर एक बड़ा मॉडल दाग देना — काम तो करती है, पर महँगी, अपारदर्शी और किसी चिकित्सक या ऑडिटर के सामने उचित ठहराना कठिन है।

हर एंटिटी को LLM की ज़रूरत नहीं

DEMNE एक सीधे अवलोकन से शुरू होता है: इन रिपोर्टों की एंटिटियाँ समान रूप से कठिन नहीं हैं। बायोप्सी का उल्लेख कुछ स्थिर रूपों में लिखा जाता है; जबकि दवा का नाम सौ रूपों में आ सकता है। इसलिए हर चीज़ के लिए एक ही मॉडल के बजाय, DEMNE प्रत्येक एंटिटी प्रकार को मापता है और उसे सबसे हल्की पर पर्याप्त विश्वसनीय विधि की ओर भेजता है — एक नियतात्मक नियम, एक फ़ाइन-ट्यून किया transformer, या अंतिम उपाय के रूप में ही LLM।

यह माप एनोटेशन से परिकलित पाँच कॉर्पस मेट्रिक्स हैं: सतही रूप कितना टेम्पलेट-योग्य है, शब्दावली कितनी समरूप है, क्या एक छोटा कीवर्ड-समुच्चय विभेदक है, उल्लेख कितनी बार निषेध या विरोधाभास के अधीन आता है, और क्या पर्यवेक्षित मॉडल को प्रशिक्षित करने के लिए पर्याप्त लेबल डेटा है ही। एक नियतात्मक निर्णय-ग्राफ़ इन संख्याओं को एक स्तर में बदलता है, और इसके 17 थ्रेशहोल्ड एक बहु-उद्देश्यीय खोज से कैलिब्रेट किए जाते हैं, जो किसी एंटिटी को बहुत कमज़ोर विधि की ओर भेजने पर, महज़ बहुत महँगी विधि की तुलना में, दोगुना दंड देती है।

इससे क्या मिलता है

ऑन्कोलॉजी कैलिब्रेशन सेट (59 एंटिटी प्रकार) पर, रूटिंग विशेषज्ञ संदर्भ स्तर से 0.954 की सहमति और 0.866 के leave-one-corpus-out अनुमान के साथ मेल खाती है — किसी भी स्थिर-स्तर बेसलाइन से कहीं ऊपर (सदा-नियम 0.729, सदा-LLM 0.148)। अधिक ठोस परीक्षण बाह्य है: बिना किसी पुनः-समायोजन के AP-HP की 300 CT रिपोर्टों पर, ऐसे कैंसर स्थलों के लिए जो मॉडल ने कभी नहीं देखे, DEMNE ने 99.5% चिह्नित उल्लेखों (413 में से 411) को नियतात्मक नियमों की ओर भेजा। उन नियमों ने 0.941 का औसत F1 प्राप्त किया, जबकि यथार्थ अस्पताल बजट में उन्हीं एंटिटियों पर फ़ाइन-ट्यून किया transformer केवल 0.358 तक पहुँच पाया।

दूसरे शब्दों में: ऑन्कोलॉजी रिपोर्टिंग पर हावी मानकीकृत एंटिटियों के लिए, नियम केवल सस्ते ही नहीं थे — वे बेहतर थे, और हर नियम-निर्णय एक स्पष्ट शर्त तक अनुरेखित होता है, जो ठीक वही है जो EU AI Act के अनुच्छेद 12 और 14 माँगते हैं।

यह कहाँ रुकता है

मैं सीमाओं के बारे में ईमानदार रहना चाहता हूँ। संदर्भ मानक छोटा है — 92 एंटिटी प्रकार, जिनमें 59 ऑन्कोलॉजी में — इसलिए एकल-कॉर्पस स्कोर आशावादी हैं और केवल सापेक्ष तुलनाएँ ही टिकती हैं। LLM स्तर का बाह्य समूह पर आद्योपांत मूल्यांकन कभी नहीं हुआ; उसकी एकमात्र रूट की गई एंटिटी बहुत दुर्लभ थी। और कैलिब्रेशन डोमेनों के बीच स्थानांतरित नहीं होता: किसी अन्य क्लिनिकल शैली या भाषा पर सहमति 0.45–0.73 तक गिर जाती है, इसलिए थ्रेशहोल्ड दोबारा फ़िट करने पड़ते हैं। DEMNE व्यवहार्यता का प्रमाण है, कोई तैयार उत्पाद नहीं।

यह क्यों मायने रखता है

बात यह नहीं कि नियम transformer को हरा देते हैं। बात यह है कि “कौन-सी विधि” एक ऐसा प्रश्न है जिसका उत्तर पाठ के मापनीय गुणों से, एंटिटी-दर-एंटिटी दिया जा सकता है — न कि डिफ़ॉल्ट रूप से सबसे भारी मॉडल चुनकर उम्मीद लगाना। क्लिनिकल NLP के लिए — जहाँ लागत, ऑडिट-योग्यता और विश्वास एक साथ मायने रखते हैं — यह दृष्टिकोण किसी बेंचमार्क पर एक और प्रतिशत-अंक से अधिक मूल्यवान है।

कोड और पूरी विधि GitHub पर है; पांडुलिपि तैयारी में है।