चरणबद्ध एक्सट्रैक्शन बनाम एकल बड़ा मॉडल

आज किसी टीम को कोई कठिन NLP समस्या सौंपिए और प्रतिक्रिया यही होती है कि जो सबसे बड़ा मॉडल उपलब्ध हो उसे उठा लिया जाए और सब कुछ उसी पर छोड़ दिया जाए। फ़्रेंच क्लिनिकल टेक्स्ट पर यह प्रतिक्रिया महँगी, धीमी और ऑडिट करने में कठिन है — और अंततः सबसे सटीक भी नहीं। DEMNE उल्टा दाँव लगाता है: हर एंटिटी प्रकार को उस सबसे हल्के उपकरण के पास भेजो जो उसे संभाल सके, और तभी ऊपर बढ़ो जब टेक्स्ट वास्तव में माँग करे।

हथौड़ा नहीं, सीढ़ी

पाइपलाइन के तीन स्तर हैं। नियतात्मक नियम — रेगेक्स और चुने हुए लेक्सिकॉन — उन एंटिटियों को लेते हैं जो कुछ स्थिर रूपों में लिखी जाती हैं: तिथियाँ, खुराक, मानक बायोमार्कर संक्षेप। फ़्रेंच ऑन्कोलॉजी टेक्स्ट पर फ़ाइन-ट्यून किया ट्रांसफॉर्मर उन एंटिटियों को संभालता है जिन्हें वास्तविक अर्थगत व डोमेन समझ चाहिए। LLM शीर्ष पर बैठता है, केवल उन सचमुच अस्पष्ट मामलों के लिए जो दोनों पूर्व चरणों से बच निकलते हैं। कुछ भी आवश्यकता से ऊपर नहीं चढ़ता।

सिर्फ़ LLM क्यों नहीं?

क्योंकि एक बड़ा मॉडल हर एंटिटी पर LLM की कीमत चुकाता है, उनमें वे भी जिन्हें रेगेक्स पल भर में निपटा देता। यह धीमा है, इसे ऐसा GPU बजट चाहिए जो अधिकांश अस्पतालों के पास नहीं, और हर निर्णय एक ब्लैक बॉक्स है जिसे फिर भी किसी चिकित्सक या ऑडिटर के सामने उचित ठहराना पड़ता है। और रूटिंग कार्य में ही, सदा-LLM बेसलाइन सबसे ख़राब रही, विशेषज्ञ स्तर से केवल 0.148 बार मेल खाती हुई। सबसे भारी उपकरण अपने आप सबसे भरोसेमंद नहीं होता।

ग़लत रूटिंग की कीमत

चरणबद्ध एक्सट्रैक्शन तभी फ़ायदेमंद है जब रूटिंग अच्छी हो, इसलिए DEMNE अपना ध्यान वहीं लगाता है। एनोटेशन से मापे गए पाँच मेट्रिक्स एक नियतात्मक निर्णय-ग्राफ़ को पोषित करते हैं जिसके 17 थ्रेशहोल्ड एक बहु-उद्देश्यीय खोज से कैलिब्रेट होते हैं। उद्देश्य जान-बूझकर असममित है: किसी एंटिटी को बहुत कमज़ोर विधि की ओर भेजने पर, महज़ बहुत महँगी विधि की तुलना में, दोगुना दंड मिलता है — क्योंकि क्लिनिकल रिपोर्ट में एक छूटा हुआ एक्सट्रैक्शन, बर्बाद हुए एक GPU सेकंड से अधिक महँगा है।

संख्याएँ क्या कहती हैं

ऑन्कोलॉजी कैलिब्रेशन सेट पर, रूटिंग विशेषज्ञ संदर्भ स्तर से 0.954 बार मेल खाती है, जबकि सदा-नियम 0.729 और सदा-LLM 0.148। बिना बदले 300 अनदेखी AP-HP रिपोर्टों पर लागू करने पर, इसने 99.5% उल्लेखों को नियतात्मक नियमों की ओर भेजा, जिन्होंने 0.941 का औसत F1 प्राप्त किया — जबकि यथार्थ अस्पताल बजट में फ़ाइन-ट्यून किया ट्रांसफॉर्मर केवल 0.358 तक पहुँचा। इन रिपोर्टों पर हावी मानकीकृत एंटिटियों के लिए, सबसे सस्ता स्तर ही सबसे सटीक भी था।

जब एकल मॉडल ही सही उत्तर हो

चरणबद्धता मुफ़्त नहीं: यह बनाने, मापने और बनाए रखने के लिए एक रूटिंग परत जोड़ती है, और थ्रेशहोल्ड हर नए डोमेन के लिए फिर से कैलिब्रेट करने पड़ते हैं। यदि टेक्स्ट एकरूप है, सभी एंटिटियाँ समान रूप से कठिन हैं, या एक बड़े मॉडल के लिए बजट और ऑडिट सहनशीलता है, तो यह सीढ़ी केवल अतिरिक्त भार है। यहाँ दावा सीमित है — जब लागत, विलंबता और अनुरेखणीयता एक साथ मायने रखते हैं, जैसे क्लिनिकल NLP में, तब एंटिटी-दर-एंटिटी तय करना, डिफ़ॉल्ट रूप से सबसे भारी मॉडल चुनकर उम्मीद लगाने से बेहतर है।

कोड और पूरी विधि GitHub पर है; पांडुलिपि तैयारी में है।