जैसे-जैसे बड़ी तकनीकी कंपनियां बड़े एआई मॉडल और विशाल डेटा सेंटर बनाने में अरबों डॉलर लगाती हैं, एक स्टार्टअप ने पारंपरिक बड़े भाषा मॉडल (एलएलएम) की लागत और टोकन के एक अंश पर एक मौलिक रूप से अलग फ्रंटियर-स्तरीय एआई मॉडल विकसित करने का दावा किया है।
एचआरएम-टेक्स्ट एक अरब-पैरामीटर, ओपन-वेट एआई मॉडल है जिसे सैपिएंट इंटेलिजेंस के शोधकर्ताओं द्वारा स्क्रैच से विकसित किया गया है। जबकि चल रहे एआई बूम को ट्रांसफार्मर-आधारित आर्किटेक्चर पर चलने वाले मॉडल द्वारा रेखांकित किया गया है, सैपिएंट ने कहा कि इसका नया टेक्स्ट जेनरेशन मॉडल अत्यधिक नमूना-कुशल पदानुक्रमित आवर्तक मॉडल (एचआरएम) आर्किटेक्चर पर आधारित है जिसे पहली बार पिछले साल सिंगापुर स्थित स्टार्टअप द्वारा पेश किया गया था।
एचआरएम आर्किटेक्चर गणना को धीमी गति से विकसित होने वाली रणनीतिक और तेजी से विकसित होने वाली निष्पादन परतों में विभाजित करता है। जबकि अधिकांश एलएलएम को ब्रूट-फोर्स ऑटोरेग्रेसिव भविष्यवाणी का उपयोग करके कच्चे पाठ पर प्रशिक्षित किया जाता है, एचआरएम-टेक्स्ट को केवल निर्देश-प्रतिक्रिया जोड़े पर प्रशिक्षित किया गया है। इसका मतलब यह है कि मॉडल को विशेष रूप से किसी विशिष्ट कार्य के लिए लक्षित उत्तर उत्पन्न करने के लिए डिज़ाइन किया गया है। यह डाउनलोड के लिए GitHub पर उपलब्ध है।
एचआरएम-टेक्स्ट का लॉन्च संभावित रूप से महत्वपूर्ण है क्योंकि एक बुनियादी एलएलएम को शुरू से प्रशिक्षित करने में लाखों डॉलर खर्च होते हैं और इसमें इंटरनेट-स्केल डेटा को स्क्रैप करना शामिल होता है। परिणामस्वरूप, अधिकांश उद्यमों और स्टार्टअप के पास अपने स्वयं के इन-हाउस एलएलएम विकसित करने के लिए संसाधन नहीं हैं।
“उद्योग की स्केलिंग लत कहती है: ‘जब मॉडल विफल हो जाता है, तो इसे बड़ा बनाएं। अधिक डेटा जोड़ें। अधिक जीपीयू जोड़ें।’ यह काम कर गया है, लेकिन यह घटते रिटर्न के बिंदु पर पहुंच रहा है। अधिक पैमाने का मतलब अक्सर अधिक याद रखना, अधिक विलंबता, अधिक बुनियादी ढांचा और अधिक विक्रेता निर्भरता होता है। सैपिएंट इंटेलिजेंस के सीईओ गुआन वांग ने कहा, यह जरूरी नहीं कि किसी उद्यम को एक बेहतर तर्क इंजन दे। वेंचर बीट.
वांग ने कहा, “एक हेज फंड, बीमाकर्ता या बैंक की कल्पना करें जिसके पास अत्यधिक स्वामित्व डेटा है: आंतरिक अनुसंधान नोट, लेनदेन तर्क, अनुपालन नियम, विश्लेषक मेमो, जोखिम मॉडल, पोर्टफोलियो बाधाएं।” “हो सकता है कि वे उस डेटा को बाहरी फ्रंटियर मॉडल पर नहीं भेजना चाहें, और उन्हें इंटरनेट को याद रखने वाले विशाल सामान्य-उद्देश्य वाले मॉडल की आवश्यकता नहीं हो सकती है। उन्हें एक कॉम्पैक्ट रीजनिंग कोर की आवश्यकता है जो उनके कार्य संरचना, नियमों और संख्याओं के बारे में तर्क सीख सके और नियंत्रित वातावरण में चल सके।”
हुड के नीचे
सैपिएंट ने 2025 में एआई मॉडल के लिए एचआरएम आर्किटेक्चर पेश किया। यह पारंपरिक ट्रांसफार्मर-आधारित मॉडल से मौलिक प्रस्थान का प्रतीक है। प्रारंभ में, एचआरएम-आधारित मॉडल नियंत्रित, प्रतीकात्मक तर्क समस्याओं को हल करने में अत्यधिक प्रभावी पाए गए। हालाँकि, शोधकर्ताओं को एक चुनौती का सामना करना पड़ा जब एचआरएम को सामान्यीकृत भाषा मॉडलिंग की व्यापक, खुली जटिलताओं पर लागू किया गया था।
इस विज्ञापन के नीचे कहानी जारी है
एचआरएम में फीडबैक लूप ने इसे और अधिक कुशलता से सोचने पर मजबूर कर दिया, लेकिन उन्हीं लूप ने मॉडल को मानव भाषा पर प्रशिक्षित करने के लिए गणितीय रूप से अस्थिर बना दिया, जो प्रकृति में विविध है। तंत्रिका नेटवर्क में इस समस्या का समाधान करने के लिए, सैपिएंट शोधकर्ताओं ने कहा कि वे दो प्रमुख वास्तुशिल्प नवाचारों के साथ आए, जिससे एचआरएम-टेक्स्ट मॉडल सामने आया।
वे मैजिकनॉर्म नामक एक विशेष सामान्यीकरण तकनीक विकसित करने में सक्षम थे जिसे विशेष रूप से आंतरिक संकेतों को स्थिर रखने के लिए डिज़ाइन किया गया है, भले ही मॉडल अपनी विचार प्रक्रिया को कितनी बार लूप करता हो। इसके अलावा, शोधकर्ताओं ने एक वार्म-अप विधि डिज़ाइन की है जहां प्रारंभिक प्रशिक्षण के दौरान मॉडल का मूल्यांकन केवल छोटे, उथले तर्क लूप पर किया जाता है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, सिस्टम गर्म हो जाता है, धीरे-धीरे मॉडल को गहरा और लंबा तर्क क्रम देता है।
एचआरएम-टेक्स्ट मॉडल को कच्चे इंटरनेट टेक्स्ट के खरबों शब्दों पर प्रशिक्षित नहीं किया गया था। इसके बजाय, इसे केवल 40 बिलियन टोकन के कसकर क्यूरेटेड डेटासेट पर प्रशिक्षित किया गया था।
शोधकर्ताओं ने यह भी कहा कि उन्होंने मॉडल के प्रशिक्षण उद्देश्य को अगले-टोकन भविष्यवाणी से कार्य पूरा करने के लिए भी बदल दिया है, ताकि मॉडल को उसके द्वारा उत्पन्न व्यक्तिगत टोकन के विपरीत केवल उसकी पूर्ण प्रतिक्रिया पर पुरस्कृत किया जा सके। एचआरएम-टेक्स्ट विकसित करने के लिए उपयोग किए जाने वाले प्रशिक्षण डेटासेट को भी कच्चे टेक्स्ट से केवल निर्देश-प्रतिक्रिया जोड़े में बदल दिया गया था। मॉडल को चरण-दर-चरण तर्क का पालन करने के बजाय अपने आंतरिक पदानुक्रमित वास्तुकला पर अधिक भरोसा करने के लिए थिंकिंग टोकन को डेटासेट से भी फ़िल्टर किया गया था।
इस विज्ञापन के नीचे कहानी जारी है
सैपिएंट ने कहा कि मॉडल को केवल 2 दिनों में 16 जीपीयू के एक छोटे क्लस्टर पर प्रशिक्षित किया गया था।
बेंचमार्क प्रदर्शन
एचआरएम-टेक्स्ट मॉडल का मूल्यांकन ज्ञान, तर्क, तर्क, गणित और समझ कौशल का परीक्षण करने के लिए बेंचमार्क की एक विस्तृत श्रृंखला पर किया गया था। सैपिएंट ने दावा किया कि उसके मॉडल ने इन बेंचमार्क पर बड़े ओपन-वेट मॉडल के बराबर प्रदर्शन हासिल किया है।
मॉडल ने MMLU पर 60.7 प्रतिशत, GSM8K पर 84.5 प्रतिशत और MATH बेंचमार्क परीक्षणों पर 56.2 प्रतिशत हासिल किया। इन अंकों के साथ, एक बिलियन-पैरामीटर मॉडल बराबर है और, कुछ मामलों में, दो बिलियन से सात बिलियन-पैरामीटर वाले मूलभूत एआई मॉडल के प्रदर्शन को पार कर जाता है।
ये स्कोर क्वेन, जेम्मा और लामा जैसे मॉडलों की तुलना में 100 से 900 गुना कम प्रशिक्षण टोकन और 96 से 432 गुना कम अनुमानित गणना का उपयोग करके हासिल किए गए थे।
इस विज्ञापन के नीचे कहानी जारी है
व्यावहारिक उपयोग के मामले
वास्तविक दुनिया के एआई अनुप्रयोगों के संदर्भ में, एचआरएम दृष्टिकोण संगठनों को अपने स्वयं के अत्यधिक सक्षम तर्क वाले एआई मॉडल को शुरू से ही प्रशिक्षित करने और उन्हें किफायती कीमतों पर बाहरी ज्ञान भंडार के साथ जोड़ने में सक्षम बना सकता है। यह महत्वपूर्ण है क्योंकि एक बुनियादी एआई मॉडल को शुरू से ही प्रशिक्षित करने के लिए आम तौर पर लाखों डॉलर की आवश्यकता होती है, जिससे ऐसा करने के लिए केवल तकनीकी दिग्गजों के पास ही संसाधन बचते हैं।
सैपिएंट ने कहा कि कुल अनुमानित लागत एचआरएम-टेक्स्ट को विकसित करने में लगभग 1,500 डॉलर का खर्च आया. जबकि एचआरएम आर्किटेक्चर के अद्वितीय फायदे हैं, सैपिएंट ने स्वीकार किया कि एचआरएम-टेक्स्ट की प्रारंभिक रिलीज को शुरुआती जीपीटी रिलीज के समान अवधारणा के प्रमाण के रूप में देखा जाना चाहिए।
“ईमानदारी से कहूं तो, एचआरएम-टेक्स्ट अभी तक प्लग-एंड-प्ले चैटजीपीटी प्रतिस्थापन नहीं है। यह एक कॉम्पैक्ट फाउंडेशन लैंग्वेज रीजनिंग मॉडल है। एक एंटरप्राइज़ इंजीनियरिंग टीम के लिए, परिचालन कार्य मुख्य रूप से टेम्पलेट्स, मोड चयन, ध्यान मास्किंग और संरेखण के आसपास है,” वांग को यह कहते हुए उद्धृत किया गया था।
