ओपनएआई के चैटजीपीटी ने 2022 के अंत में जनता के सामने आने पर जेनरेटिव एआई चैटबॉट्स के प्रति पूरी दीवानगी शुरू कर दी। तब से, जेमिनी, ग्रोक, क्लाउड, क्वेन, डीपसीक, मिस्ट्रल और अन्य जैसे कई शक्तिशाली प्रतियोगियों के बावजूद, चैटबॉट बाजार हिस्सेदारी का एक बड़ा हिस्सा बनाए रखने में कामयाब रहा है।
हालाँकि, ब्रिटिश कंपनी प्रोलिफिक के एक अध्ययन में यह बात सामने आई है चैटजीपीटी सर्वश्रेष्ठ एआई मॉडल के मामले में 8वें स्थान पर, कुछ जेमिनी मॉडल, ग्रोक मॉडल, डीपसीक मॉडल और यहां तक कि फ्रांसीसी कंपनी मिस्ट्रल के एक मॉडल से भी पीछे। कंपनी ने “ह्यूमेन” नाम से अपना स्वयं का बेंचमार्क बनाया, जिसके बारे में उसका कहना है कि इसे “प्राकृतिक मानव संपर्क के लेंस के माध्यम से एआई प्रदर्शन को समझने के लिए बनाया गया है।”
कंपनी अपने ब्लॉगपोस्ट में कहती है, “वर्तमान मूल्यांकन उन मेट्रिक्स की ओर झुका हुआ है जो शोधकर्ताओं के लिए सार्थक हैं लेकिन रोजमर्रा के उपयोगकर्ताओं के लिए अपारदर्शी हैं, जैसे विशेष डेटासेट पर सटीकता और गूढ़ तर्क कार्यों पर प्रदर्शन। इससे जो अनुकूलित होता है और लोग वास्तव में क्या महत्व देते हैं, उसके बीच एक अंतर पैदा हो गया है।”
कंपनी ने यह भी नोट किया कि यदि मानव-वरीयता वाले लीडरबोर्ड भी वैज्ञानिक कठोरता के साथ डिज़ाइन नहीं किए गए हैं तो वे कमज़ोर पड़ सकते हैं। इसमें कहा गया है कि जिन प्लेटफार्मों पर सभी को अपने पसंदीदा मॉडल के लिए वोट करने की आवश्यकता होती है, वे नमूना पूर्वाग्रह के प्रति संवेदनशील हो सकते हैं और संभवतः तकनीक-प्रेमी उपयोगकर्ताओं का अधिक प्रतिनिधित्व कर सकते हैं।
नए लीडरबोर्ड का लक्ष्य स्वचालित गुणवत्ता निगरानी के साथ इस मुद्दे को संबोधित करना है ताकि यह सुनिश्चित किया जा सके कि प्रतिभागी सोच-समझकर कार्य में लगे हुए हैं।
ChatGPT इन AI मॉडल से नीचे रैंक करता है
ह्यूमेन अध्ययन के अनुसार, ये शीर्ष 10 एआई मॉडल थे:
1. जेमिनी 2.5 प्रो (गूगल)
2. डीपसीक v3 (डीपसीक)
3. मैजिस्ट्रल माध्यम (मिस्ट्रल)
6. जेमिनी 2.5 फ्लैश (गूगल)
7. डीपसीक आर1 (डीपसीक)
10. जेमिनी 2.0 फ्लैश (गूगल)
विशेष रूप से, अध्ययन सितंबर में प्रकाशित हुआ था, जब Google ने इसे अभी तक जारी नहीं किया था मिथुन 3 प्रो मॉडल और xAI ने अपने ग्रोक 4.1 और ग्रोक 4.1 थिंकिंग मॉडल को लॉन्च नहीं किया था।
जेमिनी 2.5 प्रो का बेंचमार्क के शीर्ष पर होना इस बिंदु पर बिल्कुल आश्चर्यजनक नहीं है, यह देखते हुए कि मॉडल ने अपने लॉन्च के बाद से लगातार विभिन्न लीडरबोर्ड में शीर्ष स्थान हासिल किया है। हालाँकि, यदि परिणामों पर विश्वास किया जाए तो एक ओपनएआई मॉडल शीर्ष 5 में रैंकिंग नहीं कर रहा है और यहां तक कि डीपसीक, ग्रोक और मिस्ट्रल से भी पीछे है, यह एक आश्चर्यजनक विकास है।
शोधकर्ता इसके पीछे कोई तर्क नहीं देते हैं कि चैटजीपीटी को रैंकिंग में इतना नीचे क्यों सूचीबद्ध किया गया था, लेकिन उन्होंने ध्यान दिया कि Google का जेमिनी 2.5 प्रो लगातार “समग्र विजेता” मीट्रिक के लिए शीर्ष मॉडल के रूप में स्थान पर रहा।