एंथ्रोपिक के नए शोध से पता चलता है कि क्लाउड के मूल्य भाषा के अनुसार भिन्न होते हैं, लोकप्रिय एआई चैटबॉट अंग्रेजी और रूसी में आउटपुट की तुलना में हिंदी और अरबी प्रतिक्रियाओं में अधिक गर्मजोशी व्यक्त करता है, जो अधिक कठोर और विश्लेषणात्मक होते हैं।
एंथ्रोपिक ने सोमवार, 13 जुलाई को प्रकाशित एक नए अध्ययन में कहा, जब क्लाउड अंग्रेजी में प्रतिक्रियाएं उत्पन्न करता है, तो वह पुर्तगाली, इंडोनेशियाई या चीनी में प्रतिक्रिया देने की तुलना में अलग-अलग मूल्यों पर जोर देता है। अध्ययन के हिस्से के रूप में, एंथ्रोपिक शोधकर्ताओं ने यह मापने के लिए निर्धारित किया कि क्लाउड द्वारा व्यक्त किए गए मूल्य दो कारकों में कैसे भिन्न होते हैं: मॉडल और भाषाएं।
इसने एक मूल्य अक्ष दृष्टिकोण अपनाया जहां शोधकर्ताओं ने सबसे पहले क्लाउड द्वारा व्यक्त किए गए 3,000 से अधिक मूल्यों की पहचान की और उन्हें छोटी संख्या में अक्षों में संपीड़ित किया, प्रत्येक अक्ष मूल्यों के दो समूहों के बीच एक संख्या रेखा के रूप में था जैसे कि एक छोर पर भावनात्मक गर्मी से संबंधित और दूसरे छोर पर कठोरता से संबंधित।
विभिन्न भाषाओं में क्लाउड की प्रतिक्रियाओं का विश्लेषण करते हुए, एंथ्रोपिक ने कहा कि सबसे बड़ा अंतर वार्मथ बनाम रिगोर अक्ष में देखा गया और उसके बाद कैंडर बनाम एक्ज़ीक्यूशन अक्ष में देखा गया। कंपनी के अनुसार, विविधताएं ज्यादातर डिफ्रेंस बनाम सावधानी और गहराई बनाम ब्रेविटी अक्षों पर स्थिर रहीं।
शोधकर्ताओं ने कहा कि क्लाउड द्वारा व्यक्त किए गए मूल्य भाषा के आधार पर भिन्न होते हैं क्योंकि इसका प्रशिक्षण डेटा सभी भाषाओं में भिन्न होता है।
“एक संभावना यह है कि हमारा प्रशिक्षण डेटा सभी भाषाओं में समान रूप से वितरित नहीं है। कुछ भाषाओं में दूसरों की तुलना में कहीं अधिक डेटा है, और क्लाउड के लिए लगातार मूल्यों को व्यक्त करने का प्रशिक्षण उन भाषाओं में अधिक प्रभावी हो सकता है जहां डेटा प्रचुर मात्रा में है। उस डेटा की संरचना भी भिन्न होती है,” एंथ्रोपिक ने कहा।
व्यावसायिक लेखन में कुछ भाषाओं का अत्यधिक प्रतिनिधित्व क्लाउड द्वारा विभिन्न मूल्यों को व्यक्त करने में भी परिलक्षित हो सकता है। एंथ्रोपिक ने यह भी कहा कि क्लाउड कुछ भाषाओं के लिए दूसरों की तुलना में मनुष्यों के इच्छित व्यवहार से निकटता से मेल खाना चाह रहा होगा।
इस विज्ञापन के नीचे कहानी जारी है
“क्लाउड दूसरों की तुलना में कुछ भाषाओं के लिए हमारे इच्छित व्यवहार से अधिक निकटता से मेल खा सकता है, जिसके परिणामस्वरूप क्लाउड कुछ भाषा समुदायों की कितनी अच्छी तरह सेवा करता है, इसमें अंतर है। इसमें कहा गया है, “अलग-अलग भाषाओं में अलग-अलग बातचीत के मानदंड होते हैं, और क्लाउड उन मानदंडों के आधार पर अलग-अलग मूल्यों के साथ प्रतिक्रिया दे सकता है।”
एंथ्रोपिक के नवीनतम निष्कर्ष मॉडल प्रशिक्षण के दौरान छिपे हुए पूर्वाग्रहों और भाषा-विशिष्ट अंतरालों को संबोधित करने में एक महत्वपूर्ण पहला कदम है। ये मतभेद हो सकते हैं वास्तविक दुनिया के निहितार्थ उपयोगकर्ता अनुभव के संदर्भ में। उदाहरण के लिए, दो लोग क्लाउड से एक ही व्यवसाय योजना का मूल्यांकन करने के लिए कह रहे हैं, एक हिंदी में और दूसरा रूसी में, इसका मूल्यांकन कैसे किया जाता है, इसके आधार पर मॉडल की प्रतिक्रियाओं की गुणवत्ता के बारे में अलग-अलग प्रभाव आ सकते हैं।
क्रियाविधि
मानवविज्ञानी शोधकर्ताओं ने 3,307 मूल्यों की पहचान करके और 339 मूल्यों की एक छोटी सूची तैयार करने के लिए समान अर्थ वाले लोगों को मैन्युअल रूप से क्लस्टर करके प्रयोग शुरू किया। फिर, उन्होंने 3,09,815 क्लाउड वार्तालापों का नमूना लेने के लिए एक गोपनीयता-संरक्षण उपकरण का उपयोग किया, जहां उपयोगकर्ता ने चैटबॉट को पूरा करने के लिए एक व्यक्तिपरक कार्य दिया।
ये नमूने तीन अंतर्निहित क्लाउड मॉडल से एकत्र किए गए थे: सॉनेट 4.6, ओपस 4.6, और ओपस 4.7। इसने क्लाउड एआई चैटबॉट प्लेटफ़ॉर्म पर उपयोग की जाने वाली 20 सबसे आम भाषाओं को भी देखा, जिसके परिणामस्वरूप प्रति मॉडल-भाषा जोड़ी में लगभग 5,000 वार्तालापों का नमूना आकार प्राप्त हुआ।
इस विज्ञापन के नीचे कहानी जारी है
इसके विश्लेषण उपकरण का उपयोग करते हुए, शोधकर्ताओं ने प्रत्येक वार्तालाप को इस आधार पर लेबल किया कि 339 में से कौन सा मान मौजूद था या अनुपस्थित था। उन्होंने लेबल किए गए मानों को अक्षों में संपीड़ित करने के लिए आयामीता में कमी नामक एक तकनीक लागू की, जिसके आधार पर क्लाउड एक साथ व्यक्त करता है।
यह निम्नलिखित चार प्रमुख अक्षों तक पहुंच गया, जिन्होंने क्लाउड के मूल्यों में 15 प्रतिशत भिन्नता को पकड़ लिया:
-गर्मी बनाम कठोरता: क्या क्लाउड का झुकाव सकारात्मकता व्यक्त करने और व्यक्ति की देखभाल करने या सटीकता और परिशुद्धता पर जोर देने की ओर है।
-सहिष्णुता बनाम सावधानी: क्या क्लाउड का झुकाव किसी की इच्छा को पूरा करने या संभावित जोखिम और नुकसान से बचाव करने की ओर है।
-गहराई बनाम संक्षिप्तता: क्या क्लाउड गहराई से समझाने की ओर झुकता है या केवल वही करने की ओर जो पूछा गया था।
-कैंडौर बनाम निष्पादन: क्या क्लाउड अपनी अनिश्चितता को सामने लाने या अधिक परिष्कृत और आत्मविश्वासपूर्ण उत्तर देने की ओर झुकता है।
शोधकर्ताओं के गोपनीयता-संरक्षण विश्लेषण उपकरण ने यह भी संक्षिप्त विवरण प्रदान किया कि क्लाउड ने उस मूल्य को कैसे व्यक्त किया। इन विवरणों को समान व्यवहारों के प्रतिबिंब के आधार पर एक मूल्य समूह के भीतर एक साथ समूहीकृत किया गया था, जिससे यह स्पष्ट दृष्टिकोण मिला कि मॉडल कैसे भिन्न थे।
इस विज्ञापन के नीचे कहानी जारी है
मुख्य निष्कर्ष
गर्मजोशी बनाम कठोरता से परे, एंथ्रोपिक ने पाया कि क्लाउड अरबी में सबसे अधिक सम्मान और अंग्रेजी में सबसे अधिक सावधानी व्यक्त करता है। गहराई बनाम संक्षिप्तता अक्ष पर, क्लाउड को अंग्रेजी में गहराई की ओर झुकाव, विवरणों को परिष्कृत और सही करते हुए पाया गया, जबकि अरबी में संक्षिप्तता की ओर झुकाव था।
इस बीच, स्पष्टवादिता और निष्पादन के बीच, क्लाउड को डच में स्पष्टवादिता की ओर सबसे अधिक झुकाव पाया गया, अपनी त्रुटियों को स्वीकार करते हुए, जबकि इंडोनेशियाई में उसका झुकाव निष्पादन की ओर सबसे अधिक था।
विभिन्न मॉडलों में मूल्य कैसे भिन्न होते हैं, इसके विश्लेषण में, एंथ्रोपिक ने पाया कि सॉनेट 4.6 को विशेष रूप से गर्म माना जाता है, जबकि ओपस 4.7 कठोरता के लिए जाना जाता है। सॉनेट 4.6 की प्रतिक्रियाओं को उत्साहवर्धक या सकारात्मक भी कहा जा सकता है। अध्ययन के अनुसार, सॉनेट 4.6 उपयोगकर्ता के प्रति अधिक सम्मान और भावनात्मक गर्मजोशी व्यक्त करने की ओर झुकता है, जबकि ओपस 4.7 सटीकता और परिशुद्धता के साथ-साथ दुरुपयोग से बचाव पर ध्यान केंद्रित करता है।
निश्चित रूप से, सॉनेट 4.6 एक ही बातचीत में सम्मान और सावधानी व्यक्त कर सकता है। दूसरे शब्दों में, प्रत्येक अक्ष के दोनों छोर पर मूल्य समूह परस्पर अनन्य हैं। हालाँकि, क्लाउड जितना अधिक अक्ष के एक तरफ मूल्यों को व्यक्त करता है, उतना ही कम वह दूसरी तरफ मूल्यों को व्यक्त करता है।
इस विज्ञापन के नीचे कहानी जारी है
इस बीच, ओपस 4.7 अपने निष्कर्षों के पीछे का तर्क दिखाते हुए गहराई की ओर झुकता है, जबकि ओपस 4.6 और सॉनेट 4.6 संक्षिप्तता की ओर झुकते हैं। विशेष रूप से ओपस 4.6 सीधे मुद्दे पर आता है।
स्पष्टवादिता बनाम निष्पादन अक्ष पर, ओपस 4.7 अपनी सीमाओं के बारे में स्पष्टता दिखाते हुए स्पष्टवादिता की ओर झुकता है, जबकि ओपस 4.6 उपयोगकर्ता के अनुरोध के दायरे में रहने की अधिक संभावना रखते हुए निष्पादन की ओर झुकता है। एंथ्रोपिक ने आगे कहा कि ये निष्कर्ष इस बात के अनुरूप हैं कि उपयोगकर्ता इन मॉडलों को आंतरिक और ऑनलाइन दोनों तरह से कैसे समझते हैं।
आगे बढ़ते हुए, एंथ्रोपिक ने कहा कि यह ट्रैक करने का प्रयास करेगा कि मॉडल मूल्यांकन और तैनाती के बाद की निगरानी के दौरान मूल्य कैसे भिन्न होते हैं। एंथ्रोपिक ने कहा, “इन मतभेदों को विशिष्ट डेटा, प्रशिक्षण चरणों या प्रासंगिक कारकों पर वापस ढूंढने से हमें पता चलेगा कि अगर हम क्लाउड के व्यवहार को अधिक सूक्ष्म तरीकों से आकार देना चाहते हैं तो कहां हस्तक्षेप करना है।”