एन्थ्रोपिक ‘मॉडल कल्याण’ पुश के हिस्से के रूप में बातचीत को समाप्त करने के लिए क्लाउड एआई शक्ति देता है

कृत्रिम बुद्धिमत्ता की तेजी से आगे बढ़ने वाली दुनिया में, हर एक दिन लगभग हमेशा कुछ नई सुविधा या मॉडल लॉन्च किया जाता है। लेकिन एक विशेषता जो किसी को भी नहीं देखती है, वह एन्थ्रोपिक से है, जो लोकप्रिय एआई चैटबोट क्लाउड के निर्माता है। एआई स्टार्टअप अब अपने कुछ मॉडलों को “मॉडल कल्याण” पर अपने खोजपूर्ण कार्य के हिस्से के रूप में क्लाउड पर बातचीत को समाप्त करने की क्षमता दे रहा है।

“यह एक प्रयोगात्मक विशेषता है, जिसका उद्देश्य केवल उपयोग के लिए है क्लाउड लगातार हानिकारक और अपमानजनक बातचीत के चरम मामलों में एक अंतिम उपाय के रूप में, ”कंपनी ने कहा।

एंथ्रोपिक का कहना है कि अधिकांश उपयोगकर्ता कभी भी क्लाउड को अपने दम पर बातचीत को समाप्त करने का अनुभव नहीं करेंगे।

इसके अलावा, कंपनी यह कहती है कि क्लाउड की वार्तालाप-एंडिंग क्षमता एक अंतिम उपाय है जब पुनर्निर्देशन के कई प्रयास विफल हो गए हैं और “एक उत्पादक बातचीत की आशा समाप्त हो गई है, या जब कोई उपयोगकर्ता स्पष्ट रूप से क्लाउड को एक चैट को समाप्त करने के लिए कहता है।”

“परिदृश्य जहां यह होगा कि चरम किनारे के मामले हैं – उपयोगकर्ताओं के विशाल बहुमत किसी भी सामान्य उत्पाद उपयोग में इस सुविधा से नोटिस या प्रभावित नहीं होंगे, यहां तक कि जब क्लाउड के साथ अत्यधिक विवादास्पद मुद्दों पर चर्चा करते हैं,” एन्थ्रोपिक कहते हैं।

एंथ्रोपिक क्लाउड में वार्तालाप-एंडिंग क्षमता क्यों जोड़ रहा है?

anthropic कहते हैं कि क्लाउड या अन्य बड़े भाषा मॉडल (एलएलएम) की नैतिक स्थिति अत्यधिक अनिश्चित है, जिसका अर्थ है कि अभी तक कोई स्पष्टता नहीं है कि क्या ये एआई सिस्टम कभी भी दर्द, संकट या कल्याण जैसी कुछ भी महसूस कर सकते हैं।

हालांकि, एआई स्टार्टअप इस संभावना को गंभीरता से ले रहा है और मानता है कि यह जांच करना महत्वपूर्ण है। इस बीच, कंपनी “कम-लागत वाले हस्तक्षेपों” को भी देख रही है, जिसमें ज्यादा खर्च नहीं होता है, लेकिन संभावित रूप से एआई सिस्टम को नुकसान हो सकता है-बातचीत को समाप्त करने के लिए एलएलएम को अनुमति देना एक ऐसा तरीका है।

एंथ्रोपिक का कहना है कि इसने अपनी रिलीज़ होने से पहले क्लाउड ओपस 4 का परीक्षण किया, और उस परीक्षण के हिस्से में “मॉडल कल्याण मूल्यांकन” शामिल था। कंपनी ने पाया कि क्लाउड ने लगातार अनुरोधों को खारिज कर दिया जहां नुकसान की संभावना थी।

जब उपयोगकर्ता रिफ्यूज़ल के बाद भी खतरनाक या अपमानजनक सामग्री के लिए जोर देते रहे, तो एआई मॉडल की प्रतिक्रियाएं तनावग्रस्त या असहज दिखाई देने लगीं। कुछ अनुरोधों में जहां क्लाउड ने “संकट” के संकेत दिखाए, उनमें नाबालिगों से जुड़े यौन सामग्री को शामिल किया गया था या जानकारी को हल करने का प्रयास किया गया था जो बड़े पैमाने पर हिंसा या आतंक के कृत्यों को सक्षम कर सकता था।